The FormAI Dataset: Generative AI in Software Security Through the Lens of Formal Verification

The FormAI Dataset: Generative AI in Software Security Through the Lens of Formal Verification

1. 本研究の学術的な背景と研究が解決する問題は何ですか？
==> 本研究の主な目的は、脆弱性の種類に基づいて分類された112,000個のAI生成のプログラムを含むFormAIデータセットを作成することです。また、このデータセットは、LLMsを使用して多様なプログラムを生成するために構築された動的なゼロショットのプロンプティング技術を導入しています。各プログラムには、ソースコード内で見つかった脆弱性がラベル付けされ、種類、行番号、および脆弱関数名が表示されます。これにより、静的および動的解析ツールの有効性を評価するための優れたデータセットが作成されました。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
==> 本研究では、FormAIデータセットが開発され、112,000ものAI生成のプログラムを含むとともに、脆弱性分類によってラベル付けされたデータを提供することによって、静的および動的解析ツールの開発に貢献するとともに、LLMsや機械学習アルゴリズムのトレーニングに最適なデータセットを提供している点に独自性がある。

3. 研究の着想を得た経緯や、関連する国内外の研究動向とは何ですか？
==> 以前から、自動プログラム生成に関する研究が存在していました。また、自動プログラム生成に対する抵抗感も少なくなく、脆弱性診断などのセキュリティに関連する分野に適用するために検討されています。

4. 本研究で何をどのように、どこまで明らかにした？
==> 本研究では、FormAIデータセットが開発され、様々な種類のプログラム、脆弱性のラベル、および対応するCWE番号が提供されていることが明らかにされました。また、データセットには静的および動的解析ツールの性能の評価に役立つカウンターエグザンプルが含まれているため、様々なツールの開発に役立つことがわかりました。

5. 本研究の有効性はどのように検証した？
==> 本研究では、FormAIデータセットの提供により、静的および動的解析ツールの開発に貢献するとともに、LLMsや機械学習アルゴリズムのトレーニングに最適なデータセットが提供されることが明らかにされました。