Exploring and Characterizing Large Language Models For Embedded System Development and Debugging

Exploring and Characterizing Large Language Models For Embedded System Development and Debugging

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は何ですか？
- 大規模言語モデル（LLM）の能力を利用してソフトウェアの開発を行うことは広く研究されていますが、この研究ではハードウェアとソフトウェアの両方のドメインにわたる知識が必要な組み込みシステムの開発に、LLMが適用可能かどうかについて問いを設定しています。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
- 本研究では、GPT-3.5、GPT-4、PaLM 2といった主要なLLMsを組み込みシステムの開発に適用して、その性能を評価し、人工知能を活用した組み込みシステム開発のためのワークフローを構築することを目的としています。本研究は、LLMによる組み込みシステムの開発に関する先駆的で独自のアプローチを提供します。

3. 本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？
- 先行研究においてはLLMsを利用したコード生成の研究が進んでおり、本研究ではLLMsを組み込みシステムの開発に活用することによって、その独自性と創造性を生みだそうとしています。

4. 本研究で何をどのように、どこまで明らかにした？
- 本研究では、GPT-3.5、GPT-4、PaLM 2を利用した組み込みシステムの開発を行い、その性能を評価しました。その結果、GPT-4が特に異なるドメイン間の理解や推論能力に優れており、単一のプロンプトから完全なプログラムを生成する場合もあることが判明しました。また、ワークフローを15人のユーザー（初心者プログラマー、エキスパートプログラマーを含む）で評価し、全てのユーザーの生産性を向上させることができたことが示されました。

5. 本研究の有効性はどのように検証した？
- 本研究では、ユーザーによって開発された組み込みシステムの成功率を向上させることができるワークフローを提供したことが目的の一つでした。そのため、15人のユーザーを対象に実験を行い、全てのユーザーの生産性を向上させ、ハードウェアやC/C++の経験が全くないユーザーでもLoRa環境センサーを100％成功率で構築することができたことが有効性の証明となっています。