Large Language Models (GPT) for automating feedback on programming assignments

Large Language Models (GPT) for automating feedback on programming assignments

1. 本研究の学術的な背景と研究が解決する問題は何ですか？
==> プログラミング課題に対する個人個人に合わせたフィードバックの生成は、複雑なコード構文や課題を正確に解決する異なる方法のような、数多くの要因により困難を極めています。本研究では、OpenAIのGPT-3.5モデルを用いて、自動評価プラットフォーム上でプログラミング課題を解く学生向けに、個人化されたヒントを生成することで、フィードバック生成のプロセスを自動化することに取り組んでいます。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
==> 本研究の目的は、自動評価プラットフォームを使用してプログラミング課題を解く学生向けに、GPT-3.5モデルを使用して個人化されたヒントを生成することにより、個人化されたフィードバックの生成を自動化し、評価することです。本研究は、GPT-3.5モデルをプログラミング教育に適用することに関する独自性と創造性があります。

3. 研究の着想を得た経緯や、関連する国内外の研究動向とは何ですか？
==> 最近の研究では、プログラミング課題に対するフィードバック生成の自動化に関する研究が増えています。本研究は、GPT-3.5を使用して個人化されたヒントの自動生成に関する初めての研究であると言えます。

4. 本研究で何をどのように、どこまで明らかにした？
==> 本研究では、GPT-3.5を使用して個人化されたヒントを生成することに成功し、学生たちに実験を行い、その結果を分析しました。GPTヒントが有効な課題では、実験グループはプラットフォームの通常のフィードバックに比べて、課題を正解で提出できる割合が高くなりました。また、GPTヒントが使用できない課題では、実験グループは課題を解くのに必要な時間が短縮されました。ただし、GPT生成のフィードバックに過剰に依存する可能性があります。しかし、学生たちはそれを早期に修正でき、7回目の提出までに同じ割合の正解率を達成しました。

5. 本研究の有効性はどのように検証した？
==> 本研究では、自動評価プラットフォームにおいて、GPT-3.5を使用して生成したヒントを評価する実験を行いました。学生たちのフィードバックから、GPT生成のヒントの有用性が高く評価されたことが明らかになりました。