Examining the Influence of Varied Levels of Domain Knowledge Base Inclusion in GPT-based Intelligent Tutors

Examining the Influence of Varied Levels of Domain Knowledge Base Inclusion in GPT-based Intelligent Tutors

1 本研究の学術的背景は、大規模言語モデル（LLM）を用いたチャットボットが進化してきたものの、クエリへの不正確な回答が頻発しており、これが教育環境での利用を妨げているという問題です。核心となる学問的「問い」は、知識ベース（KB）とLLMを組み合わせることで、智能チューターの回答の確実性を向上させることができるかどうかという点です。

2 研究の目的は、教育監督者が授業カリキュラムをシームレスに統合できるスケール可能なKBを設計し、それを智能チューターシステムが自動的に処理することです。また、本研究の学術的独自性と創造性は、これまでの研究ではあまり試みられてこなかった、KB統合によるLLM智能チューターの有効性検証です。

3 LLMによるチャットボットの進化とその使用に関する課題を認識し、教育環境での利用に焦点を当てた研究を行う動機となります。特に、教育上の相互作用の低下といったオンライン学習の問題を解決するために、AIとLLMを活用した解決策を模索しました。

4 本研究では、学生と人間の専門家が参加し、AIカリキュラムについての質問に対する回答と評価を行う評価方法を設計しました。結果として、KBへのアクセスが提供された場合、智能チューターの正確性が向上することを明らかにしました。また、KBへのアクセスがある智能チューターは、教師のように話す能力や学生を理解する能力では人間の専門家を上回りました。

5 それぞれの知識の階層レベルの効果を評価・定量化するため、LLM智能チューターに非営利の中等教育非公式学習プラットフォームのAIカリキュラムを提供しました。そして学生と専門家によるAIの問いに対する回答と評価、さらに学生による評価という3段階のパイプラインを設計し、KB統合の影響を観察しました。