Bloomの分類における様々なレベルでのChatGPT-4と医学生のMCQs(多肢選択問題)のパフォーマンス比較

Comparing the Performance of ChatGPT-4 and Medical Students on MCQs at Varied Levels of Bloom’s Taxonomy

Bharatha A , Ojeh N , Fazle Rabbi AM , Campbell MH , Krishnamurthy K , Layne-Yarde RNA , Kumar A , Springer DCR, Connell KL , Majumder MAA
Advances in Medical Education and Practice, 2024

Performance of ChatGPT-4 and medical students on MCQs | AMEP

背景
ChatGPTは医学教育において、教育を改善する有効なツールです。特に学生のエンゲージメントを促進する上で有効である可能性があります。教育での活用を考慮すると、ベンチマーク比較して、そのパフォーマンスを考慮する必要があります。

研究目的
ChatGPT-4と医学生のMCQs（多肢選択問題）におけるパフォーマンスを比較し、Bloomの分類に基づいて評価する

方法
ウェストインディーズ大学バルバドス校の医学科で行われ、ChatGPT-4と医学生が様々な医学コースのMCQsを使用して評価されました。

結果
ChatGPT-4は全体的に73.7％の高得点を達成し、医学生の66.7％を上回りました。しかし、ChatGPT-4のパフォーマンスにはコースタイプによって大きな違いがありました。

結論
ChatGPTは標準化された問題において高いパフォーマンスを示したが、臨床推論や実践スキルには限界があることが示唆されました。

学び
現段階の生成AIにおいて、「単純な想起」であれば、そのパフォーマンスは高いと言えます。しかし、臨床現場は複雑な判断を求められることが多く、全てをAIに委ねることは現実的ではありません。AIを活用しながら、その知識をどう現場の文脈に落とし込んでいくかは、自ら考える学習経験が重要です。