Advantages and pitfalls in utilizing artificial intelligence for crafting medical examinations: a medical education pilot study with GPT-4

Advantages and pitfalls in utilizing artificial intelligence for crafting medical examinations: a medical education pilot study with GPT-4 - BMC Medical Education

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？
   医学生のための選択肢式試験の問題作成は複雑で時間がかかり、臨床スタッフや教員から重要な努力が必要とされます。なので、医学教育の分野に人工知能アルゴリズムを応用することは望ましいと考えられます。

2. 本研究の目的及び学術的独自性と創造性は？
   本研究の目的は、既存の試験テンプレートに基づいて、GPT-4というOpenAIのアプリケーションを使用して、210の選択式の問題試験を作成し、問題のソースを知らない専門医師による徹底的な検証を行うことです。この研究の学術的独自性と創造性は、医学教育の試験作成に人工知能アルゴリズムを応用することの可能性を示している点にあります。

3. 本研究の着想に至った経緯や，関連する国内外の研究動向と本研究の位置づけは？
   医学の分野での試験作成は、習得した知識と予め決められた方法論を組み合わせることに基づいています。そのため、将来的には医学の試験作成のタスクも人工知能の応用の一環となると推測されます。最近の技術の進歩は、この仮定が正しいことを証明しています。私たちが利用した「GPT-4」という人工知能アプリケーションは、「Open-AI」という民間企業によって開発され、米国の医師免許試験（USMLE）にも合格しました。このため、この企業のアプリケーションが既存の試験の修正や新たな選択肢問題の作成にも同様に成功する可能性があると仮定するのは合理的です。

4. 本研究で何をどのように，どこまで明らかにした？
   本研究では、詳細な指示を入力することで、GPT-4が迅速かつ効果的に試験を作成したことが明らかになりました。問題のうち1問（0.5%）が間違いとされ、15％の問題に修正が必要であると判断されました。人工知能によって生成された問題の誤りには、古い用語や不正確な用語の使用、年齢や性別、地理的な感度に関連する不正確さが含まれていました。方法論の問題や知識と臨床的な思考の統合要素を含まない問題など、基礎が欠陥している問題は無効とされました。

5. 本研究の有効性はどのように検証した？
   本研究では、専門医師による厳格な検証が必要とされると述べられています。GPT-4を医学の試験作成の補助ツールとして使用することは可能ですが、専門医師による徹底的な検証が必要です。これにより、試験の質が保証されます。