Performance Comparison of ChatGPT-4 and Japanese Medical Residents in the General Medicine In-Training Examination: Comparison Study

https://mededu.jmir.org/2023/1/e52202

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

• 論文タイプ：本研究はオリジナルの研究論文で、掲載誌はJMIR Medical Educationです。

• 本研究の背景と関連研究：本研究は、日本の医師の専門能力を評価するためのGM-ITE（General Medicine In-Training Examination）を使用し、AIモデルであるGPT-4と日本の医師のパフォーマンスを比較しました。関連研究としては、GPT-3.5や他のAIモデルを用いた医療試験への応用に関する研究があります。

• 本研究の目的とその重要性：本研究の目的は、GPT-4の信頼性と日本語での応用可能性を評価することです。日本語は英語圏の人々にとって難しい言語であり、医療分野でのAIの信頼性は患者の安全や医療の質に直接影響を与えるため、その評価は重要です。

• 本研究で用いた材料やデータの詳細：本研究では、GM-ITEの過去3年間の試験問題を使用し、GPT-4による回答を収集しました。合計137の問題が分析に使用されました。

• 本研究で何をどのように、どこまで明らかにした？：本研究では、GPT-4の得点が日本の医師の平均得点よりも高くなったことが明らかになりました。また、特に詳細な疾患知識や難しい問題において、GPT-4の得点が優れていることもわかりました。ただし、臨床面接や倫理に関する問題など、日本の医師の得意とする領域ではGPT-4の得点が低くなる傾向がありました。

• 本研究の有効性はどのように検証した？：本研究では、GPT-4の得点を日本の医師の得点と比較することで、GPT-4の信頼性を評価しました。日本の医師の専門的な能力を測定するGM-ITEを用いたことにより、実際の臨床知識とスキルにおいてGPT-4のパフォーマンスを検証しました。