Performance of ChatGPT on Chinese Master’s Degree Entrance Examination in Clinical Medicine

Performance of ChatGPT on Chinese Master’s Degree Entrance Examination in Clinical Medicine

下記の文章は論文のアブストラクトをChatGPTに解釈させたものであり、正確性は保証しません。

この英文は、学術論文の抄録です。この研究は、ChatGPTという大規模な言語モデルを使用して、医学教育の領域での信頼性と実用性を評価するため、中国の臨床医学修士の入学試験を用いました。

1. この研究は、先行研究と比較して、ChatGPTの性能を評価しています。ChatGPTは、医学の知識を持ち、疾患の診断と治療に役立つ能力を持っていることが示されています。特に、医学教育の領域で優れたパフォーマンスを発揮しています。

2. この研究の目的は、ChatGPTの信頼性と実用性を評価することです。具体的には、中国の臨床医学修士の入学試験を用いて、ChatGPTの性能を測定しました。

3. この研究で使用したデータは、2021年と2022年の中国の臨床医学修士の入学試験から選ばれた330問の単一選択肢と多肢選択肢の問題です。画像や表は含まれていません。テストの正確性と信頼性を確保するために、クエリと代替テキストのオリジナルの形式をそのまま保持し、修正や説明は行いませんでした。

4. この研究で使用した手法は、ChatGPT3.5とGPT-4の性能を評価することです。ChatGPT3.5とGPT-4の両方が合格基準を上回る平均得点を達成しました。しかし、ChatGPT3.5は病理学部門で最も低い正答率37.5%を示し、GPT-4も生化学セクションで比較的低い正答率60.23%を示しました。さらに、単一選択肢の問題には優れたパフォーマンスを発揮する一方で、多肢選択肢の問題には苦労していることが分析結果から明らかになりました。

5. この研究によって明らかになったことは、ChatGPTが医学の知識を持ち、疾患の診断と治療に役立つ能力を持っていることです。ただし、正確性と信頼性の制約を克服するために改善が必要です。そして、ChatGPTの利用には厳格な評価と監視が必要であり、現在の制約に取り組むための積極的な対策も必要です。