Influence on the accuracy in ChatGPT: Differences in the amount of information per medical field

https://www.sciencedirect.com/science/article/abs/pii/S1386505623003015

以下は、上記の論文のアブストラクトをChatGPTに解釈させたものです。解釈の正確性について保証はいたしません。

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は？
   本研究の背景には、最近の急速な進展を遂げているAI技術と医学領域での利用に対する関心があります。AIの一つであるChatGPTは、OpenAIによって開発されたモデルで、人間の言語を理解し応答する能力を持つ自然言語処理技術を実装しています。ChatGPTは医療に限らず、さまざまな分野で利用されることが期待されています。しかし、医療分野での利用においては、その能力や利用上の注意点を理解することが急務となっています。

この研究の学術的な問いは、ChatGPTのトレーニングを受けた分野ごとの情報量の差が、回答の正確さに比例しているかどうかを調べることです。つまり、医療分野ごとの情報の公開量が、ChatGPTのトレーニングや回答の正確さに関連しているのかを検証することが目的です。

1. 本研究の目的及び学術的独自性と創造性は？
   本研究の目的は、GPT-3.5とGPT-4の医療知識における回答の正確さと一貫性の比率を検証することです。具体的には、日本国内の医学試験をChatGPTに受けさせ、回答の正確さや一貫性の率を調べました。さらに、Web of Science Core Collectionにおける各医学分野ごとの文献数と正確さの関係を評価し、正確さに影響を与える要因も検討しました。

本研究の学術的な独自性は、医療分野におけるChatGPTの性能や利用上の注意点に関する知識の不足点を埋めるという点にあります。また、医療分野ごとの情報公開量と回答の正確さの関係についても初めて検証しました。

1. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
   本研究の着想は、ChatGPTの医療分野での強みと弱点があり、それらがそれぞれの分野の情報量と関連していると考えたことから生まれました。しかし、これまでにはこのような差異は評価されていませんでした。また、質問形式の違いも正確さに影響する可能性があります。さらに、ChatGPTの性能は使用される言語にも依存するため、英語以外の言語でも検証が必要です。

関連する国内外の研究動向としては、ChatGPTに関するいくつかの論文が発表されていますが、これらの研究では本研究で詳細な検証が行われていないと言えます。そのため、本研究ではGPT-4のパフォーマンスを日本語で書かれた日本国内の医学試験問題に対して検証し、その回答の正確さや誤答のリスク要因を分析しました。

1. 本研究で何をどのように、どこまで明らかにした？
   本研究では、GPT-4の医学知識を日本の医学試験問題に対して検証しました。その結果、GPT-4は試験で81.0%の正答率と88.8%の一貫性率を記録し、GPT-3.5と比較して改善が見られました。正答率と一貫性率の間には正の相関があり（R = 0.51, P < 0.001）、医学分野ごとの文献数と正答率も有意な関連がありました（R = 0.44, P < 0.05）。そのため、情報の公開量が少ない医学分野では、正確さの低下が起こる可能性があることが示されました。

2. 本研究の有効性はどのように検証した？
   本研究では、ChatGPTの回答の一貫性を確認することが、誤答の特定に役立つことを示しました。また、公開情報の少ない新薬や疾患などのトピックに関してChatGPTに質問すると回答の正確性が低下する可能性があることも報告しています。

以上のように、本研究では医療分野でのChatGPTの性能や利用上の注意点について具体的な検証を行い、その有効性を示しました。