Assessing the Performance of GPT-3.5 and GPT-4 on the 2023 Japanese Nursing Examination

Assessing the Performance of GPT-3.5 and GPT-4 on the 2023 Japanese Nursing Examination

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？

• 本研究の学術的背景・研究課題の核心は、日本の医療コンテキストにおいて、大規模言語モデルChatGPTのGenerative Pre-trained Transformer (GPT)-3.5およびGPT-4の能力変化を評価することです。

1. 本研究の目的及び学術的独自性と創造性は？

• 本研究の目的は、日本の医療においてChatGPTのGPT-3.5およびGPT-4の能力差を明らかにし、専門的な医療トレーニングによってChatGPTが医療専門家の意思決定を支援するのに役立てることです。本研究の独自性は、大規模言語モデルを日本の医療コンテキストにおいて評価した点にあります。

1. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？

• 近年、大規模言語モデルは、医療分野での利用方法について研究が進められています。本研究は、特にChatGPTの日本の医療コンテキストでの応用に焦点を当て、GPT-3.5とGPT-4の能力を比較しました。

1. 本研究で何をどのように、どこまで明らかにした？

• 本研究では、ChatGPTのGPT-3.5およびGPT-4の能力差を評価するために、日本の医療分野に関する問題を用いました。解析結果により、GPT-4の正誤率が高いことが確認されました。特に、強制問題、一般問題、シナリオベースの問題において、GPT-4の正誤率が高くなっていることが明らかになりました。

1. 本研究の有効性はどのように検証した？

• 本研究では、ChatGPTのGPT-3.5およびGPT-4の能力を評価するために、日本の医療分野に関する問題を使いました。解析の結果、GPT-4の正誤率が高いことが確認されました。これにより、ChatGPTが医療専門家の意思決定を支援する可能性があることが示されました。しかしながら、ChatGPTの回答には誤りが存在する可能性があるため、正しい使用方法や技術トレーニングが必要です。本研究が示唆するように、医療現場での適切な使用は、医療従事者や患者をサポートするためには非常に重要です。