Language models are susceptible to incorrect patient self-diagnosis in medical applications

Language models are susceptible to incorrect patient self-diagnosis in medical applications

1. 本研究の学術的な背景及び研究課題の核心をなす学術的「問い」は、大規模言語モデル（LLMs）が医療業界で有望なツールとして活用されつつある一方で、実際の患者と医師の対話の複雑さを反映していないため、患者自身が自己診断を試みる場合が一例となります。自己診断が偏った情報を重視するために誤診に繋がることが多いこの現象が、LLMsの診断精度にどのような影響を与えるのかという問いが本研究の中心です。

2. 本研究の目的は、患者の自己診断がLLMsの診断精度にどの程度影響を与えるのかを明らかにし、この問題に対する理解を深めることです。学術的な独自性と創造性は、LLMsが患者の自己診断情報を含む複雑な医療状況にどの程度対応できるかを、実際の医療試験問題を通じて評価した点にあります。

3. 本研究の着想は、患者の自己診断が医療業界で直面する課題であり、そこから生じる誤診などの問題に対処するための方法としてAIを用いるという可能性が注目されていることにあります。その中で、AIが得意とする言語処理の能力が医療分野で活用されつつあり、特に人間とAIの対話を改善する可能性が注目されています。

4. 本研究では、LLMsが患者の自己診断情報に基づく診断にどの程度精度を発揮できるのかを評価しました。その結果、患者が誤った偏った情報を提供すると、LLMsの診断精度が大幅に低下することが明らかになり、LLMsが自己診断の誤りに対して高い誤りの可能性を持つことを示しました。

5. 本研究の有効性は、アメリカの医療試験である米国医師免許試験（USMLE）の選択肢問題を改変し、それに患者の自己診断報告を追加するという方法で検証しました。