ChatGPTは医師国家試験の解説ができるか？
ChatGPT-4は医師国家試験に合格できることは示されました。次は「内容を説明できるか？」を確認してみた次第です。（網羅的検討ではなく、ケースレポートです）
目的
医師国家試験の勉強では、膨大な疑問が次から次へと湧き出てきます。この疑問点を気軽に解消できる方法があると勉強の効率が向上！
現状としてはこの役割を担っているのは個人指導講師ですが、AIが代わってくれると学生としては嬉しいですよね。ということで、ChatGPTが個人指導講師としての役割を担ってくれるかを検討しました。
大目的：医師国家試験対策の学習に向けたChatGPT利用法の検討
中目的：疑問点解説できるAI講師の開発
小目的：医師国家試験問題の解説作成
微小目的：医師国家試験問題の解説の要約
（出典：いらすとや https://www.irasutoya.com/2016/08/ai.html ）
仮説
ChatGPT-4は116回医師国家試験に合格できました。従って、ある程度のレベルで医学を理解できている可能性は高いです。それならば、解説もできるのではないだろうか？少なくとも、長い解説を読んで要点をまとめるくらいはできるのでは🤔？
検討方法
試験問題と解説を与えて、要点をまとめてもらう（要約作成タスク）
※この過程では様々なプロンプトデザインを試していますが、非医療者にいたずらに悪用されないため、詳細なプロンプトは非公開とします。ご理解ください。簡易的なプロンプトは以下の通り。試験問題と解説以外は、医学に関する情報は与えていません。
次の文章は医師国家試験の問題と解説です。この文章を用いて、この問題の解説を改めて要約してください。
■問題
（問題文を記載）
■解説
（解説を記載）
結果：できない😖！
解説作成の前段階にある、要約すら十分にはできませんでした。正確に言えば「できるものもあるけど、できないものもある」ため、全面的な信頼ができない。
もともと国試受験させた点数から言えば、ChatGPT-4の能力は「中下位層の研修医レベル」に該当。ある程度のそれっぽい要約はできますが、「明確な論理性」「根拠の提示」に関しては甘々です。まだまだ医学に関しては「専門家」と呼べるレベルにはないです。
ChatGPTが抱える制限？？
いろいろなプロンプトデザインを試しましたが、医学におけるChatGPTには興味深い制限が見つかったので、共有します。一般向けの文書を基本としてLLMが作成されているためか、「『一般的によく知られている疾患』に似た疾患を理解できない」可能性があります。具体例として見つけたのが食物依存性運動誘発アナフィラキシーです。
この疾患は食べ物を食べる＋食後に運動するという2条件が揃うとアレルギー症状を引き起こしますが、食べ物を食べるだけでは症状を引き起こしません。研修医でこの疾患を知らない人はいないぐらいの、超基本的な疾患です。しかし一般的には単純な食物アレルギーの方が圧倒的に認知度が高いでしょう。そのためか、ChatGPTは「食べ物を食べる＋食後に運動する→症状出現」という典型的な病歴があっても、「食物アレルギー」と判断してしまいました。
解説には「運動によって誘発されている」ことが明示されていたので、この疾患を理解していれば、「食物アレルギーとの違い」に着目できるはずです。しかし問題文＋解説に加えて、ある程度誘導しても食物依存性運動誘発アナフィラキシーの要点をまとめることができないという結果に。
逆に言うと、非医療者にあまり知られていない疾患はよく理解できている印象があります。LLMは学習文章量を増やすと、モデルが一般向けの文章に引き寄せられる傾向があるのかもしれません（当たり前？）
専門的な内容であれば一般向けの文章が少ないため正しく理解できる。一般向けに書かれている文章が多いと、理解が非医療者レベルにずれてくる。のかな？
懸念点と可能性：現状は手放しでの活用はまだ難しそう
専門的な文書に特化していないにも関わらず、ある程度のレベル（研修医レベル）の理解ができているのは相変わらず驚異的
しかし、一般向けの記載が多く存在する疾患に対しては、理解度が専門的でなくなってくる（非医療者レベルに引き寄せられる）危険性がある
そのため現状では非医療者によるLLMを用いた医療の利用は絶対に不可能！！！（ネット上のエセ科学者が述べるエセ医学に引き寄せられる可能性があります。ネットには場合によっては死に至るようなエセ医学があふれているので非常に危険）
専門的な知識を持ち、情報の真偽を正しく吟味できる優秀な医者であれば有効に利用できますが、その場合論文や書籍を読む方がより有益な気も。。。
今後求められるのは、専門的な文書により特化したLLMです。ファインチューニングを行い、医療専門家向けのモデルを開発することで、より実用的な利用が期待できます。大手の出版社が協力し合って開発に取り組むことができれば。。。権利的に難しいかな？（期待はしてる）
まとめ
ChatGPT-4は医師国家試験に合格する能力を持っているものの、解説作成や要約にはまだまだ不十分。また、一般向けの文章に引き寄せられる傾向があり、一部のエセ医学については誤った情報が提供される可能性があるため、現状では医療現場での使用は絶対に推奨できません。将来的には、専門的な文書に特化したLLMが開発されることで、医療専門家向けの有用なツールとなることが期待できます。
宣伝というか採用アピというか同志募集というか
医療データ解析や医学教育におけるAI研究をテーマに活動しています（研究の専門は医療データの自然言語処理や実務応用です）。が同志が少ない。。。
医療データ解析に興味ある人・企業・学校がいたら連絡ください(/・ω・)/ （特に「医学教育にAIを！」というのだと本領発揮）
気軽な意見交換～共同研究・仕事依頼まで幅広く募集！
この記事が気に入ったらサポートをしてみませんか？