AI（ChatGPT4）が医師国家試験に合格できた！という話

AIの医師国試チャレンジ再び！

前回の記事では、ChatGPT3（3.5-turbo）を駆使して、医師国家試験問題に挑戦してみました。しかし、結果は予想外に厳しいもので、GPT3が持つ潜在能力を感じつつも、国家試験合格への道はまだ遠いことが分かりました。

そんな中、遂に3月15日にGPT4が登場！これを記念して、「GPT4は医師国家試験に合格して医者になれるのか！？」を試してみたという報告になります。

Twitterの反応の様子（https://twitter.com/mecDrSakura）

Twitterでの反響も上々で、多くの意見を頂戴しました。そこで「情報公開の重要性」と「様々な意見を聞く価値」を痛感し、noteでもこの話題を取り上げることに決めた次第です。

今回は結果自体は非常に単純ではありますが、興味を持ってくれる人が少しでも増えれば幸いですっ

Material&Method

使用モデル：gpt-4
国家試験データ：116回医師国家試験（PDFから文字起こし済み）
　→116回医師国家試験はA～Fブロックからなり、必修（BEブロック）80％、各論総論（ACDFブロック）：72.1％が合格基準

方法はいたってシンプル

問題文：
　[ここに実際の問題文が入る]
選択肢：
　[ここに実際の選択肢が入る]
以上が医師国家試験の問題です。問題に回答してください。返答は「解答, 理由」という形式でお願いします。

プロンプトの入力例①

を400問に実行しただけです。しかし国家試験には「共通の問題設定で連続して出題する問題（連問）」があり、それに関しては

問題1：問題文を読んで問1～3に答えよ。～
問題2：～
問題3：～

プロンプトの入力例②

として、どこからどこが連問であるかを明示して与えました。
また問題によっては問題に画像（レントゲンや病理など）が付して出題されているのですが、今回は画像情報は一切与えていません。

その他、問題文以外には医療的内容に関する事前情報は一切与えていません。純粋なChatGPTの能力を評価してます。

Result

A：60/75、B：42/50、C：50/75、D：63/75、E：43/50、F：60/75
→必修：85/100、各論総論：233/300（77.7％）
→合格基準越えた(｀・ω・´)

※医師国家試験は原則５肢択一なので、ランダム回答した場合の正答率の期待値は約20％
※加えて強調するならば、画像情報なしです。「画像から答えを選べ」という問題は当然間違えているので、画像を与えればもっと上昇するかもしれません。

Discussion

①総合的な印象
前回は多少プロンプトエンジニアリングをしてみたんですが、今回はエンジニアリングなしでこの精度！
医師国家試験を受けたことがない方は、試験に対して「医師国家試験はめちゃくちゃ難しいんだろう」というイメージを持っているかもしれません。確かに非医療者からすればちんぷんかんぷんだとは思いますが、ある程度の医学教育を受けた方であればそれなりに解けます（簡単だとは言いませんが）。国試問題は典型例の集合なので、AIでもそのうち解けるようになるんだろうなぁとは思っていました。が、まさかこの速度で達成するとは…。

②医療応用は可能なのか？
制度・倫理としてのハードルは当然ありますが、技術的には確実に可能なレベルに達してきていると言って過言ではないでしょう。医療テキストに特化して学習させているわけでもないのにそれなりに医学を理解している（ように感じる）ので、専門書に特化して学習させたらどうなることやら…

現時点でも実現できそうな応用方法としてすぐ思いつくのは「問診システム」ですかね。
１：主訴、既往歴、内服歴などの基本情報の確認
２：想定した疾患に特異的な症状の掘り下げ
３：必要な検査をオーダー
とかまでをＡＩで終わらせて、その後に医師による診察を行うといった診療補助システムは、制度・倫理的なハードルが小さく、医師・患者の負担を減らせるで需要高そうという印象。
どこかの会社さん開発してください(/・ω・)/　ついでにご意見番に雇ってもらえると嬉しいです(/・ω・)/笑

③怖い未来
「医師の仕事がなくなること」ではありません。（個人的には医師の仕事が完全にAIにとってかわることはないと確信してます。その話はまた今度）
一番怖いのは「患者が医師の代わりにAIだけ活用して、病院に来てくれなくなること」です。
ChatGPT界隈（というか情報系界隈）であれば多くの人が認識していると思いますが、「ChatGPTは必ず正解を返すとは限らない」という当たり前の大前提が一般の方に伝わらない可能性を医師としては強く懸念しています。

『ChatGPTは「使用者本人が正解・不正解を判断できる」前提のもと使用する補助ツールに過ぎない。』この意識が薄まってしまうと、患者本人がChatGPTで診断して、重病を見逃して手遅れに…という事件が多発しそう。

Conclusion

AIはすでに医学部卒業レベルぐらいの能力は持っている、と言えるのかもしれません。AIと共存できる医師の形を意識することが、これからの医学界の大きな課題だと考えます。

宣伝というか採用アピというか同志募集というか

ということで、これから医療データのAI解析が爆速で進展していくと思います！本気で研究していきたいっ！
医療データ解析に興味ある人・企業・学校がいたら連絡ください(/・ω・)/　（特に「医学教育にAIを！」というのだと本領発揮）
意見交換とか気軽にしたいですね！

他にも仕事としても対応可能（コンサル・開発などなど）。弊社は小さい会社ですがその分柔軟に対応できるかなと思ってます。
P.S. 論文発表もしたいなぁ、という今日このごろ。共著ゆる募。