話題のAI: Chat-GPTに獣医師国家試験を解かせてみた
タイトルの通り、最近話題のつよつよ言語モデルGPT-4に今年（第74回）の獣医師国試の必須問題を解いてもらいました。
獣医師国家試験って？
獣医師って国家資格なんだろうなーというのはだいたいの人がご存知だと思うんですが、実態について知っている方は少ないはずなので簡単に解説します。
獣医師国家試験は毎年2月のバレンタインデー前後に2日間の日程で実施される全問5択のマークシート方式の試験です。問題構成は得点率70%以上で合格の必須問題（50問）と、学説A・B問題（文章のみの問題、AB各80問）と実地C・D問題（画像付きの問題、CD各60問）の全330問です。A～D問題は合計60%以上の正答率で合格です。
※A～D問題で60%以上獲得していても必須が70%に満たない場合は足切り（不合格）となります…
受験資格には国内17つの6年制獣医大学を卒業済（卒業見込）あるいは海外の獣医学部卒が必須、という事で一般の方の飛び込み受験はできないんですね。全問マークシートなんですけど、獣医学部の6年間でしっかり講義・実習を通し知識と技能を身に付けている事が前提となり獣医師としての能力を担保しています。
という事で各獣医学部で単位を取得して卒業できていれば能力的には十分で、獣医師国家試験についてはその最終確認という位置づけが大きく、新卒合格率は例年90%前後という高い水準をキープしていました…今年の国試が終わるまでは。
魔の第74回（2022年度）獣医師国家試験
2023年2月14-15日に実施された獣医師国家試験はこの定説を覆すまさに魔境でした。まずはこちらをご覧ください。
https://www.maff.go.jp/j/syouan/tikusui/zyui/shiken/attach/pdf/shiken-3.pdf
…何があった？？？
いきなりの合格率大幅低下に全国の獣医関係者は衝撃を受けたのでした。
原因として統一された見解などはないのですが、問題を見た感じと受験した卒業生達からの感想を聞いた限り必須問題の大幅な難化が間違いなく主要因だと思われます。
必須問題というのはその名の通り獣医師になるにあたり必須の知識が問われておりA~D問題よりも簡単な基礎知識＋獣医師関連法と倫理問題（子供がお金を持たずに診察に来た時どう対応するか等）という構成です。このため70%という比較的高いボーダーでも毎年ほぼ全員がパスしていたのですが今年はやたらマイナーな法律問題が多く合格率を大幅に下げる事となりました。また、法律問題はA~Dにはほぼ出てこないので例年必須問題に受かる程度の勉強量しか割かない人も多いのも一因かなと思います（自分もそうでした…）。
さて、今日のnoteの本題はこの大幅に難化した第74回獣医師国家試験必須問題をAIは合格できるのか？というのを試してみた、というものです。
Chat-GPTって？
これにあたり使用したのがChat-GPTなんですけど、獣医師国家試験について長文で前置きを書き過ぎて疲れたためChat-GPTについての解説記事もChat-GPTに書いてもらいました↓（以下GPT-4作成の文章）
Chat-GPTとは？話題の対話型AIの特徴や使い方を紹介
こんにちは、AIに興味のある皆さん。今回は、2022年11月に一般公開されて以来、破竹の勢いでユーザー数を伸ばしている対話型AI「Chat-GPT」について、その特徴や使い方などを分かりやすく解説していきます。
Chat-GPTとは？
Chat-GPTとは、Generative Pre-trained Transformer（生成可能な事前学習済み変換器）の略であり、非営利団体のOpenAIが開発した自然言語処理ツールです1。
Chat-GPTは、人間のテキストを学習し、それに基づいて新しいテキストを生成する人工知能モデルです2。人間と同様に自然な会話を生成・理解することができるほか、質問応答、対話生成、アイデアのブレインストーミング、プログラミングのコード生成、オリジナルストーリーの作成など、多様なタスクに対応できます3。
…リンクも貼ってくるの冷静にキモイな？
これを書いてもらうあたり僕がした事と言えば「chat-gptについてブログ記事風に分かりやすく解説してください」と入力しただけなんですよね。
という事で、普通にナチュラルな文章をヌルヌルと出してくれる＋内容も実用に足るのがすごいところです。
この一例として、最新のGPT-4がアメリカの司法試験を上位合格したという衝撃的なニュースがつい最近ありましたが、せっかくなのでこれもGPTに記事にしてもらいました。
GPT-4がアメリカの司法試験を上位合格、AIの法的能力が飛躍的に向上
2023年3月14日、非営利団体のOpenAIが開発した最新の人工知能モデル「GPT-4」が、アメリカの司法試験であるUniform Bar Exam（UBE）に合格したことが発表された。GPT-4は、テキストだけでなく画像も入力できるマルチモーダルなAIであり、複雑な法的推論や文章作成などを人間以上にこなすことができる。
UBEは、アメリカのほとんどの州で共通して実施されている司法試験であり、多肢選択式問題（MBE）、短答式問題（MEE）、実務型問題（MPT）の3つの部分から構成される。GPT-4は、MBEで75％、MEEで4.2/6.0、MPTで4.2/6.0という高いスコアを記録し、全体で297点という成績を収めた。これは、人間の平均スコア（268点）や合格ライン（266点）を大きく上回り、90パーセンタイルに相当する。
この結果は、GPT-4の前身であるGPT-3.5と比べても飛躍的な進歩を示している。GPT-3.5は、2022年11月に一般公開されたChatGPTというチャットボットサービスで利用できるAIモデルであり、MBEのみに挑戦したが、50％しか正解できず、10パーセンタイルにしか届かなかった。また、MEEやMPTには挑戦すらしなかった。
GPT-4がUBEに合格したことは、AIの法的能力が人間と同等かそれ以上になったことを意味する。これは、法律家や法曹界にとって大きな衝撃とチャンスをもたらすだろう。一方で、AIの倫理や社会的影響についても深く考える必要があるだろう。GPT-4はまだ完璧ではなく、間違った情報や偏見を含む可能性もあるからだ。
GPT-4はOpenAIの公式サイトからアクセスできるが、現在は月額20ドル（約2,500円）の有料プラン「Chat-GPT Plus」に加入しなければ利用できない。無料版ではGPT-3.5しか使えず、回数制限やサーバー混雑時のアクセス不可などの制限もある。
GPTの使い方
…もう司法試験には合格できるポテンシャルを秘めているんですね。ただ再三記事に出力されている通りChat-GPT Plus自体は月額2,500円かかり中々興味だけで試しづらいのが正直な所だと思います。
しかし、このGPT-4を実は無料で体験する事ができます。
という事でかつてマイナー検索サイトだったBingの使用率が一躍上昇する事になったのでした。
使い方は簡単で、Bingにアクセスしてマイクロソフトのアカウントでログイン、上部の【チャット】をクリックするだけです（ブラウザはEdge限定なのは注意）
今回は誰でも無料でできるというのを重視してこのBing AIチャットに獣医師国家試験必須問題を解いてもらいます。
獣医師国家試験の問題ってそもそもどこで入手するの？ AIに食わせていいの？って疑問に持つ人もいるかもしれませんが実は試験後1か月ほどで農林水産省がウェブサイトにPDFでアップしてくれます（C,Dの画像は除く）。
ちなみに正答表つき、優しいですね。
さて、前置きが長くなりましたがいよいよ解いてもらいましょう…！
Chat-GPTに必須問題を解いてもらった
例年通り最初の数題は倫理問題ですね。今回は高齢者から猫の飼育ができなくなったという相談を受けた際の適切ではない回答はどれかという問題でした。GPTは①警察に行くよう伝えるを適切ではないと判定しましたが、正答は…
①で合っています！
これは比較的簡単な問題でしたね。さて、次の倫理問題も聞いてみましょう。
…正答が一つという制約を付けるのを忘れてた。ただ問題を見て分かる通りこれは一問目より紛らわしいですね。最も適切な物を選んでもらいましょう。
…正解です。ぱっと見②も正しそうに見えますが、カルテガン見で飼い主さんとコミュニケーションを取らないのは適切な診療姿勢ではないのです。
という事で2問連続正答ですね、この調子で50題全て解説を付けるときりがないのでこっからは巻きで行きます。解説なしで番号だけで回答してもらいます。
さて、50問全ての回答が終了しました。
…気になる成績は
37/50 = 74%
足切りボーダーの70%を突破し見事合格です！！
アメリカの司法試験に加え、Chat-GPTは日本の獣医師国家試験も合格するポテンシャルがある事が明らかになりました。
雑感、結語
やや際どい成績ではありましたが実際に獣医師国家試験の必須問題は合格できました。
特筆すべき点として、最初に示したような倫理問題についても正誤の理由を付けて正答する事ができるという点です。従来のイメージだとAIは知識問題は正解できるが人間の心の機微は理解できない、というものがありますが今回の結果では（少なくとも5択なら）医療倫理に即した行動が出来る事を示しています。
逆に誤答したのはマイナーな獣医学知識・法律問題（）でした。
いずれにせよ、高度専門職の一つである獣医師についても無料で使用できる汎用言語モデルで合格できる可能性が示されてしまいました（A~D問題は試していないですが）。
一つ明文化したいのが、今回の必須問題の難化で涙を飲んだ受験生の方も多かったと思うのですが、今回の記事は皆さんの傷に塩を塗りたい訳ではなく、僕らが望むか望まないかにかかわらずAIによる職業の代替は起こり得るという事を示したかったために作成しました。
上述したように、今回使用したBing内のChat-GPTは無料で、プログラミング知識なく使用する事ができます。また、獣医師国家試験の問題は農水省ウェブサイトに公開されています。
つまり、今回の記事で実施した内容はPC（スマホ）さえあれば誰でもできてしまうという事は改めて強調したいと思います。
今までも（これからも多分）獣医師になる事ができるのは6年制獣医学部を卒業した約1000人の学生だけというかなり狭き門なため、獣医学部に入った/獣医師になった段階で獣医療に関して特別な人材になった感覚を持つ方もいると思います。
しかし上記のように、ただ知識を学ぶだけでは無料のAIと大差がない時代になってきたのは避けられない現実です。
今後の時代で獣医師、或いは他の専門職として生きていくには（教科書やウェブ検索でたどり着ける）専門知識以外の強み・アイデンティティを見出していく必要があるなーと自戒の意味も込めて結語としたいと思います。
（ただのnote記事なのに最終的に獣医学教育みたいになってしまって自分でもびっくり、まあ獣医学部の教員だから許してください）
この記事が気に入ったらサポートをしてみませんか？