あらためて宅建をAI（ChatGPT4o）に解かせてみた
AIが仕事を奪う
士業はAIの前に廃業する。
そう聞いているのですが、一向にその気配がありません。
いつAIは私や士業の仕事を奪ってくれるのでしょうか？
甘えやミスが許されるのも新入社員の時まで。そろそろ社会の一人前としてしっかり稼働してくれないと困るよ。キミ。
ということで筆者は以前、ChatGPT出たての頃に宅建解かせて悦に浸ったりしていました。その時の記事は以下。
宅建の説明とかその時の結果は↑に書いてあるので読んでね♡（PV稼ぎ）
なぜ今回改めてやろうと思ったかというと
「ChatGPT３」から「ChatGPT4o」にAIが進化したからです。
きっと進化したAIならやれる！ぶっ倒せる！！！！
Chat GPTにどう解かせるか？
今回も、問題をコピペして読ませていきます。
役割定義や実施内容の定義をしたほうが解答精度が上がると思うので、簡単に定義したうえで実施していきます。
これ以外のトレーニングデータの追加等はしません。機械的に処理をし、これ以上のプロンプトエンジニアリングの余地を挟みません。
これを５０問繰り返し、採点してみました！
ちなみに、問題は令和５年度（２０２３年）の問題です！
気になる結果は！？！？
合格点が３６点だったので、ぶっちぎりの不合格です。
おい！士業を早く撲滅しろよ！！！！なんでだよ！！！！
深堀
ぶっちゃけここでブログをやめてもいいのですが、一応統計で大学を出ている身として、考察を書いておきます。
というのも、そもそもOpenAIもMetaもGoogleも主要なAI（LLM）を作っている会社は「LLMを単純に適応すると、要約・翻訳程度にしか使えない。知識を問う、専門的に使う際は、それ相応の作り込みが必要」と言っています。
LLMが因果言語モデリングで作られている以上、細かい知識まで解答できないのはその通りです。
例えば問２
隣家との塀に関する定義は記載の通り民法上の225条で規定されています。
LLMが「日本の民法で隣家の塀の話をしている」→「225条」と推論ができたが「境界線上の塀は隣家の協力なしに設置できる」という因果まで推論できなかった。
ということになります。
多分ですが、RAGとして民法をすべて入力していれば、今回の問題はすべて回答できたと思います。
（民法すべてをRAGにするとか個人でやるにはめんどいのでそこまでテストしませんが、、、）
解答内訳からの考察
権利関係14問：9点 （64％）
法令上の制限8問：4点 （50％）
税その他3問：3点 （100%）
宅建業法20問：8点 （40%）
免除科目5問：3点 （60%）
これから「権利問題・税金といった宅建に限らない多く学習データがあり、ニュアンスを覚えていれば正解できる」領域は高得点が取れており、
法令上の制限という「細かい点の暗記」や、宅建業法という「ニッチ法律のかつ細かい点の暗記」という点で点数が伸びていないことが分かります。
つまり、
「日本の宅建などというニッチな資格の勉強を1秒もしてないからダメだった」
「逆に点数取れていない分野は暗記分野だから、知識をRAG等で用意するれば簡単に100点取れる」
「つまり、宅建を学習すれば合格余裕」
ということになる かなぁ。。。。検証してないから何とも言えんけど。
最後に
今回の結果だけをもって「AIもまだまだよのぉ」みたいな気持ちにならないでください。1秒も勉強しない時点で半数以上取れているという脅威を感じましょう。
実際に人間が100時間も勉強して頑張って宅建の資格を取って、
しかもその資格の知識も1週間もすれば忘れている
くらいの頭よりは、一度学習すればすべて宅建の問題をこたえられるAIとして運用が可能な見込みがあります。
今後は、そういったAI等を具備しながら、いかに効率よく働くかという点を考慮し労働していきましょう！
この記事が気に入ったらサポートをしてみませんか？