Chat GPT3.5と4.0で正答率を比較してみた。

Introduction

昨今、生成AIが今の仕事を変革する。産業革命以降の最大の革命だ！との声を聴くようになってから久しいですね。小職も「社会保険労務士」ですので、生成AIを利用する機会は多くなってきました。でも、自分で実験したことがないことに気づき、元研究者の端くれとして、自分なりに検証してみました。

Discussion

• 無料で提供されている「Chat GPT3.5」と有料で提供されている「Chat GPT4.0」（以下、3.5、4.0）を利用した。

• 設問は、『「〇〇」の問題を解いてくれませんか？』と入力して解答してもらった。

• 問題は、昨日、10/1にアップロードしました2022年の健康保険法（略称、以下同じ）の問題。

• 第５４回社会保険労務士試験　択一式（健康保険法　問１から10）

• https://note.com/sr_kamide/n/nbb40b529329c?sub_rt=share_pw

Let us try!

健康保険法問1

これを問１から10を「Chat GPI3.5」で行ったあと、「Chat GPI 4.0」でおこなった。

Conclusion

問1　3.5　×　4.0　×
問2　3.5　×　4.0　×
問3　3.5　×　4.0　×
問4　3.5　×　4.0　×
問5　3.5　〇　4.0　〇
問6　3.5　×　4.0　×
問7　3.5　×　4.0　×
問8　3.5　×　4.0　×
問9　3.5　×　4.0　×
問10　3.5　×　4.0　〇

3.5は正答数は、1/10
4.0は正答数は、2/10

なので、ほとんど変わらなかった。