「ChatGPT3.5」に社会保険労務士試験をとかせてみた。

Introduction

昨今、生成AIが今の仕事を変革する。産業革命以降の最大の革命だ！との声を聴くようになってから久しいですね。小職も「社会保険労務士」ですので、生成AIを利用する機会は多くなってきました。でも、自分で実験したことがないことに気づき、元研究者の端くれとして、自分なりに検証してみました。

Discussion

• 無料で提供されている「Chat GPT3.5」（以下、AI）を利用した。

• 設問は、『「〇〇」の問題を解いてくれませんか？』と入力して解答してもらった。

• 問題は、昨日、9/24にアップロードしました2022年の徴収法（略称、以下同じ）の問題。

• 第５４回社会保険労務士試験　択一式（徴収法　災問８から10　雇問８から10）

• https://note.com/sr_kamide/n/n7189d42b8d2e?sub_rt=share_pw

Let us try!

災問８

これを、災問９から雇問10まで、上記の●●だけ変えて解かした訳です。

結果

災問８　AI　C　正解は、E　⇒　不正解
災問９　AI　D　正解は、A　⇒　不正解
災問10　AI　E　正解は、B　⇒　不正解
雇問８　AI　A　正解は、A　⇒　正解
雇問９　AI　B　正解は、C　⇒　不正解
雇問10　AI　B　正解は、B　⇒　正解　　　正答率は、2/6　でした。

検証

AI自身がどのように解いたのかを聞いてみました。

⇒情報のカットオフ日が「2021/09」が主な原因のようです。

結論

AIは、2022年の徴収法の問題の小職の問いかけには、正答率が　３３％　だということがわかりました。問いかけ次第では、正答率は変わると思います。そして、有料版の「Chat GPT4.0」は正答率が高いと思います。

例えば、徴収法の全部をコピペして、

「徴収法全文●●」をもとに「問題文▲▲」の問題を解いてくれませんか？

と聞いてみると、正答率は上がるという仮定をもちました。

この検証は今回しませんが、個人的には、AIの情報の確度があがることには賛成です。AIができることはAIにしてもらえばいい。AIができないことを、このように１つずつ検証してわたしが補い、工数を短縮して、従前よりもよいサービスを顧客に提案できれば、顧客も喜ぶし、多くの方に関わる時間がふえるはずです。社労士業界ももっと盛り上がると前向きに考えています。

みなさんは、AIとどのようにお付き合いしますか。