実験ITパスポート試験をchatGPTで解く

実験目的：生成AIを利用して、国家試験、各種資格試験の過去問データを投入し、今後出題される可能性がある問題を作ってもらう。

恐らく、試験自体は問題なく解けると想像するが、実際に以下の手順で実施した場合、作業場どこにボトルネックが出てくるかを確認したいので、まずは自分で実施してみようかと。
これが、簡単にできれば誰ても試験に向けて推測問題の作成ができるのではないかと思いまずはチャレンジ。
※当然、GPTから誤った回答が出ることもあるが一旦やってみよう。

大枠全体の流れ
①過去問題をチャットGPTに入力
②問題を解いて学習させる
③次回の問題を推測

細かい手順
①公開されている過去問のPDFをダウンロード
②PDFファイルを読み込ませて、回答させる
③正答率の確認　※おそらく合格ライン
④更に過去問を入力、試験の傾向など含め次回の試験出題を考えさせる。

PDFファイルのファイル

さて、まずは問題をダウンロード。
しかし、ここでいきなりの誤算。PDFファイルが…紙を読み込んでいるので、文字がテキスト化されていない。
なので、PDFファイルをGPTが認識するように、変換しないとイケない作業が発生。正直これは誤算だった。
とは言え、これであきらめたくないので、googleドキュメントでテキスト化してみる。※2024年5月の時点で、GPTにはOCR機能は無し。

実際の表問題をgoogleドキュメントでテキスト化した場合　

上の画像の通り、表問題や図形などは上手くいかないと想像していたが、
文章問題もOCRが意外と機能しない部分もあり、修正に結構時間を取られる。

一旦図形の問題は、横に置いておいて、表問題はエクセル等でそれなりに作り直す。これに結構時間を取られる。3‐4時間くらいは…

作り直したも表問題

他にも、文字認識が上手くいかず、修正。
例えば、選択肢にある「エ」が上手く認識にしないので、すべての問題で
選択肢を「エ」へ修正。一括修正と思ったのだが、読み込んでいたり、意図しない文字への変換もあるので、結果、目視…

ほとんどの文章はテキスト化されるがなぜか「エ」が苦手

GPTにテキスト化したファイルを読み込ませてみる。

読み込ませ完了。指示しないと勝手に動き出すので止めておく。

さて、ここから問題を解かせてみる。

最初の5問を解かせる。すべて正解

問題や、選択肢までご丁寧に記載するので、一気に問題と解答だけさせる。

はい。100問なんて一瞬で回答してくれます。

自己採点も、やってもらおうかと思い回答を入力して自己採点を依頼

「手動」で照合って言葉がなんか可愛い。

で、これ本当にあっているのかと思い、今度は私が本当に手動で採点。
すると、100問中で正解が90問。

結論、試験自体は合格

詳細はこんな感じ。やはり表問題や図形が弱い印象。
間違い10問の内訳は、表問題5問、計算問題1問、文章問題4問。

分野別の正答率

今回公開されているすべての過去問題を、入力しようかと思いましたが、
PDFファイルの変換に想像以上の時間がかかったので、データがされている問題じゃないとちょっと時間がかかりすぎるので、一旦ここで終了。

まあ、有料OCRサービスなど他のツールを使ってその精度が高ければもっと簡単にできそうな気がした。
チャットGPTにもOCR機能が付くような気もする。

入力したデータが少ないのは、悪いが、一応次回の予想問題を作成してもらう。

問題の一例

問題をいくつか作ってもらったが、やはり本番の試験よりは深みが無い。
恐らく過去問題の入力データの量と、プロンプトの問題だとは思う。

一方で、先生やテストを作成する人にとっては、非常に便利なサポートツールになるのでは無いか？現段階では、そんな感じです。

もう少し、実験しやすい内容でいろいろ試してみよう。

どなたか、他に良い方法あったら教えてください。