情報セキュリティマネジメント試験 科目A・B公開問題を生成AIで解いてみる

情報セキュリティマネジメント試験 科目A・B　公開問題。
全60問のうち、15問が公開されている。
その15問をチャットGPTで、どの程度の精度で回答するか試してみた。

全ての問題が公開されていないので一部分だけ。

公開されている問題

2023r05_sg_qs.pdf

435 KB

ファイルダウンロードについて

ダウンロード

公開されている回答

2023r05_sg_ans.pdf

64.1 KB

ファイルダウンロードについて

ダウンロード

テキストデータなので、そのままブチ込んでみます。

15問中12問の正解。

間違った問題。
問13
問14
問15

3問の回答が間違っていた。

正解と間違い問題の差

■正解した問題
問1－問12まで、シンプルな文章問題とシンプルな選択肢。

■間違った問題
問13
・表がある。
・組み合わせの選択肢。→正しい組み合わせを選択せよ。的な

一部抜粋

問14
・図がある。→と言っても、いわゆるグラフや図形というより、結構文章。
・組み合わせの選択肢。→正しい組み合わせを選択せよ。的な

一部抜粋

問15
・図がある。→と言っても、いわゆるグラフや図形というより、結構文章。
・前提条件がある。
・問題自体が長く、複雑化。

一部抜粋

結論

・問題の文章自体が長かったり、前提条件があり問題が複雑化。
・選択肢がシンプルでなく、組み合わせなど少しでも複雑化。
・図や表の認識はまだ弱い

この辺りは、回答が間違っている。
まー時間の問題な気はしますが。