Evaluating GPT-4’s Proficiency in Addressing Cryptography Examinations

Evaluating GPT-4’s Proficiency in Addressing Cryptography Examinations

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は、「人工知能（AI）モデルであるGPT-4の暗号学的な問題への適用可能性と有効性を評価すること」です。つまり、GPT-4が暗号学の問題を解くことができるかどうかを調査し、その結果を提示することが目的です。

2. 本研究の目的は、GPT-4の暗号学的な問題への適用能力を評価することです。これにより、GPT-4が暗号学的な試験における役割や制限を理解することができます。本研究の学術的独自性と創造性は、GPT-4を用いた暗号学的問題の評価方法を開発し、その結果を詳細に報告する点にあります。

3. 本研究の着想に至った経緯は、AI技術の急速な進歩に伴い、会話エージェントであるChatGPTやGPT-4のようなモデルが注目を浴びるようになったことからきています。しかし、暗号学の分野では、AIの能力を評価する研究が不足していました。そこで、本研究は、暗号学的な問題にAIを適用し、その効果や限界を評価することを試みた最初の研究として位置づけられます。関連する国内外の研究動向は、この分野でのAIの応用や暗号学の試験へのAIの利用に関するさまざまな研究を調査し、その結果を比較しながら本研究を展開しました。

4. 本研究では、GPT-4の能力を評価するために、実際の学術試験から抽出したさまざまな難易度の暗号学の問題をモデルに提供しました。これにより、モデルが問題を理解し、解釈し、正しい解答を生成できるかどうかを評価しました。評価は、口頭試問に触発された基本的な問いに対して208問中201問で正解し、書かれた暗号学1の試験では90点中80.5点を獲得し、暗号学2のコースからの高度な問題では385点中287点を獲得しました。

5. 本研究ではGPT-4の有効性を複数の観点から検証しました。具体的には、モデルが基本的な暗号学のコンセプトを理解し、多くの問題を解決できることを示しました。これは、学生にとっては優れた能力レベルであると考えられます。ただし、特定の複雑な問題に対しては、モデルが徹底的な専門知識を必要とする制約に遭遇することがあります。