【情報Ⅰ】 1時間でサクッと！ ChatGPTを使って定期試験問題を作ってみた

はじめまして！
ライフイズテックで学校向けプロダクトの教材開発を担当している、ないとうさおりと申します。
自己紹介はまた次の機会に書くこととし、早速「ChatGPTを使って定期試験問題を作ってみた！」、その制作過程をご紹介します。

今回は、ChatGPT（GPT-4）を使って、情報Ⅰの1学期中間試験の問題を作りました。
試験範囲は「情報社会の問題解決」（弊社ライフイズテックレッスンのChapter1）です。

問題作成に必要な「手順」の提案

まずは、試験問題を作成するためにどんなステップを踏む必要があるのかを、ChatGPTに提案してもらいます。

これはなかなかいい感じ！先生方が問題を作成するときと、ほぼ同じ手順なのではないでしょうか。

このうち、手順1〜4の部分はChatGPTから逆質問してもらうことにしました。
手順3の問題形式については、目標に応じた形式をChatGPTに提案させることも可能そうですが、実際は実施と採点の手間を考慮して、事前にある程度決めていることが多いのではないかという判断からです。

手順に沿って「逆質問」

こんな感じで指示をしました。

ちなみに、例として与えた「今回の試験問題が達成すべき教育目標は何ですか？」という質問は、日本語としてはちょっと変なのですが、ここではあえてChatGPTが回答した「手順」の中の文言をそのまま使用しています。

これです。

技術的な根拠があるわけではなく、単なる体感ですが、こちらは「同じ意味のまま言い換えた」つもりでも、ChatGPTはそこに別の文脈を見出して不要な忖度をされてしまいがちな気がします。
特に意図がなければ、ChatGPTから出力された語彙に、こちらが合わせてあげるのがおすすめです。

手順1. 教育目標は？

指示どおりに質問してくれました。

教育目標としてどの粒度の情報を与えるか迷いましたが、ここでは大きな方向性として、学習指導要領に示された内容のうち、(1)情報社会の問題解決の部分を引用することにします。

手順2. 試験範囲と重要なトピックは？

次は試験範囲と重要なトピックを示します。

ここでは、ライフイズテックレッスンの授業管理画面に表示している、「レッスンで学ぶこと」の部分をコピペしました。

ライフイズテックレッスンの授業管理画面

手順3. 試験問題の形式は？

試験問題の形式は、次のようにしました。
実際はもっと問題数が必要だと思いますが、まずはお試し。

手順4. 難易度とバリエーションは？

必要な情報は手順3までで大体示せたので、ここは適当に答えます。

逆質問への回答はこれで完了です。

問題の作成

いよいよ問題作成に入ります！どんな問題が出てくるのか、どきどき。

うーん…？　手順1から4の回答、踏まえてる？？
手順4で「選択式の問題は難易度を低めに」と指示したのも悪手だったかも。

雲行きが怪しくなってきましたが、ひとまず問題形式ごとにやり直しさせてみます。

選択式の問題

おお！　問題によって質に差はあるものの、かなり持ち直しました！

穴埋め式の問題

続いては、穴埋め式の問題。

この辺りはもう少しテコ入れが必要そうです。

記述式の問題

最後は記述式の問題。

穴埋め式の問題作成は終わっているのに、間違えて「続けてください。」と指示したら、次にやりたいことを察してくれました。さすが。

なかなか重要なポイントをおさえた出題になっているのではないでしょうか？
ついでに、解答例も作成してもらいます。

問題のレビューと修正

最後に問題のレビューと修正を行います。
先ほどの問題で、特に気になった部分に観点をしぼってレビューするよう指示しました。

あれ？　そんな問題あったっけ…？？（ない）
存在していない問題のレビューが行われてしまいました。

きちんとレビューが行われているのか極めて怪しいですが、とりあえず穴埋め式と記述式についても同様に指示します。

修正の必要はなく、適切な問題として使用できるそうです。本当かなぁ…。

まとめ

いろいろと課題が残りつつも、今回の問題作成はひとまず終了です。
問題の完成度としては、60%程度といったところでしょうか？
所要時間は、ここに掲載していない試行錯誤とやり直しも含めて、1時間程度でした。

上手くいったこと

・教育目標（手順1）と重要なトピック（手順2）を踏まえて、なかなか重要なポイントを付いた問題が出てきた

（例）
・情報社会におけるデジタルデバイドの原因となるものは何ですか？
・インターネット上で情報を収集する際に注意すべきことは何ですか？

これらについては、大学入試センターが公開している共通テストのサンプル問題・試作問題にも同様の問題がありましたね！

上手くいかなかったこと

・選択式の問題で、生徒の典型的な誤答を想定して、まぎらわしい選択肢を作成すること
・穴埋め式の問題で、問いたいことを踏まえて、必要な情報を網羅した文章を作成すること
・穴埋め式の問題で、文章中の特に重要なポイントを空欄にすること

このあたりは、良い例を示しながらチューニングしていく必要がありそうです。

その他

・手順の中に、観点別評価の観点の設定が含まれていなかった
・難易度の設定が曖昧だった
・問題のレビュー方法は検証の必要あり

GPT-3.5でもできる？

今回の「手順」をコピペし、以降はGPT-3.5を用いて同様のやり取りをしてみました。
入力（指示）をなかなか意図通りに解釈してもらえず、途中で何度か軌道修正しつつも、最終的にこのような問題が作成できました。

いかがでしょうか？
GPT-4の作成した問題と比較すると、正答を特定できない問題が多いことや、内容の重複が気になりますが、アイディア出しのお供としては十分に活用できそうです。

最後に

このGW期間中、以下の3つを自分への宿題としていました。

1. ChatGPTを使って定期試験問題を作る
2. 1の制作過程をnoteで公開する
3. LLMの技術的な勉強をする

5連休を前に2つ目まで完了です。やったね！

今後も情報分野の教材制作に関して、誰かの役に立つかもしれないあれこれを発信していきたいと考えていますので、どうぞよろしくお願いいたします！