Chat-GPTの出題ミス？別のAIを通して判明した人間の先生のすべきこと

最近プリントや問題作成にAIを使う先生が増えてきています。ちょうど先日も前任校である近大付属の先生と話していてChat-GPTでの問題作成の話になりました。しかし面白いのはその中身。その出題ミスの可能性に気づいたのは別のAI、でも調べてみるとそれは単なるミスではなかったんです。

Chat-GPTで問題作成したら？

それは今回の期末試験で起こった出来事でした。その先生はいつも通り、Chat-GPTを使って４択問題を作りました。ある長文に関する問題です。江藤もそれはよくするのですが、全てが使えるとは限りません。例えばある時、問題の３割が、"All of the above"つまり、４択のうち３つの選択肢が本文に合致するという模範回答になっていました。

割と人間らしくしれっと嘘をつくこともあるので、AIを使って問題作成をするときは必ず見直して模範解答と照らし合わせます。結果的に自分の生徒向けの４択問題としては選択肢が易しすぎたり難しすぎたら手直しすることになります。それはもちろん記述の問題でも同じです。

さて、その先生はちゃんと見直して自分の解答と合うことを確認して提出しました。欧米でも教鞭を取ったことのある、力のある先生です。

新採点システムの採点でエラー？

期末試験の日がやって来ました。今回から新しく使いはじめた採点システムの導入で、さらに採点作業は捗っていたとのこと。（羨ましい！）

ところがです。採点システムがあるエラーメッセージを出しました。ある問題だけ正答率がおかしいというのです。200人の受験生がいて、どうも異常に正答率がおかしいとのこと。

Chat-GPTが作った問題をちゃんと見直して、訂正してから出題したのになあ。問題を再確認してあることに気づきました。

AIきっかけで見えて来たこと

面白いのはここから。その問題は見落としではなかったんだそうです。でも、ネイティブなら選ぶであろう解答が混ざっていたのです。そしてその先生もネイティブ並みの英語の感覚を持つ人。

でも、200人の生徒は違う解答を選んでいました。それはミスと言うより、いわば文化的背景の差異によるものだったそうです。

つまり、AIが作った問題のある意味出題ミスを別のAIが指摘して判明した。でもそれは出題ミスと言うより200人の生徒と先生・ネイティブの間にある文化的背景の違いによる答えの考え方の違いだった、と言うこと。うーん、面白い。

その後、このブログポストを読んでもらってコメントを頂いたので足しておきます。

見事に先日の話に合ってますよ！カルチュラルリテラシーの話になったけど、本質は生徒たちは本文に使われてる単語がそのまま選択肢に使われてたら、正しいと思い込むと言うところに問題が。生徒の解答は教科書の文章と同じものを選んでいたけど、自分が選んだものは共通テストのようにパラフレーズできないと解けないようになっていました。パラフレーズを多用した選択肢の設定まですべきでした。要は、AIを上手く活用するためには、こちらがアウトカムをある程度想定して誘導してやることかな。

元同僚のKさんより

Chat-GPTを使うにしても丸投げではダメで、問いの質が問われますね。

さいごに

これからいろんな仕事がAIに代替されるようになります。問題作りだけでなく、課題も全て人間より素早く大量に、生徒の正答率から判断して的確に出せるようになるでしょうし、エッセーの評価もできます。なんなら進路相談も人間よりも膨大な知識を背景にできるでしょう。

でも、戦々恐々とするのではなく、あえて人間だからできることを考えてみたいのです。それは今回判明したように人間に立ち戻って考えること。AIが作ったものに対して批判的に考え、判断し、自分なりの答えを出していくこと。積み重ねると、自分は誰なのかと言うことが最終的に問われるような気がします。そして人と人との間の関係性やそこから生み出されるものにヒントがありそうです。

10年前にはGoogle翻訳について生徒に使ってもらい、考えました。5年前に教室にやって来たのはDeepL。そして今回のChat-GPT。わたしたちにできることが問われていますね。

オーガニックラーニングでは年間を通して様々な講座やワークショップをしています。いつかお会いできるのを楽しみにしています。

オーガニックラーニング