#50 AIが生み出す教育問題
こんにちは。マクドナルドのホットコーヒーは好きだけどアイスコーヒーは嫌いなすなっちゃんです。
さて、今回お話しするテーマは、「AIがもたらす教育上での問題とはなにか？」です。
それではいきましょう。
教授が、AIを使ったカンニングとみなし学生を冤罪で陥れることは、教師がAIに騙されるよりずっと悪い。
これはあくまで私の意見です。今教授として活躍される方々からは嫌われそうな意見ですが私はこう思います。
教師たちは、GPTZeroのようなAIテキスト検出器(ここで「AI検出器」とは、人間が作ったテキストからAIが作ったテキストを検出するように設計されたAIツールという意味で使っている）で十分だと錯覚して、おそらくより簡単な選択肢に屈しているのだと思います。
当然、教授陣は今不安と心配を抱えているころだと思います。 この秋から始まる新学期は、おそらく例年以上に大変なものになるでしょう。ジェネレーティブAIが教育に与える影響は誰にも予測できません。私たちは皆、その場その場で解決しようとしているのです。
このような教師による先制的な行動は、たとえ善意であったとしても欠陥のある検出ツールを無差別に使用するものであり、AIカンニングの蔓延に新たな問題を上乗せしているに過ぎません。
これらのような事例が示唆するように、この問題がシステム化されることは、深刻な社会的・教育的失敗であるだけでなく、同調圧力に負けずに正しいやり方（単に規則を守るためだけでなく、何よりもまず学ぶため）で物事を進めようとする生徒にとっては、本当に苛立たしいことであり、落胆させられることです。
しかし、AI検知器はAIを検知すべきではないのでしょうか？そもそも、なぜこのようなことが起きているのでしょうか？
教授はAI検知器を使うべきではない
当たり前のことですが、あまり知られていない厳しい真実から始めましょう。
それは、AI検出器を信用することはできないし、商品化したり宣伝したりすべきではない、ということです。
AIツールは、論文制作を、いや、生成と創造を伴うあらゆるライティングタスクを陳腐化させています。だから、教師たちがAI検出器に救いを見出すのは理解できます。
場合によっては、検出器が完璧でないことは十分承知しており、適切な費用便益分析の結果、誤検出（不当な告発）がない（不正行為者が処罰されない）ことが保証されるのであれば、多少の誤検出のリスクを取る価値があると考えます。しかし、これは少数派であり、ほとんどの場合、教授は単にAIの検出器には欠陥がある可能性を考慮に入れていないだけなのです。
これは、自分たちが使っている技術を理解するための努力をしなかった彼らの責任であると同時に、メディアやAI検知器を作るメーカーが、我々の注意を引くのに成功し、AIが生成したテキストが我々の情報チャネルに氾濫する問題はそれほど深刻ではないと確信させるために、AI検知器の能力を誇張する傾向があることの責任でもあります。
大半の教授は、検知器がAIの不正行為者を捕まえることだけを望んでいるのではなく、無謬かつ確実にそうなることを望んでいると考えていいと思います。もちろん、それは称賛に値する立場ですが、「生成するAI」と「検知するAI」の意味的関係が、対等だが相反する能力を意味するという、表面的で論理的だが間違った仮定からは、実現可能であるようには見えません。
生成するAIは、技術的に検知するAIより数歩先に存在しているだけでなく、彼らが行うタスクのタイプは、はるかに低い閾値で品質的に受け入れられるようになります。検知するAIが使用可能なツールであるとみなされるために必要な精度はほぼ100％なのです。
つまり、答えは「NO」なのです。AI検出器は解決策ではありません。AI検知器は常に不正行為者を捕まえるわけではありません。時には不正者でない者を間違って検知することもあります。そして、生徒はこれを回避する方法はありません。AIは、本来想定されている設計されたタスクにおいて、ずっと悪い働きをすることがあるのです。
AI検出器を作る試みはすべて失敗した
しかし、それでも研究者たちの挑戦は止まりませんでした。ChatGPTがリリースされた後、合理的な心配と並行して、教授たちの間で解決策への期待が高まりましたが、それは解決策の約束された有効性よりも、AIが作った文章と人間が作った文章を見分けられないという不安によって煽られたものでした。
OpenAIが世界をひっくり返してから7ヶ月の間、大学も企業も独立した研究者も、生成AIの品質と能力に匹敵するAI検知器を作ることに成功していません。
(AI検知器がどのように機能し、どのように失敗するのかについてより詳細な分析を読みたければ、AI研究者セバスチャン・ラシュカによる、AI検知器の4つの主なタイプをレビューし、それらがどのように異なるかを説明したこの概要をチェックすることをお勧めします。実践的な評価については、Ars TechnicaのBenj Edwardsによるこの記事が結構よかったです)。
メリーランド大学の5人の研究者が6月28日、このテーマに関するおそらくこれまでで最も重要な研究を発表しました。以下は彼ら悲しい結論です：
"本論文では、経験的にも理論的にも、いくつかのAIテキスト検出器が実用的なシナリオでは信頼できないことを示す。
経験的には、大規模言語モデル（LLM）の上に軽いパラフレーザーが適用されるパラフレーズ攻撃は、ニューラルネットワークベースの検出器やゼロショット分類器だけでなく、電子透かし方式を使用したものを含む、検出器の全範囲を破ることができることを示す。我々の実験は、言い換え攻撃を回避するために設計された検索ベースの検出器が、再帰的言い換えに対して依然として脆弱であることを実証する。
そして、言語モデルがより洗練され、人間のテキストをエミュレートする能力が向上するにつれて、可能な限り最高の検出器でさえも性能が低下することを示す理論的不可能性の結果を提供する。
ChatGPTのようなテキスト生成AIは、人間が書いたテキストで訓練され、微調整され、そして強化されるため、上達するにつれて人間が書いたテキストにAIが書いたというフラグが立つことが予想されます。
ウォーターマークも意味がない
ウォーターマーク（透かし）とは、ドキュメント ファイルや画像ファイルのコンテンツに重ね合わせるロゴやテキストのことを指します。
テキストベースの生成AIは、その文章の次にくる最も適切な言葉を出すことが基本になっています。例えば、｢an AI system can…（AIシステムができるのは…）｣という文章を打てば、ChatGPTはその次に｢Lean（学ぶ）｣｢Predict（予想する）｣｢Understand（理解する）｣という単語を持ってくることができるでしょう。これらの単語は、この文章で次に出てくるだろう可能性と関連づけられています。ChatGPTはこの可能性、確率をトレーニングに使った大量のテキストデータから学習します。
生成テキストのウォーターマークは、単語のサブグループを密かにタグ付しておくこと、そして同義のタグがついたワードの言葉選びを故意に偏らせることで可能です。例えば、｢Understand｣という単語の代わりに、同義語でありタグ付けされたワード｢Comprehend｣を使います。このワード選びに周期的にバイアスをかけることで、タグ付けワードを元に文章全体をウォーターマーク化することができるでしょう。
このように、解決策は、AIが生成したテキストをアルゴリズムによって本質的に検出可能にすることにあるのかもしれません。AIツールにウォーターマークを入れることは可能でしょうか？企業は製品にデジタル・スタイルのようなものをデザインできるのでしょうか？
メリーランド大学の研究より：
"我々は、電子透かし方式によって保護されたLLMでさえ、敵対的な人間が隠されたLLMのテキスト署名を推測し、LLMによって生成されたテキストとして検出されるように人間が生成したテキストに追加することができるなりすまし攻撃に対して脆弱である可能性があり、潜在的にその開発者に風評被害を引き起こす可能性があることを示す。"
このように、がっかりさせるような結果にもかかわらず、AI企業はAIが生成したコンテンツを内部的に検出可能なものにすることに全力を注いでいると伝えられています（OpenAIは当初これを試みたが、私の知る限り望ましい結果は得られませんでした）。
彼らは、将来のAIモデルを訓練するために、人間が作成したテキストデータを強制的に選好しています。もし彼らが自分たちのAIモデルの出力をインターネットの他のものと区別できなければ、そう遠くない将来に「AIモデルの崩壊」のシナリオに向かう危険性があります。彼らはすでに合成データを使っていますが、それは高度に厳選された高品質のものでなければ機能しません。
AIが生成したランダムなテキストが、毎日何百万人ものユーザーによってインターネット上に拡散されることは、教師にとっても、AIモデルを作っている企業にとっても良くないことです。しかし、この問題を正しく解決しようという強い動機があるにもかかわらず、最も人材が豊富で、資金力があり、AIに精通した企業でさえ、この問題を確実かつ確実に解決することはできていません（OpenAIは、正確性に欠けるとしてAI検出器を削除しました。今ページを見てみるとNot found と表示されます。）
まとめ
私たちは皆、AI検知器が止められないと思われるAIの大暴走を食い止め、特に教師がAIの不正行為の流行を防いでくれることを期待していましたが、それはもう取り消して大丈夫かと思います。
ウォートン大学教授でAI愛好家のイーサン・モリックは、アルス・テクニカにこう語っています：
"AIを扱う教育者の立場から言わせてもらえば、今のところAIの書き込みは検出不可能であり、今後もそうである可能性が高い。 AI検出器は誤検出率が高く、使うべきではない。"
しかし、悪い戦略を避けることは戦略ではない。AIによる教育システムの強制的な大改革に備え、教師は何ができるだろうか？この疑問については、またいつか記事にしたいと思います。
今回は以上となります。ありがとうございました。
この記事が気に入ったらサポートをしてみませんか？