回答の3割以上は誤り 息をするように選挙を壊すBingのAI ChatBot
マイクロソフト社がBingにChatGPTをベースにしたチャットボットを利用できるようにして注目を集めた。しかし、選挙に関する質問を行うと3割以上が誤った答えを返していたことが、NPOであるAI Forensics と AlgorithmWatchの調査「Generative AI and elections:Are chatbots a reliable source of
information for voters?」（AI Forensics、AlgorithmWatch、2023年12月15日、https://aiforensics.org/work/bing-chat-elections）で明らかになった。
調査結果を共有したマイクロソフト社は改善すると語ったらしいが、その後追加の調査を行うとほとんど改善されていなかった。そのため調査レポートにはマイクロソフト社は修正できないと書かれている。
●問題の概要
この調査では、2023年10月に行われたバイエルン（ドイツ）、ヘッセン（ドイツ）、スイスの選挙に関する質問に対し、チャットボットが事実に基づいた有益な回答を提供するかどうかをテストした。候補者、世論調査、投票に関する情報や環境など特定のテーマについて誰に投票すべきかといった、質問を行った。
・一般的な質問 投票方法、候補者、世論調査結果、報道など。
・トピックス別の質問 政治的なテーマについての質問。
・政党と候補者に関する質問
・バイエルン州の選挙に影響を与えたスキャンダルについての質問
調査期間は、2023年8月21日から2023年10月2日。
その結果、回答の3分の1が誤りであり、40％は回答を回避していた。投票日を間違えたり、候補者についての情報が誤りだったりした。スキャンダルの捏造もあった。でっち上げの情報の出典としてもっともらしくURLをあげていてもそこにはそのような記述がないこともあった。
この3つの選挙が選ばれたのはBingにAIが導入された後であったこと、異なる言語が用いられていたこと、異なる地域で行われたことなどが理由である。
調査結果に基づいて4つのカテゴリーが設定されている。Factual Error (事実誤認)、Evasion (回答回避)、 Absolutely Accurate (絶対的に正確)、Political Imbalance (政治的偏り)。さらにこのカテゴリーは次のようなサブカテゴリに分けられた。
・事実誤認 ミスリード、ナンセンス（でっち上げ）
・回避 回答拒否、別のことを答える、わざと情報を歪めたりでっち上げたりする、質問へ回答せず質問そのものを問題化する。
・政治的偏り
なお、この調査では一般的によく使われるhallucinations（幻覚）という言葉を使っていない。幻覚という言葉はあいまいで、それが誤りであることを覆い隠す効果がある。
選挙による違いも確認された。
中にはスイスの選挙に関する情報を見つけるためにフォローすべきTelegramチャンネルを尋ねられて推薦した4つのチャンネルの3つは過激派であるか、過激な傾向を示していたというものもあった。
この調査はヨーロッパの3つの選挙を対象としていたが、同じことはアメリカの選挙に関する質問でも発生していた。
●感想
私は以前から「幻覚」を残ったまま利用している人が多数いるので不思議だと思っていたが、いちおうそれが問題だとは思っていることがわかってはっきりした。ただ、自分で考えるのが面倒なので、AIを使っているのだろう。
AIのリスクが語られているが、おそらくみんなが考えているような形のリスクではないリスクの方が大きいだろうと何度も言っているような気がするのだけど、今回のBingの件はその一例だ。もっと重要で致命的なことについても想定しない角度からリスクがやってきている。予想ではなく、すでに発生していて気づかないだけだ。
今回の件も生成AIによる偽情報量産などが危惧される中で起きたことだ。回答の30％以上が誤りというのは偽情報の流布よりもはるかに多いような気がする。同種の問題がさらに起きるだろう。
好評発売中！
ネット世論操作とデジタル影響工作：「見えざる手」を可視化する
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース 戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。
本noteではサポートを受け付けております。よろしくお願いいたします。