AIボットの検知はきわめて難しいという論文

生成AIの発展によってAIボットがSNSに増殖することを予想した人は多かったが、今のところAIボットの急増というレポートは見たことがない。その理由はAIボットは検知できないからだった。

●代表的な3つのボット検知ツールでは歯が立たない

生成AI利用がデジタル影響工作に利用された報告は増加しており、もはやAIが関与していないものの方が珍しいくらいと言ってもよいだろう。偽アカウントのアイコン画像、偽プロフィールなど手軽なところからディープフェイクまでさまざまな用途で用いられている。
その一方でAIボットのレポートはほとんどなかった。その理由は簡単でAIボットを検知するのが難しいからだ。

Kaicheng YangとFilippo Menczerによる「Anatomy of an AI-powered malicious social botnet」（2024年5月29日、 https://doi.org/10.51685/jqd.2024.icwsm.7 ）はself-revealingによって検知されたボット（fox8ボットネットと呼ばれる）をサンプルに検知可能性を調査したものである。self-revealingとはAIボットが自らがボットであることを示すことを言ってしまうことだ。たとえば、会話の最中に、「I’m sorry, but I cannot comply with this request as it violates OpenAI’s Content Policy……」と答えてしまったり、「I’m sorry, but as an AI language model, I cannot……」と言ってしまうことである。ポカミスのようなものなので、いずれ対策されるだろう。

論文は、AIボットが生成するテキストは従来よりも人間らしく、安価で使いやすいことから身近な脅威であると指摘している。また、AIボット検知に用いられる2つの方式ブラックボックス（テキストから判別する）とホワイトボックス（生成時点でマークをつける）にはいずれも課題が多い。前者はより多くの学習データが必要になり、後者も対抗策がある。

この論文では、ボット検知ツールとして有名なBotometer、OpenAI自身が2023年に公開したAI text classifier、GPTZeroを用いてfox8ボットネットをボットと判断できるか調査した。結果として、どのツールもボットであると判断できなかった。

論文では最後に3つの課題をあげている。
・より効果的な検出方法の開発
・生成AI利用規制
・生成AIボットについて一般に認知させ、危険性を共有する。ただし、脅威を認知させることでバイアスが増幅される可能性もあり、慎重に行う必要がある。

●感想

論文でとりあげたfox8は特定の3つのサイトへの誘導しようとしていた。国家支援のものではなさそうだ。つまり、技術も資金も限られた金目当ての犯罪集団が行った可能性が高そうに見える。国家支援のより精度の高いAIボットネットがある可能性を示唆しているように思える。
非常に気になったのはAIボットの検知方法や実態についての調査研究が少ないことだ。では、脅威が少ないかというと、むしろ逆でかなり危険だと考えられる。脅威があるのに放置されている点はパーセプション・ハッキング、データボイド脆弱性と同じだ。派手だが、たいした脅威でもないものに注目させ、対策を行わせて、その間に効果的な攻撃を行っている。
可能性だけで言えば、AIボットはすでに広範に活動を行っており、これまでにAIとは気づかれないままにテイクダウンされたこともあったかもしれない。その過程を通して学習し、テイクダウンされずに行動を続けるように進化しようとしているかもしれない。

AIボットネットは地味だが、非常にやっかいだ。さらにやっかいなのは、論文の3つ目の課題にあるように、「脅威を認知させることでバイアスが増幅される可能性」、つまり、人間の利用者は相手がAIである可能性を意識しながらネットを利用することになり、対策のないパーセプション・ハッキングの幅が広がることになる。

関連記事

これまでの誤・偽情報、認知戦、デジタル影響工作に関する見直しのまとめ
https://note.com/ichi_twnovel/n/ne27712c47358

好評発売中！
『ネット世論操作とデジタル影響工作：「見えざる手」を可視化する』（原書房）
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。