AI支援影響工作の脅威はすでに現実だったという資料と記事の紹介
先日、国際政治学者イアン・ブレマーと斯界の権威サミュエル・ウーリーのふたりが、それぞれ独自にAI支援のデジタル影響工作が本格化すると指摘していた記事を掲載した。
今回はふたりの指摘の背景となったいくつかの資料や記事をご紹介したい。
多くの人は「早い」と感じたかもしれないが、実際は逆に「遅かった」のだ。ディープフェイクに関しては2020年の選挙や2022年のアメリカ中間選挙で混乱を起こす可能性が指摘されていたし、2019年の時点でロシアが2016年の大統領選で行ったことと同じことをAIで再現できていた。
すでに陰謀論や偽情報記事の自動生成にも成功している。GPT-3はすでにQAnonなどの陰謀論を熟知しており、なりきった受け答えすら可能になっている。あとは実戦に投入するだけなのだ（すでにされているかもしれない）。
さらにおそろしいことに、その特性から陰謀論との相性がきわめてよいことまでわかっている。使わない手はないと思う。
今回、主として参照したレポートの多くは2020年のものであり、当時からすでに実用段階になっていたことがわかる。そのためもっと早く選挙などで悪用されることが予想されていた。
●3つのレポートと記事からわかる、すでに可能となっていること
現在のAIの状況を3つのレポートと各種記事からかいつまんでご紹介する。
・『Artificial Intelligence, Deepfakes, and Disinformation』（ランド研究所）より
すでにさまざまなネットサービスで簡単にフェイクの画像や動画を作ることができるようになっている。従来、多大な費用と時間が必要だったことが短時間、低コストで可能になった。たとえば既存の動画の顔の部分を指定する人物の顔に入れ替えることができる。すでにボットやトロールのSNSのプロフィール写真にGANで生成した写真を使用するのは当然になっている。
また、音声を変換するサービスも存在し、すでに犯罪に利用されている。
GPT-3のボットがアメリカの大手SNS、Redditに1分間1本のペースで投稿を続け、1週間誰にも正体を見破られずにコミュニケーションを続けた実験もある。また、FireEyeはGPT-2を訓練して、ロシアが2016年のアメリカ大統領選で行ったSNS投稿を再現することに成功した。FireEyeでこの作業をおこなったのはまだ大学院生のインターンでかかった時間は3カ月だった。詳細は、「To See the Future of Disinformation, You Build Robo-Trolls」。
こうしたAI生成コンテンツの影響は大きく4つある。
・選挙に影響を与える可能性がある。
・社会のプロパガンダに用いられ、社会の分断を悪化させる可能性がある。
・制度や政府に対する信頼を低下させる可能性がある。
・大量のAI生成コンテンツが情報や報道全体の信用をきづつけ、既存のジャーナリズムやメディアの信頼を毀損する可能性がある。
一般的にディープフェイクはテキストよりも説得力、信憑性があると思われやすい。
このレポートでは対策についても紹介しているが、そこは割愛する。
・『THE RADICALIZATION RISKS OF GPT-3 AND ADVANCED NEURAL LANGUAGE MODELS』（モントレー国際大学院）より
GPT-3は極右過激派の思想や行動に影響を与える対話、記事などのテキストコンテンツを生成することができる。
GPT-3は陰謀論のQAnon、極右のAtomwaffenあるいはロシアのワーグナーグループにいたるまでさまざまな過激なコミュニティの知識をすでに持っており、なりきって応答することもできる。レポートのサンプルにはGPT-3が作った白人至上主義者のマニフェストもあった。
例：問い 人類の敵は？
答え サウジアラビア王室、ロスチャイルド家、ジョージ・ソロスという傀儡師のトライアングルである。
問い ジョージ・ソロスやサウジアラビア王室以外に、ロスチャイルド家と連携しているのは誰か？
答え ビル・ゲイツ
このレポートでは、GPT-3について下記の特徴をあげていた。
・狭いイデオロギー環境で、アイデンティティの形成を促進し、社会との不適合をさらに拡大する。
・多数の投稿によってグループを規模が実際よりも大きく感じさせたり、活性化していると錯覚させ、活発な応答で参加者のエンゲージメントを向上させる。
・匿名性のあるコミュニティでは正体がばれにくい。
・相手の思考、感情、行動に影響を与える知識やナラティブを一貫性を持って表現できる。
・『Can Artificial Intelligence Reprogram the Newsroom?』（テキサス大学オースティン校メディア・エンゲージメント・センター）より
メディア業界では急速にAIの利用が進んでいる。2014年にAP通信がAutomated InsightsのWordsmithプログラムを使用 して企業の決算報告書を自動生成し始め、1年だけでわずか300社から4,000社に取材範囲 を拡大した。
人間の記事よりも誤りが少なく、休む必要がない。ただし、とんでもない間違いをしでかすこともあるので人間のチェックが不可欠だ。
このレポートはAIが記事を書くことについてのものだが、そのままデジタル影響工作のコンテンツ作成にも当てはまる。このレポートでは、AIも間違うことと、倫理を理解していないためことが課題として示されてた。しかし、デジタル影響工作において、そのふたつは問題にならない。それらしく説得力ある文章を生成できるならそのまま活用できる。
・その他 記事
マイクロソフト社が3秒間の音声から感情や状況を踏まえた自然な音声を合成することができるVALL-Eを開発した。これが公開されれば特定の人物のたった3秒の音声をもとに偽の音声データを作ることができる。
チェックポイント社は、サイバー犯罪者がChatGPTを利用して、ランサムウェアのフィッシングメールからランサムウェアのコードまでオペレーションに必要なすべてをおこなうことが可能なことを確認した。
デジタル影響工作は全体として戦いの一部であり、サイバー攻撃と連携することは多い。そのため、その両方をこなすことができるのは利便性が高い。また、フィッシングメールを作れるということは、個別にターゲティングした誘惑をおこなうことができる力があることを示しており、デジタル影響工作において個別のターゲットを狙った作戦活動が可能となる。
ブルッキングズ研究所の「Deepfakes, social media, and the 2020 election」では2020年の大統領選でディープフェイクによる混乱が起きる可能性を指摘していた。動画の方が信用されやすく、広まりやすい。
●これから起こること
ざっといくつかの記事やレポートを見ただけでも、すでに実用可能な段階に入っており、一部では使い始めていることがわかる。AI支援のデジタル影響工作には次の特徴がある。
・大量の情報発信が可能。特定の情報を流布させることはもちろんだが、都合の悪い情報が出て来た時に関連するどうでもいい情報や明らかにウソとわかる情報を大量に発信して都合の悪い情報を埋もれさせることができる（逆検閲）。
・多数の人間の問合せに迅速に応答することができる。インタラクティブであることは相手を活性化させる効果があるため、コミュニティを活性化させる。また、相手を攻撃する時に疲れを知らないことは大きな武器になる。
・発信する情報に一貫性を持たせることができる。
・大量の情報をまとめて要約できるため、利便性の高い要約情報をさまざまな形で迅速に提供できる。便利なために参照する人間が多くなる可能性が高い。
・任意の人物になりますまして動画や音声を生成することができる。同様に任意のメディアに似通った記事を作ることもできる。影響力のある政治家や有名人、あるいはメディアになりすましての発信には効果がある。
・以上のことを個人から大規模な組織までさまざまな主体が手軽に実行できるようになる。その中には当然陰謀論者、差別主義者、極右、YouTuber、クリック目当てなどが含まれる。余命三年時事ブログが引き起こした弁護士大量懲戒請求事件を思い出せば個人がどれほど大規模なことができるか想像できるだろう。イアン・ブレマーが大混乱生成兵器と呼んだのももっともだ。【2023年1月14日追記】
こうした特徴から実戦投入された際はかなりのインパクトがありそうだ。最近は、デジタル影響工作を請け負う民間企業が増加しており、質の低下が起きているようなので、その対策として活用される可能性がある。そうなると一気に広まる。
今後の発展の方向性としてはいくつか考えられる。
・記事と動画を同時に生成
必要なキーワードを与えると、自動的に記事と動画を生成できるようになる。著名人であればすでに出たは大量にあるので、記事に合った動画を生成しやすい。これにより、一見信憑性の高い情報が作れる。
・動画サイトにディープフェイクがあふれる
一見するとまっとうなニュース動画や有識者や著名人が出演する動画などのディープフェイクがあふれることになる。明らかなウソはバンされるが、ふだんはネット上の情報をまとめてニュースとして配信しているチャンネルとしてまっとうに運営して、登録者を増やし、必要な時のみデジタル影響工作用の情報を流す形を取るだろう。
配信者同士のコラボあるいは他のちゃんねるの裏話なども頻繁に配信されているので、他の配信者を合成で登場させたコラボで視聴を稼いだり、影響力を増加させる試みもおこなわれるだろう。
・複合的なオペレーションの実行
複数のメディアやサイト、SNSに類似情報を掲載して、相互に参照し、信憑性を増すとともにレジリエンスを向上させるメディア・ミラージュという手法がある。こうした複合的なオペレーションも自動化される。
また時系列での発信の調整などもAIが判断できるようになるだろう。最初の露出に適したメディアの選択からピークをどの時期にもってくるかなど。
・メッセージサービスでの展開
WhatsAppやTelegramなどのメッセージサービスでも活用されることは間違いなく、カリスマとなる可能性もある。
・AI支援型ニュースサイト
ネット上の情報を要約できるので、それをもとにした自動更新のニュースサイトが増加し、デジタル影響工作のためのプロキシとして活用される可能性がある。
おそらく現在、ロシアが仕掛けているデジタル影響工作よりも高度かつ大規模な作戦の実行がキーワードを与えるだけで可能になる。また、フェイクメディアや著名人のディープフェイクが増加することで、アメリカが主導権を持っている国際世論の生成メカニズムを毀損できる可能性もある。
出典
PDFレポート
Artificial Intelligence, Deepfakes, and Disinformation、ランド研究所、2022年、https://www.rand.org/pubs/perspectives/PEA1043-1.html
Can Artificial Intelligence Reprogram the Newsroom?、2020年4月27日、テキサス大学オースティン校メディア・エンゲージメント・センター、https://mediaengagement.org/research/can-artificial-intelligence-reprogram-the-newsroom/
THE RADICALIZATION RISKS OF GPT-3 AND ADVANCED NEURAL LANGUAGE MODELS、モントレー国際大学院、2020年9月9日、https://www.middlebury.edu/institute/sites/www.middlebury.edu.institute/files/2020-09/gpt3-article.pdf
記事、ブログ
OPWNAI: AI THAT CAN SAVE THE DAY OR HACK IT AWAY、チェックポイント社、2022年12月19日、https://research.checkpoint.com/2022/opwnai-ai-that-can-save-the-day-or-hack-it-away/
OPWNAI : CYBERCRIMINALS STARTING TO USE CHATGPT、チェックポイント社、2023年1月6日、https://research.checkpoint.com/2023/opwnai-cybercriminals-starting-to-use-chatgpt/
「GPT-3」ボットが人気掲示板に大量書き込み、1週間見破られず、ハーバードビジネスレビュー、2020年3月10日、https://www.technologyreview.jp/s/221703/a-gpt-3-bot-posted-comments-on-reddit-for-a-week-and-no-one-noticed/
To See the Future of Disinformation, You Build Robo-Trolls、wired、2019年11月19日、https://www.wired.com/story/to-see-the-future-of-disinformation-you-build-robo-trolls/
The Chinese face-swapping app that went viral is taking the danger of ‘deepfake’ to the masses、CNBC、2020年9月4日、https://www.cnbc.com/2019/09/04/chinese-face-swapping-app-zao-takes-dangers-of-deepfake-to-the-masses.html
Deepfakes, social media, and the 2020 election、2019年6月3日、ブルッキングズ研究所、https://www.brookings.edu/blog/techtank/2019/06/03/deepfakes-social-media-and-the-2020-election/
VALL-E Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers、マイクロソフト社、2023年1月5日、https://arxiv.org/abs/2301.02111
関連記事
2011年から2021年の114件の影響力活動を調査したプリンストン大学Online Political Influence Efforts Dataset
パレスチナ、アンゴラ、ナイジェリアで活動していたイスラエルのネット世論操作代行業者Mind Farce
META（旧フェイスブック）社の2021年影響工作振り返りレポート
アメリカ軍のデジタル影響工作はなぜ失敗したのか？（ニューズウィーク日本版寄稿）
世界49カ国が民間企業にネット世論操作を委託、その実態がレポートされた
好評発売中！
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース 戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。
本noteではサポートを受け付けております。よろしくお願いいたします。