生成AIがもたらす新しいネットエコシステム

生成AIの可能性と弊害について語られているが、インターネットの情報エコシステムの話はあまり見ないように思う。そこでネット全体のエコシステムが生成AIの普及によってどのように変化するのか整理してみた。ある意味、仮説というかシナリオのようなものかもしれない。もともとここはメモ置き場だしね。

●生成AIの特徴

生成AIはさまざまな特徴を持っているが、人間との比較においてはとにかく生産量が桁違いに多いことがあげられる。
人間よりももっともらしい回答を提示することができるが、微妙に間違うことが多く、間違えを確認することが面倒だ。存在しない物や事件、人物などをまことしやかに説明するhallucinationもそのひとつだ。そして「Humans may be more likely to believe disinformation generated by AI」（https://www.technologyreview.com/2023/06/28/1075683/humans-may-be-more-likely-to-believe-disinformation-generated-by-ai/）によると人間は、人間が作った偽情報よりもAIが作ったもの方を信じる傾向があるらしい。
このへんの問題は、「「人類滅亡」よりも心配すべき、生成AIの真のリスク」（https://www.technologyreview.jp/s/309833/its-time-to-talk-about-the-real-ai-risks/）にまとめられている。
コンテンツの真偽を判別する時の精度で言うと、人間の方が当たることが最近の研究でわかっている。もちろん、数はAIの方が多くこなせる。でも、人間より精度が落ちる。
個人的にはこれだけで、充分やっかいなものだと思うのだが、さまざまな企業がこぞって採用しているのでいやがおうにも我々は大量に生成された不確かな情報に取り囲まれることになる。

●生まれつつあるA2Aエコシステム

偽情報、デジタル影響工作ではアメリカ国内の陰謀論者や白人至上主義者のコンテンツを中露が拡散し、アクセス増加に応じてグーグルなどが広告で資金を提供し、フェイスブックなどが優遇措置を施す。そして、それらを活用して、陰謀論者や白人至上主義者はフォロワーを増やし、武装化している。このエコシステムはアメリカを中心に世界各国に広がっている。

A2Aのエコシステムでは陰謀論者や白人至上主義者が生成AIに置き変わる。生成AIの生み出したコンテンツを他の生成AIや中露が拡散し、アクセス増加に応じてグーグルなどが広告で資金を提供し、フェイスブックなどが優遇措置を施す。そして、それらを活用して、A2Aコンテンツはフォロワーを増やす。このエコシステムは世界中に拡散する。

・生成AIサイトの急増

大手メディアの一部でも生成AIによる記事作成が始まっており、広告収入目的で安価に量産できる生成AIの記事のみのサイトも生まれている。画像・動画サイトにも生成AIが作成した映像が投稿されている。いずれ生成AIのみの動画ニュースサイトも生まれるだろう。大手ニュースサイトの記事から動画を生成させるだけで済む。大手メディアサイトには掲載されない独占映像（ただしディープフェイク）だ。

・【補足2023年7月4日】見えないところで進む生成AIコンテンツ増殖

生成AIを使ったサイトとは別に見えないところで生成AIコンテンツが増殖している可能性が高い。ScanNetSecurityのThe Register特約記事「暗い新世紀到来：AI が AI を喰らう」（https://scan.netsecurity.ne.jp/article/2023/06/28/49590.html）で紹介された実験では、安価で注文を受けるクラウドワーカーの多数が生成AIを利用してコンテンツを作成していた。日本でもネットコンテンツ制作者に対する報酬はきわめて低くなっており、似たような状況になっている可能性が高い。ちなみに前述のThe Registerの記事の実験の報酬は1ドルだった。
個人が使用する生成AIコンテンツの増殖は止めようがない。

・アドテックによる広告配信、資金提供

NewsgGardは先日公開した「Funding the Next Generation of Content Farms:Some of the World’s Largest Blue Chip Brands Unintentionally Support the Spread of Unreliable AI-Generated News Websites」（https://www.newsguardtech.com/misinformation-monitor/june-2023/）で、217のAIが生成した不正確なサイトの中の55サイトに有名企業の393の広告が掲載されているのを確認したとしている。1日平均1,200本の記事を掲載しているサイトもあった。不正確な医療に関する情報を掲載しているサイトや、他のサイトの記事をリライトしたサイトなどがあった。
NewsGuardがサイトを抽出した基準は生成AIのエラーメッセージの有無だったので、実際にははるかに多い可能性が高い。
広告はほとんどグーグルが配信しているものだったので、先ほどのエコシステムの一部はすでに稼働していることになる。
グーグルは陰謀論者や白人至上主義者の時も資金提供で主導だったが、今回もいちはやく資金提供を始めている。もちろんグーグルはそのような意図はないし、ポリシーに反しているというだろうが、現実におきていることはそういうことだ。
NewsGuardは動画サイトについては触れていなかったが、動画サイトでも同じことが起きるだろう。

・陰謀論や差別主義などの多数の低所得層向けサイトの量産

現在のChatGPTなどの生成AIは陰謀論や差別主義にくわしいうえに、生成した内容がじゃっかん間違っていても問題ないので非常に適している。
すでに書いたように現状のメディアや議論は多数派である低所得層向けを存在しないものとして不可視化している。アメリカのトランプや右派、陰謀論者、差別主義者のように、多数派である低所得層向けのコンテンツを提供した方がアクセスを稼ぐことができる。
陰謀論や差別主義のコンテンツ量産に生成AIが使われれば一気にスケールしかねない。そうでなくても多数の低所得層向け向けの言説に基づくものの方がアクセスも増えるし、内容の間違いも気にならない。
また、中露のプロキシが生成AIを利用するようになるのは時間の問題だろう。

・生成AIコンテンツの相互増殖

今のところ、生成AIが作った記事をもとにリライトしているサイトや、拡散するメカニズムは見つかっていないようだが、すでに始まっている可能性も高い。そもそも他のサイトの記事を元ネタに生成AIでリライトしているサイトもあるのだから、生成AIの記事が今後増加すればそうならない方がおかしい。
そもそも生成AIの学習データはネットから拾っているのだから、生成AIが書いた記事や画像、動画が学習データに組み込まれて増殖する。

中露はこうした記事のうち自国にとって都合のよいものを拡散する。コロナ禍で反ワクチンなどの主張を拡散したのと同じ手口だ。

この相互増殖の結果、生成AIの記事の一部はプロパガンダ・パイプライン、フェイクニュース・パイプラインにも流れて大手メディアやテレビなど一般メディアにも広がることとなる。

・未知のM2Mコミュニケーションがもたらすもの

ここまで紹介してきた異なるAIとAIのコミュニケーションは専用のコミュニケーションAPIなどを介さないものだった。つまり現在のAIは自然言語や映像をもとに相互に参照しあうことができる能力を持っている（自然言語や映像を理解できるのだから当たり前だが）。
これまでのM2Mコミュニケーションはほとんどは、低レベルのマシンデータの収集、集計、表示のみをサポートしていた。そして、専用のM2Mインタフェースを必要とした。しかし、現在のAIはそうではない。すでに存在する人間向けのインタフェースを介してコミュニケーションできる。そして、そこには人間の監視やチェックはない。デジタル影響工作の第一人者のひとり、サミュエル・ウーリーの新しい論文はbot-to-botコミュニケーションに焦点を当てていることからもその重要性がわかる。「BOT-TO-BOT COMMUNICATION: RELATIONSHIPS, INFRASTRUCTURE, AND IDENTITY」の52章は必読だ。

M2Mコミュニケーションは無限の可能性とリスクを生み出す。衛星画像サービスとつながって24時間チェック、解析し、ニュースを流すことも可能になる。また、監視カメラと結ぶことでリアルタイムで犯罪の発生や、犯罪者の追跡を生配信できる。当然、悪用もできる。他のデバイスから得たリアルな情報をもとに偽情報を流すことは簡単だ。人間はリアルな情報の中にウソが入ってる方が信じやすいのでこれは効果的だろう。

また、AIとAIのコミュニケーション、M2Mコミュニケーションは別の可能性を持っている。相手の反応パターンを学習することで、自分にとって都合のよいような反応をさせるような情報を与えるようになる。目的が陰謀論の拡散や広告につながるアクセス増加であれば、より過激で人の注目が集まるものを嗜好するようになるだろう。
ベリング・キャットのエリオット・ヒギンズはトランプが収監され、脱獄するまでの画像をネットに流したが、それと同等以上のことを大量に実行できる。しかもトランプ本人のリアルタイムの行動とタイミングを合わせ、最新の画像を元に行うことができる。あるいはイエロージャーナリズムのように偽情報で戦争を煽ることもやりかねない。
AIの相互接続が生み出すエコシステムの可能性とリスクは予測不能だ。

・生成AIの生み出したコンテンツで生成AIが学習する

ネットのコンテンツの多数が生成AIが生み出したものになり、それらをもとにさらに生成AIは学習する。もとのデータセットにあった偏りなどの傾向はさらに強化されることになるだろう。
また、

・生成AIのコンテンツを中心にネットの情報空間は再編成される

このようになれば、生成AIのコンテンツを中心にネットの情報空間は再編成される。もともと図のようなエコシステムが存在していたが、生成AIが作ったコンテンツを大量に生産することでスケールする。従来の大手メディアの存在感はほとんどなくなり、ネット上が生成AIのコンテンツであふれかえるだろう。

補足だが、最近公開されたロイターデジタルニュースレポート2023によれば、世界的にニュースを巡る状況は下記のようになっている。
・若い世代はソーシャルメディア、検索、モバイルアグリゲータでニュースを見ることが多い。
・フェイスブックやツイッターでは既存の報道機関やジャーナリストがニュースの話題の中心にあるのに対して、TikTok、Instagram、Snapchatなどで芸能人やインフルエンサー、SNSの有名人が中心である。
・ニュースへの信頼は継続的に低下している。
・テレビや新聞の利用者は減少しており、オンラインでのニュースにアクセスする比率も減少している。頻繁あるいは時々ニュースを避けるという回答は36%と高い水準だ。

ひらたく言うと、過去の形態のニュースやジャーナリズムは死につつある。これからは生成AIが生み出したニュースが中心になる可能性が高い。もちろん、有識者やジャーナリストは抵抗するだろうが、それは機械に仕事を奪われる労働者の典型的な反発であって、流れを止めることはできないだろう。少なくともニュースの必要性や品質を議論の中心にしている限り、それは難しい。なぜなら従来のニュースも充分に偏向していることが統計的に明らかになっており、その主張には根拠がないからだ。また、生成AIは間違うが、従来のニュースも誤報を流したことは多々ある。確かに違いはあるが、それは工業製品と手作りの違いのようなものであって、コストや量産を考えると生成AIに軍配が上がる。

●「多様な現実」の時代の到来？

これからは「多様な科学」、「多様な現実」が当たり前になると、半分冗談半分本気で言っているのだが、どうも現実になるのが加速しそうだ。
「多様な科学」、「多様な現実」というのはそのままの意味である。我々は現実や事実は確かなものがひとつあり、それを共有できると信じているが、そうではない時代や地域があることを知っている。同様に異なる事実・現実認識をもとに、異なる科学が存在しうる。これもまた時代や地域によって異なることを我々は知っている。しかし、現在世界に暮らす圧倒的多数はひとつの事実、現実、科学があり、共有している／できると信じている。この根拠のない信頼がグローバリゼーションや貨幣の依って立つ根拠であり、我々の社会を支えるもっとも重要なもののひとつとも言えるだろう。
近年、それが崩れつつあり、コロナ禍で加速した。各国で科学的であることを主張する専門家が異なることを言い、政策はさらにバラエティに富んだものになった。そしていずれもがこれが正しいと主張する。反ワクチンや陰謀論など異なる事実と科学を主張する人々の声も広がった。コロナ禍は社会の分断を加速したが、単なる分断ではなく事実・現実・科学の多様化をともなうものだった。

こうした時代の流れを考えると、生成AIが生み出す真偽不明の情報の奔流は突然起きたことではなくて、時代の流れに沿ったものと言えるだろう。だからおそらく止めることはできない。そもそも人々はもはや従来の基準で作られたニュースなど見たくないのだ。

このままだと気候温暖化は各国の歩調は合わないため止めることができない。食糧や水が足りなくなるだろう。移民は増加し、社会は不安定になるだろう。
対応策はひとつではないし、おそらく正解はわからない。多様な科学と現実は、人類の危機に対応した多様な施策を生み出し、どれかひとつが成功し、生きのびる確率をあげてくれるかもしれない。そう考えると、多様な事実、現実、科学も悪くない。
そうではなくても、一度多様化し、そこで残ったものが次の主流になるのでも新しい時代を作ることになるのでよいのかもしれない。最悪なのは結末が見えている現状をこのまま放置することなのだから。

好評発売中！
『ネット世論操作とデジタル影響工作：「見えざる手」を可視化する』（原書房）
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。