災害フェイクニュースを巡るAIとAIの攻防
JX通信社/WiseVine 藤井です。JX通信社では、AIを活用してSNSなどから災害・事件・事故などの情報を即時検知・配信する「FASTALERT」を、公共機関（国・自治体・警察・消防など）向けに展開しています。
台風１４号・１５号をめぐっては、線状降水帯の発生も相まって、全国で大量の被害情報がSNSや、当社の運営するニュースアプリ「NewsDigest」のユーザー情報で投稿され、「FASTALERT」でも大量の情報を配信しました。
そんな中、「FASTALERT」のAIが採用しなかった画像の中に、昨今流行している「画像生成AI」によって作られた、偽の被災画像があったことが判明しました。（「FASTALERT」はデマだけでなく、例えばテレビの映像を撮影した二次情報や、過去の情報、ゲームやテレビドラマの中の出来事、いわゆる「たとえ話」など、実際に今起きているわけではない情報を日常的に大量に排除しており、AIの判定理由はブラックボックス的な要素もあるので、ひとつひとつの排除理由を我々が意識しているわけではありません）
（弊社代表 米重による記事）
この件には後日談があり、実際にこの画像を作成・投稿した本人と、弊社米重が、Abema Primeで実際に対面する、という機会を翌日に頂戴しました。以下より録画を見ることができます。「どういう意図でこの投稿をしたのか」というやりとりなど、興味深いです。
一方、SNS上での災害に関する投稿は、今や報道機関や公共機関でも、「FASTALERT」をはじめとする様々な情報分析ツールを通じて、実際の報道や、災害復旧活動の計画に活用されています。もちろん、当社のサービスでも事実ではない投稿を排除するための仕組みが、AIによる解析や、最終的な有人専任チームによるチェックなど、幾重にも重ねられていますが、AIによる画像生成の技術の進歩は凄まじく、番組内で米重も発言している通り、「いたちごっこ」になることが予想されます。今や、デマ投稿は市民の間での混乱を招くのみならず、生命に関わる判断に影響を与える恐れがあります。
とはいえ、画像生成AIを用いて「事実ではない」画像を生成・配布すること自体を禁止することは、例えば風刺と誹謗中傷の線引きが危ういのと同じように、表現の自由とのバランスが非常に難しい問題です。実際に問題が発生した場合には、偽計業務妨害などの現在ある法律で判断することが可能ですので、「インターネット上でデマを拡散したらどうなるのか」という教育と、従来の法律による判断の併用で乗り越えていくしかない問題ナノではないかと思います。
災害時に報道機関や公共機関が対峙する情報量は、一般の方が想像されるよりも圧倒的に膨大です。その一つ一つを真偽の検証という段階から吟味することは、現実的には困難で、「そうなのかもしれない」と判断して自ら確認する他ありません。119番や110番がパンクする、といった社会問題があるように、せっかく有益なSNSなどのビッグデータも、「玉石混交だから活用は難しい」となれば、すべて「無価値な情報」になってしまいます。
そうしないために、わたしたちJX通信社は、できるだけ正確なAIフィルタと人的オペレーションで、有益な情報を抽出し、配信することに引き続き尽力しますが、この戦いが新たな次元に到達したことを、痛感する出来事でした。
自分の仕事（地方自治、防災、AI）について知ってほしい思いで書いているので全部無料にしているのですが、まれに投げ銭してくださる方がいて、支払い下限に達しないのが悲しいので、よかったらコーヒー代おごってください。