見出し画像

他の文脈の画像を転用して使用される誤情報のファクトチェック方法

TDAI Lab

近年、ソーシャルメディアの普及に伴い、偽情報やデマが簡単に拡散される問題が深刻化しています。偽情報や誤情報には様々な種類があり、前回記事で紹介したようなディープフェイクが近年は着目されてきていますが、今回は本物の画像や動画と別の文脈を使う「OOC (Out-of-Context) misinformation」を流す手口について取り上げます。このような誤情報を見抜くための具体的なファクトチェック方法を紹介します。


OOC misinformation

本物の画像や動画と別の文脈を使う「OOC (Out-of-Context) misinformation」は、一見すると画像とテキストが整合しているように見えるため、見抜くのが非常に難しい種類の誤情報です。特に災害で混乱が生じている際などは、細かい部分に注意が向かず、騙される危険が高まります。例えば、東日本大震災の映像が別の地震の際に使用されたり、過去の災害の画像が現在の出来事として拡散されたりしました。

OOC misinformation対策

そんなOOC misinformationを見抜くための方法は、AIシステムによるファクトチェックと人手によるファクトチェックがあります。

AIシステムによるファクトチェック

OOC misinformationを見抜くためのAIシステムの開発は盛んに行われています。今回ご紹介する手法SNIFFERは、画像とテキストの整合性を検証するだけでなく、外部の情報を参照しながら、その文脈の整合性も解析することができます。(SNIFFER: Multimodal Large Language Model for Explainable Out-of-Context Misinformation Detection)
SNIFFERは具体的には以下の2段階のプロセスを経て、OOCの有無を判定します。

  1.  画像とテキストの整合性検証 (内部検証)
    最初に画像とテキストの整合性を、事前学習済みの画像認識モデルと自然言語処理モデルで検証します。たとえば、テキストに「サッカー選手がゴールを決めた瞬間」と書かれていれば、その画像に確かにサッカー選手がいるかをチェックします。

  2.  外部情報との文脈の整合性検証 (外部検証)
    次に、画像の検索結果やそのキャプション情報などの外部データを参照し、与えられたテキストと一致しているかを確認します。サッカーの画像に「雪山の風景」と書かれていれば、ここで矛盾を発見できます。

SNIFFERのワークフロー(青矢印：内部検証　橙矢印：外部検証)

図に示すように、SNIFFERはAI技術と外部データを組み合わせて、テキストと画像の整合性を総合的に判断しています。最終的には「Yes(画像は正しく使われている)」か「No(別の文脈で間違って使われている)」といった判定を出力します。

人手によるファクトチェック

SNIFFERのようなAIツールが登場する前は、人手によるファクトチェックが主流でした。以下に人手によるファクトチェック方法をいくつか紹介します。

1. 画像の出所を確認する
まず、画像の出所を確認することが重要です。以下の方法を試してみてください。

  • 画像検索エンジンを使用する: Googleの画像検索やTinEyeを使って、画像のオリジナルソースを探しましょう。これにより、画像が最初に公開された日時や場所を特定できます。

  • メタデータの確認: 画像ファイルに含まれるメタデータ（Exif情報）を確認することで、撮影日時や場所がわかる場合があります。オンラインツールを使ってメタデータを抽出できます。

2. 画像の内容を分析する
画像そのものを詳細に分析することも有効です。

  • 詳細な観察: 画像の中の特定の要素（建物、車両、風景など）を観察し、それが現在の出来事に合致するかどうかを判断します。

  • 逆画像検索: 画像検索エンジンを使って、類似画像を探し出し、その画像が過去の出来事に関連するものであるかどうかを確認します。

3. 信頼できる情報源と照らし合わせる
既に信頼できるニュースソースや報道機関がその画像について何か報じているかを確認します。

  • 信頼できるニュースサイト: 主要なニュースサイトでその画像についての報道があるかを確認します。（例えば、NHKはフェイク対策に力を入れています。）

  • 公式声明: 政府や関連機関の公式声明や報告を確認し、画像の真偽を判断します。

4. ソーシャルメディアでの検証
ソーシャルメディアは誤情報の温床となりやすいですが、同時にファクトチェックにも役立ちます。

  • コミュニティの知恵を借りる: TwitterやRedditなどで、画像についての意見を尋ねると、他のユーザーから有益な情報が得られる場合があります。

  • ハッシュタグやキーワード検索: 特定のハッシュタグやキーワードで検索し、同じ画像がどのように使われているかを調べます。

5. 専門家に確認する
必要に応じて、専門家の意見を求めることも重要です。

  • メディアリテラシーの専門家: 誤情報に詳しい専門家や団体に画像を見せ、意見を求めることができます。

  • 現地の人々: 画像の撮影場所が特定できる場合、その地域の住民や関係者に確認を求めることも有効です。

まとめ

本物の画像を別の文脈で使う「OOC misinformation」は、ソーシャルメディア上で最も注意すべき誤情報の1つです。AIツールのSNIFFERは、そうした悪質な誤情報を自動で検出するほか、人間にもその根拠を的確に説明できるすぐれた機能を持っています。誤情報を見抜くには、こうしたAI技術の活用に加え、個人による適切なファクトチェックを行うことが重要です。

■「TDAI Labについて」
当社は2016年11月創業、東京大学大学院教授鳥海不二夫研究室（工学系研究科システム創成学専攻）発のAIベンチャーです。AIによる社会的リスクを扱うリーディングカンパニーとして、フェイクニュース対策や生成AIの安全な利用法について発信しています。