メディア・リテラシーが偽情報対策として有効であることを実験で証明した論文……のはずだったのだが

「Combating fake news, disinformation, and misinformation: Experimental evidence for medialiteracy education」（2022年2月7日、https://doi.org/10.1080/23311983.2022.2037229）を読んだ。この論文のことは知らなかったが、「COUNTERING DISINFORMATION EFFECTIVELY An Evidence-Based Policy Guide」（Jon Bateman, Dean Jackson、2024年1月31日、https://carnegieendowment.org/2024/01/31/countering-disinformation-effectively-evidence-based-policy-guide-pub-91476）でリテラシーが偽情報対策として効果があることを検証した論文として紹介されていたので読むことにした。

関連記事：
10の偽情報対策の有効性やスケーラビリティを検証したガイドブック
https://note.com/ichi_twnovel/n/n01ce8bb38ef3

●概要

この論文は合計187人の被験者を2つのグループに分け、片方にはリテラシーのトレーニングを行い、片方にはトレーニングを施さずに偽情報の判別を行わせ、その結果を分析したものだ。
その結果、トレーニングを受けたグループは有意に偽情報を判別することができ、誤ったニュースの共有を行わないことがわかった。

●気になる問題

この論文には大きな問題がある。
まず、この論文では真偽判定の能力を確認していない。問題箇所がわかりやすいよう太字にした。

They were required to fill the online questionnaire upon being presented with stimuli in the form of social media posts and news items, all of which were fake or inaccurate.

「Combating fake news, disinformation, and misinformation: Experimental evidence for medialiteracy education」（2022年2月7日、https://doi.org/10.1080/23311983.2022.2037229）

全ての設問は「偽」である。従って正しい「真」を選ぶ能力は測定されていない。このことは以前、日本で同じ過ちのあったレポートを紹介（https://note.com/ichi_twnovel/n/n57c3fc517366）した時にも書いた。
もちろん、「偽」を正しく「偽」と見なせるならば「真」も判別できるという仮説は成り立つが、仮説は検証されなければならない。

また、以前、ご紹介した「Thinking clearly about misinformation」（https://note.com/ichi_twnovel/n/n9c1c7d4dfdd5）で紹介されている典型的な問題にはまっている。その問題とは下記だ。簡単に言うと、真偽判定を行わせる調査方法では、短い文章を提示して回答させる方式が多く用いられる。しかし、現実には動画や記事（画像付きのテキスト）、長文のテキストなどが用いられることもあり、短文形式の偽情報だけとは限らない。また、Telegramのチャンネルのようにある程度クローズドなものだと文脈的に信頼度などが変わってくるだろう。この論文では実際にWEB上の記事などを見せているが、偽情報のすべての形式を網羅しているわけではないだろうし、Telegramのチャンネルのように自ら望んで参加しているコミュニティも対象にはしていないと思われる。実はこのへん調査の詳細は確認できなかった。どっかに調査に使った実物があるんだろうか。あったらこちらの確認ミスである。このnoteはあくまで個人的なメモなので、見落としはふつうにあります。すみません。

One of the most popular paradigms presents participants with large sets of true and false claims, with the difference in truth or belief ratings between the two taken as a measure of discernment. This paradigm limits studies to short-format misinformation (e.g. headlines, tweets), as tasking participants to engage with lengthier misinformation (e.g. articles, videos) in large sets can be impractical. This favours light-touch interventions that might not address persuasive misinformation at higher depth, even though such misinformation could be more impactful.

「Thinking clearly about misinformation.」（Commun Psychol 2, 4 (2024). https://doi.org/10.1038/s44271-023-00054-5）

上記2点を考えると、この論文は論拠とするにはちょっと無理があると言わざるを得ない。

好評発売中！
ネット世論操作とデジタル影響工作：「見えざる手」を可視化する
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。