すでにやらかしてる

炎上防止を考える時、いつも「自分はすでにやらかした人間である」という前提で考えます。

積極的に相手に突撃こそしませんが… 過去を振り返れば、タイムラインに流れる記事にネガティヴな反応をしたことも、誤情報に騙されたことも、変な記事をRTしてしまったこともあります。反省しかありません。

ですので自分は炎上を、一方的に断罪できるほど聖人君子ではありません。

そんな経験から、サービスで炎上防止を設計するときも、「人は誰でもやらかす」という前提で考えます。事後対応も大事ですが、「どう未然に事故を防ぐか？」をシステム設計をするのがさらに大事。

炎上参加者の分類

そんな予防のためには、まず炎上の特徴を俯瞰したい。どうも炎上参加者は大きくは「ガンガンと積極的に参加したプレイヤー」と「受動的に参加をしちゃった大衆」に大別できそうです。

前者の「積極的な参加者」は、当事者のアカウントに突撃し、粘着したり、直接ことばを浴びせたり、DMしたり、糾弾記事や講義運動を繰り広げる人々です。全体の1%ぐらい。

後者の「受動的な参加者」は、自分のタイムラインに流れてきたものに対し、反射的に雑な感想コメントやRTを行い、それが結果的に炎上に寄与している人々です。全体の99%ぐらい。

自分のケースでいえば、前者はないと思います。ですが、後者の「受動的な参加者」にウッカリ参加してしまってることが、年に1度はあるように思えます。

各プレイヤーをさらに深掘りすると、以下みたいな感じですね。

1. 悪意ある攻撃者

1次投稿者に悪意を以って攻撃する人々。アウトオブアウト。1次投稿者に直接的に絡みにいく。また色々なものをRTしまくったり、関係ない第三者のスレッドにリンクを貼りまくったりする。

2. 正義の執行者

自身の善意をもって、1次投稿者を攻撃あるいは擁護する人。攻撃性が極めて高く、「倒さなくちゃ」「罰を与えなきゃ」といった気持ちから、私刑に踏み出すことが多い。本人に突撃したり、周囲に怪文書をばらまいたり、破滅するまで追い込んだりと…落とし所がなく、悪意ある攻撃者より苛烈な行動をとりがち。

3. 商売をする人

自サイトやアカウントのPV、利益のために参加する人々。商業メディアも含まれる。トピックに対して、そこまで怒ってなかったり、興味がない場合も多い。一過性で、ほかの旬なトピックが生まれると移動する。炎上がグローバル化する起点になりがち。

4. ウォッチャー

なんらかの興味で観察・分析をしている人。賛成でも反対でもなく、怒ってもいないことが多い。突撃など攻撃行為はしてこず、自分のタイムラインやメディアに、分析や雑感を淡々と書く。自分も雑にやってしまうミスを犯す。

5. 雑な意見をいう人

たまたまタイムラインに流れてきたものを、雑に読んで、「ひどい奴だ」みたいに雑な感想をコメントする人。目に入ったことに対し、瞬間的にリアクションしているだけ。主体的に攻撃はしないし、粘着しない。ファクトチェックなどもしないし、他人に読ませることを想定しない。自分も雑にやってしまうミスを犯す。

6. 雑にシェアする人

たまたまタイムラインに流れてきたものを、「わかるー」みたいな感じで雑にRTした人。トピックにとくに興味もなく、反射的な行動でシェアして忘れる。ファクトチェックや強いコミットはしない。他人が読むこと想定してないし、そもそも炎上を認識してないことも。自分も雑にやってしまうミスを犯す。

やはり1〜3はともかく、4〜6に当てはまったことは自分も結構あります。友達や知り合いが、やらかしてるのを見たこともなんどもあります。だから、炎上してる人を一方的に断罪しきれない。

制裁の前に、予防にリソースをかける

そんなわけで、炎上は1〜3のユーザー層と、4〜6のユーザー層で対処アプローチが違うのかなと思われます。

まず人数的に大部分をしめているのは、無自覚な4〜6のユーザー、「受動的な参加者」です。彼らは、確固たる哲学や意思をもって積極的に攻撃しているわけではないので、行動変容をさせやすい。この受動的なユーザー層に対して「予防」、つまり「事前に踏みとどまる」システムを作るのが大事なのかなと。かれらは炎上の99%を占めるので、システムで一括で抑止できれば、かなりの悲劇が防げる。

受動的なユーザーへのシステム
・出会わなくする
・事前に踏みとどまらせる
・警告がでる
・訂正ができる

受動的なユーザーの大半は、気の迷いや、無意識や、雑さによって炎上に参加しています。このため、予防システムを実装すれば、「意図的に予防システムを乗り越えてまで参加するユーザーは少ない」と考えられます。

大炎上において「10,000人の制裁者を生む、強烈な事後罰システム」は社会負担が大きくなりすぎます。「10,000人が思いとどまって、大炎上が発生しないシステム」のほうがスマートに思われます。

一方で、こうした抑止システムを「意思を持って突破し」、執拗に攻撃を加える参加者に対しては、最終措置としてペナルティが必要となります。（もちろん、理想は事前の予防です）。

積極的なユーザーへのシステム
・警告
・リスクの可視化
・拡散の防止
・アカウントの凍結 / 制限
・民事 / 刑事処理

また抑止機構が存在すると、積極参加ユーザーが「意思を持って抑止システムを超えた」ことから、重度の悪質性を証明しやすいのもポイントです。

結果、適用ユーザー数、被害を未然に防げる点、事後の対処の効率、など複数のポイントから、「未然の防止」システムへのリソース投資が、被害者、積極的参加者、受動的参加者すべての被害を最小化できるのではと考えます。

フールプルーフ・フェールセーフという考え

システム設計には、「フールプルーフ」と「フェールセーフ」という考えがあります。

フールプルーフとは、失敗が起こらない（物理的に起こせない）構造を作ること。フェールセーフとは、失敗しても大丈夫な（リカバリーや最小化する）構造を作ること。

どちらも「ミスや失敗は絶対に起こるので、注意や頑張るに依存しない仕組み、ミスを前提としたシステムを作ろう」というスタンスです。

炎上参加者の大半が、無自覚な受動的な参加者である以上、このフールプルーフや、フェールセーフを何重にも作ることが、重要であると思われます。一つの施策ではなく、多重のセーフティネットを作る。

諸々を踏まえて、たとえば以下のような仕組みのアイデアなどを、あたためています（全部が搭載されるわけではありません）。

投稿前に、確認ポップアップを出すことで、瞬間的・感情的な投稿を防ぐ。昨日、リリースされました。

投稿前にリスク評価を行い、確認を出す2。特に攻撃的と思われるメッセージを判別して出していきたい。

記事上部に、センシティヴな内容、極端な意見などにたいして注意喚起を出す。読者側への判断喚起、炎上時のシェアへの注意などを想定。また投稿者に向けた、修正警告、削除カウントダウンなども。（コロナ系コンテンツでテスト中です）。

記事にたいして、解除可能な非表示マスクをかける。「不愉快だったり、拡散されるべきではないけど、表現の自由の一貫として担保されるべき」みたいなコンテンツには、こいうアプローチもありかもしれない。

炎上を自動で軽減するシステムの素案。記事の急上昇と、ネガティヴ判定を組み合わせて炎上を検知、各種警戒システム・軽減システムを自動起動したり、運営に速報をしらせるシステム。火災報知器と自動シャッターみたいな感じ。

炎上用のダッシュボードで、実際の影響範囲が小さいことを可視化。心理的負担を軽減する。あわせて、「積極的な参加者」を可視化することで、ピンポイントな抑制措置を可能とする。

これ以外にも、結構な量のコンセプトを考えています（搭載されるかは未保証。まだ検討段階）。全部やってしまうと、普通の活動を萎縮したり、表現の弾圧にすらなってしまうので、厳選をしてチームに提案していきたいなぁと思います。

とにかく、基本的には前述のように、「発生させない」「おおごとになる前に食い止める」を、主軸にしていけるとよいかなぁと。

…というわけで、自分は聖人君子ではありませし、他人に石を投げる資格もありません。すでに何度もやらかしてるし、どんなに注意してもこれからも何度か事故をやらかす… のだと思います。

せめて、過去のやらかしの経験をベースに、世の中のやらかす人を抑止する、有効なシステムを考えられればなぁと思います。みんなもいいアイデアがあったら、教えてください。