やらかしを事前に食い止める設計

炎上や諸々のトラブルの、防止について。

SNSは「投稿の回転数と流通量を最大化する」方向に設計されるため、気軽に投稿できる = うっかり事故をやらかしやすいシステムになりがちです。実際のところ、自分も何度もミスをしています。

基本的に自分がやらかす側なので、それを棚にあげて他人に厳しい設計はできませんし、他人に怒る資格もありません。事故の最小化という側面的にも、事前の防止システムに注力したいと考えています。

瞬発的なやらかしを防ぐためには、「人が行動する仕組み」を理解することがよさそうです。ここでは「フォッグの消費者行動モデル」をベースに、やらかし行動を未然に迎撃するシステムを考えます。

というわけで、今回は「やらかす前に止める」と「やらかしても発展しないようにする」の、「やらかす前に止める」について。

行動の方程式、B = MAT

まず前提として、今回の考えで用いる「フォッグの消費者行動モデル」について。

スタンフォード大学のBJフォグ教授が提唱した消費者行動モデルです。これは、

行動（Behavior）は、動機（Motivation）と、実行性（Ability）と、きっかけ（Trigger）の3つが揃った時に発生する。

という考えです。これを、各アクションの頭文字をとって B=MAT と読んだりします。

動機
行動をやりたくなる理由

実効性
行動を可能とする諸条件（時間、お金、労力、意志力など）

きっかけ
行動を思いつくスイッチ

詳しくは過去記事をご覧ください。

動機があって、実行可能な条件がそろっているときに、きっかけが訪れると…人は（間違ったものでも）行動をしてしまう。

恨みがあって、憎い相手が背中を向けてるときに近くにナイフがあって、たまたま被害者が言っちゃいけないことを口にした…みたいな状況では、突発的に行動が発生しやすいわけです。ミステリ小説でよくある展開ですね。

アカン行動、やらかしを事前に食い止めるには、この行動式 B = MATが成立しない状態を、設計していくことになります。

動機を破壊する

動機というのは、その行動を求める心的な欲求です。ざっくり言ってしまえば、内的・外的な報酬です。

・楽しい、痛いなど「快楽の追求」と「 苦痛の回避」
・安全や将来の見通しなど「安心の獲得」と「 不安の解消」
・尊敬や軽蔑など「承認の獲得」と「 孤立からの脱出」

などがモチベーションとなります。

攻撃的な言動や炎上の抑止目的としては、「バズらない」「リアクションがない」「つまらない」「気まずくなる」「軽蔑される」「儲からない」「むしろ相手が儲かったり成功する」などのシステム実装が考えられます。

こういった報酬系の改良で、負のモチベーションを破壊できます。（noteがスキ数は出すけど、RT数を出さないとかもこういう点に起因してます）。

動機の破壊に関しては、私生活など「外部で根源的な動機を育成される」可能性が高いため、残念ながら100%の抑止は期待できません。

「プラットフォームとしてその用途（たとえばストレス解消）には適さない」ようにして、治安を高めるのがよいと思われます。

動機を破壊する
・やらかし行動の報酬系を削る
・根本の原因（ストレス等）が、外部にある可能性は抑止できない
・やらかし用途にむかないサービスにすることで、間接的に抑止

実行可能性を破壊する

実行可能性の破壊とは、「やらかし投稿を行う意思決定・行動のコストを高める」

つまり、「実行できなくする」「メンドウにする」「躊躇させる」「敷居を高くする」「高いリスクを可視化する」といった、システム実装です。

すでにnoteで実装されているモノは、このレイヤーの施策が多めです。新型コロナ記事や自殺に関する記事への注意喚起バナー。コメントに対する確認ポップアップなどがそれです。

ただ、一律に行動の敷居を高くすると、一般ユーザーのノーマルな行動もハードルをあげてしまいます。（またセーフ側のグレーな言論も萎縮させてしまいます）。

このため機械学習や特殊なアルゴリズムを用いて、特定の条件下での投稿ハードルを高める施策が望ましいと考えます。

たとえば、「PVやコメントが急上昇している記事やタグ」に対して、「拡散・コメントの確認ポップアップ」を出す…などです。ポジティヴな内容なら抑制されませんし、攻撃的・ネガティヴな内容のみ抑止がかかります。

急上昇していない記事に対して、単発の嫌なコメントがつくことは排除できませんが… これは個別にブロックやミュートで対応可能かと思われます。

実効性を破壊する
・危険な内容（と推定されるとき）警告や確認を出す
・明示的な確認ポップアップ等による、最終ストッパーを設ける

きっかけを破壊する

一番重要なのはこの、3つ目の要素。「きっかけの破壊」かなと考えています。

きっかけさえ破壊できれば、悪意があろうが、愚かだろうが、うっかりだろうが、そもそもアクションに至らないからです。

このため、個人的には「もっとも事故防止に寄与する要素」だと考えます。

SNSの場合、「出会わないこと」がもっとも強力な、きっかけ抑止と考えられるでしょう。

・炎上 / 攻撃的な内容が、無用にリコメンドされないこと
・炎上 / 攻撃的な内容が、特集化されないこと
・炎上 / 攻撃的な内容が、タイムラインに流れ込まないこと

これはAIによる、「攻撃性」の判定スコアリングのようなもので対応できるでしょう（あるいは、ランキング等の手動でのチェック）。

一つのやり方は、攻撃的な（ネガティヴ）な拡散に抑止機構を設けること。もう一つは、ネガポジに関係なくSNS上のバズりそのものに、上限バッファを設けたり逓減性（ドラクエのレベルのように高くなるほど、さらにあげるのがむずかしくなるようにする）を設けることです。

一方で、AIによるフィルタリングの仕組みは、告発や正当な議論の一定パーセントも、はじいてしまうリスクを負います。

残念ながら、これは安全性と言論の自由（の適用打率）のトレードオフです。全員が納得できる調整はありえません。安全でクリーンな環境を確実にしようとするほど、グレーなラインの言論は排除されてしまいます。

現実的な運用としては、明らかにアウトなものの流出と拡散をとめるシステム実装になるでしょう。全体バランスを考えれば、グレーエリアに関しては、個別事例として扱わざるを得ないと思われます。

きっかけを破壊する
・もっとも強力な抑止手段
・完全な安全性を担保しようとすると、グレーエリアを削るリスクはある
・まずは完全なアウトを抑止するところからはじめる

まとめ

全体としてやらかしを防ぐには、事前の防止がもっともコストパフォーマンスと、被害規模を高められると考えています。（ので、noteにも他のクライアントにも、まずは抑止をオススメしています）。

ベースとしては、行動（Behavior）を誘発する3要素、動機（Motivation）、実行可能性（Ability）、きっかけ（Trigger）それぞれに、なにかしらの抑止機構を設けることを考えます。

行動は3条件がそろったときに、はじめて発生するので、3箇所にそれぞれストッパーをつけられれば、やらかしの確率はだいぶ減らせます。

このように多層のストッパーを設けて、確率上のリスクをあげていくわけですが…様々な悪条件や偶然がかさなれば、やはりストッパーを貫通することはありえます。（このような、やらかしは減らせども防げない…という考え方を、穴あきチーズの穴が重なることに見立てて、スイスチーズモデルといいます。いらすとや万能ですね）。

ですので、この多層レイヤーのさらに先に、「事後の拡散防止」「事後の鎮火」「サービスレベルの制裁」「訂正・修正・謝罪のチャンス」「調停のチャンス」…とチーズ（施策）を何重にも重ねていく必要があります。チーズを重ねれば重ねるほど、全ての穴を貫通して「逮捕や殺人事件」など、最悪のケースに到達する悲劇が減らせるわけです。

どこまで実装できるかわかりませんが、自分のやらかしの経験を教訓に、世のやらかしを抑止する仕組みを、提案・実装できればなぁと思います。