データで議論するときの落とし穴

ゲームの考察が好きだ。自分で考えるのも楽しいし、他のプレイヤーの考えを見るのも面白い。色んなプレイヤーが試行錯誤しながら歩いた道が見える。

しかし、考察の発表の仕方がもったいないと思う時もある。とくにデータをもとにした考察だと、論調が断定的になりやすいのかもしれない。そのせいか、ちょっと炎上しているのも見かける。相手を訂正しないと気がすまないように見える言い合いで、あまり愉快そうではない。
これはゲーム考察に限った話ではないと思う。

せっかく考えたり考察を読んだりするのなら、愉快に考えを深めたいところ。以前、考え (ロジック) の正しさを検証するポイントをまとめた。今回は、網羅的・正確性というより、Twitterでよく見かけるような身近なパターンを挙げてみる。

データで議論するときの落とし穴

落とし穴は、データ、論理、表現のそれぞれにある。

• データ : データが不適切なので、結論が不適切

• 論理 : データは適切だが、論理が不適切なので、結論が不適切

• 表現 : データ・論理が適切で、結論も適切だが、表現方法が誤解・反感を誘いやすい

データの落とし穴

データは数と質 (収集方法) が大事だ。例えば、こんな落とし穴だ。

• 数 : データが少ないので、本当にそういう傾向があるのか、偶然なのか分からない

• 質 : Twitterで募集したので、ゲーム関係のTwitterをやるぐらい関心が高い一部の人に限定したデータになってしまっている

質については、完全には回避できないという側面もある。なので、まったくデータがないよりも良いという考えかたもできる。

数 (サンプルサイズ) については、項目数から逆算する手法がある。統計学的な説明もあるが、そこまで厳密にでなくても参考になるかもしれない。

アンケート調査の必要サンプル数計算ツール | データサイエンス情報局

たとえば345万人について調べるなら385人以上のサンプルが必要だ。(345万 = スプラトゥーン3が3日間で達成した販売本数)

まとめると、データに完璧さを求めるのはとても難しいので、そこから導かれた結論も、参考程度に解釈するほうが無難だ。

論理の落とし穴

(実際には難しいが) もしデータが正しいなら、論理的に正しく考えることで、正しい結論が導かれる。簡単なことのようだが、ここにも落とし穴がある。

• 「AとBが同時にある」というデータだけでは、「AだからB」という結論にならない

  • 「BだからA」かもしれない (因果が逆)

  • 「CだからA & B」かもしれない (交絡因子)

• 「Aは強くない」は「Aは普通 または 弱い」である (弱いとは限らない)

• 「上級者はAしている」は「Aすれば上級者になれる」という結論にならない

とくに1つめの、データだけでは因果関係が導けないという落とし穴には注意だ。有名なジョークとして、「犯罪者の98%は日常的にパンを食べている」というのがある。ここまで極端だと簡単に気づけるが、案外この構図の落とし穴にはまっている考察も見かける。

表現の落とし穴

いくつもの落とし穴を回避できたら、それなりに妥当性な結論が導けるだろう。これを、誤解を招かないように表現するのが難しい。せっかく回避してきた落とし穴に読者がひっかかってしまうかもしれないからだ。

結論を聞いた人にとって、とくにTwitterのような結論だけが目に入りやすい状況では、結論までの道すじを見ずに批判する人も増えそうだ。

かといって、道すじや落とし穴、つまりデータや考察の注意書きを並べる表現では、手っ取り早く結論を知りたい人には見向きもされない。「なんか難しい言葉を並べてるけど、それは私の経験的には間違ってると思うけど！」と反応されるだろう。

その人が信じていることに反するなら、正しく受け入れてもらうのは難しいものだ。

そんなに必死に議論しなくていい

いかにデータにもとづき論理的に正しい結論であっても、うまく表現が伝わらずに分かってもらえないことがあるという話をした。あますことなく啓蒙したいのでなければ、分かってもらえない人と議論することはない。きっと労力を費やしても納得してもらえないだろうし、外から見ているとムキになって怒っている人に見られてしまう。何も良いことはない。

(...ということを分かっていない人が多いのだと思う。だから言っていることが正しくても炎上するのだ。)

ただし、これはデータ・論理が正しい場合に限る。考察の落とし穴にはまっていることを親切に批判してくれる声には、真摯に耳を傾けるのが賢明だと思う。