データは思った以上に嘘をつくので自衛しよう、という話

「へっぽこマーケターの日々」第27回（前回は2/21更新）。

Google Analyticsや売上数値、メルマガの登録推移など、データにちょっとでも触れたり、週次や月次でレポーティングする人などはどれくらいいるだろうか。また、逆にデータの分析結果を見る立場の人はどれくらいだろうか。

今回はそんな一応はなんとなく統計データとのつきあい方を知っておきたい人のためのnoteを書いてみる。

統計には、ダレル・ハフによって書かれた『統計でウソをつく方法』という、データリテラシーの重要性を説いた70年前の名著がある。本当にこれが今読んでも耳が痛い話ばかりなのだ。

この本について先日出会った要約記事がとてもわかりやすくまとまっていたので、ぜひ周りのデータに少しでも関わる人に紹介したいと思っていた。しかしこれでもまだ書いてあることが専門的だと感じる人も少なくないと思う。そんな人のために、もう少し平たい表現で意訳してみた。

以下、データリテラシーが低いことのリスクと、今日からできるデータリテラシーを高めるポイントについてのまとめである。
※データリテラシーとは、チャートや統計値を解釈し、行動を起こせる結論を導くスキル。

『統計でウソをつく方法』から学べることまとめ

・間違った方向へ誘導したり、誇張しようとする統計値やデータに気をつけろ

・相関関係は、因果関係ではない（XはYの原因ではなく、影響を与えるに過ぎない）

・データの「見せかけの相関関係」に気をつけろ。第3の要因があるかもしれない

・一般化の罠：手元のデータで推定した相関を、期間・地域などの範囲を広げてあてはめてはいけない

・チャートのY軸が0以外の数字ではじまってるグラフはハッタリである

・サンプルサイズ（調査対象数）が小さいデータに惑わされるな。統計理論的に、小さい調査の繰り返しはデータにばらつきが起こる

・平均値だけでなく、中央値、最頻値のすべてに注目せよ。できれば集計データすべてをヒストグラム（分布）で見よ

・データを見ることは「比べること」。どんなデータと比べるかが重要である。

・サンプリング・バイアス：収集したデータ（サンプル）に偏りがある場合は信頼してはいけない

・選択のバイアス：自分と同じ意見ばかりを収集しがちなことに注意せよ

・権威や有名な名前を冠した調査に惑わされるな。名前を借りてるだけの場合が多い。本当に関わっているかを確認せよ（タバコ会社は医者を使って売り込んだ）

・分析結果の背景には、メッセージを伝えたい人がいる。信じすぎるな。分析された背景を想像せよ

・結論を下す前により多くのデータを集めるべき。複数の分析結果を比べるべき。そしてデータはどのように収集されたのかを聞くべき

日々の業務でのデータとのつきあい方

どこか見覚えのある事柄がなかっただろうか。データは人が作ったものだ。常にそれを忘れず、どんなメッセージが隠されているかを考えねばならない。そこでやるべきことはちょっとした注意と工夫の集積だ。これらをやるだけで、丸腰よりはデータとうまくつきあえるようになる。

料理のレパートリー作りのように、一発でうまく作ろうとしなくてよい。毎回作るごとに手順を丁寧になぞることを繰り返せばよいのだ。

つまり、上記の視点を持って毎回取り組めば、データリテラシーは格段に上がるはずだ。これを読んだすべての人に、ワクワクするデータドリブンライフを送ってほしい。

参考

「データと統計を使って人を騙す10の方法」