心理学の「有名な理論が再現出来ない」問題が教えてくれていること
「心理学の実験結果を検証してみると、再現出来ない事態が相次いでいる」との記事が話題になっています。
「つまみ⾷いを我慢できる⼦は将来成功する」「⽬を描いた看板を⽴てると犯罪が減る」――。有名な⼼理学の実験を検証してみると、再現できない事態が相次いでいる。
データは新たな資源との言われる昨今、このニュースは私たちにデータの正しい取り扱いの必要性を示唆してると思います。
そこで今日はデータを使った検証が間違った結果を生んでしまう理由、それへの対応策について述べてみたいと思います。
データを使った検証が間違える理由
「この世には３つの嘘がある、嘘と大嘘と統計である」という言い方もあるくらい、データを使った分析・検証は誤りを生じがちです。以下間違を起こしてしまう代表的な理由を述べます。
ねつ造
データを捏造して、自分の説を裏付ける証拠としてしまうケース。
ネイチャー誌の今年の10人にも選ばれたことのある、心理学者のスターペルが、少なくとも55論文にデータねつ造・改ざんをしていたとの事実が明らかになっています。
こんな悪意を持っているケースは全体のごく一部だと思いますが、ビジネスの世界でも、会計データの偽装など同様の事象が発生しています。これを防ぐのに必要なのは適切な検証スキームです。
都合のいいデータだけ使う
実験を繰り返し、都合のいい結果が出たところで実験を終了し、自説の裏付けになる結果だけを使用するケース。
古くは、遺伝の研究で有名なメンデルは，自分の考える法則に一致するデータが得られたところでエ ンドウ豆を数えるのをやめたと言われています。
これが問題なのは、悪意無くやってしまう場合があるケースが多いことです。数字を扱う人は実験のお作法を理解しておく必要があります。
偽陽性
ちゃんとした手順に沿って実験を行ったが、実際は効果が無いのに、たまたま効果があるように見える偽陽性の結果が出てしまったケースです。
統計のお作法では偽陽性が発生する可能性が常に有ります。
例えば「効果がないとすると、こんな結果は5%以下の確率でしか発生いない」という水準を設け、それを下回る結果が出たら「効果が無いという前提が間違ってた」とする前提だと5%は偽陽性が発生する可能性があります。
これを防ぐには、再検証を行う仕組みが必要です。
結果の誤った取り扱い
偽陽性では無い、有意な差が確認できているが、その差が実質意味を持たないというものです。
統計的に有意な差と実際に意味のある差は全く別物です。
新薬のテストで発病の可能性について「服用しない場合は 1.31%」,「服用した場合は 1.29%」という有意な差が出たとしても、実質的な意味は無いとするのが妥当でしょう。伝統的な統計手法では、サンプル数を多いと、非常に小さな差も統計的に有意な差であると判断してしまいがちです。
これを防ぐには実験をする人が統計の手法を正しく理解する必要があります。
ではどうしたらいいのか？
データを正しく扱い、ここまで述べたような間違いを無くすためにはどうすれば良いのでしょうか。対応を検討するにあたって、下記文書がとても参考になります。
上記文書と参考文献から、データを扱う全ての人が検討すべき対応をサマリーしてみました。
再現可能性の検証を行う環境を構築すること
- 再現可能検証を評価する土壌を作ること
検証が適切な方法で行われる環境を構築すること
- 事前に手順を登録、それに沿った検証を行う
心理学の対応を見習う
このように発生している問題をオープンにし、対策を検討するアプローチは素晴らしいと思います。
私たちもこのアプローチを見習い、課題に目隠しをせず向き合う姿勢を持つことで、データの価値を最大限に活用できる未来が訪れると思います。
参考文献
The ASA Statement on p-Values: Context, Process, and Purpose
https://amstat.tandfonline.com/doi/full/10.1080/00031305.2016.1154108#.XaGkcOf7Rdg
Photo by Mukul Joshi on Unsplash
この記事が気に入ったらサポートをしてみませんか？