ビックデータがあっても人間は間違える

本文章は、シグナル&ノイズ 天才データアナリストの「予測学」（ネイト・シルバー著）の内容を要約しております。

シグナル&ノイズ 天才データアナリストの「予測学」

「ビッグデータ」への期待とその落とし穴

ビッグデータは現代のトレンドを象徴する言葉だ。
IBMによると、我々は1日で250京バイトのデータを生成しており、その90%は過去2年間に生まれたものだという。
情報が急激に増加する中、1970年代にコンピュータを指していたように、これが万能の解決策であると信じる人もいる。
ワイアード誌のクリス・アンダーソンは、2008年に、大量のデータがあれば理論や科学的方法論は不要だと主張した。

私のキャリアを知る人々は、私がデータや統計を使って的確な予測をすることで知られていることを驚くかもしれない。
2003年、私はプロ野球選手の成績を予測するシステムを開発し、その後、2008年にFiveThirtyEightというサイトを立ち上げ、選挙の予測を行った。
その成果は顕著で、多くの出版社から関心を寄せられた。

しかし、4年間の探求を通じてわかったことは、ビッグデータ時代の予測は必ずしも的確でないことだった。
私の成功は一部運もあったが、選んだ分野や方法が結果を左右している。

たとえば、野球は予測が比較的正確で、その背後には深い意味がある。
また、天気予報のように人間の直感とコンピュータの能力を組み合わせた例もある。
成功例だけでなく、失敗例も考慮することが大切だ。
アメリカ人の特徴として、自分の運命をコントロールする信念が挙げられるが、過去の事件や危機において、情報の解釈や理論の欠如が原因となって失敗したケースもある。
この本では、さまざまな分野の予測の課題と成功、そしてその背後にある理由や背景を深く探ることを目的としている。

なぜ未来に驚かされるのか

2000年の大統領選挙を控え、政治学者たちの予測モデルからアル・ゴアの大勝利という結果が出た。
しかし、実際に勝利したのはジョージ・W・ブッシュだった。
これは異例ではなく、政治の予測ミスはよくあることである。
ペンシルベニア大学のフィリップ・E・テトロックの研究によれば、政治学者の予測よりテレビの批評家の予測の方が正確であることが示された。

1970年代には、先進的な数学技術とデータを使って地震の予測が試みられたが、多くの予測は外れた。
例として、福島の原子炉はマグニチュード8.6の地震に耐えられるとされていたが、2011年3月にマグニチュード9.1の巨大地震が日本を襲った。

一方、生物医学分野の研究には、発表される研究結果の多くが誤りであるとの指摘がある。
2005年に、ジョン・P・イオアニダスはこの問題を指摘する論文を発表し、大きな議論を引き起こした。
彼の研究を裏付けるように、バイエルの研究所では、専門誌に発表された研究結果の約2/3が再現できないとの結果が出た。

私たちの生物学的特性を考えると、遠い祖先とそれほど変わらない。
情報時代には、石器時代の強みが弱みとなることもある。
人間の頭脳は優れており、急速に反応し、パターンを認識する能力がある。
しかし、この能力の裏返しとして、存在しないパターンを認識してしまうこともある。
私たちの脳は約3テラバイトの情報を蓄積できるが、これは現代の情報のごく一部に過ぎない。
そのため、情報の選別が欠かせない。

アルビン・トフラーは1970年の『未来の衝撃』で、情報の過多による問題を予測した。
彼は、情報が増えることで、人々はそれを簡略化しようとする傾向があると述べた。
しかし、情報過多は必ずしも良い結果をもたらさない。
多くの情報の中で、真実に近づくのは難しい。

印刷機の登場により、情報の伝達方法が変わった。
間違いは減ったが、誤植があればそれが広まる。
インターネットも同様の特性を持つ。
失敗は少ないが、大きな失敗が生じるとその影響は大きい。
2000年代初頭の金融危機は、情報の伝達とその影響の例である。

規制は問題の解決策の一つとして考えられるが、それだけが答えではない。
私たちは自らの認識の問題を認め、改善する必要がある。
私たち人間は、予測をすることが好きだが、必ずしもその予測が正確であるわけではない。

解決方法について

本書の主要なテーマは「予測」で、それに関連する解決方法も大切なテーマとなっています。
私たちの日常生活において、予測は不可欠です。
通勤のルートの選択やデートの続行、または貯金など、日々の選択はすべて未来を見越して行われます。
もちろん、すべての選択が深い考察を必要とするわけではなく、多くの選択は瞬時に行われます。
しかし、意識的にも無意識的にも、私たちが行う予測は多岐にわたります。

私は客観的な真実を追求する姿勢が重要だと考えています。
そして、私たちが客観的な真実を完全には理解していないことも認識しています。
哲学者カール・ポッパーは、予測が主観的な事実と客観的な事実を繋ぐ重要な役割を果たしていると指摘しています。
そして、真実の理論は実際の世界で検証されるべきだと主張しています。
しかしながら、多くの理論がまだ検証されていないのが現状です。
それを考慮すると、私たちは現在の理解に過度な自信を持つべきではありません。

この問題の解決方法として、私たちが取るべき姿勢の変化について説明します。
それは「ベイズの定理」を用いて具体的に示されます。
ベイズの定理は数式で示されますが、それ以上の深い意味があります。
この考え方を受け入れることで、私たちは不確実性をより受け入れ、問題解決のためのアプローチをより慎重に選択することができるでしょう。