良い予測とは何か？予測のジレンマ

本文章は、シグナル&ノイズ 天才データアナリストの「予測学」（ネイト・シルバー著）の内容を要約しております。

シグナル&ノイズ 天才データアナリストの「予測学」

良い予測とは？

「良い予測」とは何か？
多くの人は、単純に正確な予測を良いと考えていますが、異なる見方もあります。
特に天気予報に関しては、納得できる別の考え方があるのです。

1993年に、オレゴン州立大学の気象学者アラン・マーフィーは、予測の品質を決定づける3つの基準に関する論文を発表しました。
これらは気象予報業界で広く受け入れられているものです。
マーフィーの目的は、これらの基準の間に優劣をつけることではなく、率直な議論を促すことでした。
これらの定義は予測が行われるあらゆる分野に適用可能です。

正確性

マーフィーによれば、予測の評価方法の一つとして「品質」がありますが、これは「正確性」の方が適切な表現かもしれません。
つまり、予測した天気が実際に起こったかどうかということです。

一貫性（正直さ）

彼は二つ目の基準として「一貫性」を挙げていますが、私はこれを「正直さ」と解釈します。
予測が当たった場合であっても、それがその時点での予報官にとって最善の予報であったかどうか、また、予報官の最良の判断を反映していたか、あるいは公表前に何か修正が加えられたかという問題です。

経済的価値

そして最後に「経済的価値」です。
予測が公的機関や民間企業によるより良い決定を下す助けになったかどうかがこの基準です。

予測のジレンマ

正確性と正直さの違いは微細ですが重要です。
その時与えられた情報から考えて、最善の予測だったか？
最善だったという結論に至ることもある。
思考プロセスは筋が通っており、十分なリサーチも行われた。
適切なモデルを組み立て、その問題に潜む不確実性を注意深く考慮した。
もちろん、そうではない時もある。
急いで結論を出し重要な証拠を見落としてしまったり、問題の予測可能性を見誤ったりしたかもしれない。バイアスがかかっていたり、インセンティブに問題があった可能性もある。

予測が外れた時に必ず自分を責めるべきだと言っているわけではない。良い予測ができた時には、どのような結果が出ようとも落ち着いていられるものだ。とはいえ、決断を下した時の目標を振り返ることには価値がある。

長期的に見て、正確性と正直さという目標は、適切なインセンティブがある時には一致するはずです。
しかし、そうならない場合もあります。
例えば「ザ・マクラフリン・グループ」のコメンテーターたちは、おそらく正確な予測をすることよりも、テレビ上で賢く見えることをより気にするでしょう。
その気持ちが理解できなくもありません。
しかし、特定の党派の視聴者に訴えたい、または番組に再び招待されたいという理由で意図的に間違った予測をするならば、正直さのテストには合格できないでしょう。

第三の基準である「経済的価値」は、事態を更に複雑にします。
氷点下に近い気温で、雨や雪が降る可能性がある時には、朝の通勤や市民の安全に重要な影響を及ぼすため、本来であれば公共機関の予測が注目されるべきです。
しかし、実際にはこの分野ではウェザーチャンネルがより力を入れていることが多いです。
それでも、予測の正確性や正直さを疑う必要はありません。
新聞もすべての記事が正確で正直であることを目指していますが、どの記事を一面にするかを決定しなければなりません。
ウェザーチャンネルも同様の決定を下しています。
予測の経済的影響は、それらの合理的な判断基準となります。
しかし、時には目標が対立し、正確さよりも経済的成功が優先されることもあります。