Judgmental Forecastingとは何か？
ポイント
・Judgmental Forecastingは人間の主観的予測を集約して将来を予測する予測手段のこと
・データが無いor少ない領域で活用が期待される
・海外では実際に利用したサービスもあり、その予測が利用されている
はじめに
このnoteではJudgmental Forecasting、特にその数学的アプローチについて説明したいと思います。Judgmental Forecasting（直訳すると「判断的予測」）は参加者に自分の思っている予測を提出してもらい、その予測を組み合わせて一つの予測を形成するものです。発想としては比較的シンプルでわかりやすいものですが、知っている人はそれほど多くないでしょう（日本語でちゃんとまとめたものしてはこのnoteが初？）。以前noteでも書いた予測市場と同じく、データを用いず、集合知を用いて将来の出来事を予測する手法の一種です。
様々な予測手法
将来の出来事を予測する方法は大きく、StatisticalなものとJudgmentalなものに分けることができます。（尚、予測手法に関しては研究領域が非常に広く、またそのカテゴリ分けについても統一的な見解があるわけではないので、あくまでこのnoteでの分類と捉えてください）
前者で言えば、時系列モデルや計量経済学的なモデル、最近で言えば機械学習や深層学習などを用いた手法が代表でしょう。Statisticalな予測手法は過去のデータの統計的な性質を用いて将来の予測を行う手法です。特に近年では予測精度が非常に高まっており、それを利用したサービスが普及しています。しかし一方で、あくまでも「データの統計的性質」を用いて予測をするため、例えば今回の感染症のように突発できな出来事が発生した場合や過去のデータがsparseである場合は予測がうまくいかない可能性があります。
Judgmental Forecastingはデータを用いず専門家などの主観的な予測や意見を集約して一つの予測を形成する手法です。多くの人に予測をしてもらうという点で「予測のクラウドソーシング」と言うことができるかもしれません。Judgmental Forecastingはデータを必要としないため、幅広い領域の予測することができるというメリットがあります。
Judgmental Forecastingは大きく数学的アプローチ（Mathematical Approach）と行動学的アプローチ（behavioral approach）に分けることができます（上図参照）。行動学的アプローチは専門家間が相互作用し合い一つの予測を形成するもので、代表的なものとしてはデルファイ法などがあます。デルファイ法は多くの場面で用いられており、例えば文部科学省出している科学技術白書「2040年の未来予測」などでも使われています（参照：令和2年版科学技術白書 本文）。
Judgmental Forecasting: Mathematical Approach
数学的アプローチは参加者の予測を数学的に組み合わせ一つの予測を形成するものです。代表的なものとしてはOpinion Poolが挙げられます。予測者が「確率分布」の形式で予測を提出し、それを加重平均と言う形で結合するというものです。最も簡単な例として、次のイラストのようなものを考えましょう。
このイラストのようにOpinion Poolは、①予測者が確率分布を提出し、②それらの加重平均を取り（イラストの場合は重み均一）、一つの予測を作ります。非常にシンプルなやり方ですが、理論的にはunanimity（全員が同じ予測であればそれが最終的な予測になる）やmarginalization property（確率分布自体の組み合わせと各選択肢への予測の組み合わせが矛盾しない）などの公理も満たしており、作られた予測は説得力を持ちます。
Opinion Poolは正確な予測ができることが理論的に保証されているわけではありません。形成された予測を正確なものにするには、①予測の集約方法を精緻化すること、②ユーザーからより良い予測を引き出すことの二つが必要です。
１点目の集約方法の精緻化について、単純に参加者の予測を平均しても正確な予測ができるとは限りません。まず第一に、ユーザーの予測が最新の情報を反映しているとは限りません。そのため時間が経過した予測に対する重みを低くするといった手法があります。さらに、単純な平均では予測者の能力を反映できません。そのため過去の予測の正答率に応じて重みを高くすると言った方法があります。さらに、理論的には予測の加重平均だけではなくベイズ的な予測の組み合わせなど他の予測組み合わせアルゴリズムも研究されています。
２点目のユーザーから質の高い予測を引き出すことについて、ユーザーが真面目に自分が本当に思っている予測を提出する必要があります。そのために賞金を用意するなど、正確な予測を行うインセンティブを設ける必要があります。また、「自分がこうなって欲しいと思っていること」ではなく「自分が本当に思っている予測」を提出してもらわなくてはなりません。そのためにProper Scoring Ruleを使って提出された予測を評価・定量化することが多いです（詳しくはまた別のnoteで書こうと思います）。
社会実装
ここまでJudgmental Forecastingの数学的アプローチについて説明してきましたが、海外の「Metaculus」というサービスがこれを実装しています。
Metaculusは2015年に物理学者のAnthony AguirreとGreg Laughlinによってスタートしたサービスです。政治経済や科学技術などの予測トピックに対して、ユーザーは自らの予測を確率分布という形で提出し、それを集約して予測を形成しています。ユーザーには研究者やエンジニアなどが多く、質の高い予測・議論が行われていることで有名です。Metaculusで作られた集合知予測は実際に意思決定に用いられており、コロナウイルス感染ピーク予測などが実際にアメリカの病院で利用されています（参照：Do Crowdsourced Predictions Show The Wisdom Of Humans?（Forbes））。
おわりに
このnoteではJudgmental Forecasting、とくにその数学的なアプローチについて解説しました。基本的な考え方としてはシンプルで、参加者から予測を集めそれを加重平均などの形で集約するというものです。この方法は実証的にはある程度の予測精度が確かめられており、特にデータがsparseな領域での予測に活用されることが期待されます。
以前のnoteでも書いた通り、将来の出来事を予測することは非常に重要です。特に近頃は新型コロナのパンデミックにより、それがどれくらいの被害になるのか、影響がどれくらいの規模になるのかについて予測することの必要性が再確認されたように思えます。専門家による予測も人によって異なり統一的な予測・意見が形成されないため、社会的な摩擦が生じる要因にもなりました。そのような中、Judgmental Forecastingは社会にとって非常に有益であるかもしれません。
我々Cropは「集合知をデザインして世の中をアップデートする」というミッションの達成を目指して集合知を用いたサービスの開発・運営を行っています。現在、PredictionGeeksという未来予測コンテストサービスを運営しています。ユーザーの予測を定量的に評価し、他のユーザーと比較できるようなサービスになっています。興味のある方は是非登録して参加してみてください！
この記事が気に入ったらサポートをしてみませんか？