見出し画像

ベイジアン自白剤:より良いアンケート調査へ

石川竜一郎

アンケート調査、試供品や初めて飛び込んだお店でよく頼まれますよね?
・お試しいただいた商品の満足度を教えてください。
・ご友人の方に薦めたいとどの程度思いましたか。
・その他にご意見を自由にお書きください。
などなど。少しでも有益なアンケート結果を得るために、あの手この手で私たちから情報を引き出そうとします。

そんな思惑をよそに、多くの回答者は「満足と回答すれば問題ないだろう」とか「褒めておけば特典をもらえるかな」と考えたり、何も考えずにさっさと回答して終わりにしてしまうというのが常です。

こうしたアンケート実施者の思惑と回答者のやる気をうまく適合させるために考えられたアンケート方法に「ベイジアン自白剤」があります。面白い方法なので、皆さんにご紹介したいと思います。

ベイジアン自白剤とは何か?

ベイジアン自白剤とは、米国マサチューセッツ工科大学教授のPrelec博士が2004年にScienceという学術雑誌に発表したアンケート方法です。二つの質問で構成され、その質問をあるルールで評価します。

ある商品やサービスの評価について以下の質問をします。
1. あなたはどの程度満足しましたか?
2. 集計結果の満足度の分布はどうなると思いますか?

質問1では、純粋にあなたの意見を聞いています。(Yes, No)といった二択でも良いですし、リッカート尺度などを用いて複数の回答(例えば1から5の5段階評価)にしても構いません。通常のアンケート調査で行われている質問と同じですね。

ベイジアン自白剤のポイントは、質問2にあります。質問1で用いた選択肢上の回答者分布を聞くことで、「回答者全体の傾向」に対するあなたの予測をたずねています。

スコアリングルールでインセンティブを!

ベイジアン自白剤にはもう一つポイントがあります。それは、個々の回答者の回答を、以下の情報スコアと予測スコアの和で評価することです。

【情報スコア】質問1であなたの回答aに対し、「回答者が実際に回答aをに選択した割合(Xa)」と「回答aに対する質問2の割合予測の平均(Ya)」を比較(正確には ln (Xa/Ya)を計算。但し ln は自然対数、Yaは幾何平均)。

【予測スコア】 「質問2に対するあなたの回答Y=(Y1, Y2,...Yn)」 と「質問1の実際の分布X=(X1, X2,...,Xn)」を比較(正確には X1 × ln(Y1/X1) + … + Xn × ln(Yn/Xn)。lnは自然対数)。

重要なことは、アンケートの回答に対するスコアリングルールを与えたことです。スコアが高い人を評価して、場合によってはそれに応じた報酬を与えると回答者に宣言することで、回答者が真面目にアンケートに答えるインセンティブ(動機)を与えることができるからです。

Prelec博士は論文で、このスコアリングルールで高い利得を得るためには、質問1で正直に自分の感じたことを回答し、質問2で真剣に回答者の回答分布を予測することが、ゲーム理論でいうベイジアンナッシュ均衡になることを示しました。

詳細な計算方法については、小野滋さんのスライドがあるので、ここではもう少し直感的な説明をしていきたいと思います。

ナッシュ均衡が正直回答を保証する!?

スコアで高い値を出すことが、(ベイジアン)ナッシュ均衡で保証されていることを理解するためには、ナッシュ均衡の性質を理解しておくことが重要です。
・ナッシュ均衡では、均衡行動を他人が選択している時、自分も均衡行動を取ることで自らの利益が高まる(自己拘束性)
・「相手の行動予測」が重要。全員がその行動予測を行うので「『相手の行動を予測するあなた』を予測する相手」を予測しなければならない。この連鎖は無限に続き、その帰結がナッシュ均衡(認識合理性)

「認識合理性」の高さは予測スコアで測られています。つまりあなたが「相手の行動予測」をどこまで深くできるかを〈予測スコア〉は示します。予測が完全に一致しているとスコアの値は0で最大値、予測がズレると負の値をとるようになっています。

認識論的合理性の程度を測られたあなたは、質問1で正直回答が求められ、それが〈情報スコア〉に反映されます。情報スコアで高得点を得るためには、質問1でのあなたの回答がPrelec博士の言うところの「驚くほど常識的(surprisingly common)」な回答でなければいけません。すなわち質問2の予測よりも多くの回答者があなたと同じ選択肢を選んでいなければなりません。

なぜ驚くほど常識的な回答が、個々人の正直な回答に対応するのかを明らかではありません。この点は、今後少しずつ説明していきたいと思います。

まとめ

初投稿となる本日は、「ベイジアン自白剤」という一風変わったアンケート調査をご紹介しました。通常のアンケートに回答者全体を予測するという質問を加え、各回答を特定のスコアリングルールで評価するというものでした。

スコアが高い回答者により高い報酬を与えることで、回答者がアンケートに真面目に答える動機を与えています。またそのように真面目に、そして正直に回答することが、ゲーム理論でいうベイジアンナッシュ均衡で保証されていると言う点が特徴でした。みなさんも、どこかで試してみてください。

この記事が気に入ったら、サポートをしてみませんか?
気軽にクリエイターの支援と、記事のオススメができます!
石川竜一郎
経済学者、早稲田大学国際学術院教授。専門はゲーム理論と集合知のメカニズムデザイン。 研究成果の社会実装活動として、SciDe Lab.ファウンダー兼取締役、Gaudiyコミュニティサイエンス顧問を兼任。近編著に「コミュニケーション場のメカニズムデザイン」(慶應義塾出版会)がある。