ベイジアン自白剤：より良いアンケート調査へ

こんにちは、石川竜一郎(@mxb02762)です。大学で経済学を教える傍ら、SciDe Lab 株式会社ファウンダー兼取締役を務めています。SciDe Lab.は、経済学を用いて社会問題の解決を行うために立ち上げられました。

さて、アンケート調査って、試供品や初めて飛び込んだよくお店で頼まれますよね？
・お試しいただいた商品の満足度を教えてください。
・ご友人の方に薦めたいとどの程度思いましたか。
・その他にご意見を自由にお書きください。
などなど。少しでも有益なアンケート結果を得るために、あの手この手で私たちから情報を引き出そうとします。

そんな思惑をよそに、多くの回答者は「満足と回答すれば問題ないだろう」とか「褒めておけば特典をもらえるかな」と考えたり、何も考えずにさっさと回答して終わりにしてしまうというのが常です。

こうしたアンケート実施者の思惑と回答者のやる気をうまく適合させるために考えられたアンケート方法に「ベイジアン自白剤」があります。面白い方法なので、皆さんにご紹介したいと思います。

ベイジアン自白剤とは何か？

ベイジアン自白剤とは、米国マサチューセッツ工科大学教授のPrelec博士が2004年にScienceという学術雑誌に発表したアンケート方法です。二つの質問で構成され、その質問をあるルールで評価します。

ある商品やサービスの評価について以下の質問をします。
1. あなたはどの程度満足しましたか？
2. 集計結果の満足度の分布はどうなると思いますか？

質問１では、純粋にあなたの意見を聞いています。(Yes, No)といった二択でも良いですし、リッカート尺度などを用いて複数の回答（例えば１から５の５段階評価）にしても構いません。通常のアンケート調査で行われている質問と同じですね。

ベイジアン自白剤のポイントは、質問２にあります。質問１で用いた選択肢上の回答者分布を聞くことで、「回答者全体の傾向」に対するあなたの予測をたずねています。

スコアリングルールでインセンティブを！

ベイジアン自白剤にはもう一つポイントがあります。それは、個々の回答者の回答を、以下の情報スコアと予測スコアの和で評価することです。

【情報スコア】質問１であなたの回答aに対し、「回答者が実際に回答aをに選択した割合(Xa)」と「回答aに対する質問２の割合予測の平均(Ya)」を比較（正確には ln (Xa/Ya)を計算。但し ln は自然対数、Yaは幾何平均）。

【予測スコア】 「質問２に対するあなたの回答Y=(Y1, Y2,...Yn)」 と「質問１の実際の分布X=(X1, X2,...,Xn)」を比較（正確には X1 × ln(Y1/X1) + … + Xn × ln(Yn/Xn)。lnは自然対数）。

重要なことは、アンケートの回答に対するスコアリングルールを与えたことです。スコアが高い人を評価して、場合によってはそれに応じた報酬を与えると回答者に宣言することで、回答者が真面目にアンケートに答えるインセンティブ（動機）を与えることができるからです。

Prelec博士は論文で、このスコアリングルールで高い利得を得るためには、質問１で正直に自分の感じたことを回答し、質問２で真剣に回答者の回答分布を予測することが、ゲーム理論でいうベイジアンナッシュ均衡になることを示しました。

詳細な計算方法については、小野滋さんのスライドがあるので、ここではもう少し直感的な説明をしていきたいと思います。

ナッシュ均衡が正直回答を保証する！？

スコアで高い値を出すことが、（ベイジアン）ナッシュ均衡で保証されていることを理解するためには、ナッシュ均衡の性質を理解しておくことが重要です。
・ナッシュ均衡では、均衡行動を他人が選択している時、自分も均衡行動を取ることで自らの利益が高まる（自己拘束性）
・「相手の行動予測」が重要。全員がその行動予測を行うので「『相手の行動を予測するあなた』を予測する相手」を予測しなければならない。この連鎖は無限に続き、その帰結がナッシュ均衡（認識合理性）

「認識合理性」の高さは予測スコアで測られています。つまりあなたが「相手の行動予測」をどこまで深くできるかを〈予測スコア〉は示します。予測が完全に一致しているとスコアの値は０で最大値、予測がズレると負の値をとるようになっています。

認識論的合理性の程度を測られたあなたは、質問１で正直回答が求められ、それが〈情報スコア〉に反映されます。情報スコアで高得点を得るためには、質問１でのあなたの回答がPrelec博士の言うところの「驚くほど常識的(surprisingly common)」な回答でなければいけません。すなわち質問２の予測よりも多くの回答者があなたと同じ選択肢を選んでいなければなりません。

なぜ驚くほど常識的な回答が、個々人の正直な回答に対応するのかを明らかではありません。この点は、今後少しずつ説明していきたいと思います。

まとめ

初投稿となる本日は、「ベイジアン自白剤」という一風変わったアンケート調査をご紹介しました。通常のアンケートに回答者全体を予測するという質問を加え、各回答を特定のスコアリングルールで評価するというものでした。

スコアが高い回答者により高い報酬を与えることで、回答者がアンケートに真面目に答える動機を与えています。またそのように真面目に、そして正直に回答することが、ゲーム理論でいうベイジアンナッシュ均衡で保証されていると言う点が特徴でした。みなさんも、どこかで試してみてください。