選択式アンケートの難しさ 〜質問文と選択肢〜
こんにちは、Aska Intelligenceの川本です。
今回は、選択式アンケートについて、選択肢・質問文の設計の困難について触れます。
分析の困難については、また別の機会に書きたいと思います。
アンケートの調査設計は難しいという話は聞いたことがあるかもしれませんが、具体的にどんな難しさがあるのかを知らないと、どう難しいのかが分かりにくいかもしれません。
例え話
あなたは道を歩いていて、ある政党の青年団から街頭アンケートへの回答をお願いされました。
質問内容は以下のようなものです。
「あなたは〇〇という法案に賛成ですか？」
調査員が手に持っているボードから当てはまるものにシールを貼って欲しいとのことです。
選択肢１：「とても賛成」
選択肢２：「まあまあ賛成」
選択肢３：「否定する要素はない」
選択肢４：「色々な考え方があるだろうし、反対する人もいるかもしれないが、強く反対はしない」
あなたはどう答えますか？
選択肢設計の難しさ
1. 選択肢が偏っている・網羅的でない問題 (バイアス・網羅性)
まず、どれを選んでも法案に反対する表明が出来ないので、この調査は少なくとも法案に肯定的な結果しか出ません。
極端な例だと思うかもしれません。でも、他の人が何を考えるかを完全に予測し、網羅することは難しいテーマもたくさんあります。あなたの思い込みに基づいて作り上げた選択肢リストは、上の例と大差ないかもしれません。
意図的に選択肢を偏らせた悪意のある例もありますが、基本的には先入観によって発生する問題と考えられます。厄介なのは、回答者側は回答を拒否するくらいしかこの調査に異を唱える手段がないので、対面調査でない場合、主催者は収集したデータが完全に誤りであることになかなか気づけないことです。
2. 選択肢の自由度の問題（スケールの問題）
選択肢が網羅的で偏りがないとしても、選択肢が２択（賛成・反対）なのか５択（とても賛成・賛成・どちらでもない・反対・とても反対）で回答できる自由度が違います。
一般的には５段階評価がよいと言われていますが、７段階や９段階が採用される場合もあります。選択肢数が奇数なのは、中立回答を含めるためです。
少しアンケート調査の歴史を振り返りましょう。
大衆を対象としたアンケート調査は、19世紀頃から活発に行われるようになったもので、他の学問と比べるとそれほど歴史が長いわけではありません。
初期の頃は、どのような選択肢を設定するのがよいのかは議論の対象でした。
現在では、上で書いたような「とても賛成・賛成・どちらでもない・反対・とても反対」というタイプの選択肢項目を使うのが一般的で、リッカート尺度（Likert scale）と呼ばれています。Likertというのは人の名前です。リッカート尺度以外にもガットマン尺度などがあるので、興味がある方は調べてみてください。
ちなみに先の例は、リッカート尺度ではありません。
特に3番目の「否定する要素はない」は表現が曖昧で、中立意見なのか賛成意見なのかが人によって解釈が分かれるところだと思います。
3. 回答者が面倒に感じてしまう問題 （サティスファイシング）
選択肢のデザインによっては回答者が面倒に感じてしまう場合があります。
適当に回答されたり、離脱されたりする（選択バイアスが生じる）ので、やはり正確でないデータが集まってきてしまいます。
回答者が質問文に十分な注意を払わない問題はサティスファイシング（satisficing）と呼ばれています。
選択肢が多すぎて面倒：先の例では選択肢が多すぎることはないと思いますが、選択肢の自由度を上げようとして９択にしたり、膨大なリストを提示して回答してもらおうとすると、多くの人が面倒になって全部読むのを諦めてしまいます。
選択肢が分かりづらくて面倒：最後の選択肢だけやたらと長々と書いてあるので、ぱっと見では何が言いたいか分かりづらいのではないでしょうか。
「最初の方の回答が賛成意見だから、どうせ後の方は反対意見でしょ？」
と読む前から予想するのではないでしょうか？
速く回答したくて面倒だと感じる人は、最初の方の選択肢だけしか読まないで回答してしまう可能性があります。これはプライマシー効果と呼ばれています。
プライマシー効果は、電話調査やインタビュー調査など、口頭で選択肢を一つずつ伝える場合に起きやすいと言われています。
質問文設計の難しさ
イメージしやすくするために、以下では先の例をもう少し具体的にして、
「あなたは夫婦別姓の法案に賛成ですか？」
を考えてみましょう。
1. 質問設定の説明不足
もしあなたが、どんな条件においても夫婦別姓について賛成だったり反対だったりした場合は、この質問文に違和感を感じないかもしれません。
しかし、「XXXの場合は賛成だけど、YYYの場合は反対」のような意見を持っていた場合は、どう答えたら良いか分からなくなってしまいますよね。
2. 質問についての回答者の知識不足
もしあなたが夫婦別姓について普段からよく考え、夫婦別姓の導入には賛否両論があることがあることを知っていれば、これで十分かもしれません。
しかし、よく知らないでこの質問を問われた人は「夫婦別姓を選べないより選べた方が良いに決まっている」と考えるかもしれません。
でも、夫婦別姓の問題は単純に当事者（夫婦）の利便性の問題ではないかもしれません。
例えば、夫婦別姓の導入に事務手続き上の困難があればそれに対処するには税金が必要でしょうし、もしかしたら夫婦別姓を利用した犯罪手口があるかもしれません。それらの負担やリスクと、夫婦別姓を選択できることのメリットを天秤にかけるということが調査で真に問いたいことであれば、まず問題の難しさを理解してもらう必要があります。
私は夫婦別姓問題については詳しい知識はありません。ただ調査対象となるような問題には、必ず賛否両論があるはずです。その例として、考えられる可能性を書いてみました。詳しい方には「適当なことを書いている」と思われるかもしれませんが、ご容赦ください。
3. 社会的に望ましい回答のバイアス問題（Social desirability bias）
例えば、夫婦別姓について反対意見を持っていたとしても、世間的に「古い考え方を持っている人だ」「男女差別だ」と批判される後ろめたさを感じて、賛成票を投じてしまうような場合があります。
このような社会的に望ましい回答に偏ってしまうことは、昔からアンケート調査の困難として検討されてきました。
有名な例では「あなたはドラッグをしようしたことがありますか？」のような質問です。匿名のアンケートだと言われても、もしかしたら身元を特定されるかもしれないと思うと、あえてリスクのある回答を告白する人はいないというような問題です。
もう一つは「あなたは毎回選挙に行きますか？」のような質問です。このような質問に対し、質問文の序文で「世の中には選挙にどうしても行けないという人も大勢いいますが…」というような文言を追加し、選挙に行かない人も答えやすくする効果を狙ったものがあります。
「質問文は回答者にバイアスを与えるから気をつけましょう」というような話もありますが、この例では逆に、質問文に序文を追加した効果は顕著には見られなかったそうです。
難しいですね。
4. 質問文が難しい・質問数が多くなりすぎる問題
質問文が難しすぎたり、質問数が多すぎたりすると、回答者の回答がいい加減になったり離脱率が上がるという問題があります。
単純に聞きたいことが多すぎる場合もあるのですが、アンケート調査で回答者がちゃんと回答しているかをチェック（サティスファイシングのチェック）するのに、あえて似たような質問を繰り返し聞いたり、似たような回答を仕込んでおくということがよく行われます。
質問文が難しい例として、よく読まないと間違えてしまうような、ひっかけ問題を仕込む場合もあります。
サティスファイシングのチェックは、回答者に（本質的でない）負荷がかかりすぎる場合もあり、アンケート調査法の主たる研究対象になっています。
さいごに
今回は選択式アンケート調査での質問文・選択肢設計の困難について書きました。直面してみないと案外気づかない（もしくは直面しても気づかない）困難もあると思います。
サンプリングの設計や、データ収集後の分析の困難については触れませんでしたが、それらは別の回で書いてみたいと思います（時期は未定です）。
【宣伝】 AIアンケートシミュレーター
『Aska』は、AIアンケートシミュレーターを搭載したアンケートシステムです。
たくさんのAIエージェントが回答者としてアンケートに回答してくれます。調査のシミュレーション（壁打ち）をすることで、質問文に問題がないか事前にチェックできます。
調査設計に不安のある方はぜひお試しください。
この記事が気に入ったらサポートをしてみませんか？