【雑記】アンケート調査って難しいんだよ

Twitterでは毎日目まぐるしく話題が飛び交うので、一つの話題に対してコメントしようとあれこれ調べていたら乗り遅れてしまいます。
そこでスピードを重視して少ない知識と語彙でつぶやくと、まあスカスカの論になるのが自分でもわかります。スピードと投稿のクオリティを両立させている論客の皆さん、本当にすごいです。

そんなわけで私はスピードについていくことは諦めて、自分のペースで調べたこと・考えたことを書いていこうと思います。

今回のテーマは「アンケート調査って難しいんだよ」です。

①そもそもアンケートに回答してもらうのは、意外と難しい

まず最初に、アンケートで回答を得ることは、意外と難しいです。
というのも、人は物事に対して必ずはっきりした意見を持っているわけではないことがほとんどだからです。
まして、今まで知らなかったことに対して意見を教えろと急に求められても、答えようがないですよね。
聞いたことはあるけど深くは知らないことに対しても、同様だと思います。
私は今まで聞いたこともないことに対する感想を聞かれたら、少々言葉は荒いですが、こう答えると思います。「しらんがな」と。

しかし、アンケート調査では回答する人が「しらんがな」と思っているであろうことに回答を求める場面が多々あります。
なので、質問項目が多かったり、難しい単語を使っていたり、すべて自由記述回答だったりするアンケートは最後まで回答してもらえないか、深く考えず適当に回答されることがほとんどです。だって面倒だし、わからないから。

これについては、手元にあった社会調査の本の一節を引用します。

多くの調査対象者は，必ずしも調査内容に関心をもっているわけではない．
むしろ，多くの調査は，大半の調査対象者が関心をもっていない内容を聴いていることが多いといえよう．
したがって，質問文や選択肢を深く吟味して回答するとは考えられない．
（島崎 哲彦（編）（2007）. 社会調査の実際ー統計調査の方法とデータの分析ー　第五版（pp.103） 学文社）

そこで、なんとか「しらんがな」の人からもなんとか回答を得るため、質問者は項目を最小限にしたり、使う言葉をなるべく平易なものにしたり、回答を選択式にしたりなどといった工夫をして、回答を得る努力をします。

・・・が。
ここで、アンケート調査の難しさが出てきます。
回答を得るために工夫した項目や言葉、選択肢が、回答を誘導してしまうことがあるのです。

②その回答、質問者が誘導していない？

自分語りで恐縮ですが、学生時代、とある宗教の広報誌が家のポストに入っていました。
暇だったので目を通してみたのですが、その中にあったアンケートが未だに記憶に残っています。

あなたは○○（代表者の名前）がブッダの生まれ変わりだと知っていますか？
　・知っている
　・今知った　

きっと「○○＝ブッダの生まれ変わり」という事実は質問文で伝えたから、知らないという選択肢は存在しない（ことにした）のだと思います。
「知らない」と答えたいとしても、選択肢が2つしかない以上、回答者はどちらか一方を選んで回答するしかありません（無回答にすることもできますが、今回は割愛）。

さて、このアンケートを作った人は、きっとこう報告したかったんじゃないでしょうか。
「「○○＝ブッダの生まれ変わり」という事実を知らない人はいません。この事実は浸透しつつあります」と。

・・・・・これもうアンケートじゃなくて布教ですね。

このように、質問者は選択肢を偏らせることができます。偏らせることで、回答を自分たちの思うように誘導させることができます。

また、質問文の書き方でも回答を誘導させることができます。
これについては、アンケートソフトウェアを提供するSurveyMonkey社のホームページから引用します。

ミスNo.1: 読んだ人の意見を議論の一方に偏らせるような言い回しは絶対に避けましょう。中立的でない言葉を含む質問文は、たいていの場合誘導的だといえます。

悪い質問: ナポレオンはどのくらい背が低かったですか？

「背が低い」という言葉は、すぐさま回答者の頭にイメージを呼び起こします。質問文を中立的に聞こえるよう書き直せば、誘導によるバイアスを取り除くことができます。

良い質問: ナポレオンの身長はどのくらいでしたか？

（SurveyMonkey．データを台無しにする5つのよくある質問
https://jp.surveymonkey.com/mp/5-common-survey-mistakes-ruin-your-data/　（2021年10月2日））

どうでしょうか。イメージできるでしょうか。
要は「質問者の印象や判断が質問内容に含まれていると、回答が誘導されるよ」ということを理解いただければよいのかなと思います。

③質問者は回答者をわざと誘導しているの？

さて、ここまで読んできた人の中で、こんな疑問をもった人はいるでしょうか。
「回答を誘導するようなアンケートを作ってる人って、わざとなの？」

結論から言わせてください。わざと誘導している場合もあるし、気づかない間に誘導している場合もあります。

また自分語りで申し訳ありませんが、学生時代に実習で「環境問題への意識」に関するアンケートを作成したことがありました。
アンケートを作ったことがなかった私とチームメンバーは、

環境問題→車の排気ガスとか？→排気ガスが少ないのはエコカーだよね→エコカーって燃費がいいよね

と連想ゲームをした結果、「環境問題への意識が高い人はエコカーを選ぶはず」という（ガバガバ）仮説を立て、

「あなたが車を購入する際、燃費の良さを気にしますか？」

という質問項目をつくりました。
意気揚々と指導教官に見せに行った私たちは、

「燃費のいい車はガソリン代が少なく済むから、環境問題を意識していない人も気にするだろう。この質問で環境問題への意識をはかることはできない」

と突っ込まれて、すごすごと自席に戻りました。
（もし突っ込まれずに「環境問題への意識」と題したアンケートに上記項目を入れたまま回答を求めて、「車を買うときに燃費のいい車を選ぶ人が多いです。つまり環境問題を意識している人は燃費のいい車を選ぶんです」なんてレポートを出していたら、きっと単位もらえなかったと思います。）

過去の自分のアホさを晒すことになりましたが、要は「「はい」または「いいえ」の回答に影響する要因を絞り込めない質問になってしまっていた」ことが、失敗の原因でした。

と、失敗の原因だけ見れば単純ですが、この原因を完全に排除するのは結構難しかったりします。
なぜなら、人が評価を下す際の要因は本当にさまざまで、思いもしない観点が含まれることがざらにあるからです。
何回も文章を見直して、複数の人に相談して、ようやくできた質問紙をテストしたときに「これこれこういう理由で「はい」とも「いいえ」とも言えない」とコメントされたときに「その発想はなかった・・・！」と驚くこと、あると思います。

なので、アンケートを回答しているときに「この質問、なんか質問者の意図が読めるような・・・」と思っても、わざとやってると決めつけるのは早いです。
単純に、アンケートの質が低いだけのこともあります。

④まとめ

他にも色々書きたいことがあるんですが（選択肢の数・順番とか、ダブルバーレルとか、答えにくい質問をどう回答してもらうかとか、あえて回答を誘導することもあるとか）、疲れたし、更新頻度を優先したいので今回はここまでとします。

今回お伝えしたかったことは
　・アンケートはそもそも回答してもらうこと自体が難しい
　・質問内容をよく考えないと、回答を誘導してしまう
の2点です。

もしこのnoteをみて、アンケートの作り方に興味が出た人がいましたら、本屋さんで「社会調査」の入門書を探して読んでみてください。
その後で、自分が目にしたアンケートの項目を吟味してみてください。
意外と、ツッコミどころがあるアンケートは世の中に多いですよ。