有益なデータが取得できる調査にしよう！

こんにちは、Emotion Techのなんでも屋、のてです！
今回、わたしが大学時代に社会調査法を学んでいたという流れで本記事を執筆しております。

Emotion Techは、アンケート調査をベースにカスタマーエクスペリエンス(CX)/エンプロイーエクスペリエンス(EX)改善のお手伝いをしています。
今回は、一般的な内容も多いですが、アンケート調査を進めるにあたって「有益なデータを取得する」ために押さえておきたいポイントを、調査の事前準備の流れに沿って整理していきます。

なお本内容は、タイトルの通り「有益なデータを取得する」ことを主眼に置いているため、データ分析観点の深掘りはしませんのでご了承ください。

①調査の目的を設定しよう

調査を始める前に、まずはその調査で何を知りたいのか？取得したデータを何に活用したいのか？といった「目的」を整理します。

例えば、
・ユーザーが自分たちのサービス(ECサイト)のどこに満足していて、どこに不満を持っているのか知りたい。不満なポイントは改善に活かせるような示唆が得られるとよい
・サービスの継続率が下がっているので、その要因を探りたい
という感じです。

目的はなるべく一本化したほうが良いですが、どうしても複数の目的を設定したい場合は優先順位をつけるようにしましょう。

ここの整理を怠ると、後の調査票の作成やデータの準備をする際に「あれもこれも質問に入れたい、データを紐づけたい」となってしまったり、本当に質問しなければならないことを入れ忘れたりしてしまいます。

また、目的によって調査の対象者や調査のタイミングが変わることもあります。
例えば、新規ユーザーの継続率を高める要因を知りたいのに、長くサービスを利用しているユーザーばかりが回答するような状況になってしまったらあまり意味がないですよね？

せっかく自分たちや調査の対象者のコストをかけて調査するので、目的に沿った有益なデータが取得できるよう、しっかりと明文化しておくことが重要です。

②仮説を設定しよう

目的が設定出来たら、次は目的に沿った仮説を設定します。

例えば、以下は「ユーザーが自分たちのサービス(ECサイト)のどこに満足していて、どこに不満を持っているのか知りたい。不満なポイントは改善に活かせるような示唆が得られるとよい」という目的がある場合の仮説の一例です。

・商品の種類が少ないし、特に「商品ラインナップ」に対する不満が大きいのでは。ターゲットは30代だが、20代もそこそこいるので年代別でも違うと思う
・年間の購入回数が多い人と少ない人、1回の購入金額が多い人と少ない人では、不満に思うポイントが違うのでは？

仮説を設定しないまま調査票を作成したり分析したりすると、目的の設定時と同様に「あれもこれも質問に入れたい、データを紐づけたい」となってしまったり、本当に質問しなければならないことを入れ忘れたりしてしまいます。

また、分析結果から示唆を得られるかどうかも、この仮説の設定に左右されることが多いです。
仮説が無い場合に起こりえるデメリットは、以下の通りです。

・データの組み合わせや切り口が的外れな分析結果になる可能性がある
・分析結果を信頼していいのかどうかが判断できない
・抽象的な分析結果しか出せず、結果から何がわかるのかがわからない

仮説を設定することによって、分析する際に使用するデータや切り口が定まり、より目的達成度の高い分析結果が得られることでしょう。

③仮説の検証に必要なデータを整理しよう

仮説が設定できたら、その仮説を検証するために必要なデータは何なのかを整理します。

例えば、
商品の種類が少ないし、特に「商品ラインナップ」に対する不満が大きそう。ターゲットは30代だが、20代もそこそこいるので年代別でも違うと思う
という仮説に対して必要なデータは
・比較したい項目ごとの満足度
・年代の情報
だと想定されます。

また、
年間の購入回数が多い人と少ない人、1回の購入金額が多い人と少ない人では、不満に思うポイントが違うのでは？
という仮説に対しては、
・比較したい項目ごとの満足度
・ユーザーごとの年間の購入回数
・1決済ごとの購入金額
というデータが必要だと想定されます。

こうして、あらかじめ仮説に対して必要なデータを整理しておくと、後に調査票を作成したり自社の顧客/購買データベースから利用できるデータがあるかの検討がスムーズに進み、「あれ知りたかったのに質問し忘れた！」ということが減ります。

④整理したデータの取得方法を決めよう

必要なデータが整理できたら、次はそれを「調査票内で質問するか」「自社の顧客/購買データベースから取得するか」を整理します。
自社の顧客/購買データベースのデータと紐づけられる状態※でアンケートを配信できる場合、この整理は必須です。

※ 例えばWebアンケートだと、メールやWebサービスサイト内のポップアップなどを通してキーとなるIDを取得できる状態で配信することによって、自社の顧客/購買データベースのデータと紐づけることが可能です。
本記事の趣旨とは少し外れますが、一般論としてアンケートは利用者から情報を収集する行為なので、利用者に目的やデータの扱い方が伝わるよう、規約はちゃんと書きましょう。
データベースとの紐づけ時は特に注意が必要です。

③のデータの例でいうと、(自社のデータベースから取得できる情報によりますが)以下のように整理する事が可能な企業も多いのではないでしょうか。

▽調査票で取得するデータ
・比較したい項目ごとの満足度

▽自社の顧客/購買データベースから取得するデータ
・年代の情報
・ユーザーごとの年間の購入回数
・1決済ごとの購入金額

この時、「自社の顧客/購買データベースから取得するデータ」に関してはいくつか注意が必要です。
以下の注意点をクリアできるか、データ抽出作業者と依頼者の間で共通認識を持っておくことが大切です。

・想定通りのデータが取得できるか？
「ユーザーごとの年間の購入回数」や「1決済ごとの購入金額」などは、取得したい形でデータが出力できない場合もあります。
取得したいデータの形を事前にすり合わせておきましょう。

・データが古くないか？
例えば年代などは、「生年月日」の情報をもとにしていない(例えば、会員登録時に選択式で回答してもらった場合など)場合はデータが古い可能性があります。
また、居住地の情報も同じく注意が必要です。

もし自社のデータベース内のデータが古い場合は、調査票で情報を取得しましょう。

⑤調査票を作ろう

①～④で整理した内容をもとに、調査票を作成します。

調査票を作成する際の注意点として、「ダブルバーレル質問(複数の内容が含まれる質問)は避ける」「ステレオタイプな表現を避ける」などはよく聞かれると思いますが、そのほかの特に注意したい2点を以下にまとめます。

■質問文や選択肢は、回答者になじみのある言葉を使用する
特にやりがちなのは、「社内でしか使用されていない言葉や略称を使ってしまう」事です。
例えば、サービス上では「Special Contents」と表記しているけれど、社内では「特集」と呼んでいるので、調査票内でも「特集」と書いてしまう…などが該当します。

特にサービスの担当歴が長いとついつい感覚がマヒしがちですが、サービスに使用されているワードを使わないと、回答者は何を指しているのかわかりません。
どうしても言葉で説明しづらい場合は、画像などで示すと分かりやすいです。

■前回と今回の調査を比較する際は、質問文も選択肢も変えない。注釈も変えない。
当社でよく利用する「推奨度(NPS®)質問」を例に挙げます。

前回は

あなたは「〇〇保険」を親しい友人や知人にお勧めしたいと思いますか？

今回は

あなたは「〇〇保険」を親しい友人や知人にお勧めしたいと思いますか？
※保険にお悩みの方が周りにいると想定してお答えください

と質問文を変えたとします。

すると、今回の方が回答するときのイメージの解像度が高まり、回答傾向が変わる可能性が出てきます。
そのような状態で前回と今回の調査の平均推奨度とNPS®を比較し、有意な変化があったとしたら、その変化は改善アクションや世情の影響なのか、注釈を加えた影響なのかが分からなくなってしまいます。

そのため質問文や選択肢は、初回の作成時に「回答者がこの質問文をどう受け止めて回答するか？」をよく考えながら設定することが大切です。

どうしても変更したい場合は、上記のような影響が起こりえることを認識して分析結果を解釈する必要があります。

■評定尺度の言葉に気を付ける
調査でよく利用される「非常に満足」「どちらとも言えない」「非常に不満」などの選択質問形式は、「評定尺度法」と呼ばれます。
評定尺度は一般的に5段階や7段階などの奇数で設定されますが、選択肢の間隔がなるべく等間隔に、かつ網羅的になるように気を付けます。

「等間隔」の良くない例でいうと、(極端ではありますが)「非常に満足、満足、やや満足、やや不満、不満」という状態などを指します。
これだと選択肢がアンバランスで、正しく評価されているかが疑わしいデータになってしまいます。

また、「網羅性」の良くない例としては、(先の「等間隔」の例もある意味網羅性が欠如していると言えますが、)例えばサイトの表示速度に対して良いとも悪いとも思っていないのに、「どちらとも言えない」という選択肢がないと回答者は困ってしまいます。
(ただし、日本人は特に「中間評価を答える」という黙従傾向があるので、わざと「どちらとも言えない」という選択肢を除いてどちらかの評価を回答させる、という手法もあります)

そのほか、質問文では「満足していますか？」と聞いているのに、選択肢が「良かった、悪かった」となっているなど、質問文と選択肢の対応関係が一致しているかどうかも気を付けるポイントです。

おわりに

さて、ここまで「有益なデータを取得できる調査」にするためのポイントをいくつか解説してきましたが、いかがでしたでしょうか？
アンケート調査は本当に奥が深く、まだまだ語りつくせていない点がたくさんあります。
(本当に、他にもたくさん押さえておきたいポイントはまだまだあるのですが、今でもかなりボリューミーなので泣く泣く割愛、です。。。)

Emotion Techは、ここでは紹介しきれていないCX/EXの改善に役立つ有益なデータを取得するノウハウはもちろんのこと、そのデータを有効に活用する分析手法も所有しています。

もしアンケート調査の奥深さに少しでも興味がわいてきた方がいらっしゃいましたら、ぜひぜひEmotion Techにお越しください！

注: ネット・プロモーター® 、ネット・プロモーター・システム® 、ネット・プロモーター・スコア®及び、NPS®は、ベイン・アンド・カンパニー、フレッド・ライクヘルド、サトメトリックス・システムズの登録商標です。