設問数が多いアンケートでも必要なサンプル数が集まる工夫と活用例
こんにちは。
カラーミーショップ カスタマーサクセスチームの藤吉です。
自己紹介はこちら。
今回は、設問数が多いアンケートでも、必要なサンプル数を集めるために行った工夫と具体的な活用例をご紹介します。
１．今回のアンケート調査の目的
今回のアンケートでは、弊社のサービスであるカラーミーショップで、ネットショップをオープンしたショップさまのうち、初めて売上が発生したときの状況を詳細に調査することが目的でした。
なぜこのような調査をするかというと、初受注を発生させるために実際のショップがやっていることを社内でも把握できていなかったからです。
そのため、なかなか初売上を発生させることができないショップオーナーさまへの効果的なフォローができず、結果として、カラーミーショップの解約につながっていました。
今回のアンケート調査では、有効なやり方や効果的な運営方法の具体例を集め、その内容を情報共有していくことで、解約を減らしていく・初売上の発生ショップを増やす施策につなげていくことが大きな狙いです。
２．必要なサンプル数の考え方と目安
アンケート調査をする場合、まず決めることはどのくらいのサンプル数・有効回答数を集めるかです。
アンケート調査には「許容誤差」という考え方があります。許容誤差とは、調査対象である母集団の実態からどれくらいずれている可能性があるかを表す指標のことです。この許容誤差が大きくなってしまうと、実際の状態とは、かけ離れたアンケート結果になってしまいます。
例えば、１万人の母集団に対して、必要なサンプル数と許容誤差は以下の表のとおりです（※1 引用：アンケート調査で必要なサンプル数とは？）。
一般的に、許容誤差は1～10％に設定されることが多く、許容誤差5％を目標にしたサンプル数が1つの目安になるかと思います。
ちなみに許容誤差5％の場合、母集団別の必要サンプル数は以下の通りです（※1 引用元：アンケート調査で必要なサンプル数とは？）。
弊社サービスのカラーミーショップ利用数は、4万店なので、370～383人程度が必要なサンプル数なので、最低でも400件以上の有効回答数を集めることができれば、アンケート調査に信憑性があると考えられます。
３．アンケート調査で適切な質問数は？
アンケート調査を行う際、質問数が増えれば増えるほど回答数は減少します。また個人情報を取得するアンケートも、回答数が減少しています。なぜなら誰だって、個人情報を入力したくないですし、質問が多いと、途中で面倒になり離脱してしまう傾向が強くなるからです。
一般的なアンケート調査での質問数は、30問以内、アンケート所要時間10分以内が一つの目安です（※2 引用元：回答所要時間/質問数が回答完遂率に与える影響）。
もちろん質問数が少なければ少ないほど、アンケート完了率は上昇していきますが、今回のアンケートでは、調べたいテーマを深堀して情報収集したいという意図があり、質問数が33問となりました。
また社内でも所要時間がどのくらいかかるかをシュミレーションした際、
だいたい5～6分で完了したため、上記の目安内で回答完了できるものに調整しました。
▼今回のアンケートの平均回答時間
ちなみに今回のアンケートの回答時間の平均は、7分17秒でした。想定よりも1～2分程度回答に時間がかかっていました。社内テストの時間の＋1～2分程度で計算し、10分以内に収まるように設問数の調整や自由記入式と選択式のバランスを調整してみると良いかと思います。
４．今回のアンケート結果
今回、数万ショップに対してアンケートの協力依頼メールを配信し、その結果、有効回答数457件を集めることができたので、目安のサンプル数380件以上を集めることができました。ちなみに、アンケートを見に来てくれた件数は711件だったので、メールをクリックしたショップさまのうち、アンケート回答率は64％でした。
５．アンケート回答数を増やすための工夫
（１）回答者数を増やすための特典をつけた
設問数が33項目もあるため、アンケート回答数が目標380件に到達しないと想定しました。そこで特典を設定しました。どんな特典かというと、「アンケート回答者限定で、本アンケート調査レポートをお送りします」というものです。
当初、ポイントやAmazonギフト券なども考えましたが、費用が発生しないやり方で試してみて、それでも回答数が増えないようであれば、別途特典を検討するという考えに至りました。結果、アンケート調査レポートだけで目標のサンプル数を集めることができました。
（２）可能な限り、分岐を増やした
設問数が多いため、アンケートの回答途中で離脱するケースが多々発生すると想定できました。ただすべての設問数は今回の情報収集として必要な項目なので、該当者だけに聞きたい設問を表示させるよう、分岐をとにかく増やしました。
例えば、初受注をつくるときに取り組んでいたこととして、広告、SEO、SNS、ブログ、youtubeという設問がありますが、広告に取り組んでいる方には、広告の予算や広告の種類を分岐で表示させ、広告を利用したことがない方には、「広告を利用しなかった」を選ぶと、次の「SNS」や「SEO」などの設問が表示するようにしました。
▼実際のアンケート回答画面（分岐の具体例）
（３）自由記入欄を任意＋少数にした
アンケートは自由記入欄に入力してもらうよりも、選択肢を選んでいく方が回答しやすい特徴があります。そこで、当初は自由記入欄を極力減らし、任意とすることで対応した。
（４）チームメンバーの意見をもらう
アンケートを作成したら、チームメンバーから意見をもらうことが非常に重要です。今回のアンケートでも、チームメンバーに実際に回答してもらい、
・設問内容の意味がわかるか？
・ネットショップに詳しくない人でもわかる言葉になっているか？
・回答に時間がかかる設問はないか？
といった視点で、チェックをしてもらいました。各メンバーからは、以下のような意見をもらい、すぐに修正してアンケートを実施しました。
６．アンケート集計は事前に設計しよう
アンケート調査をする際に、事前に考えておかないといけないのは、データをどう集計するかです。特に回答者の属性情報と設問を組み合わせたクロス集計については、実際に回答シュミレーションをして、そこから何が言えそうかを考えておくことがポイントです。
例えば、今回のアンケートで言えば、
・初めて売れるまでにかかった期間×ジャンル
・初めて売れるまでにかかった期間×広告、SNS、ブログ
・初めて売れるまでにかかった期間×決済
などのクロス集計です。さらに、初めて売れるまでにかかった期間を1ヵ月以内 もしくは、 1か月以上などで区分し、
・1ヵ月以内のジャンルはどれが多いか？
・1ヵ月以内のショップが一番やっているのは広告、SNS、SEO、ブロブ、youtubeのうちどれが多いか？
などを分析することで、初売上を発生させる共通点を探すことができます。
今回のアンケート調査の場合、事前にサンプル回答を入力し、どんな調査レポートになりそうかを知るために、実際に調査レポートのサンプルを作成してみました。
実際に作成してみると、選択肢自体を変更した方がレポートにしたときに差がはっきり出るなど発見があり、良いシュミレーションとなりました。
７．フリーアンサーの集計は、かなり大変
今回のアンケートでは、フリーアンサー（自由記入欄）の設問はかなり絞りこんだのですが、それでもフリーアンサーの集計は非常に時間がかかりました。具体的には、フリーアンサーに書かれた内容を1件1件チェックし、カテゴリー分けして、似ている回答を集約していくという作業です。
ただフリーアンサーにこそ、今回の調査で知りたかったことが多くあるため、集約作業が大変ではありますが、生の成功事例が豊富にありました。以下のようにカテゴリーに分けて、似ている回答を集約しました。
８．アンケート結果の２次活用が大事
今回のアンケート調査では、調査レポートを特典としているので、レポート作成が必須でしたがレポート作成をして終わりではなく、集めたデータの２次活用が大事になってきます。
さらに、今回のアンケート調査では「お電話で初受注までのお話をヒアリングさせていただくことは可能ですか？」という設問を用意しました。なぜならアンケート調査だけでは、詳細な情報を集めることが難しいからです。
ただヒアリングしても良いかの許諾を別のメールで行うと二度手間になってしまうので、今回のアンケートに中に入れ込むことで、ヒアリング先を集めることができました。457件の有効回答数のうち、電話ヒアリングが可能と答えてくれた件数は87件にのぼりました。
この中で、こちらが事例として集めたいSNSについてヒアリングを行いましたが、詳細は以下で記載しているので、ご興味がある方はご覧ください。
９．アンケート結果を最大限アウトプットする
今回のアンケート結果はレポート以外にアウトプットを積極的に行い、
情報の共有に努めました。
具体的には、
（２）アンケート結果に関連した動画コンテンツの作成
▼初受注につながった集客手段とは【その①】
▼初受注につながったSNSと投稿内容とは【その②】
▼SNSで反響のあった投稿内容とは【その③】
以上が、質問数が多いアンケートでも必要なサンプル数を
集めることができる工夫と活用例でした。
アンケートの活用は、テックタッチメインのカスタマーサクセスにとって、
・アンケートレポート作成
・アンケート結果の２次利用
・アンケートを通じてヒアリング先確保
など、メリットだらけなので、ぜひ積極的に活用していきたいですね。