#079 やさしいポートフォリオ分析(5) 10人しか集まらなかったアンケートの分析結果って信用していいの?

ポートフォリオ分析に関する特集の5回目です。

自社のサービス・製品をよりよくしていくために、お客さまの評価をアンケートとして回収・分析する方法を説明しています。

この特集の第2回で、「アンケートは最低100くらいは集めましょう」と書きました。
しかし、実際にはそんなにたくさんのアンケートが集まらないこともあるかと思います。

今回は、アンケートの数が少ないとどういう間違いをしてしまう可能性があるかについて、統計的に説明してみたいと思います。
(第2回の補足という位置づけです。)

今回のお題: 10人のアンケートから、A案・B案のどちらが良いかを選べるか

以下のケースを考えます。

・この会社では、次の製品のデザインを、A案・B案のどちらにするかを検討しています。
・検討のために、ターゲット顧客と同じ属性(年齢、性別、地域、など)の人を10人選び、アンケートを依頼しました。
・A案・B案、それぞれのデザインが好きか嫌いか答えてもらうアンケートを行ったところ、その結果は以下のとおりでした。
          - A案: 好きと答えた人7人、嫌いと答えた人3人
          - B案: 好きと答えた人4人、嫌いと答えた人6人

この結果から、次の製品のデザインは A 案にしようと意志決定するのは正しいでしょうか?
なんとなく良さそうな気もしますが…

「標本誤差」とは

ここで重要になるのは、「標本誤差」という統計の考え方です。
標本誤差とは、「母集団の全てを調査したときの結果と、一部の標本を抜き出して調査した結果との間に生じるズレ」のことです。
一般的に、対象となるターゲット顧客全員に対してアンケートをとるのは現実的では無いので、アンケート調査の結果にはかならずこの標本誤差が生じます。

標本誤差は、結果に対する比率(パーセント)で表現されます。
例えば、「標本誤差が10%」というのは、アンケートの結果が、良い:悪い、それぞれ50%であった場合、母集団全体では、良い:悪いそれぞれ 50%の上下10%、すなわち、40%〜60%のどれかになる、という意味になります。

「標本誤差」の求め方

標本誤差は、以下の式で求められます。

ここで、
・k: 信頼率による定数。信頼率95%の時、k=1.96
・N: 母集団全体の数
・n: サンプル数(アンケートの数)
・P: 母集団における回答の比率(好き:嫌いが50%ずつだった時は0.5)
になります。

ちなみに、N(母集団全体の数)は、n(サンプル数)と比較して十分大きいことが多いです。
その場合、式の前半の (N - n) / (N - 1) は、ほぼ1になるため無視できます。
k もほぼ2であるため、一般的には以下の簡略化した式を用いることが多いです。

今回の記事でも、この簡略化した式を使って説明していきます。

10人のアンケートの「標本誤差」を計算してみる

では、今回のA案・B案のアンケート結果について、標本誤差を求めてみましょう。

A案のアンケート結果(10人、好き=7人、嫌い=3人)の場合、
n=10、P=0.7 ですので、
標本誤差 = 2 x √((0.7 x 0.3 ) / 10) = 0.29(29%)
になります。
ということは、実際の母集団においては、A案が好きと答える人の割合は、
41% 〜 99%
になる可能性がある、ということになります。
(41% は 70% から 29% を引いた数字、99% は 70% に 29% を加えた数字です。)

あまり精度は良くありませんね。
アンケート数が10の場合、統計上、このくらい結果がぶれる可能性があるということになります。

同時に、B案のアンケート結果(10人、好き=4人、嫌い=6人)の場合、
標本誤差 = 2 x √((0.4 x 0.6 ) / 10) = 0.31(31%)
なので、実際にB案を好きと答えるであろう母集団の中での割合は、
9% 〜 71%
になります。

「標本誤差」を考慮した上で A 案と B 案を比較してみる

では、上記で計算した標本誤差を考慮に入れた上で、A案・B案のどちらが良いかもう一度検討してみましょう。

A案を「好き」と答える人の割合は、母集団において
41% 〜 99%
でした。
一方、B案を「好き」と答える人の割合は、
9% 〜 71%
です。

この結果から、実際の母集団全体においては、A案よりもB案の方が好きと答える人が多くなる可能性は十分にあります。
統計的に、このアンケート結果からA案を選ぶのは適切でない、といえます。

じゃあ、あと何件アンケートをとれば良い?

この標本誤差を小さくして、アンケート結果の精度を上げるためには、サンプル数(アンケート数)を増やしていくしかありません。
(ちなみに、標本誤差を 1/2 にするためには、アンケート数を4倍にする必要があります。)

では、まず、サンプル数を20(2倍)に増やしたときのアンケート結果を分析してみましょう。
アンケートの回答比率は同じであったと仮定します。

A案(p=0.7 / n=20)
標本誤差 = 0.20
好きと答える人の割合: 50% 〜 90%

B案(p=0.4 / n=20)
標本誤差 = 0.22
好きと答える人の割合: 18% 〜 62%

A案は50%の可能性があり、B案の62%を下回っています。
この結果では、まだA案・B案のどちらにするか決定するのは無理がありそうです。

次に、サンプル数を40(4倍)にしたときの結果は以下のとおりです。

A案(p=0.7 / n=40)
標本誤差 = 0.14
好きと答える人の割合: 56% 〜 84%

B案(p=0.4 / n=40)
標本誤差 = 0.15
好きと答える人の割合: 25% 〜 55%

ここでやっと、A案は56%以上の人が好きと答え、B案は最大でも55%の人しか好きと答えないことがはっきりしました。
統計的には、この数のアンケートを集めないと、A案の方が良いとは言えないことがわかります。

最低限の統計的センスを身につけよう

実際の業務の現場では、アンケートの結果を恣意的に解釈し、自分たちにとって都合の良い結果になるよう、統計的に間違った結論を主張するような場面も見られます。
(その行為自体の是非については、ここでは言及しません。企画を進めるためにはやむを得ないこともあるでしょう。)

ただ、このような統計の仕組みを知っておくことで、自分も初歩的なアンケートの分析間違いをすることがなくなりますし、他社や外部の業者がやったアンケートの分析間違いに気がつくこともできると思います。
最低限の統計的な知識・センスは、身につけておくと良いと思います。

まとめ。

(1) アンケート分析の結果には、必ず「標本誤差」が生じます。

(2) サンプル数(アンケート数)が少ないと、「標本誤差」が大きくなり、そのアンケートの結果から意味のある結果を導き出すことが難しくなります。意味のあるアンケート結果を導き出すためには、必要な数のアンケート数を計算し、その数を確保する必要があります。

(3) このような基本的な統計の知識やセンスを身につけておくことは、基礎的な分析間違いを防いで、意味のある仕事をする上で重要だと思います。

----------
(ここに書かれている内容はいずれも筆者の経験に基づくものではありますが、特定の会社・組織・個人を指しているものではありません。)