【論文紹介】「今この瞬間に手を打つべき顧客体験」は何か～CSポートフォリオをアップデートしよう〜

紹介する論文

情報環境利用に関する満足度データの項目反応理論による検討
著者（敬称略）：岩間 徳兼, 木村 好美, 石田 崇, 須子 統太, 末松 大
URL：https://waseda.repo.nii.ac.jp/?action=repository_uri&item_id=20714&file_id=162&file_no=1

はじめに

　先日はどうも、Emotion Tech データアナリストのイケガメです。

　先日公開された「EmotionってTechできるの？」はお読みいただけましたでしょうか。今回は打って変わって（真面目に）アンケート分析に役立つ情報をご紹介します。
　それが冒頭の論文です。著者の各先生方、素人が紹介することをご容赦くださいませ。

重要な顧客体験に変化はないか？

　紹介の前に、まずは前置きから。
　ありがたいことに、我々Emotion Techは、毎年多くのアンケート調査・分析の発注をいただいています。中には「今年で11回目（！）の調査」というお客様も。顧客評価も売上も上り調子で、我々も嬉しい限りです。

　そんな「何度も調査をしてくれるお客さん」が気にすることは、もちろん「顧客評価は上がっているのか」ですね。当然、評価が上がっていれば嬉しいし、下がってたら悲しい。
　しかし、それと同じくらい重視しているのは、「『今この瞬間に手を打つべき顧客体験』は何か」という点です。「重要な顧客体験に変化がないか」をモニタリングすることも、CS担当の大切な役割なのです。

　ユニクロの店舗における顧客体験を想像してみましょう（あくまで想像です。Emotion Techが調査したものではありません）。
　たとえば、去年（2020年）課題だった重要体験は【限定商品の入手しやすさ】だったとします。「エアリズムマスク」なんかは、生産ラインの確保のスピード感やその使用感など、だいぶバズりましたよね。店頭の行列もすごかった。コロナ禍なのに。

　しかし、今年（2021年）も同様の体験が課題かというと、そうではない可能性も大きいでしょう。「星野源コラボ」とかもすごいみたいですが、去年の異常事態とは比較できません。むしろ、店頭に行く人が多くなって【陳列の見やすさ】なんかがより重要になっているかもしれませんね（※想像です）。

　一方で、【価格に見合った品質かどうか】は、去年であろうと来年であろうと、ずっと重要な体験であり続けることは間違いないでしょう。

　つまり、今どこに手を打つべきか、を考える上で、「今年新たに重要になった体験」と「去年に引き続き重要な体験」を、それぞれ調査によって明らかにする必要があるということですね。しかし果たして、「重要度の変化」ってどうやって測るんでしょうか。

意外と難しい「重要度の変化」の把握

　「去年の調査結果と今年の調査結果、単純にそれぞれ分析して比較すればいいんじゃないの」という声も聞こえてきそうですが、話は意外と複雑です。
　
　たしかに、去年と今年でそれぞれ分析すると、「それぞれの結果」は出てきます。が、それだけでは「『去年も今年も重要な項目』が『去年と同じくらい重要である』こと」は、実は厳密には比較できないのです。

　本論文でもピックアップされている有名な分析手法「CSポートフォリオ」は、横軸に「重要度」、縦軸に「評価の高低」をプロットし、「重要かつ評価が低い」項目から手を打とうと考える方法です。Emotion Techでも同様の分析手法を用いており、課題の優先順位を付ける上では非常に有用な手段と言えます。

　しかし、去年と比較してみようとすると、ちょっと悩んでしまいます。
　縦軸の「評価の高低」については、去年と比較できますが、横軸の「重要度」は、偏差値化した相関係数などをその指標としていることが多く、その結果は「その年の結果の中で相対的に重要だった項目」を示すに過ぎません。

　「去年と比べて重要度が上がったのか／下がったのか」を見るためには、分析の仕方にひと工夫必要ということですね。

　前置きが長くなりましたが、今回紹介する論文は、それらをシンプルに示す方法を提案してくれています。

項目反応理論ベースのCSポートフォリオ

　論文の要旨は、以下です。

　2011 年度に実施された早稲田大学情報利用アンケートより得られた情報環境利用に関する満足度を尋ねた項目への回答データに，項目反応理論に基づくモデルを適用し，文理やキャンパスによる各項目の特徴の違いについて検討した。また，属性ごとの結果を統合して布置図として表し，満足度に関連する項目を見出す方法を示した。

　要旨にある通り、本文で示されているのは、「文理の差」「キャンパスの差」によって重要度が変わるか、という内容ですが、紹介される方法は「時系列」にも応用できることも触れられています。

　本論文のポイントの1つ目は、CSポートフォリオの横軸・縦軸の考え方を、SPIやTOEFLでおなじみの「項目反応理論（IRT）」における「識別力（α）」「困難度（β）」に当てはめていることです。
※CSポートフォリオについてはこちら、項目反応理論についてはこちらもご参考ください。

　今回のデータに寄せて解釈すると、以下のような感じでしょうか。

識別力（α）…「総合評価が高いときの、その項目の満足度の高さ」と「総合評価が低いときの、その項目の満足度の低さ」の両者の差が、どれだけはっきりしているか
困難度（β）…その項目の満足度に対する「厳しさ」
　
　つまり、その項目の満足度によって、総合評価（総合満足度やおすすめ度など）の高低をうまく識別できる項目ほど、横軸（重要度）で右の方にプロットされ、その項目の満足度が全体的に低いほど、縦軸（評価の高低）で下の方にプロットされます。
　よって、右下にある項目は、重要であるにもかかわらず、評価が低い項目、ということになりますね。

　ただ、ここまでの話であれば、通常のCSポートフォリオからわかることと、ほぼ同様です。本論文の2つ目のポイントは、さらに、IRTにおける特異項目機能（Differential Item Functioning: DIF）の考え方を採用している点です。

特異項目機能（DIF）…異なる群を比較した時に、総合評価が同程度でも、その項目の満足度に対する反応（識別力や困難度）が違う状態

　つまり、「DIFが存在する項目は、回答者の属性によって識別力や困難度に差がある」ということです。

　これを言い換えると、「回答者の属性による違いがあることを確かめるには、DIFが存在するかどうかを示せば良い」ということになります。
　この発想から、本論文では、「時系列的な違いがある項目を発見するために、DIFが使えるのではないか」と考えたのです。
　すなわち、去年と今年のアンケート結果を比較したとき、DIFが存在する項目は、識別力（≒重要度）か困難度（≒項目の満足度）が変化している、と解釈できるだろうということですね。うーん、おもしろい。

　何がおもしろいって、DIFが存在するとわかったら、その満足度項目を、去年と今年それぞれ、例のCSポートフォリオにプロットすることで、重要度と満足度がどのように変化しているのかが一目瞭然になるというわけですよ。
　ちなみに、「DIFが無い」と判断された項目は、去年と差が無いので、今年の分だけ見ればよいということになります。

　本来は項目の不適切さを示すDIFを、このように活用するとは、さすがですね！（そもそもDIFのことをよく知らなかったことは秘密…アセアセ）　

　これで、重要度がどのように変化したのか、を把握できました。めでたしめでたし。

おわりに

　繰り返しになりますが、CXマネジメントを運用する上で、「今年新たに重要になった体験」と「去年に引き続き重要な体験」を、それぞれ明らかにすることは重要なテーマです。ぜひぜひ、本稿や紹介論文をご参考ください。

　また、Emotion Techでは、こうした考え方を活用した分析手法を取り揃えております。正解の方法は1つではありません。お悩みの際はぜひ一度お声掛けください。（一緒に働ける方も募集中！）

　それではまた！