その指標(CSAT)は誰が為のものか

時として、その KPI は本当に必要なのかを自問自答すべきと思っています。

企業においてお客様を対象とした活動/プログラム/施策では CSAT を評価指標として取り入れるケースが多いと思います。CSAT つまりお客様満足度を取ることで前回と比べて改善しているか、なんらかの施策を加えて効果があったのかをチェックする重要な指標です。CSAT は非常に重要なのですが、その CSAT はなんのためにとるのか？という目的を明確にもっていないと、その KPI(Key Performance Index) に振り回されることになります。

私が2017年に AWSJ(Amazon Web Service Japan) のコミュニティプログラム担当として仕事をはじめて最初の JAWS DAYS (2018)をお手伝いした時、AWSJ 社内で「JAWS DAYS の CSAT を取るべきだ」という議論がなされました。自社主催のイベントやセミナーにおいては、必ず参加いただいたお客様にアンケートの記入をお願いし、その項目に5段階評価の「全体の満足度」や「講師の満足度」を設定します。5段階評価を採用することで、他のセミナーや他の講師との比較が可能になり、過去のデータと比較して前回より改善したかといった判断の指標になります。

JAWS DAYS は毎年2月～3月に行われるユーザーコミュニティ Japan AWS User Group (JAWS-UG) のビッグイベントです。2020年はオフライン開催予定だったものを外出自粛要請にあわせて急遽縮小オンラインに変更を余儀なくされましたが、2019年は2,450人、2018年は1,921人の申し込みをいただく規模のオフラインイベントでした。JAWS DAYS に関しては全費用の半分以上を AWSJ が負担しますが、コンテンツ企画や現地での運営のほとんどは JAWS-UG の有志によって行われます。

セミナーやイベントを実施すれば CSAT は取得するもの、という考えは当然といえば当然なのですが、こと JAWS DAYS の CSAT を AWS が何らかの形で取得する、もしくは AWS が JAWS-UG の実行委員に依頼して取らせることに対しては首を縦に振りませんでした。理由は3つあり、そもそも AWS が主催しているイベントではないこと、つまりCSAT をとっても AWS が主導して改善策が実施ができないこと、そして何よりも参加者もセッション登壇者も運営もユーザーであり、満足度を指標化してもそれを活かす場がないことでした。

JAWS-UG がアンケートを実施して CSAT をとることに対しては異論を言うものではありませんが、それでも、参加者とともにつくりあげるユーザーイベントの満足度の指標化については懐疑的です。CSAT が5段階評価で 3.9 でした、という結果をもって、何を判断するのですか？と。例えば、この数値を AWS Summit Tokyo などの AWS のイベントのものと比較するのは、イベントの主催も主旨も、イベントに対する参加者の期待値も違うので、意味があるものとは思えません。しかし、一度指標化されてしまえば、その 3.9 という数値が独り歩きすることは容易に予想できます。

参加者であり、運営でもあるユーザーコミュニティのイベントは、指標化よりも、もっと大切なことがあると信じたい。それは、数に限りはあるとはいえ、実際の参加者の声であったり、要望や称賛といった反応を感じること、そして何よりも運営自身が「楽しかったか？」を振り返ることだと思っています。仲間内だけで盛り上がるタコ壺化は避けるべきですが、それでも運営自身が楽しかったかどうかはとても重要だと思います。それがなければ次世代の運営候補が育たないからです。

COVID-19という状況下であっても来年３月20日に JAWS DAYS 2021 Online を開催すべく運営の実行委員ががんばっています。指標では測ることのできないユーザーコミュニティイベントになるべく、みんな頑張っていますので応援をお願いします。まずはお申込みを！

JAWS DAYS 2021

1699文字　３時間（この量と内容でかけすぎです）
Gerd Altmann による Pixabay からの画像をお借りしました