効果検証を「やった気」にならない

GMOペパボ ディレクター Advent Calendar 2021の18日目の記事です

adventar.org

こんにちは！新卒開発ディレクターのきなこです。
ここ数日、口内炎が治らなくて困っています。

今回は、施策を実施した際の効果検証についてのお話です。

効果検証を「やった気」になっていた

学生時代、ハッカソンなどで作ったアプリやサービスをブラッシュアップし、ポートフォリオサイトにまとめる、ということを何度もしていました

その中で私がやっていたのは、実際に周りの友人や家族にサービスのプロトタイプや実物を触ってもらい、反応を見るというユーザーテストでした。
テストした反応やフィードバックをそのまま反映させる、の繰り返し…。

何度かその検証を繰り返すうちに「当初の課題を解決するサービス」から「周りの人が欲しい機能が詰まった何か」になっていくことに気づかず、私は効果検証を「やった気」になっていたのです。

また、デザイナーとして働いていたアルバイト先では、与えられた施策の結果を見るだけで、特に自分から能動的に数値の目標や指標を決めていたわけではありませんでした。自分が作ったデザインによって数値が変化するのを見るのはとても面白かったですが。。

効果検証を「やった気」にならないために

では、実際に多くの人に利用されているサービスではどうでしょうか？
ユーザーテストを何度も行わずとも、GoogleAnalyticsを見ればユーザーさんがどんなページを見て、どんな行動をしたのかを確認することができます。

もちろん、ユーザーテストなどの定性調査を行うことも大切ですが、私の場合、高頻度で実施するのはなかなか難しいので、今回は数値を活用して効果検証を行う方法を紹介します。

何を検証したいのか決める

「やみくもにデータを見ると、無限に時間が溶けちゃうよ」というアドバイスを何度も先輩にいただきました。事前に仮説を立て、それを検証するためにデータを見る、ということが大切と思っています。

今回実施する施策の目的はどんなことで、目的を達成するためにはどの数値がどうなっていることが必要なのか。そのためにどんなアプローチをすれば良いのか、のような流れで私は施策を考えるようにしています。

また、目標値を決める際は、これを実施したらこうなるだろう。のような確実な仮説がない場合は「現実的に、こんな数値になって欲しい」という値を設定するようにしています。

数値の話なのに抽象的な説明ばかりでごめんなさい。。

どんな方法で検証を行うのか

施策を実施した後、どんな風に確認するのかは実施前に決めておきましょう例えば、ABテスト、実施前後の比較を行う方法など

実施前後の同期間で比較する場合、例えばセール時の1週間と平常時の1週間では絶対に売り上げやUUなどの絶対値は大きく違いが出ると思います。

どの期間を比較するのか、ABテストの場合はそれぞれ何％のユーザーに出すのかなども検討しましょう

次にどう活かすのか

結果から「どうしてこの結果になったのか」をしっかりと考え、次に生かすことが大切です。

目標値を達成した場合も「最初に立てた仮説が当たっていた」以外の要因を考えてみると、次の施策が思いつくかもしれません。
「週末だったから訪れる人が多かった」「あったかい季節だったからアイスクリームの人気が高かった」のように、さまざまな角度で考えることが大切だと思います。

また、定量的な部分で、目標以外の数値がどう変化したかを確認することも大切です。例えば、どこからやってきた人が多かったのかな？など。
こんな人にとっては、こういったアプローチが嬉しいのか〜のようなことが見つかることもあると思います。

おわり

最後までいろいろと書いたのですが、書きながら「ここ、私も全然できてないな…」という部分も結構ありました。。が、学んだことの整理ができてよかったです。ありがとうアドベントカレンダー。

今後も、自分が携わっているサービスをもっといろんな人に使ってもらい「いいサービスだな〜」と思ってもらえるように頑張りたいです。

最後まで読んでくれてありがとうございました😊