2020年という一年をふりかえってみる
メディア事業部の横軸組織PTAのアドベントカレンダーの15日目の記事となります．
アドベント？なんですか？ 『アドベント』って…
一般の人的にも多分そんなに常識的な言葉じゃないですよね？
アドベント (Advent) は、キリスト教西方教会において、イエス・キリストの降誕を待ち望む期間のことである。
ということで，クリスマスを待ちつつ，しばしお付き合いいただければ幸いです．
はじめに
個人的に2020年を振り返ると，社内で実施されるA/Bテストのために色々と動いてきた年でした．テスト実施フローの設計や評価ロジックの確立，システムの構築など，部署内外のいろんな方々と一緒に仕事ができてよかったなあと思っております．
本記事では，ABEMAにおけるA/Bテストの一事例を紹介しようと思います．
A/Bテストとは？
“バケットテスト”とも呼ばれるA/Bテストは、ランダムに選出し作られたユーザーグループにそれぞれ異なるバージョンを投下しテストするマーケティングにおける実験です。
参考) https://www.ptengine.jp/blog/what-is-ab-testing
ざっくりいうと，会社の施策でAパターンとBパターンがあって，どっちがいいの？？という状態になったときに，そのパターンの良し悪しを定量的に判断するために行う実験です．
ABEMAでの一事例~ランディング広告施策~
ABEMAの広告部門の施策で，ランディング広告というものがありました．ランディング広告は，アプリの起動時に企業コラボ広告が流れるといった広告商品です．具体的なイメージは，下記のYOUTUBEで紹介されているのでご覧いただければ幸いです．(下記リンクから，該当部分にとびます)
この広告商品が，サービスに悪影響を及ぼさないか？を検証するために，
A:ランディング広告がある
B:ランディング広告がない
上記の2パターンを比較しました．
テスト設計
テストの目的：ランディング広告表示の有無と離脱率の関連性を調査する
評価指標：直帰率
テスト期間：2週間
というように設定しておりました．
評価指標の追加
直帰率は，はじめから弊社のビジネスKPIとして存在していたものになります．
しかしこの検証において，はたして直帰率だけでユーザの行動を捉えることができるのか？と疑問に思っていました．ユーザのお気持ちを想像（妄想？）したときに，もっとよい指標はないか？そういった観点で，早期離脱率（自作指標）という指標を（なかば勝手に）作って，評価を行いました．
指標の詳細は伏せますが，イメージは上図の通りです．より早い段階でのユーザ離脱を測る指標として，新しく評価指標を追加したんだなあくらいに思ってください．
評価指標の追加の効用
自作の評価指標を新たに追加したことにより，ユーザ行動をより詳細に捉えることができたように思います．そこで，よかった点が3つありました．
・機能改善のポイントを明確にできた
・ファクトベースでユーザ行動を具体的に考えられるようになった
・似たような施策で，思考パターンを横展開できる（かも？）
このテスト結果で無事，ランディング広告をリリースすることができました．関係者各位，お疲れ様でした．
まとめ
ABEMAにおけるA/Bテストの一事例を紹介してきました．
今回の施策で，ユーザの心の動きをデータから絞り出すことの重要さと難しさと面白さを感じました．
私の大学の恩師の言葉で好きな言葉があります．
- 基本コンセプトは 「データに語らせる」
- 「不適切な手法を適用すると，データは気分を害してウソを語り始める」かもしれない
- 「データに気分よく語ってもらうために，よい方法を開発・適用しよう」が統計科学を勉強する人の基本姿勢
データが，ユーザの心の動きに対する写像だとすると...
そのときにユーザとデータを限りなくシンクロ率100％にできたときには，
- 基本コンセプトは 「ユーザに語らせる」
- 「不適切な手法を適用すると，ユーザは気分を害してウソを語り始める」かもしれない
- 「ユーザに気分よく語ってもらうために，よい方法を開発・適用しよう」が統計科学を勉強する人の基本姿勢
ということになります．
データを介して発せられる「ユーザの声」を適切にプロダクトに反映させていく．そういった仕事に興味を持ち始めた一年でした．
上記のように，さまざまな会社でユーザファーストの目指す取り組みがなされています．
私はユーザの声をデータに変換して，そのお気持ちを想像し，ユーザファーストを目指していきたいと思いました．
Convert user's Voices to Data!!!
以上です．最後まで閲覧していただき，誠にありがとうございました．
noteではじめて記事を書いたんですが，おもしろいですね．
今後もなにかしらここで発信していこうかなあという所存でございます．
この記事が気に入ったらサポートをしてみませんか？