[シリーズ]A/Bテスト改善 - メルカリにおける課題の全体像 -

こんにちは。メルカリAnalyticsチームの@natsumeです。私はメルカリで出品体験の分析・改善やA/Bテストの改善を担当しています。
今回は「メルカリにおけるA/Bテスト改善」シリーズの第一弾をお届けしたいと思います。メルカリがA/Bテストに関して、どのような課題を持っているのか、またどのように改善を進めているのかをシリーズを通してお伝えしたいと考えています。第一弾の今回は、メルカリのA/Bテストをめぐる課題の全体像を伝えられればと思います。

今までの改善について

現在メルカリでは、毎日のようにA/Bテストを用いた改善を行っています。約一年前には「A/Bテストの設計が標準化されていない」という課題に対して、@yaginuunがExperiment design doc(EDD)を作成し、社内に広めました。それ以来、EDDはプロダクトの改善を行うチームに広く普及し、主に以下の三点が改善されました。

• Metrics(KPI)を事前に設定する

• テスト後の意思決定シナリオを事前に設定する

• どのようなテストが行われたかを統一フォーマットで記録する

現状のメルカリが持つ課題

一方で、EDDの広がりは効果はあったもののすべての課題を解消したわけではありませんでした。そこで私達は今年に入ってから、PdMや他Analystにヒアリングを行い、現在どのような課題を抱えているか明らかにしました。すると、現状の課題は簡略化すると以下の図のように「A/Bテスト内でのフェーズ」と「効率性・正確性・浸透」といった課題の観点ごとに二軸でマッピングできることがわかりました。

課題の整理

これらの課題に対して、現在私達は大きく3つの打ち手を考えています。打ち手と課題の関係は以下の図のように整理できます。

課題と打ち手の関係

打ち手の1つ目は、テスト設計・分析方法の確立と普及です。対応する課題としては、上の図のExperiment design、 Analysis phase の正確性・浸透です。具体的な課題としては、SRM(Sample Ratio Mismatch) checkをせずに実験を結論付けていることやテストごとに多重比較の処理法が違うことが挙げられます。これらを解決するために、Confluenceなどにディレクトリ構造を作り、初心者も上級者も困ったときに参照できるようなページを作ることを考えています。更にその後勉強会などを実施することで、適切に理解を促せれればと考えています。

2つ目としては、A/Bテスト分析の自動化です。対応する課題としては、上の図のAnalysis Phaseの効率性、正確性、浸透です。課題の例としては、テストごとに微妙に異なるクエリを作成するのに時間がかかったり、分析結果のフォーマットがバラバラで見ずらい事が挙げられます。@yaginuunが自動化に関してはこちらの記事で詳しく書いてくださっているように実装が進んでいますが、まだ様々なチームに展開できているわけではありません。そのため、今後も自動化の促進と浸透を行っていきます。

3つ目としては、過去のA/Bテストの結果がまとまっていく仕組みづくりと、メタ視点からのA/Bテストの分析の実施です。対応する課題としては、上の図のPooling Result phaseが当たります。具体的な課題としては、各チームが別々に結果をまとめているので一覧性が低いこと、チーム構造が変わるごとに知見が見つけづらくなることが挙げられます。メタ視点からのA/Bテストの分析の実施に関しては具体的には、実験した画面、解決したお客様の課題などを分析軸に”成功しやすいA/Bテストはどのようなものか”を分析しようと考えています。

最後に

Mercari Analytics Blogではこれらの3つの取り組みについてこれから話していければと思っています。次回は「テスト設計・分析方法の確立と、その普及」に関連したSRMに関する記事が出る予定です。こちらもお読みいただけると嬉しいです。