A/Bテストは「ストーリー」で解釈する。メルカリの検索機能を分析するデータアナリストの話
こんにちは、Mercari Analytics Blog 編集部です。
連載「メルカリのデータアナリストが向き合う11のテーマ」、今回は@suwachanさんの「検索」についての記事です！@suwachanさんはメルカリの商品検索機能の分析を担当しています。データアナリストがどのように検索の分析と関わっているか、その具体事例について聞いてみました。
検索はお客さまと商品の「マッチング」
――取り組みのミッションは何ですか？
商品検索機能の開発チーム（以下、検索チーム）のミッションは、メルカリで何か物を探しているお客さまが、なるべく楽に・確実にそのほしい物と出会える＝マッチングできるように検索機能を改善することです。
――ご自身はどのような役割ですか？
データアナリストとして、A/Bテストの分析やダッシュボード作成、課題発見・施策提案まで色々行っています。
――取り組みに参加したきっかけは何ですか？
私がメルカリに入社したとき、検索チームにはデータアナリストがひとりもいませんでした。A/Bテストの分析もプロダクトマネージャーが兼務で行っていて、なかなか本当にやりたい分析まで手が回っていない状況でした。そんな状況で私が入社したので、参画することになりました。
A/Bテストの結果は「ストーリー」で解釈する
――チームのObjectiveは何ですか？具体的に教えてください
ミッションと同じですが、メルカリで何か物を探しているお客さまが、なるべく楽に・確実にそのほしい物に出会えるように検索機能を改善することです。四半期ごとに注力する課題や手段が変わります。
――そのObjectiveに対して、チームとして今どのような課題に取り組んでいますか？
メルカリの検索は課題だらけです。検索キーワードと関係のないものが表示されたり、絞り込み機能も不十分だったりします。検索アルゴリズムの改善と、UIの改善の両方から課題にアプローチしています。機械学習を使った改善も活発になってきています。
――その課題に対して、どのように分析を進めていますか？
チームとして現在、アルゴリズムの改善に注力しています。検索エンジニアや機械学習エンジニアがオフラインデータ・オンラインデータを使って分析し、アルゴリズム変更やリランキングなどのA/Bテストをすることが多いです。私はそのA/Bテストの設計サポート、データ集計、結果の分析と解釈の部分を担当しています。
――その分析のアプローチ方法やプロセス等を用いた理由は何ですか？
A/Bテストをすることにより、確度高く施策の良し悪しを判断することができます。また、改善幅やKGIへのインパクトも試算できるので、ビジネス観点での意思決定も可能になります。
――分析における難しいポイントは何ですか？また、それをどのように乗り越えていますか？
A/Bテストの結果の解釈が難しいです。統計的に有意な変化の有無にかかわらず、どうしてその結果になったのか？ どのようなお客さまの性質・行動がその裏側にあるのか？ というストーリーをデータから紡いでいく必要があります。すべてのA/Bテストで同じ分析が通用するわけではないので、毎回ゼロベースで仮説を立て、さまざまな指標を見て、確からしい結果を解釈するようにしています。
――分析の中で意識しているポイントは何ですか？
意外かもしれないのですが、「その結果が直観と合っているか」を意識しています。これは検索チームのプロダクトマネージャーからよく言われることでもあります。直観というのは、実際のメルカリユーザーとしての自分の感覚や、これまでに得られた知見に基づいた感覚です。ここからかけ離れていると、実は何かが起こっている場合が多いのです。直観と同じなら気をゆるめていいわけではありませんが、異なるときは特に注意するようにしています。
――取り組みに参加するやりがいは何ですか？
検索は、メルカリの機能の中でもかなりコアな機能なので、結果のインパクトが大きいです。その意思決定の一部に関われているのは、自分自身のやりがいとなっています。
――チームとして、今後どのような価値をお客さまに提供していきたいですか？
メルカリを使えば、探しているものがすぐ見つかる、楽しく探せる、という体験を作っていきたいです。そのためにも改善スピードを早めていきたいです。
プロダクトマネージャーと密に連携、エンジニアとの協力も必須
――チームには、どのような職種の人がいますか？
プロダクトマネージャーがメインですが、エンジニア（検索エンジニア・バックエンドエンジニア・機械学習エンジニア・フロントエンドエンジニア）の方ともよく関わっています。プロダクトマネージャーとは、課題を共有してどのように分析するかを話し合い、分析のメインを私が担当しています。A/Bテストの分析が多いですが、検索に関わる全社的な課題の分析を行うこともあります。
エンジニアの方とは、A/Bテストの詳しい実装方法や、ログの落ち方などを聞いたりして、分析に必要な知識を教えてもらうことが多いです。逆に分析用クエリについての相談や、仮説をどう可視化していくかという相談を受けたりすることもあります。
――コミュニケーションはどのように行っていますか？
プロダクトマネージャーとのコミュニケーションは、基本的に毎日行っています。施策のレポーティング、分析の要望・議論・共有など議題はたくさんあります。
Slackでのやり取りがメインですが、定例MTGなども行い必要なコミュニケーションは担保しています。
定例MTGのほか、口頭で伝達したほうが早いものは同期コミュニケーションで行っています。たとえば着地が見えていない議論、内容が複雑で口頭で伝えた方がいい話などです。すぐに確認が必要なものは「ちょっと時間いいですか？」と言って臨時でMTGすることもあります。
――リモートワークで気を付けていることはありますか？
新しいチームメンバーが入ったときは、メンターランチという顔合わせを兼ねたランチをオンラインで開催します。また、重要な施策がリリースされたときや、四半期の区切りなどでもオンラインチームビルディングが開催されています。
A/Bテストの「精度」と「効率」を上げていく
――ご自身として、今後高めていきたいスキルや得たい経験はありますか？
たくさんあります。A/Bテストの分析の「精度」と「効率」を上げることが直近の大きなテーマなので、その周辺知識と経験は積んでいきたいですね。「精度」に関しては、統計の知識・スキルを増やしていきたいです。「効率」に関しては、Experimentation Platformと呼ばれるA/Bテストの自動化ツールを作成していきたく、そのアーキテクチャや運用まわりをデザインしたりディレクションできるようになりたいです。
――データアナリストとして、今後取り組みたいテーマは何ですか？
「データ分析の民主化」に関心があります。どうやったらデータ分析をもっといろいろな人にとって親しみやすく、使いやすくできるか？ということです。社内でも社外でも、データに馴染みのない方にデータ分析の面白さや便利さを伝えられたらなと思っています。
――こんな人と一緒に働きたい、というイメージがあれば教えてください
「メルカリの検索が使いづらい、こんなふうに改善できたらいいのに！」と課題を感じていらっしゃる方・改善していきたい方と一緒に働きたいです。分析という軸でメルカリの検索を一緒に良くしていきましょう！
「メルカリのデータアナリストが向き合う11のテーマ」と連動したイベントも開催します！こちらからお申し込みください。
▼「メルカリのデータアナリストが向き合う11のテーマ」連載記事一覧
この記事が気に入ったらサポートをしてみませんか？