【ABテストとは】ABテストの実務者が語る基礎から上級テクニックまで

2023年11月16日 17:37

ABテストとは

A/Bテストは、ウェブサイトやアプリの要素を比較し、どのバージョンが最も効果的かをデータに基づいて判断する手法です。
ABテストは、プロダクトのグロースに非常に効果的で、特にUX改善と売上最大化を追求する際に役立ち、データに基づいた意思決定と高速なPDCAを回すことが可能です。
一方、ABテストを行うには、テスト基盤の開発またはツールの導入が必要であり、さらにテストのサンプル数にも一定の要求があるため、新規プロダクトやユーザー数の少ないウェブサイトに適していない一面もあります。

なぜABテストを実施すべきか

ABテストを実施すべき理由はいくつかもありますが、もっとも言及すべきなのは、高速な仮設検証による開発ROIの最大化です。

Optimizelyという世界最大のABテストプラットフォームのブログ記事によれば、ABテストのうち有意な結果を出せるのは2割で、さらに売上額を指標にすると勝率が1割にまで低下します。
筆者も以前、UXチームを率いて年間100回以上のABテストを実施した経験から言えることは、ABテストの成功率がだいたい20％から25％程度であるということです。

勝率20％というのは決してABテストに限った話ではありません。
これはABテストせずにいきなり本番反映しても同じことで、つまり、いくら優秀なPdMやディレクターでも、実施される施策の約80%がビジネスのKPIに寄与しない可能性があることを示唆しています。

このような状況下では、どの施策が有効なのかをいち早く見極めることが大切です。
まず、ABテストはbefore-afterではなく、結果の数値目標を同時に比較することができるため、振り返りにかかる期間が短縮され、かつ正確性も上がるメリットがあります。
さらに、大規模な実装の効果を知る前に、本番環境に一気に反映させる代わりに、ABテストを使用することで段階的な検証が可能となります。初期段階では軽量な実装を行い、最低限の実装を行うことができます。これにより、メンテナンス性を確保しながら、開発期間とコストをコントロールできます。これにより、中長期的な開発ROIが圧倒的に高くなります。

また、ABテストの実施は、以下のメリットもあげられます：

ユーザーインサイトの理解を深め、課題解決につなげる
ビジネスもしくはプロダクトの指標改善につなげる（例：売上最大化、直帰率を下げる）
改悪によるビジネスリスクの低減

このうち、補足しておきたいのは3点目の「改悪によるビジネスリスクの低減」です。
よく出てくるシナリオは2つで：
1）売上規模の大きなプロダクト（例：CVRが1%下がるだけで数億ないし数十億が飛んでしまうリスクのある事業）
2）インターフェースの刷新もしくは全く新しい機能がリリースされるとき（例：ウェブページのデザインの全面改修、ソフトウェアの操作インターフェースの全面刷新など）。

いくらPdMや開発チームが「既存のUI/UXに改善の余地がある」と感じていても、既存ユーザーが慣れ親しんでいるインターフェースや体験を急激に変えることは、大きなビジネスリスクを招く可能性があります。
このような状況では、ABテストを通じて、変更を段階的に導入するか、小さな範囲での実験を行うことで、リスクを最小限に抑えることができます。

目的別のABテスト種類

売上最大化を目指すために、ABテストは以下3種類に分けることができます。

シンプルなABテスト：このタイプは、UXに大きな影響を与えない変更を指します。例えば、純粋なUIやテキストのテスト。この場合、各テストスロットにトラフィックを均等に配分することで、効果的な検証が可能です。
不確実性の高いABテスト：このカテゴリは、全く新しい機能を導入する場合など、不確実性が高い変更に関連します。既存ユーザーへの影響を考慮する必要があるため、まずは小規模なトラフィックでテストを行い、効果が確認できた場合に広範に展開します。
マーケティング施策や中長期の売上向上を目指すABテスト：この種のABテストは、訴求キャンペーンや大規模なバージョンアップ、機能追加、アルゴリズム変更などを実施する際に用います。通常、一部のトラフィックをオリジナルグループに残し、残りのトラフィックを異なるスロットに分割してABテストを実施します。

ABテストの実施手順

大きく分けると、以下4つのステップがあります：

KPI設定
現状分析と優先順位付け
ABテストの実施
定期的な振り返り

続いてこれらのステップについて説明していきます。

1. KPI設定

事業の目標数値からABテストの目標と指標を設定します。

通常、売上を目標数値とするABテストのプロジェクトが多く、また、UX改善系のABテストにおいて、コントロールしやすい購入率を個々のABテストの結果指標として選ぶことが多いです。

※目標数値と結果指標の違い：目標数値というのはプロダクトのゴールに対する評価を図る数値のことです。人件費をかけてABテストをやっている以上、企業が売上なりなんなりの成果を期待しています。その期待に達しているかどうか図るのが目標数値です。
一方、結果指標は個々のABテストがよかったかどうかを評価するための数値で、有意差検定するときには結果指標を使います。

ABテストの目標数値を立てにくいときは、チームが持っている開発工数から逆算する方法もあります。その時の公式は以下の通りです：

2. 現状分析と優先順位付け

最初に、各ページまたはモジュールが売上への寄与を定量的に評価します。

プロダクトやウェブサイトのアクセスログや購買データを使って、多くのページとモジュールの中から、最も改善インパクトの大きい（多くの購買を促進している、または購買プロセスにおいて離脱が発生している）モジュールを特定することがおすすめです。
次に、売上に寄与する可能性が高いとされるページやモジュールに対して、定性評価を加えます。場合によって、エンジニアやデザイナーを巻き込んで一緒に行うこともよいでしょう。
定性評価が必要な理由は、特定のモジュールが定量的に売上や離脱率に大きな影響を及ぼしていても、なんらかの理由（例：改善の仮説が立てにくい、開発コストが高いなど）によって、改善の見込みが薄いものが存在します。そのような場合、優先度を下げたり、合理的な優先順位を設定するために定性的な評価が役立ちます。

3. ABテストの実施

各ABテストの仕様を具体的に考える時に、「課題→仮説→アイディア」の順に沿って考えるのがおすすめです。

仕様を決める時に、多くのアイディアから最も効果的そうなものを選んでデザインし、開発をします。

そして、ABテストの実施後には必ず振り返りを行いましょう。
振り返りを怠ると、現場が持っている課題と仮説がブラッシュアップされず、ABテストで試せるアイディアがどんどん減っていき、いずれネタ切れ状態に陥ってしまいます。
そして、振り返りの時、特にABテストが無風と負けた時に考えなければならないのは、個々のアイディア（≒仕様）がよくなかったのか、それとも仮説や課題自体が誤っていたのかを分析することが重要です。

余談ですが、筆者が以前にECサイトのABテストを実施した際のエピソードをご紹介します。
当時、私たちは検索パネルの使い勝手を向上させたく、絞り込み条件のUI/UXに課題があると考えていました（→課題）。そして、絞り込み条件を目立たせてユーザーにより多く使用してもらえるよう（→仮説）、UIの変更や外だしなどのABテスト（→アイディア）をいくつか試みましたが、どれもうまくいきませんでした。
最後にデータ分析して分かったことは、絞り込み条件を使わないユーザーのほうの購買率が高いということでした。これは、アイディアを評価する前に、そもそも課題設定自体が間違っていました。

ABテストを実施するときに、TableauのようなBIツールを使ってテストの結果を日々メールやSlackのようなコミュニケーションツールに関係者に配信することをおすすめします。
特に最初の1週間でCVRが急激に変動することがよくあるため、負け気味になった時は、テストが終わるまで待つでなく、早急にデータ分析を開始し、なぜ負けてしまっているかの仮説を立てることが重要です。
ABテストが負け続ける状況は、ウェブサイトやプロダクトのUX/売上に悪影響を及ぼしていることを意味します。負ける日が続いてほぼ負け確定の時は、早めにABテストの停止をすることで、売上損失を最小限に抑えることができます。

4. 定期的な振り返り

過去実施したABテストの結果から、どの画面/モジュールの勝率が高いのか、もしくは最初に立てた仮説のどれが間違っているかを考察することができます。
多くのABテストを実施する企業や組織では、過去半年実施したABテストを総合的に振り返ることで、次半年の方針策定時により成功率の高いABテスト方針を策定することができます。

ABテストの中長期的な効果について

ABテストの効果についてよく議論されるのは、中長期的な効果をどのように捉えるべきなのかです。
結論から申し上げますと、ほとんどのABテストはリリースしてからCVRが最初の一週間に最も変化が激しく、その後徐々に落ち着くようになり、半年後はオリジナルグループとほぼ同じ程度に戻ります。

これは「ABテストで勝ったものは半年が経ったら効果なし？」というふうに捉えてしまう人もいるかもしれませんが、実際はそうではありません。

ABテストの中長期的な効果を図るために、反転テストと呼ばれる手法がおすすめです。

有意に勝ったABテストを、元のオリジナルグループに対して、数か月もしくは半年で実施し、その後結果指標がどれぐらい改善できたかを正確に測ることができます。

この記事が参加している募集

PMの仕事

1,177件

この記事が気に入ったらサポートをしてみませんか？