なぜABテストを繰り返しても数値が改善されないのか？ABテストで注意したい4つのこと

私はマーケティング系の企画職に携わっていますが、ABテストを実施することが多々あります。過去、ABテストでWebページの改善を行うプロジェクトを行っていたこともあり、その時は短期間で約100個ほどのABテストを回しました。
そして、ABテストでたまにあるのが
「ABテストをたくさん実施して、たくさん勝ちパターンを実装したのに、狙っていた数値があまり改善されない…」
という状況です。過去の自分を振り返っても多々あります。

【イメージ】
「ABテストでAがBより10ptも勝ってる！よし！実装しよう！」×5テスト分
↓↓↓
「（実装後…）あれ…数値上がって…る…？？」

この記事では、過去の自分へのツッコミをイメージしながら、ABテストで起きがちな注意したいパターンと対策（今ならこうする！）をまとめたいと思います。ABテスト初心者の方に役立てて頂けると嬉しいです。

（1）仮説の設計がない、深掘りが浅い

何となくのテストを繰り返していても、非常に効率が悪く、行き当たりばったりのテストを繰り返すことになります。

「たぶん、このボタンは赤より緑の方がいい気がする…」
「このバナーに " SALE " って入れたらクリックされそうじゃない？」

もちろん効果が出ることもあると思いますが、仮説の設計がされていないので同じ課題仮説に対して別のアプローチをすることが出来ないですし、効果のあった打ち手を帰納法的に展開することもできません。

■状況
・とりあえず思いついたアイディアで行き当たりばったりのテスト（課題の設定や優先度付けがされていない）
・課題仮説、要因仮説が設計されていないので、同じ課題仮説に対して複数のアプローチが出来ない
・効果のあった打ち手の要因を帰納法的に横展開できない

■対策
・課題、要因、打ち手の仮説を洗い出し、想定される実装コストから、ROIの見込みも出しておく（→ 課題の優先度がつけられる！）
・課題の優先度に沿って、打ち手の選択→検証のサイクルを回す
・効果のあった打ち手の要因を帰納法的に横展開することで、検証サイクルの効率を高める

アイディア出しをすれば、きっとかなりの数の改善ポイントが見つけられるはずです。だから、アイディアをひたすら出すことよりも、課題・要因・打ち手の仮説を事前に洗い出し、どの課題を解決すれば事業に対して最もインパクトがあるか？ROIで優先度をつけておくことが大切です。
やり方は、アイディアを先に洗い出してグルーピングしながら整理する方法でも、イシューツリーでブレイクダウンしながら洗い出していく方法でも何でも良いです。

課題ごとに要因仮説を洗い出しておくことで、例えば実行した打ち手が効かない場合、それは”テストの失敗”ではなく、”その要因の検証が終わった”ということになります。
また逆に、打ち手に効果が見られた場合、その要因は他の課題にも共通しているかもしれません。その場合は別の課題に対しても近しい打ち手が使えるので、検証サイクルの効率が一気に上がります。

ABテストを実施することも事業にとってはコストの一部なので、しっかりと設計を行い、最短で最大の効果を目指したいですね。

（2）CVと関連性が低いテストばかりしている

これは(1)の事前の設計があれば防げることが多いのですが、目的としているCV（コンバージョン）にとって大して意味のない違いをテストしてしまってる場合が当てはまります。
要素を一つ一つ洗い出していくと、全てのことをABテストしたくなりますが、ABテスト自体のコストを最小化するためにも、CVへの要因が大きい要素に絞ってテストしたいですね。

■状況
・目的（CV）に影響が小さいテストをしている

■対策
・目的（CV）に影響が大きい課題から取り組む
└回帰系の分析でCVに寄与する要因の重要度がわかる場合は、それに沿う
└回帰系の分析が出来ない場合も、CVポイントに近く、かつ、ロジックで考えた時に影響度が高い箇所からやる

（3）仮説を元にサンプルサイズの設計が出来ていない

ABテストについて検索すると

「1週間はやるようにしましょう」
「充分な量でテストしましょう」

的な記述をよく見るのですが、もう少し考えた方がいいかなと思います。なぜなら、そのテストにとって最適なサンプルサイズは計算可能だからです。

「とりあえず有意差が出るまでやる」というのは"あるある"だと思いますが、どんなテストであってもサンプルサイズを増やし続ければいつか有意差は出るので、いたずらにサンプルサイズを増やし続けることはおススメできません。

また、他にもあるのが、「必要なサンプルサイズに達する前にテストをやめてしまう」パターンです。
例えばAとBのパターンを比較していて、Aが勝っているからすぐにテストを止めてしまう場合です。
サンプルサイズが必要な量に達せずにテストをやめてしまった場合、それは信頼できる結果とは言えなくなってしまいます。

■状況
・とりあえず有意差が出るまでひたすらサンプルサイズを増やし続ける
・本来必要だったサンプルサイズに到達する前にテストを停止している

■対策
・仮説から想定されるAとBの差や、実装コストなどから考える出て欲しい差（これ以上差が出ないと実装してもROIが合わないライン）から、サンプルサイズを逆算するのが良い

（4）ABテストを実施してから、プロダクトの状況が大きく変わってしまう

これを言うと元も子もない感じになってしまいますが、ABテストの結果はあくまでも過去の結果です。例えば、とあるWebサイトでABテストをしていたとして、来訪するユーザーの属性がその後大きく変化した場合、過去に実施したABテストの結果をそのまま適用し続けても期待する結果が得られない場合があります。
サービスの状況変化に合わせて、慎重に効果を確認したり、テストを実施したりしていきたいところですね。

■状況
・過去のデータで効果があったとしても、様々な要因による変化が起きた場合、効果が得られなくなる場合がある。

■対策
・本番実装後も効果を確認する
・大きな状況変化が起きた場合も、指標の推移を確認する
・季節要因など、時系列のトレンドが大きい場合は、そのトレンドに合わせて複数回テストを実施する
・未来に大きな変化が起こることがわかっている場合は、変化が落ち着いてからテストする

以上、ABテストで起きがちな注意したいパターンと対策案でした。
少しでも皆様にお役立ていただけると嬉しいです。
また、何かおかしいところがあれば、ぜひご指摘下さい。

最後までお読み頂きありがとうございました。

------------------------------------
よかったらtwitterのフォローもどうぞ。
https://twitter.com/MasayukiAbe7
------------------------------------