50個のテストを振り返ってわかった「うまくいく」ABテストの2つの条件
オンラインフィットネスSOELUというサービスをやっているシラトといいます。
2018年の後半に約50個のABテストを行ったのですが、その中でどんなテストがうまくいって、どんなテストが失敗したかを改めて見直してみました。
ABテストといえば「検証スピードを早くし、数を回すことが重要」などと言われますが、振り返ってみるとスピードが出た時期・出なかった時期が明らかにわかれていました。
何がまずかったのか、どう改善したかを分析してみて差分をまとめる中でわかった「検証スピードが上がるテスト方法」をまとめていこうと思います。
※もちろんグロースを担当する人・チームの組成など、テスト方法以外の要素もありますがそこは範囲外として、別でまとめる（かもしれません）。
うまくいくABテストの方法
結論から言うと「期待値が劇的なテストから、一気呵成で実施する」ことが検証スピードを上げるコツだと考えています。
期待値が劇的というのは、変化率が大きいと思われるパターンから試すことで、インパクトはもちろん検証スピードも劇的に変化する、という内容です。（期待値のヨミの精度自体、ある程度ユーザーインサイトやセンスが必要な部分ですが…）
一気呵成で実施するというのは、1検証サイクルの許容範囲内でなるべく多くのパターンを一度に試すということです。
劇的な違いが出るほど、爆速で回せる。
元々のパターンに対して改善率50%のパターンが見つかるテストと、改善率5%のパターンが見つかるテストだと、明確に優位なパターンが見つかるまでに必要なセッション数(≒期間)が大きく違います。
例えば、昨年実際に同時期に行った2つのテストについて見てみます。
テストBでは、約4600セッションを流しても元の案を95%以上の確率で上回るパターンは出ませんでした。
一方、テストAでは1/10以下である約360セッションで50%以上の改善となるパターンを見つけることができました。
10倍以上の速度差が出た理由はシンプルに「改善度の大きさ」です。
改善度合いが大きい方が少ないサンプル数でテストの結果を出せる一方、明確に良い案がない(改善度合いが少ない)場合テストの結果が出るまで時間がかかってしまいます。
スピードがこれだけ変わることを考えると、多少手がかかったり疑わしい仮説だったり多少やりすぎに思えるようなパターンだったとしても、変化率インパクトが大きそうならパターンに含めて試すのがABテストにおいては良いのではないでしょうか。（可能性が全くなければ、その検証もスピーディになります）
一気呵成で実施する
こちらは、前述の劇的な期待値のパターンを出したら「なるべく一度に試す」ということです。
これまで、検証の回数を減らすため、ありえそうなパターンを出した後、かなりパターンを絞って3パターン程度にしてから試している時期がありました。が、これは間違いでした。
理由としては、時間の制約はありつつ、改善の可能性のあるパターンを試さずに切り捨てることは極力避けるべきだったというのがまず一点。
そして、例えば①～⑨の9パターンを試したいと思っている時、そのうちいくつかをピックアップして3~パターンでテストを実施すると、結果的に時間がかかってしまい本末転倒だということがもう一点です。
どういうことかというと、1回のテストで4パターンずつ、9パターンを試す場合、
1回目：4パターン(オリジナル＋3パターン)
2回目：4パターン(1回目のベストパターン＋3パターン)
3回目：4パターン(2回目のベストパターン＋3パターン)
と、のべ12パターンのテスト、3回の試行が必要になります。対して、一度に試す場合は
1回目：10パターン(オリジナル＋9パターン)
のべ10パターン、1回の試行で結論が出るため、試すのべパターン数も試行回数も少なくてすみます。
さらに、1回1回の試行で改善も悪化もしない「微妙」なパターンしかないケースがあると、前述の通り検証結果が出るまで時間がかかってしまうためスピードが更に失われます。
実際、ファーストビューのテキストに関するABテストを①複数回に渡って実施したページ②まとめて実施した別ページだと、ベストな案を見つけるまでの期間は①の1/3で済みました。
SOELUでは現状5~7パターンほどでテストを行っていますが、何パターンを同時に試すかは、どれだけアクセルを踏めるか（母数をどれだけ流入させられるか）次第だと思います。
SOELUの場合、ファネルのどの部分のテストかにもよりますが、遅くとも3週間以内に1テストの結果を出せるようにしており、流入スピードとのバランスで現状だと7パターン程度に落ち着くことが多いです。
一気呵成に検証するデメリットとしては1検証サイクルの期間が長くなってしまうことがあるので、具体的なパターン数はプロダクトの許容検証サイクル期間次第で走りながら決めていくのが良いと思います。
ABテストって意外と難しい…
検証スピードを上げるABテストの方法について2つのポイントでまとめてみましたが、いかがでしたでしょうか？
検証を回す中で、なかなか思ったようにスピードが出ず、難しいと感じたところについて原因と対策を絞って今回は簡潔にまとめました。
日々試行錯誤しているため、今回の内容も数ヶ月後に自分で否定しているかもしれませんが(笑)、テストを実施する際の参考になったら嬉しいです。
最後に一応告知
SOELUでは、UI/UXデザイナー、エンジニア、PMなど、広い職種で仲間を募集しています！一緒にオンラインフィットネスという新しいマーケットをつくるのに興味のある方は、ぜひFacebook/Twitter宛に気軽にメッセージください！
この記事が気に入ったらサポートをしてみませんか？