テストの原則

ビジネスで何かしらテストする場合には「一箇所ずつテストする」というのが原則です。

例えばLP（ランディングページ）でABテストするような場合であれば、AパターンとBパターンで変更する場所は一箇所だけにします。
「ヘッダーの文言だけ」「ヘッダーのデザインだけ」とか「ボタンの色だけ」「ボタンの文言だけ」をAパターンとBパターンで変更しておいて、それ以外のところは同じというような感じですね。

これは何故かと言うとアレもコレもいっぺんに変更してテストしてしまうと「一体どこが反応率（成約率）に影響していたのか？」がわからなくなってしまうからですね。

仮に「ヘッダーの文言」と「ヘッダーのデザイン」をいっぺんに変更してABテストを実施し「成約率が10%上がりました！」となったとして、結果として成約率が上がっているのからOK、という単純な話でもありません。（まあもちろん成約率下がっているよりかは全然良いんですが）

成約率が10%上がっている、とは言っても、実は内訳としては
・ヘッダーの文言：＋15%
・ヘッダーのデザイン：-5%
かもしれず、結果的に成約率プラスにはなってはいるものの、もしかしたらデザインはそのままにしておいた方がもっとプラスになっていたかもしれない可能性があります。

もちろん
・ヘッダーの文言：+5%
・ヘッダーのデザイン：+5%
で「両方変更したことで結果良かった」という可能性もあります。

いっぺんにテストしてしまうとそれがどちらだったのかわからなくなってしまうということですね。

短期間しか行わないプロモーションなど、時間的に一箇所ずつ丁寧にABテストしていくことが難しいケースもありますが、ある程度長期的に取り組んでいる事業に関しては「テストは一箇所ずつ行う」ということを意識していただくと、やればやるほどよりブラッシュアップされていきますし、なによりノウハウも溜まっていくので良いのかなと思っています。

少しでも参考になりましたら幸いです。