【無料】『逆効果を生むA/Bテスト』-単純な誤りがコンバージョン率を激減させる理由を図で解説

※この記事は最後まで無料です。
どーも。SHUNです。

A/Bテストなんて比べるだけでしょ。

仕事で自作WebページのPV数やコンバージョン率を向上させるため、A/Bテストを散々実施してきました。また、1000万円以上を使わせてもらい（ありがたい！）Facebookなどの広告費として、クリエイティブ作成から分析までを一人で運用してきた経験もあります。広告とはまさにA/Bテストです。

今日は、「A/Bテストなんて比べて良い結果が出た方を採用すればいいだけでしょ」という単純な考え方が、逆にコンバージョンを下げる要因になっている点について、お話したいと思います。

興味のある方は、ぜひ読んでみてください。

見込み客の割合を把握してますか？

さて、あなたのWebページには、見込み客とそうでない客はどれくらいの割合で存在するか知っているでしょうか？（noteで有料記事を扱っている人は、フォロワーの内、どの程度見込み客がいるのでしょうか？）

Aであれば質の高い客を集められていますが、Cの場合は、ほとんどの人がターゲットではありません。

仮に、フリーランスのプログラミング講師向けに教材やノウハウを販売するWebページがあったとします。このWebページには、呼び込みのためにプログラミングの最新トレンドやつまずきポイントがわかりやすく記事にされ毎日公開されています。

どの程度見込み客がいるのかを確かめようと、手に入ったユーザ情報を見てみると、下記のような経験者が多くいることがわかりました。

西田武。30歳。プログラミング歴は8年。様々な企業のアプリケーションを開発した経験あり。人に教えるのが得意であるが時間はあまりない。

見込み客っぽいと考えるでしょうか？

でも、実際は見込み客でない可能性の方が断然高いです。なぜなら、日本において、フリーランスのプログラミング講師よりも、企業でプログラミングを利用したり、興味を持っている人の割合の方が明らかに多いからです。こういった特定情報のみに注目し、全体の割合を無視しがちな認知バイアスを「基準率錯誤」といったりします。統計の世界でもよく出てきますね。

047　基準率錯誤（base rate fallacy）｜基準｜
統計的な確率を無視し、無関係や不十分な特定情報のみから確率を判断する傾向

特に、Webページの初期段階では、SEO対策として広くニーズがありそうな記事を作成してPV数を上げたりしてしまいがちです。思った以上に見込み客でない人がサイトを訪れているという懐疑心をまずはもっておく必要があります。

なお、間違いやすい認知バイアスについては、下記に頑張ってまとめましたので興味のある方は見てみてくださいね。

逆効果を生むA/Bテスト

それでは、本題となりますが、見込み客の割合を把握していない状態で、A/Bテストを実施した場合どうなるでしょうか？

目的：資料（教材の30ページが無料！）請求フォームの送信率の増加
パターンA：既存デザインを10000PV実施
パターンB：新規デザインを10000PV実施

実施したところ、新規デザインの方が20%送信率（コンバージョン率：CVR）がアップしました。「やったー、新規デザイン採用決定だ」となるかもしれません。

でもちょっと待って下さい。
そもそも既存デザインのコンバージョン率はどのような状態でしょうか？

Cの場合、見込み客以外の人の割合が多いため、 コンバージョン率のほとんどは見込み客以外の人に最適化されているのかもしれません。

そのため、コンバージョン率が上がった場合において、下記のような悪いシナリオが発生している可能性があります。

Aは、見込み客以外に最適化されており、さらに見込み客以外に最適化されてしまうシナリオです。Bは、見込み客に最適化されていたのに、見込み客の反応が減少し、見込み客以外に最適化されてしまったシナリオです。

A/Bテストではトラフィックの偏りもあるので、見込み客が少ない時期に実施してしまうと、上記の悪いシナリオが発生しやすくなります。CVRばかりを追いかけて、誰に最適化されたのかを考慮しないと誤った判断になってしまいます。

また、見込み客が必ずクリックするような素晴らしいページができたとしても、見込み客以外が誤ってクリックする可能性もあるので、データを汚さないためにも、そもそも見込み客以外をデータに含めないことが重要です。

noteでもブログでも、PV数やスキの数のみで判断するのではなく、ターゲティングしている人が興味を持っているのかまで属性分析することが大事ですね。そして、属性分析するときは、先程の基準率錯誤に陥らないように、全体の割合を考えて本当にそうなのかと判断することが重要です。

ターゲティングの重要性

大事なのは、このA/Bテストは誰に対して実施するのかを明確にした上で、そのセグメント以外の人を除外する工夫をしていくことです。

そのため、どのように絞っていくかを考える必要があります。

まずは、①のように誰向けのサイトなのかを明確化することです。Google検索をして記事から流入してくる人も多いので、トップページだけでなく、記事の中や周辺にも誰向けか分かるようにしておくとよいでしょう。

もっと絞るのであれば、②のようにサイトの情報を見るためには新規登録を必須化することです。記事の最初のみを公開したり、そもそも登録しないと何も見れないなど作り方は様々ですが、ハードルを上げることで質を担保しつつ、属性を取得できるのがメリットです。

属性を取得したら利用しなくては意味がありません。ある特定の属性の人だけを対象にA/Bテストを実施することもできますので、積極的に活用すべきです。もっと進めるとマーケティングオートメーションとして、様々な属性情報（登録してもらった情報だけでなく、閲覧履歴、購入履歴やSNS情報など）を活用して、個人ごとに表示内容を自動で変えていくことが大事になります。

ただ、上記は手間もかかりますので、④のようにコンバージョンに関わるページは分離し、そのリンク元で誰が対象なのかを明確に伝えて、見込み客以外のデータが含まれないようにすることが簡単だと思います。

フォーム送信の場合、条件をゆるくするほど（メールアドレスのみ登録など）、送信率は増加するでしょう。しかし、コンバージョンが減ったとしても、条件を厳しくしたり、誰に対しての送信なのかを具体的に明記することで、質を担保することがとても重要です。コンバージョンのみだと良い指標にはならないのです。

だから、A/Bテスト単体でみるのではなく、ランディングページを変更した場合においても、最終的にどのように収益まで影響しているのかを追跡し分析していくことが大事です。

また、見込み客以外がすでに多い場合、そのセグメントに対して新しいビジネスができないかを考えてみることもアプローチの一つでしょう。もちろんその場合でも見込み客と見込み客以外のデータはきっちりと分離して、それぞれの施策を打つべきです。

基準率錯誤を利用したデザインマーケティング

ちなみに、基準率錯誤は、実はマーケティングとしても良く使われていたりします。ポジティブで具体的な特定情報に注目させて、全体の割合を無視させるのが基本的なポイントです。

ただ、あまり消費者を混乱させないように透明性のある情報をしっかりと伝えていくのが、ブランド戦略としては非常に重要だと思います。短期的な売上でなく、リピーターになり集客もしてくれるファンを作るためのサイト設計をしていきましょう。

消費者目線としては、常に情報の全体像を考え、特定の情報のみが記載されているのではないかと立ち止まることが重要ですね。

以上、単純ながらもミスをすると大変なA/Bテストの注意点でした。読んでくださりありがとうございました。

ニーズがありそうでしたら、また書いていきたいと思います。

最後まで無料で公開しましたが、100円の価値を感じられた方は、応援頂けると嬉しいです。