見出し画像
Photo by comafumi

Web広告においてABテストをする際に抑えておきたい3つのポイント

川手 遼一

川手@RKawtrです。

Web広告に関する仕事に携わり、今年で6年ほどになります。Web広告と４大メディア広告の最大の違いは、成果の一部を手軽に数値化し、指標を参照することができる状態における点だと認識しています。

そのため、Web広告では広告の成果をより良くするための手法として、いわゆる「ABテスト」を用いられることが多々あります。ABテストとは、施策や広告の効果判断のための試験の総称であり、それらを本来は上手にやりくりし、結果を集計しその結果をベースに次の良いステージに至るために用いられるものです。

しかし、この「ABテスト」は多くの場合、仕事をやっている感じを演出するための小道具として用いられてしまうことが多く、あまりしっかりとABテストされていることが少ないようにも感じます。

今日は自分自身がABテストをする際に気遣う点を3つ、ピックアップしお伝えできればと思います。

ABテストをする際によく見ている３つのポイント

ABテストをする際に気遣う点は、以下の３つです。

（１）前提条件の枠組みについて

まず前提条件はしっかりと明確化し、整理します。具体的に言えば「目標」「目的」「期間」この３つは最低限確定させる必要性があります。また場合によっては撤退条件、パフォーマンスが悪化した時の判断する条件、耐久期間なども決めた上で実施することもあります。最低限「目標」「目的」「期間」に関しては抑える必要性があります。この３つに関しては、下記図をご確認いただければ幸いです。

画像1

画像2

画像3

（２）データ量と偏り

一定期間ABテストを実施した場合、数値の偏りが生じることがあります。多少のズレが生じる場合は仕方がありませんが、大きなズレが生じている場合、もしかするとアカウント上で最適化されて配信されるようにしている場合や、施策の一部で広告を入稿し忘れてしまい、数値のズレが広がってしまっている可能性も考えられます。

例えばヒートマップツールを導入しサイト改善を図ろうとした場合、最初の段階でタグを設置し忘れ、あるいは設置時にミスがあり、うまくタグが設置できなかった場合、1ヶ月後にレポートの素材としてヒートマップデータの結果を出力しようとしたところ、数値が取れていなかった...などということも想定されます。それと同様のことが、ABテストでも起こりうるのです。そのため、テスト期間中はアカウントに触れる、レポートをこまめにチェックする回数を増やす、といったことが転ばぬ先の杖的に機能します。特にデータ量が一定数溜まっているか、またそのデータの傾向に大きな偏りが生じていないかなどは、定期的に確認する必要性があります。

（３）ノイズの許容

ノイズの許容も、細かく見ていく必要性があります。例えば繁忙期と閑散期で、同様にテストしても違う結果になることがあります。またBtoBの場合、テスト期間内の土日祝日の数を揃えないと厳密な比較にはなりません。また、テスト期間中にサイトを大きく変更した場合、その影響がコンバージョン率に出る可能性があります。そのような広告のABテストとは関係のない、ある種ノイズもしっかりと認識した上でテストしなければなりません。例えば極端な話、今日（2020年３月15日）という１日は今日でしかありません。来週の日曜日と同様だと考え処理すると、商材によっては気温や湿度のようなものの影響をダイレクトに受けますし、経済情勢といったマクロな指標の影響も、商材によっては強く受けます。別期間で比較する形式でのABテストを行う場合、厳密なAtoAの状況を作り出すことは不可能性があるという前提を、どのぐらいのノイズまで許容できるかといった点まで考えた上で、ABテストは展開すべきです。

最後に

最後に、冒頭で触れた通り、Web広告の特徴は“成果の一部を手軽に数値化し、指標を参照することができる状態における”ことです。そうです、一部なんです。自分はいつもこの話になった時、えるもさん@elmo_marketing のツイートを思い出します。

このことも少しだけ念頭に置いて、ABテストは展開して頂ければと思います。

この3つを定めずに実行する AB テストは、映りの悪いブラウン管テレビを叩いて、その場その場で調子を整えて急場を回避する昭和の荒技と同程度のものではないかと思います。上記3点を意識することで、確実にテストの意味合い、重要性は増すのではないかと考えられます。

Twitterはこちらから

この記事が気に入ったらサポートをしてみませんか？