いまさらだけれど、正しいA/Bテストについて

当たり前に活用されているA/Bテストだけれど、使いこなせている？

いま、マーケティング、特にWebマーケティングに取り組んでいる人で「A/Bテスト」を知らない人はいないでしょう。MarketoやHubSpot、SATORIなど、主要なMAツールにはA/Bテスト機能が実装されています。そのせいか、A/Bテストといえば、メールやディスプレイ広告などで行うものという認識もあるようです。

実のところ、それは「テスト」の一部なのです。

私が初めて「テスト」という概念を教えられたのは、1990年代後半、ほぼ、2000年になろうかという頃でした。Webマーケティングは産声を上げたばかりの頃です。

Webマーケティングじゃなくて、何をテストしていたの？

当時ダイレクトマーケティングを学んだ私は、「ダイレクトメール（郵送の）」や「折込チラシ」を使った“テスト”の手法を学びました。とはいえ、基本的な考え方は、現在、多くの人が知っている「A/Bテスト」と同じです。

ただ、当時学んだ「テスト」の概念からすると、現在の「A/Bテスト」はとても簡略化されたものに見えます。

理由は簡単です。MAツールの一機能になってしまっているからです。

本来やるべきテストではなく、「ツールでできるA/Bテスト」をさせられているのかもしれません。

なんのためにテストをするのか？

なんのためにテストをするのか。ほとんどの人は即答できるでしょう。
たとえば、ディスプレイ広告を活用する際、どのようなビジュアルのほうが効果が上がる（クリック数が増える）のか、どんなメッセージが効果的なのか。
想像はできても、結果は誰にも予想できません。

「絶対、このメッセージがいいよ」

そう思ったものがまるでレスポンスがないというケースは珍しいことではないのです。

「じゃ、お客さまに聞いてみればいいじゃない」

これを可能にしたのがテストです。テストの特徴は「複数のアイデアを同時に進行し、比較できる」ことにあります。そのことから生まれる、「AとBのどっちがいいの？」というシンプルな結果が得られるだけではない、メリットがあるのです。

それは「新たなアイデアを生むヒントになる」ということです。

コンテンツを考えている人の悩みは、「アイデアが枯渇する」という点にあります。一時は効果が出ていたメッセージやビジュアルでも、数ヶ月もすれば効果は薄くなってきます。早ければ数週間かもしれません。すると「新しいアイデアを出さないといけない」のですが、上図のように、一つずつアイデアを出していくと、どんどん「やれることがなくなっていきます」。

「それは前にやったよ」

ところが、「きちんとテストをする」と、状況が変わります。

常に複数案をテストし続けることで、「次に生かせるアイデア」が残ることになります。

単純なA/Bテストだけにとらわれない

上図を見て気づかれた方がいるかもしれません。これはA/Bテストではないのです。だって、C案があります。しかも、これがメールだとしたら傾斜配分しています。
A案は「きっと、成功するだろうという期待値が高い案」、B案は「A案の対案」、C案は「A、Bと全く違う案」。一回目はA案が勝ちましたので、次は、A案を残して、別のD案、E案をぶつけます。すると以外、D案が勝利しました。そこで3回目はD案を主軸にするのですが、A案もまるでだめというわけではありません。そこで改定案をぶつけ、箸にも棒にもかからなかったE案は一旦引っ込めて、C案を復活させます。ここでC案は改定案でもいいかもしれません。

こういったようにテストを常に継続していると、「次々とアイデアが浮かんできます」。

ポイントは３案以上。A/Bの比較だけだと、単なる勝ち負けなのですが、３案目があることで思考が深まります。

そう、テストは常に実行し続けるものなのです。今日うまくいった方法が明日うまくいく保証はないのですから。でもテストし続ければ、常に「その時最善の方法」を探し続けることができます。

複数の要素を同時にテストする方法

たしかにこのような２案でテストをすると、メッセージが良かったのか、ビジュアルが良かったのか、判断できません。だから「一度のテストで測れるのは一つの要素だけ」と言われるのですが、少し工夫すれば２要素テストは可能です。

どうでしょう。メッセージとビジュアル、それぞれ２案を組み合わせて、４つのパターンを用意すれば、一度のテストで「メッセージ」と「ビジュアル」の同時テストが可能になります。もちろん、面倒ですし、MAツールの機能で制限がある可能性もあります。しかし、これまで「２回に分けなければならなかったテスト」が一度でできることは明白です。

目的は「テストすること」ではない！

MAツールにその機能があるからテストをしていると、こういったことに気づくことは難しくなります。

テストの本当の目的は「今起こっていることを知る」ことにあります。お客さまは何を考えているのか、市場はどうなっているのか。それを知る方法の一つが「テスト」です。

私はよく「事例病」という言葉を使います。過去の事例に囚われすぎて、前を見ていないという話です。それは悪いことばかりではありません。過去を知ることは重要です。テストを行う際に、「最も期待値が高いA案」は過去から生まれます。
一方、テストは「今を知る」手段です。

そして、とても大事なことは「テストに失敗はない」ということです。たとえば「A案、B案、C案でテストを実施」→A案の勝利という前述のシナリオで、三度目ではC案が復活していました。復活の理由は「C案が案はたまたま、最初のタイミングではだめだっただけではないのか」という疑問が残るからです。テストの敗者は、正確には「負けた＝失敗」ではなく、「あの条件下ではうまくいかなかった」と判断されたに過ぎないのです。

テストされるべき項目は、ビジュアルやメッセージだけではありません。

ターゲット、タイミング、価格、オファー、メディア、商品など、あらゆるものがテスト対象になります。C案がだめだったのは、タイミングのせいかもしれないのです。また、別のターゲットにはC案が成功する可能性もあります。

テストとは、今を知り、可能性を広げていくための手段なのです。