ABテストの結果を大公開

先日、ちょっと実験をしてみました。

今私が使っている配信システムは
ABテストが簡単にできます。

ABテストって、どちらが勝ったのかというデータを蓄積する。
それだけでも凄く意味がある行為だと思っています。

でも、そのデータって使っていますか？
私は使わないので、テストもほぼやっていません。

でも、こんなやり方ができると分かったので早速実行！

たとえば、手元に1万件のデータがあるとします。

これをプレテストで3,000件利用。

Aパターン　1,500件
Bパターン　1,500件

こんな感じで自動で割り振ります。

地域や登録日で分けたらそれが「差」を生み出すかもしれません。
なので、データは無作為に割り振るべき。

そして、「開封率」「クリック率」などを
勝敗の条件として設定しておきます。

すると、テスト配信から数時間後で
その勝敗の結果をもとに、残りの7,000件に配信してくれます。

ちなみに、私がおこなったテストは件名です。

●Aパターン
【0.1%の成長・号外】実践塾シェアクラブを試すなら今がお得！

●Bパターン
【0.1%の成長・号外】平野さんへ、実践塾シェアクラブを試すなら今がお得！

名前を挿入したらどうなるか。
とってもシンプルな実験です。

今回の指標は開封率にしました。
結果、Bのパターンは1.47倍開封率が高かった。

じゃあ、毎回件名に名前を入れたらどうなるか。
正直、それはオススメできません。

名前が入っていると、「おや？」って思うけど
毎回続くと、広告だろうなぁと感じてしまいます。

あるいは、開封には一切影響がないという結果になるでしょう。

普段名前を挿入しない私が送ったから
気になって開封した人もいるでしょう。

今回は、テスト結果をシェアしましたが
今の配信システムはこのようなスポット配信が可能です。

余裕があれば、24時間後に勝ちパターンのメールを送る。
そのような設定にするのも良いでしょうね。

私のような漢方薬型のメルマガの場合
どちらでも大きな差はないと思います。

ただ、「今回は読んでほしいんだ！」というような
明確な意図のあるメルマガを送る場合は、このようなテストは有効。

次回実施するときは、24時間後に配信のパターンで
何かしらのキャンペーンの告知をしてみようと思います。

しばらくメルマガを惰性（？）で送っていたので
ちょっとした工夫をしてみようと思います。

結局、きちんと読んでいる人って
件名は関係なく開いてくれるんです。

逆に、読むときと読まないときの差がある人は
このような件名のチューニングで開封率が変わってきます。

いろんな実験をして、メルマガセミナーを開いてもいいかも。

もっと知りたい！＆プレゼントのお知らせ

本記事は、メルマガ『0.1％の成長』の抜粋版です。本編では、導入や編集後記などに時事ネタや近況報告などが含まれています。

メルマガを受け取りたい方は、以下のバナーをクリックして、ご登録下さい。今なら、『仕事を高速化する「時間割」の作り方』をプレゼント中。