「北欧、暮らしの道具店」のメルマガをABテストで改善した話

2022年10月13日 16:37

こんにちは。デザイナーの白木です。
前回はクラシコムのUXリサーチについてお話しましたが、今回は「北欧、暮らしの道具店」のメルマガをABテストの手法を使って改善した話をしたいと思います。

「北欧、暮らしの道具店」通常のメルマガは商品紹介がメインですが、それとは別に当店のアプリを紹介するメルマガも配信しています。
これまではメルマガ登録者全員に配信していたのですが、その中にはアプリをすでにご利用いただいている方も多くいらっしゃるため、アプリのダウンロードには繋がりにくいという課題がありました。

そこでアプリ紹介メルマガを配信する対象をメルマガの新規登録者に絞ることにしました。新規登録者は当店を知って間もない方が多いと思われるため、アプリについて知ってもらえる良い機会になると考えたからです。
内容も見直し、いくつかのパターンを配信して効果を検証してみました。

※本来同じ期間に複数のパターンをテストするのが望ましいですが、今回はメルマガ配信の仕組み上、期間を分けてテストしました。
※メルマガの内容だけで効果を比較するため、メールタイトルは同じものにしています。

まずは仮説をもとにアイデアを考える

ABテストに限らず、施策を考えるときには仮説を立てることが大事です。

全員に配信していたメルマガはウェブにはないアプリならではの機能を詳しく説明する内容でした。今回は当店を知って間もない方が対象なので、訴求ポイントを絞り、よりシンプルな内容の方が興味を持ってもらえると考え、いくつかのパターンを試しました。

以下の4つの案の中で一番アプリのダウンロード率が高かったのはどれだと思いますか？
ぜひ予想しながら、読み進めてもらえたらと思います。

1.機能訴求A

全員に配信していた内容をベースにアプリ独自の「お気に入り機能」について詳しく紹介している案。

2.機能訴求B （ダウンロードボタンに「無料」を追加）

1の案の「ダウンロードはこちら」ボタンを「無料ダウンロードはこちら」に変えただけの案。

3.機能訴求なし（コンパクトver）

機能訴求はせずに「たくさんの方が使ってます！」ということだけを伝えているコンパクトな案。

4.隠れた名品紹介（商品押しver）

通常のメルマガでは商品の紹介が人気なこともあり、隠れた名品の紹介で興味を引き、アプリにつなげる案。

どの案の効果がよかったか、予想はできましたか？

では結果をみていきたいと思います。

↓　↓　↓　↓　↓　↓

テスト結果

最もダウンロード率が高かったのは機能訴求をしていない「3.コンパクトver」でした。機能の説明を省き、「多くの方に使われてます」と伝えたことで、気軽に試してみようと思ってもらえたのかなと思っています。
1と2の機能訴求メインの案がダウンロードに繋がらなかったのは、当店を知って間もない方にはアプリの独自機能の良さが伝わりづらかったのかもしれません。
1と2の比較でダウンロードボタンに「無料」を追加するのは確実に効果があるとわかったので、2以降のテストでは「無料」を追加したボタンに統一しました。

4パターンのテストが終了したあと、メンバーで話し合い、一番効果がよかった「コンパクトver」をよりよくするために再度ABテストを行うことにしました。

仮説はひとつずつ検証する

「コンパクトver」をブラッシュアップするときに、

よりコンパクトにしてみる
商品要素もいれてみる（「商品押しver」も効果がよかったので）

の2つの方向性で考えていました。
よりコンパクトにしつつ商品要素も加えた案で最終決戦したくなるところですが、変更点が複数あるとどの変更が改善に繋がったのかがわかりにくいため、ひとつずつテストすることにしました。

まずは、メインビジュアル部分に商品要素を入れた案でテストしました。
こちらもぜひ結果を予想してみてください。

コンパクトver vs 商品要素追加

結果はこのようになりました。

↓　↓　↓　↓　↓　↓

【テスト結果】コンパクトver vs 商品要素追加

結果はクリック率は上がったものの、ダウンロード率は下がってしまいました。
商品画像で興味を持ってクリックしたものの、リンク先はアプリダウンロードページなので、商品の詳細がみれると期待していた方をがっかりさせてしまった結果なのかもしれません。
またメインビジュアルにスマホがあるとアプリの話であることが伝わりやすかったのだと思います。

差分は大きくする

この結果を受けて、商品要素よりもアプリであることを明確に伝えたほうが良い結果になることがわかったので、元の「コンパクトver」をよりシンプルな構成にしたものをテストしました。

コンパクトver vs 超コンパクトver

結果の予想はできましたか？
では結果をみてみましょう。

↓　↓　↓　↓　↓　↓

【テスト結果】コンパクトver vs 超コンパクトver

結果は「コンパクトver」の勝利でした！
「超コンパクトver」は冒頭文や猫の吹き出しを削ったのですが、情報を減らし過ぎたようです…。ただ大胆に削ったことで結果はわかりやすく出たと思います。

仮説はひとつずつ検証していくのが良いのですが、比較するときにわかりやすいよう各パターンは差分が大きくなるようにしたほうが良いABテストになると思います。

学びを最大化する

結果としては「コンパクトver」が最も効果が良いことがわかりました。
結果を知ることは重要なのですが、ABテストを実施する過程で気づきを得ることも同じくらい重要です。

記事中でも結果を予想しながら読み進めてもらいましたが、チームメンバーとも同じように結果を事前に予想してからテストを実施しました。
予想をして結果をみるほうが学びが大きくなりますし、投票することでテストの設計に参加してないチームメンバーにも興味を持ってもらいやすいのでおすすめです。

またテスト結果が出てから、なぜこの結果になったのか、次に知りたいことはどんなことかなどの気づきを話し合う場をつくって、みんなの学びにしていくと改善の精度がどんどん上がっていくと思います。
いまのところ「コンパクトver」が効果が良いですが、話し合ってさらに良くするアイデアも出てきたので、引き続き改善していきたいです。

最後に

今回は明確に結果が出て良いテストになりました。
もちろんABテストしてもなかなか結果が出ないこともありますが、やるたびに学びがあるところがABテストの良いところなので、今後も試行錯誤しながら試していきたいと思っています。

メルマガ以外にも「北欧、暮らしの道具店」のアプリやウェブでも小さくABテストをして改善していますので、また機会があればお話ししたいと思います。

ユーザー体験をよりよくするためのプロダクト開発に興味があるエンジニアの方がいらっしゃれば、ぜひお声がけください！