『ノバセルアナリティクス』（ラクスル社）の特許から見るテレビCM効果の分析方法

ラクスル社のノバセルアナリティクスでは、Web・アプリそれぞれのアナリティクス分野で1件ずつ特許を取得されています。（特願2019-240038、特願2021-006290）

読んでみて、CMの効果分析はもちろん、それに限らずいろいろなことに応用できそうだと思ったのでまとめてみました。

書いている人

マインディアというマーケティングDX SaaSを扱う会社でマーケティングをしています。
前職ではグノシーというニュースアプリでCM出稿を含むマーケティングをしていました。

• ノバセルアナリティクスを使ったことはないので、実際のプロダクトのアルゴリズムとは異なる部分が含まれているかもしれません。

• 法律・特許に関する専門的な知識はないので、特許の内容の読み解き方が間違っているかもしれません。

何か気になる点があればお気軽に下記twitterまでご意見ください！
twitter @takahirostone

特許の概要

Webとアプリではサイトへのアクセス数とダウンロード数という違いはありますが大枠は同じ技術のようでした。

ざっくり言うと

• CM放映時刻（例えば2021年11月30日(火) 19:30、など）の前後8分間ずつのダウンロード数の増減を計算する・・・①

• 過去のデータから、その時刻と同じ属性を持つ時点（例えば火曜日の19:30、など）の前後8分間ずつのダウンロード数の差の標準偏差を算出しておく・・・②
      ※アプリの場合は8分。Webサイトのアクセス解析の場合は3分。

• ①と②の比較から、TVCMの効果を評価する（例えば標準偏差の何倍のダウンロード数増加があったら効果があったとみなす、など）

ということのようです。

「CM放映時刻前後のダウンロード数の増加分を、過去データの標準偏差と比較する」「前後それぞれ8分間」というところがポイントですね。

※ 標準偏差はざっくり言うとデータのブレの大きさです。CM放映によるダウンロード増加が同じだとしても、過去データのブレが大きいとCM効果は小さく、過去データのブレが小さいとCM効果は大きく判定されます。

ここで私が気になったのが「なぜ過去データとの比較において過去データの平均値を使わないのか」です。

<余談>
「8分間」については特許公報の詳細な説明でも言及がありますが、必ずしも8分には限らないが8分が最適であることが多い、ということのようです。ちなみに、私がアプリのCM出稿をしていたときはちょっと違う時間で見てました。

平均値を使わないと何が起きるか

ちょっと極端な例ですが、次のようなケースを考えてみましょう。

この例の過去データでは毎回その時刻の前後のダウンロード数の差分が10で、データのブレがないのでこの差分の標準偏差は「0」になります。

今回分析対象となるCM放映時のダウンロード増加分が「5」なので、0と5を比較することになり「このCMめちゃくちゃ効果あったね！」ということになります。

でも、実際には普段10増加している時間帯で5しか増加しなかったとすると、このCMは逆効果だったと言うのが正しいと思います。

このように、平均値を見ないと本来はネガティブなのにポジティブに評価してしまうということが起こり得ます。

なぜ平均値を使っていないのか

推測になりますが「CMを流すことがマイナスになることはないので、効果があったとしたらそれはプラスの効果だ」という片側検定的な考え方に立脚しているのかなと思います。特に、前項のような例はかなり極端なので、確率的にそんなこと起こらないとも言えると思います。

それでも標準偏差だけでなく平均値も使うロジックにした方が安全なのでは、とは思いますが、

• 数多の分析結果から平均値を使う必要がないと分かった

• コアではないので特許には載せていないがプロダクトには入っている

のいずれかでしょう。

CMと他媒体の比較

ノバセルアナリティクスのサイトではCPAも計算されているような画面が出ています。特許では特にこの部分の言及がなかったので詳しくは分かりませんが、このCPAはどのようなロジックで計算されているのでしょうか。

ここまで見てきた内容の「放映時データと過去データの比較」ではCMの枠・地域・素材の相対的な比較はできますが、1本1本の正確なCPAまでは出せるようなロジックではないです。

ここがかなり精度高く出せているとするとデジタル施策や他媒体とも比較がしやすくなるので、予算のアロケーションにめちゃくちゃ役立つだろうと思います。

この辺り、詳しい方ぜひ教えてください。