Marketing Mix Modeling 活用と課題

電通デジタルでデータサイエンティストをしている横溝です。

何かしらの課題に対してデータ分析を行う時は、多くのケースとしてidベースのデータ(例 : 人単位のデータなど)か時系列ベースのデータ(例 : 日次の広告閲覧状況データなど)を扱います。昨今の市場環境では、"Cookieレス"や"プライバシー規制"といった制約によりidベースのデータの分析活用が難しくなっています。
一方で、ニーズが高まっているのが時系列ベースのデータの分析活用で、以前からMarketing Mix Modeling(以後MMM)という手法は存在していましたが、「広告メディア横断での広告施策の評価を行ってほしい」や「単一広告メディアのシミュレーションではなく横断的なシミュレーションを通して予算配分を行いたい」といったクライアント企業からのご相談をいただき、弊社の現場においてもMMMを使った分析の需要が高まっています。

本記事では、MMMをクライアント企業の実ビジネスで実装した時の話とMMMの課題をとりあげます。

本記事をおすすめしたい読者

本記事を特に読んでいただきたい読者は下記の通りです。

• データサイエンティストを目指している大学生や高校生

• 実務で施策の効果検証を行っている分析者の皆さま

• 広告ビジネスでのデータ分析活用に興味のある皆さま

また、本記事がお役に立てない可能性のある読者は下記の通りです。

• 分析結果や企業名や広告メディアなどの固有名詞を用いた案件内容の詳細を知りたい皆さま

• MMMの具体的なロジックを知りたい or 学びたい皆さま

• MMM実装のベストプラクティスを知りたい皆さま
  ※技術者寄りのMMMガイドブックを公開中。

本ケースでのMMM実装の目的とクライアント企業のニーズ

MMMはマーケティング施策の横断的な効果検証や予算配分最適化を実現するといった目的のために活用される分析手段(手法)です。
本ケースでは、効果検証を目的としてMMMモデルを構築しており、クライアント企業は下記の制約付きニーズを抱いておりました。

• ニーズ1 : 効果検証期間中のKPIに対する分析対象の事業ビジネス全体の貢献度の把握

• ニーズ2 : 効果検証期間中のKPIに対する分析対象の事業ビジネスで取り扱う各広告メディア(広告メニュー)の貢献度を把握

• 制約1 : 複数の事業ビジネスを運営しており、分析対象以外の事業ビジネスの影響を可能な限り除外すること

• 制約2 : 可能な限りバイアス(各広告メディアの過剰or過小評価など)を除外した貢献度を算出すること

バイアスを除外するためのステップ

本ケースでは「可能な限りバイアスを除外すること」という制約が課せられています。
言い換えると、"一般的に利用出来るように開発されたツールとしてのMMM"はクライアント企業の課題解決にはそぐわない可能性があります。
弊社ではバイアス除去のアプローチとして、KPIとKPIを取り巻く環境を可視化する因果ダイアグラムを作成し、バックドア基準を満たしているかといった作業をデータ受領前に実施しています。
因果ダイアグラムやバックドア基準に関してはJudeaPearl氏の統計的因果推論に関する文献*1が参考になると思います。
私の整理では下記のように変数を整理しました。

• 介入変数 : 効果を推定したい変数

• 目的変数 : KPIを表す変数

• 交絡変数 : 介入変数にも目的変数にも影響を与える変数

• 予測変数 : 目的変数のみに影響を与える変数

• 媒介変数 : 介入変数の影響を受け、目的変数に影響を与える変数

<因果ダイアグラム作成イメージ>

因果ダイアグラムを記述してMMM分析を進めていくメリットは可能な限りバイアスを除去するという点以外にも下記のようなメリットがいくつかあります。

• 必要なデータと不必要なデータの認識合わせが可能となる。

• クライアント企業ごとのビジネスに焦点を当てて分析を行うことができ、クライアント企業が納得して分析に進める。

*1 : JudeaPearl氏に関する文献のご紹介 「統計的因果推論 -モデル・推論・推測-」、「入門 統計的因果推論」

test期間の予測精度を追求すべきか

時系列データ解析では、ある一定期間を訓練期間、ある一定期間を検証ないしはテスト期間として分析を進めます。例えば2022/01/01 - 2024/12/31のデータがあったとして、2022/01/01 - 2023/12/31を訓練期間、2024/01/01 - 2024/06/31を検証期間、2024/07/01 - 2024/12/31をテスト期間として扱うイメージです。
また、基本的にMMMモデルの予測精度を評価する指標としてMAPEを用います。

本ケースでは、"検証データに対するMAPEが基準を満たすか否か"も「MMMモデルをビジネスに当てはめて良いか」という判断材料にされていました。クライアント企業側が前記のような制約を設けているケースは多々あります。その為、予測精度も閾値以下になるようにMMMモデルを構築する必要がありました。

私の部署内においても「MMMで予測精度を追及すべきか」という議論が起こるのですが、私の今の考えは「分からない」です。
戸惑うかたもいらっしゃるかと思いますが、今の私では数学的に証明を導き出すことが出来ない為、「確実に不要だ！」とか「絶対必要だ！」といった適当な事が言えません。とはいえ、ある程度考えは持っているので述べさせていただきご意見をいただければ幸いです。また、今回は

• 予測目的の機械学習的アプローチと真の値に近しいパラメータ推定目的の統計的アプローチ

• テスト期間の予測精度を確かめる1つの目的である汎化性能

という2つの観点で意見を述べさせていただきます。

機械学習的アプローチ or 統計的アプローチ

まず、MMMの説明として多くの場合は「統計的な解析手法である」と述べられますし弊社でも説明の際に同じ表現を用いています。この言葉の意味することとしては

• MMMは予測を目的とした機械学習モデルの構築としては使用されない

ということです。
言い換えると、可能な限り対象となる変数(例えば各広告メディア)のパラメータ(広告減衰率や偏回帰係数など)を真の値に近づける推定を行うことで、より精緻な効果検証や予算配分最適化を行うことがMMMの目的となります。データサイエンス的に捉えると統計的因果推論です。

因果推論では、取り敢えず目的変数に寄与しそうな説明変数を入れるといった機械学習的アプローチはNGであり、交絡変数をMMMモデルに組み込んだり多重共線性を考慮したりする統計的アプローチが必要でして、機械学習モデルと統計モデルは異なります。

「予測精度が高いこと」と「パラメータ推定値が真の値に近いこと」に関して

• パラメータ推定値が真の値に近いことは予測精度が高いことにつながるが、

• 必ずしも予測精度が高いことがパラメータ推定値が真の値に近いとは言えない

と言えます。
前者は交絡変数が介入変数にも目的変数にも影響を与える説明変数でありバイアスを除去しつつ予測精度向上も期待出来るから、後者は予測精度を高くするなら機械学習的アプローチを実施すれば良いのですが、バイアスを含んだパラメータ推定となる可能性が高いからです。

従って、機械学習的アプローチor統計的アプローチといった観点でみると「MMMで予測精度を追及することは必要性が低い」と考えます。

汎化性能

予測精度を確認する1つの理由として

• モデルの汎化性能を確認する = モデルが訓練データに対して過学習(over fitting)していないかを確認する

ことが挙げられます。では、

• 真の値に近しいパラメータ推定を行うことにモデルの汎化性能が重要なのか

• 統計的アプローチにおいて過学習することの何が問題なのか

という疑問が浮上します。
前者の疑問に対しては「重要ではない」と考えます。理由は、真の値に近しいパラメータ推定を行うことが目的の時は、現時点でのデータに対する適応力やサンプルサイズが重要であり、未知の新しいデータ(将来のデータ)に対する適応力(=汎化性能)は重要でないからです。
後者の疑問に関しては2つの意見を私は持っています。

• 1つ目 : MMMモデルの構築を一定期間ごと(例えば四半期ごと)にスムーズに構築出来るなら、過学習は問題ではない ※コスト面といった要因も構築可否に関わってきます

• 2つ目 : MMMモデルの構築を一定期間ごとに構築出来ないなら、過学習は問題である

1つ目に対する理由は、例えば四半期ごとにMMMモデルを構築する為、四半期ごとに各広告メディアのパラメータ推定値が更新され、現時点でのデータに適応し続けるからです。
2つ目に対する理由は、もし例えば四半期ごとにMMMモデルを構築出来ず年ごとの構築の場合、パラメータ推定値を更新することが出来なくなります。その場合、「1年間はパラメータの更新はない」と仮定し、汎化性能を確認することで仮定を満たすMMMモデルを構築出来ているかを判断しなければならないからです。

従って、汎化性能の観点からはクライアント企業の状況に応じて汎化性能(=予測精度)を追及すべきかの判断は変化すると判断します。

機械学習的アプローチor統計的アプローチの観点と汎化性能の観点を質的な考えから、「MMMにおいてはテスト期間の予測精度を追及する必要性は低い」と私は考えましたが、如何せん数学的に証明は出来ていないので、証明された論文など発見された方は是非ご連絡いただけますと幸いです。

日本国内でのMMM活用の課題

これまで、クライアント企業のビジネス支援の現場での活用から得られた知見を述べましたが、本セクションではMMM活用の課題について私が考えたことを述べます。
日本以外の海外では異なる特性がある為、今回は日本国内に限定して進めていきます。

日本国内ではMMMを提供している企業が多い

これは仕方がないことですが、MMM１つとっても提供会社が多いことが挙げられます。例えば広告代理店、コンサルティング会社、マーケティング関連の調査会社やSaaSのMMMツールベンダーなどが挙げられます。
特にインハウスでのMMM活用ではなく前記でとりあげた企業によるMMMの提供は課題を生む可能性があると考えています。(広告事業を行っている私が言えることではないのですが)

提供会社が多い問題としては

• 提供会社によって、機械学習的アプローチで提供するMMMが存在すること

です。この場合、MMMの本来の目的である各広告メディアのパラメータを精緻に推定し効果検証や予算配分最適化を行うことが出来なくなります。

インハウスでのMMM活用が少ない問題としては

• パートナー企業よりもクライアント企業の方が確実にビジネス独自の知識(ドメイン知識)を持っていること

です。真の値に近しいパラメータ推定を行うにはよりバイアスを除去する変数を考え準備し組み込むことが必要となります。その時に重要なのはドメイン知識です。
単純にMMMを提供するパートナー企業がいるとすれば、ドメイン知識が組み込まれないままMMMモデルが構築され、これもまた目的を達成出来ません。

補足ですが、電通デジタルは単純にMMMを提供するパートナー企業ではありません。
クライアント企業のドメイン知識を反映させるためにも、私たちデータサイエンティストが直接クライアント企業とコミュニケーションを行い、因果ダイアグラムの作成を行っております。
また、広告知識に関してはインハウス運用よりも広告代理店側に知見が溜まっており、DAS(電通広告統計)やSTADIA(TV視聴ログデータ)などの電通グループ独自のデータを用いることが可能です。
MMMでは各広告メディアの残存効果や飽和効果を反映させて活用することが一般的かつベイズ推定を用いたMMMでは事前分布といった設定も必要であり、広告知識の観点でもお力になれると考えています。
(電通でMMMを実施するメリットはMMMガイドブックのp.91以降に掲載しておりますので興味関心のある方は是非閲覧ください。)

MMMを魔法の道具だと信じる人が増える可能性が高い

冒頭でも述べたように、今後の市場環境ではCookieレスといった問題から、よりMMMの重要性が高まると考えています。
また、MMMは複数の施策を横断的に評価して効果検証や予算配分最適化を行うことが出来るといった説明や記事が多いです。
前記は事実なのですが、頭に置いておく前提もあります。1つ目は

• MMMは各広告メディアの貢献を推定している

ことです。MMMでは統計的アプローチによってMMMモデル構築し、各広告メディアの貢献を推定します。そのためにバイアスを除去する処理を行うのですが、完全にバイアスを除去し各広告メディアの貢献が真の値となるのは稀だと考えます。数学的に検証したわけではありませんが、バイアスを確実に除去するためにはバイアスに関わる全ての情報(データ)を用意する必要があるわけで、これは非現実的です。

「ではMMMによる結果が真だとどのように判定すべきか」という問いが生まれるのですが、最終的には「納得してもらえるか」に尽きると思います。研究者視点では私の回答は問題有りなのですが、ビジネス視点では最終的にはクライアント企業側が納得できるかで分析結果の良し悪しはいくらでも変動します。この"納得感"を得てもらうためにも、MMMとは何か、どのようなロジックでアウトプットが出るのか、どのようなバイアス除去を行ったのか、改善点を改善することは可能か否かといった判断材料をデータサイエンティストは用意してクライアント企業に理解される言葉で伝える義務があると私は考えます。

2つ目は

• 過去に配信していない広告メディアをアウトプットに含めることはできない

ことです。
MMMは「ある一定期間において配信された広告メディアに対して、これまでと同様の広告メディアで広告運用していく際の予算配分や効果検証」が行える手法であり限界でもあります。
広告プラットフォーム側は新しい広告キャンペーンタイプを世の中に展開します。また、ある企業では販売チャネルを拡大するなどのビジネス構造を変えることで広告メディアの選定も変化するといった事象も発生するかもしれません。
この時、「何でもかんでも取り敢えずMMMで何とかなるでしょ！」という考えは危険ですし、これもまたデータサイエンティストがMMMを正しく理解し提供する義務があると考えます。

MMMはニーズが高まり続ける一方で、いくつか制約が存在し限界もあることを認識した上でクライアント企業にとって課題解決のための手段となるかを判断したいと思います。

終わりに

本記事では、実際にクライアント企業ビジネスでのMMM提供を経験した内容とMMM活用に関する疑問、現在時点での日本におけるMMMの課題を述べさせていただきました。

電通デジタルでは、MMMの提供とMMMの研究活動を両立しています。
クライアント企業の課題やニーズを確認しつつ、より目的に適したMMMの提供をこれからも行ってまいりますので、本記事を閲覧いただきご相談したいクライアント企業は遠慮なくお問い合わせください。
また、本記事を閲覧いただき電通デジタルのデータサイエンス業務にご興味のある社会人の皆様もお問い合わせいただけますと幸いです。