因果推論を使うときに注意したほうがいいこと（ビジネス編）

因果推論をビジネスで使うときに個人的に苦労したこと、気をつけていることを紹介したい。ここでは細かい理論の話はしない。技術的な話ではなく、あくまでビジネス寄りな内容。因果推論の分析をする人にはもちろん、因果推論の分析を依頼する側の人にも読んでほしい。

私は現在データサイエンティストとして働いているが、学生時代には計量経済学を専攻し、統計的因果推論の手法を用いた研究をしていた。因果推論は理論的な裏付けのある客観的な手法ではあるが、それを解釈するのは人間であり、活用するのも人間である。現実のデータ分析は教科書通りには行かないことが多い。

因果推論とは

因果推論とはざっくりというと、物事の因果関係の有無や大きさを推定する分析のことだ。ビジネス上の施策の効果を検証する際に使われることが多い。たとえば、お店で新しいキャンペーンを行ったとして、そのキャンペーンがどの程度お店の売上に貢献したのかを推定したい場合。キャンペーンの効果（因果）をデータを使って測る(推論)ために因果推論を使う。

ここで単にキャンペーン前後の売上を比較するだけでは正しい効果検証にならない。なぜなら、お店の売上は天気や曜日などによっても影響を受けるため、キャンペーン前後で売上が変化したからといって、それが本当にキャンペーンの効果であるとは断定できないからだ。そこで、キャンペーン単体が売上に影響を与えた程度を推定するために因果推論が使われる。

因果推論はマーケティング施策の効果検証以外にも、経営や人事などにも応用しやすい。

因果推論を使う前に

まず因果推論を行う前に真っ先に考えるべきことは、A/Bテストで代用することが可能かどうかだ。A/Bテストも因果推論と同様に施策効果を調べるために使われる手法だが、A/Bテストと因果推論の両方が選択可能な環境ならば、絶対にA/Bテストを選択するべきだ。なぜならA/Bテストのほうがシンプルに客観的な結果を得ることができるからだ。読者の中には、因果推論もデータに基づいているので客観的な分析だろうと感じる人もいるかもしれないが、後で述べるように、因果推論は分析者が主観で決定せざるを得ないファクターが多く存在する。つまり同じデータでも分析者の主観によって結果が変化する可能性があるのだ。一方でA/BテストはシンプルにA群とB群の差をみればよいので、適切な設計とKPIがあれば分析者の主観によらない客観的な結果が得られる。

とここまで書いたものの、実際にはA/Bテストではなく因果推論を使わざるを得ない場合がほとんどだろう。以下では大学の研究室や実際の業務での経験をもとに、因果推論を実用するうえで気をつけるべきことについて紹介する。

依頼者「この施策には効果があるはず！」

実務における一番の難関はここだと個人的に思っている。依頼者からの期待という名の圧力である。そもそも依頼してくる方は施策に効果があると思って因果推論の分析を依頼しているのだ。分析者は因果関係の有無を客観的に判断することが目的だが、依頼者は因果関係の存在を示すことに目標を置いている。この時点で、分析者と依頼者の効果検証に対するモチベーションが根本的に乖離している。こんな状況で「今回の施策では有意な因果関係はみられませんでした。」なんて非常に言いづらい。なので因果推論の分析を引き受けるときには、因果が認められなかった場合の対処を予め考えておく必要がある。

恣意的に"客観的な結果"を作り出せる

いくら因果推論がデータドリブンで客観的な手法であったとしても、人間がそれを使う限り主観性を完全に排除することは簡単ではない。

一言に因果推論といっても様々な手法がある。それぞれに前提とする条件が異なり、分析結果もそれぞれだ。すると、どういうことが起きるかというと、「最も都合の良い結果を選びたい」という心理がはたらいてしまう。手法をあれこれ試すだけでなく、使用する特徴量を追加したり除外したりすることでも分析結果が大きく変化することがある。施策に「効果あり」とする分析結果もあれば、「効果なし」とする分析結果もでてくる。どの手法もれっきとした統計的分析手法であり客観的な結果であることは事実だ。しかし複数ある客観的な結果の中から一つの分析結果を選ぶという行為に恣意性が入ってしまうことがある。依頼者からのプレッシャーがあればなおさらだ。

仮定が多すぎる

統計的因果推論に使われる手法は多かれ少なかれデータに仮定を課している。詳しい説明はしないが、簡単に言うと、「この手法を使うにはデータが○○という条件と××という条件を満たしている必要がある」という感じ。そして一般的にこの○○とか××の条件がかなり厳しい。現実世界のデータでそれらの条件を満たすことはほぼ無理だろう。しかもそれらの条件が満たされているかを判定することも非常に難しい。だから現実データを使った因果推論では○○とか××の条件が満たされていると仮定して分析を進める。当然、その仮定が現実と大きく乖離している場合には出てきた結果の信頼性は下がってしまう。

真実はだれにもわからない

因果推論はその名の通りあくまで推論である。推論結果が必ず正しいと保証してくれるものではない。A/Bテストの箇所で述べたように、因果推論は状況を再現・実験できないからこそ用いられる手法だ。その分析結果が正しくてもそれを知るすべはなし、間違っていても後で検証することもできない。最終的には導き出した分析結果を信じるしかない。

それでも因果推論は必要

ここまで因果推論を使用する際のリスクや注意点について述べできたが、因果推論を使った分析そのものを否定しているわけではない。因果推論は上記の述べた負の側面を持ちつつも、A/Bテストが不可能な場面において因果関係を明らかにするためのほとんど唯一といえるアプローチでだろう。そして、今まで人間の主観的感覚に頼ってきたPDCAサイクルのCheckの部分をデータという客観的なツールで向き合おうとする姿勢には大賛成である。

データ分析者の仕事もAIに代替されつつあると言われる中で、因果推論は人間の想像力が特に必要とされる分野だ。データに携わる人々には因果推論についてもっと興味をもってほしいし、もし因果推論をビジネスで使う機会があればこれらの注意点が何か手助けになれば嬉しい。