データ分析でトレンドをちゃんと追わないとヤバい話

今回、自分の分析結果を振り返ったり他の人の分析を見てヤバい報告の仕方をしてるのを何度かありました。自戒を込めて、その内容を書きます。

起きている状況

とあるKPIを週次で追っています。下のような数値の動きをしていたとします。

この瞬間「数値が下がりました。何か手を打ちましょう。」と報告していたとします。その翌週に下のような結果になりました。

「データが上がりました。好調です。」と報告していました。

ひたすらノイズを報告

上記の結果はいわゆるノイズを報告しています。

ちょっと不正確ですが、サイコロを３回ふった結果を想像してください。この時、5 → 2 → 3 と出たとします。２が出た時に、このサイコロの調子は下がっている、と判断することはありますか？３が出た時に逆にあがっている！と判断しますか？ 通常ならしないと思います。いわゆる、ギャンブルなどで負けていると、うっかりこんなおかしな判断をしてしまいそうですが。

会社で分析をしていると、この判断を笑えなくなる時があります。この時の状況を思い返すと、お金をかけてこの集計をしているからにはクライアントや社内に有用なことを言わないと追い詰められていました。普段なら無視してしまう数値の微細な動きを意味あるように判断してしまいます。

そもそも、人間は何もないところにもパターンを認識する生き物だという話も聞いたことがあります。この性質で、このような数値の判断をししまう要因かもしれません。

しかし、クライアントや社内の人間をミスリードさせていたら意味ないですね。勇気を持って、何も起きてない時に何も起きてないというのは重要です。

どうやって防ぐか

予防策は簡単で、長期でその数値を見てください。その上で、

- 今回の動きがいつもの変動の範囲内なのか？
- 異常であれば、特別なイベントが発生していたか？

を判断してきましょう。先程みたデータを長期で見た結果が下のグラフです。

ほとんど異常がある状況とは言えないですね。８週前の数値は少し気になるので、関係者に何かあったか尋ねに行くと思います。

蛇足ですが、長期で見ることでそのKPIが本当に変動しているかの確認できてきます。

あまり見たくない状況ですね。

途中から KPI の数値が下がってきてます。こういう時は早急に手を打てるように周りのアラートを出してきましょう。

下降し始めのタイミングは、ノイズなのか？ 下降トレンドなのかを判断するには時系列分析をする必要も出てきます。データサイエンティスト的な業務ですね。こういう時は専門家に任せておきましょう

まとめ

数値を見ている時、幻の傾向を追いかけてしまう話を紹介しました。クライアントのニーズに応えたいという願望やプレッシャーが大きいと、何もないところに意味を見出してしまうことがあります。

分析者は当事者意識をもちつつ、一歩引いて冷静な判断が必要になります。冷静な判断をしてこそ、クライアントにも社内にも役に立つ人間になると思います。