【ポストコンサル】最初の課題：データがない③

"今あるデータ"を探してみる

成長施策を考えるためのデータが整備されていない事実に直面した中で、最低限のツールが仕込まれていることを知った。
誰も使っていないので使い方やアウトプットが一切ない中で、とりあえずツールの管理画面を覗くことにした。
（そもそも管理画面にアクセスするところから難航した。誰も使っていないので管理画面のIDとパスワードから探すことから始めた。初期のパスワードはスプレッドシートに一覧化されていたのだが、定期的に出される管理画面側のアラートに従い誰かが勝手にパスワードを更新し、最新のパスワードを誰も把握していなかったのだ。）

過去の数字が取れない問題。

まずは、今現在も使われていないアプリの広告計測ツールの管理画面にアクセスした。今出稿している広告のインストール数などは表示されており、安心した。今月の数字はどうなっているのかを確認し規模感を掴んだ後、その良し悪しを判断するために過去の数字を調べた。
しかし、2か月以前の数字が全く見当たらないのだ。おかしい。

すぐにSlackでエンジニアに質問を投げた。すると驚くべき回答が返ってきた。ツールを整備したのがちょうど2か月前だという。つまり、それ以前は数字が取れていないのだ。当然、前年の数字も取れない。季節要因を除外した良し悪しを掴むための前年同月比も見ることができない。
今わかるのは数字が取れている前月比だけ。前月の取り組みの結果としての今月の成果を知りたいが、季節要因＝外部要因と切り分けて考えることもできずに良く分からない。
ツールは仕込まれているが、まだ真に使える状態ではなかったのだ。

使えないのは広告測定ツールだけではなかった

アプリの広告測定ツールは実装が最近過ぎて、分析に使えるほどのデータ量が少ないという問題に直面した。
しかし、問題はそれだけではなかった。

Webのアクセス解析ツールは、タグの設置が十分ではなく正しくカウントされていなかったのだ。データベースの数字と比べても明らかにコンバージョンの数が少ない。コンバージョンページのソースコードを調べてみるとタグが設置されていたり、設置されていなかったりするのだ。

これも担当していたエンジニアに話を聞いた。とりあえず動くかどうかテストでタグを設置し、ツールでカウントされているのを確認した後、別のタスクが降ってきてそのまま放置していたのだという。その後、誰も使っていなかったので、タグが正しく設置されていないことが認識されずに1年近く時間が過ぎてしまった。
好奇心の強い別のエンジニアはアクセス解析ツールをたまに覗き、その異変に気付いていたのだが、担当者がテストのまま放置しているなど思いもせず、かつ誰も使っていないのでアラートを上げることはしなかった。

上記は一例であるが、仕込まれているツールがそのまま使えるという保証はない。それぞれの会社にそれぞれの担当者の事情があり、使えるようにするのは私の仕事であり、あなたの仕事だ。
加えて、上記のような状況はスタートアップではよくあることだ。目まぐるしくタスクの優先度が変わり、人が少ないので異変に気付きにくいし、声を上げる余裕はない。現場に身を投じて、そのことは痛いほど良く分かる。何かを途中で止めてしまい、そのまま流れていってしまうことやそのことに気づきつつも声を上げることができないことは他人事ではない。次は私が同じ状況に直面するかもしれない。
いずれにしても文句を言う暇があったら、自分で解決して前に進めるしかない。

崩れた前提と対処方法

ツールは使えるが、データが豊富にはないことが分かった。
広告測定ツールの件は、広告代理店から提出される些末な広告レポートの数字を代用することにした。計測方法が異なるので測定ツールの数字と一致はしない前提ではあるが、単月のExcelデータをかき集め、全て並べて時系列で集計した。広告は数字の上下が予算額の絶対値に大きく依存するので、その要因を除いたクリック率やインストール率などをみて市場の動向を見ていく。かなり手間はかかったが、過去の動きと季節要因、自社の取り組み成果などは少し見えてきた。

一方、アクセス解析のツールの件は、エンジニアの助けを借りつつ、改めてタグ未設置の箇所を洗い出し、設置し直した。そのタスクが完了するまでしっかりと見届けるのも私の役割だ。タグを設置する理由とアウトプットのイメージまでしっかり伝えれば、その重要性を正しく理解し、最後までタスクをやり遂げてくれる。今回はそこまでやってきっちりとタグを設置してもらった。そのエンジニアのスキルや遂行力に問題があったのではなく、目的意識を持ってもらうことができていなかっただけだ。優秀なエンジニアの能力を活用できていない会社全体の問題でもあるかもしれない。また、その問題を解決するのも誰かではなく私であり、あなただ。

データの収集から活用へ

今あるデータを確認し、課題も認識した。可能なものは修正し、より使えるデータを増やしていった。理想からは程遠いが少なくとも数週間前、私のジョインのタイミングよりは、使えるデータは増えているはずだ。
集まりつつあるデータをどう料理していくのか。
私の関心は、新しい論点に移っていく。

ポイント

今あるデータについて、使う前に前提条件を確認しよう。
ツールがあるからといって、そのデータが全て使えるわけではない。
Apple to Appleで比較できるデータがない場合もあるし、使えそうなデータでもカウント方法などの前提条件が異なるかもしれない。恐らく今あるデータが理想的であることはない。必ず困った前提条件があるはずだ。
そして、その場合は、今あるものの中で複数のデータを照らし合わせてみよう。
例えば、コンバージョンの情報がなければアクセスログを見てみる。
例えば、インターネットで市場の月次数字を追って自社サービスの季節動向を予測してみる。
乱暴な例ではあるが、今進んでいる道が塞がれていたら遠回りになる違う道を探してみるのだ。ピンポイントで数字を掴むことはできないが、色々な角度から眺めているとそれなりに輪郭は見えてくるものだ。

まとめると、計器が設置されているからと言ってそれを鵜呑みにしてはいけない。使えるかどうかをしっかり確認することが重要だ。そして使えそうな計器は複数見てみる。
壊れた計器に頼った操縦の先に待つのは、到着ではなく墜落だ。