cotreeでのデータ分析で痛感したこと
こんにちは、cotreeインターンの佐野です。
最近ではデータ分析、調査系の仕事をやることが多い人です。re:dashでクエリ作ったりしてます。
もともとre:dashをいじる機会はあったのですが、春頃からデータアナリストの斎藤さんに、データの見方・見せ方などを基礎的なことを教えてもらいつつ仕事をさせていただきました。（おかげさまで、SQLのクエリ作りとデータの見方はだいぶマシにすることができたと思います。）
9月から斎藤さんが新しい職場に行かれたということで、これまで教わったことも振り返って、cotreeのデータ分析で大事だなと思ったことをまとめてみました。
さいとうさんがカルチャー的なことについて書いてくださったので、僕はややテクニカル的な部分について書こうかなと思います。かなり基礎的な部分を学んだので、データ関連のお仕事を始めたての人などにお役に立てれば幸いです。
----
分析する前が一番大事！
結局これが一番大事だと思います。
データをいじる前に「何を、何のために、どのような形で」分析するのかを確定させます。
この部分についてはプロダクトオーナーやマーケター（cotree.jpなら平山さん）と話して共通認識を取ることがとても大切でした。もし共通認識がとれていないと、
・「分けて欲しかった部分が、分けられていない」
・「言葉の定義が違っており、欲しいと思った結果ではない」
といった事態が発生します。（すぐに修正できれば良いのですが、あとあと気づくと修正範囲も広がるので悲惨です。）
たとえば、よくある「新規顧客」「既存顧客」という言葉でも、
「新規顧客」→今月登録した人？まだ課金していない人？
「既存顧客」→先月以前に登録した人？一度利用した人？
といったように個々人で微妙に認識が違うこともあります。実際に「既存会顧客」については社内でスラングっぽく使われており（あくまで僕の肌感）、売上の構成要素の数字を出すクエリを書いた時には平山さんとすり合わせをしました。
加えて、「そのデータがどんな形をしているか」を理解することも大切だと感じました。これはエンジニア（cotreeなら主に千葉さん）とお話しします。
どのような情報が入っているのか、どんな数字で入力されているのかといったことを理解します。これらを把握することで、「今欲しい結果は、どのデータをいじれば取得できるか」がわかります。
斎藤さんがcotreeにジョインして最初にやっていたのも、cotreeの持つデータを一通り把握する作業だったと記憶しています。
（実際、データをどういう形で取得、蓄積するかを決めるのも本当はデータ分析する人の仕事なのかなーと仕事してて思いました。)
クエリ間違いに気をつける
SQL初学者として一番気をつけたい問題でした。文法を間違えてエラーが出るなら直せばOKなのですが、
エラーは出ないけど、意図していない結果が出てしまう
ことがありました。（データの形を正しく認識できていなかったり、条件の部分が正しく機能していないなどが原因）
要するに「答えは出たけど、間違っている」ということです。
僕のような初心者は当初は正しく結果が出るだけで安心してしまいがちでしたので、そのミスに気づかないことがありました。
対策としては、
・書き始めのうちはクエリのチェックを必ずもらう。
・出る結果を決めてから、テストデータでクエリを実行してみて間違いを調べる。
などがあります。
中途半端になんとかなってしまうのが、後々一番怖いです、、、
バイアス、思い込みを意識する
目的に沿った結果を出すことができたあとは、「この結果から何ができるか？」を考えます。施策を考えるイメージです。
この時に大事にすべきだと思うのは、「それは本当に正しい解釈？」ということを疑うことだと思います。
・最近だけのことなんじゃない？
・一部の人が押し上げてる/例外なんじゃない？
・その行動はそのいう心理の解釈で本当にあってる？
こういった事柄になります。これらを無視して施策を進めると、効き目のない施策になったり、むしろマイナス効果になってしまう恐れがあります。
実際、平山さんや千葉さんにもっとも指摘されるのもこの部分です。
なので、データの解釈→施策立案は、複数人でやるとそういったリスクを減らせて良いと思います。
まとめ
意図はしてなかったのですが、「仮説設定→分析→検証/改善」のそれぞれで気をつけることになっていました。かなり基本的な部分だとは思いますが、油断できないところです。クセをつけ、維持できる仕組みを作ることが大切だと思います。
最後にこの数ヶ月で一番難しかった事柄に触れて終わりたいと思います。
斎藤さんも一部言及していますが、一番難しかったのは（というより目下進行中）のは、「何を持ってよしとするか」です。
けれども、誘導パターンを考えているときに、代表の櫻本さんが一言おっしゃったんです。「１回しか使わなかった人でも、何度も使いたいひとでも、どんなひとでも受け入れられる包容力のあるサービスでいたい」と。（ニュアンスはこのようなものだったと思います。）「ひとりひとりが自分の物語をよりよく生きるための支えとなる」というミッションに回帰した瞬間でした。（斎藤さんの『cotree初データアナリストとして3ヶ月間でやったこと』より引用）
「顧客単価、継続率が高い」ということを単純に目標に設定できないところがありました。
一定の頻度や回数を受けることで効果があるとは学術的にも言われていることですし、実際にカウンセリングを複数回受けた自分としても直感的に理解できます。
一方で、「顧客単価、継続率が高い」ということを単純にゴールにすると、数字的には「毎日ビデオカウンセリングを複数回受ける」というような、依存度がかなり高めに思える状態がかなり良いケースとなってしまいます。これでよかったんだっけ？？
こういった何をもって良しとするか（というか良しとするとは？）の検討は目下進行中でありますが、一旦運営として決まった後でも向き合い続けるテーマなのかなと感じています。
↓まだあるのでぜひ読んでくださいm(__)m---
余談：うまく機能できなかった施策
「#今日のファクト」という今日分析してわかったことを箇条書きで、slackで発信する施策もやってみました。
これは、データ分析の実務には絡まない人にもサービスの数字の傾向などから何かヒントを掴んでもらえたら、ということと、自分のデータの解釈の偏りを防止するために始めてみた施策でした。
が、何日が続けてみるも正直効果が出ている感じがしませんでした。むしろただ知っている事実が増えているだけでアイデアが出にくくなっている気がしました。
で、たまたまその後安宅和人さんの『イシューから始めよ』を読んでいた時に、
"知りすぎるとバカになる"
と書かれていて（詳しい内容は実際の書籍を読んでください）、情報はその都度必要な分を出した方が良いな・とりあえず流しても相当余裕がある人ではないと見ないなと思い、やめました。過剰な情報は思考の枠を決めてしまうと感じます。
※もしかしたらもうすこし工夫ができたら効果出たのかもしれません。もしこういった施策をやられて何か効果が合った方は教えていただけると嬉しいです、、、
余談2:一人ではできない
データ分析（とそれを通じた議論）の仕事をやっていると多くの人に助けられますし、協力してもらうことが必要だなと感じます。
上にあげた、マーケターやエンジニアもそうですが、デザインチームとも話さないと企画に落とせないですし、行動系の分析はデザイン面の課題があることが多いです。
一緒にmtgできることはとても有難いことです。もっと自分からも的確に助けを求められるようにしていかなければ。
余談3:お礼
改めて、斎藤さんには本当にお世話になりました。ありがとうございました。かなり初歩的な質問ばかりしてしまったと思います、、、丁寧に教えていただいたおかげで、ミスはだいぶ減らすことができたと思います。
カルチャー作りは、まずは自分が丁寧にデータを見て、見せることが大事かなと思いやっています。
今後ともよろしくお願いします！
slackで目についたら容赦なく指摘していただけると幸いです。
おわり
この記事が気に入ったらサポートをしてみませんか？