CTOとしてスタートアップに転職して9ヶ月で学んだこと （Redashで数値分析編）

こんにちは。株式会社NoSchoolでCTO（最高技術責任者）を務めている名人です。

2019年3月に前職のLIFULLからNoSchoolに転職して9ヶ月が経ちました。年末なので、自身の振り返りをまとめます。

会社としては勉強質問サイト/アプリを運営していまして、普段働いているのは社長と僕と週5の業務委託の3人。超が付くほどのドベンチャーで生きるか死ぬかの闘いを続けています。

この記事は数値分析編です。技術編はこちら。

本記事では、CTOとしての僕が、技術面ではなく、事業をより伸ばす面でこういうことができていればもっと良かったな、こういう施策をやったのが良かったな、という観点をまとめていきます。

具体的には、数値を取って分析する体制をどういう考え方で整え、どのように活かしていくことができているか。また、その体制を整える前に起こった悲劇についてまとめます。

Redashについて

11月頃から、NoSchoolではRedashというツールを使って、サービス上の数値を見やすいように整理して分析できるようにしています。

具体的には、

・Google Analytics、Firebaseを接続し、WebへのアクセスとアプリへのアクセスをRedashへ統合

・RDB（MySQL）に入っているユーザーデータ、投稿（Q&A）データをJSONに変換し、S3にアップロード。S3からRedashへインポート

・その他、Firebase上のデータベースの値はCloud FunctionsでAPIで取れるようにしてJSONとしてRedashへインポート

を行いまして、そのあと、それぞれのデータをSQLで混ぜ合わせて、測定したい数値を取っています。

Redashを全職種で見る

数値は、特にスタートアップにおいては、誰か担当者を決めてその人が見ていればいいというものではありません。基本的にNoSchoolでは興味があると言ってくれたら全員見せます。

たとえばデザイナーさんは、作ったLPのコンバージョン率をRedashで見ながら改善案を考えてくれています。

企画会議とRedash

Redashでデータを一通り取れるようにしたら、企画会議のときに以下のように活用します。

１．社長から、今後のサービスの大まかな方針と、今回の企画のゴールを話してもらう。ホワイトボードに書き込む

２．企画を実現するにあたって、関連しそうな数値をRedashから取ってきて、概算値をホワイトボードに書き込む

３．【重要】現状のRedashで取れていない数値について話し合い、「企画のゴール」と「現状との差分」を定義するにあたって足りない数値を決める

４．数値を取るためのクエリを書く担当者と、企画実現のための実装・設計フェーズに入る担当者を決めて会議終わり

とくに３番が重要です。Redashで数値を取れるようにしたら、数値取れるようになったからつい無敵になったように勘違いしたり、逆に思ったより数値がわからなくて混乱してしまいます。

目的があって、仮説があってこその数値分析なので、まずRedashにデータをインポートして基礎的なデータを見れるようになったら、あとは施策ごとにクエリをどんどん改善していくのが良いと思っています。

数値の無いPDCAはどうなるか

まだRedashが無かった頃のNoSchoolでは、ある日、こんな企画開発プロセスを歩みました（実話）。

１．社長が、事業的にはこういったユーザーが増えてほしいから、そういうユーザーが得をするような施策を打とう！と提案する（※オブラートに包んでいます）

２．社員、投資家含め全員が「えー、そんな事業者目線の企画、上手く行かないですよー」と突っ込む（※オブラートに包んでいます）

３．どうしても作りたい、というので、仕様を決めて、僕が2週間位で「えいや」で実装してリリース。結構な規模の実装でした

４．が、完全にスベる。半年ほどたった今、その機能をいつ消すかという話題が出る

文字にして書き起こすと改めて酷いですが、何が酷いのか僕なりに整理させてもらうと、最も問題なのは、

【この施策に関連した数値目標を決めなかったこと。この施策が適切に使われているか測定する体制を整えなかったこと】

です。

１．については、社長が事業者目線の企画を出すこと自体はそこまで悪いことではないです。まあ日常茶飯事と言って良いでしょう。本当はヒアリング等の1次情報に基づいた企画であるべきという意見もあるかもですが、いつもそういう企画ばかりではないですし。

２．については、まあ...できれば代案を出せるような人間でありたいですが、ここでは、とりあえずやりたいならやるってことだけ決めて、その代わり、数値目標を決めてそれを撤退基準にするのがいいと思います。代案を出さないならやるしかない。やるしかないけど、失敗確率が高い企画であろうことが見えているなら尚更、数値を取らないといけないです。

３．と４．に関しては、言わずもがなですね。

本当に見るべき数値を取ることにこだわろう

この企画に関しては、正直、本当に、絶対うまくいくわけがないって皆言い切れるくらいの企画だったし、そして失敗したわけなのですが、今思うのは、もうちょっと工夫したら上手くいく余地があったのではないか、ということです。

例えばある企画が上手く行かないときって、

・ニーズがそもそも無かった
・ニーズはあるけど、解決する手段が弱かった
・ニーズはあるけど、解決する手段に対してそこまで行く手間が大きかった（決済とかでよく起きますね）
・ニーズはあるし、解決策も良かったけど、伝え方が下手だった

くらいのパターンは最低限あるわけですが、数値を特に取っておらず、取ったものといえばGoogle Analyticsで取れるファネルくらいなものでしたので、上記のどれなんだっけっていうのに答えを出せないんですよね。

Google Analyticsで取れる数値ってめっちゃ弱くて、だからKARTEとかFullstoryといったユーザーニーズを取れる分析基盤のSaaSが流行るわけなので。

こんなふうにあとからちょっと工夫すれば・・・って思うのは、何より数値を取れていないから想像に頼るわけです。

では、数値ドリブンで考えると何が起きるのか。

先日、月額課金を必要とする機能をリリースしたとき、LP（ランディングページ）に自前のスクリプトを埋め込みました。そのスクリプトでは、ユーザーがどこまでスクロールしたか、どのCVボタンを押したか、というのを徹底的に取れます。

もちろん完璧とは言い難いですが、実は大半のユーザーがページの最後までスクロールしていたことや、でも、押されたCVボタンはページの真ん中のボタンが最も多かったよね、くらいはわかるので、これを元に、ユーザーニーズはあるけど価値提供が弱いかもねみたいなことは言えるわけです。

となれば、僕が2日位でサクッと追加のプレミアム機能作ってリリースして、LPに追加してCVRを上げる動きができました。

数値がわかっていないと、ひたすら流入増やそう！とか、CVフォームのデザイン改善しよう！とか、LPのデザインをもっとリッチにしようよみたいな話しかできないです。

ちゃんとユーザーの動きを取れば、LPの何が力不足なのか、もっと仮説立てられるようにできます。

ここまで改善した上で、それでも事業的にはこの施策は意味がないよねって言われるなら、それは仕方のないことです。ものづくり側としては全力を尽くしましたって言って良いと思います。

でも、数値取らずに施策は意味がないよねって言い始めたら、それは想像でものを語っているということです。

まとめ

身の回りに数値を見るのが得意な担当者がいなくても、自分で取りましょう。エンジニアならSQL書けるはずなので、Redashはむしろ取っつきやすいはず。もし数値を見ずに企画を連射している僕のような方が居たら、この記事が役に立ってくれたら嬉しいです。

また、Redashでこんな数値のとり方してますという事例を作っている方、よかったらお話しましょう！！ Twitter → https://twitter.com/Meijin_garden

数値を見よう。

本当に見るべき数値を取ることにこだわろう。

2020年も引き続き進化していけるよう頑張ります！