SmartHR のデータ分析はどのような環境で行われている？？
こんにちは。株式会社SmartHR のマーケティンググループでデータアナリストをしています horry です。記念すべき初投稿ですが、この記事で SmartHR のデータ分析環境についてご紹介させていただきます。
プロフィール
メガベンチャーでメルマガ配信、キャンペーン開催などマーケターとして活動、またデータ基盤の構築、 BI ツールの導入、モニタリング、データ分析などを通じて組織へデータ活用を推進する取り組みを経て、2021年7月にSmartHR のマーケティング組織にデータアナリストとして入社
はじめに
SmartHR にデータ組織があることをご存知でしょうか？？
マーケティング組織にはデータアナリストメンバーが実は現在6名が所属しているのですが、今年8月に入社したメンバーはスカウトメールが届くまでその存在を知らなかったようでした。
多くのデータアナリストにとって、目の前のデータがどのような形で整備されたり保持されているのか、つまりデータの取り扱いやすさは自身の取り組みにも大きく影響するかと思います。この記事では、データ組織についてのご紹介の一環として、SmartHR のデータ環境がこれまでどのような歴史をたどり、そして今どうなっているのかをお伝えできればと思います。
実際に行われているデータ活用については、前述の8月入社の okada が先日投稿した記事を読んでいただくとご理解いただきやすいかと思うので、こちらも紹介させていただきます。
さて、SmartHR は今でこそ、KPI 、メルマガや広告運用の効果などを Looker や Looker Studioなど BI ツールを活用しながら安定したモニタリングが行うことができるようになったり、 顧客の属性や行動、トライアルの利用状況、課金状況などの分析の機会が増えたり、意思決定に使われたりする場面が増えてきました。これらはデータ環境が構築されたことによる寄与だと考えています。
(先程ご紹介した note にもこの点は言及されており、新しく入ったメンバーがデータ環境をどのように感じているのかは非常に気になることで、この所感には正直安心しました)
しかし、このデータ環境を構築するまでの道のりには多くの困難がありました。
この道のりをお話しながら、SmartHR のデータ環境は着実に進歩していて、それに比例するようにデータ活用の場面も広がっていることを知っていただければ、そして私たちデータ組織、データアナリスト職への興味ももっていただけるとうれしい限りです。
過去 ~入社当時~
私が SmartHR へ入社したのは2021年7月でした。新型コロナウィルスによる企業活動への影響はまだまだ残っており、紙を使用する業務が多い人事労務領域において、オンラインによる業務効率化への注目や関心はすでに高まっていた時期でもありました。
2013年に誕生した会社ですが、当時すでに社員数は400名を超えており、活用している SaaS やツールも、営業活動の管理ツールとして Salesforce を、マーケティングオートメーションツールには Marketo を、サブスクリプション管理に Zuora を、 BI ツールに Looker を、と様々使われておりました。
そしてこれらから作り出されるデータは BigQuery へと連携も行われていました。
しかし、蓄積されているデータには大きな問題がありました。多くのデータは日々のバックアップが蓄積されておらず、1時間おきの最新データが格納されており、直近の KPI の把握、最新の属性や行動データを使った集計や分析が中心となっていました。
マーケティング活動を通じて、顧客の認知を獲得、興味・関心を高める、比較検討、そして導入いただく、という段階をあげていく取り組みを行う私たちとしては、その時点のデータが取得できないことは、これらの段階が変化した際に、何が起きたのかをデータから捉えることができず、それは要因の分析ができない、仮説の検証や新たな仮説を考えることができないことを意味します。
また、モニタリングの観点でも、最新のデータのみの蓄積となると、例えば、KPI の実績を時系列で変化点を捉える、過去の実績を深掘りする、ということも当然できない、このような大きな課題を抱えていました。
モニタリングは前述のように BI ツールとして Looker が導入されていましたが、マーケティング組織ではあまり活用されておらず、Salesforce のダッシュボード活用が中心となっていました。最新時点の情報のみを取得していたため、KPI 実績集計は締め日にキャプチャを取って記録するという運用が行われておりました。
データを活用していくだけでなく、集計業務やモニタリングの効率化の点で、データ整備の必要性が非常に高かった時期であったと記憶しています。
スタート地点はこのような環境であったため、私自身のミッションとしては、手元のデータを使って集計や分析が問題なさそうな案件にチャレンジしつつ、長期的に安定したデータ活用を行うことが可能なデータ基盤も構築していくことを目指していきました。
エンジニアでも専門領域でもありませんが、前職のデータ基盤エンジニアが実施してくれていたこと、話を聞いていたことなどを思い巡らせながら、まずは最低限の状態に引き上げることを目指しました (「基盤の基盤」を作り上げ、知見のあるメンバーへ引き継いでいければ、のようなイメージで取り組みました)
タイミングよく、私の入社翌月にデータエンジニア (社内1人目) が入社しました。主要テーブルについては、日々のバックアップデータを蓄積してくことは早速に実現することができ、これにより過去時点のデータを活用した集計や分析も行われ、新たな施策への展開や意思決定の機会も増え、成果もそれなりに生み出すことができたのでは実感はしていました。
続いての試練
過去データの蓄積によりデータ活用の幅に広がりを持ち始めたことで、次に目指したことは、これらを有効に活用し続けるため、効率的にデータを保持していくことでした。
クエリが実行する際にはこのようなケースが発生することが想定されます。
KPI モニタリングのような定常的にクエリを実行する必要があるケース
アドホック分析ではあるものの、アナリストそれぞれが似たようなクエリを繰り返し実行しているケース
複雑で冗長なクエリになるため、アウトプットにバラつきが出てしまうケース
これらのケースに対応できる汎用的なテーブル (データマート) をいくつか用意することで、クエリ記述の効率化、アナリストによるアウトプット品質のバラつき防止を目指したのです。
しかし、当時の社内のポリシーにより、データアナリストが自由にデータマートを作成し活用することができないという期間があり、先程のケースは解消できず、似たようなクエリを何度も実行する、KPI モニタリングでは LookML に長いクエリを書き込む、のような対応をしばらく続けなければいけませんでした。私たちデータ組織以外のデータを活用してもらうメンバーにはデータ環境に何か問題があるようには見えていなかったかもしれませんが、現場のアナリストにとっては苦労が多かった時期であったと思います。
2022年も年末にさしかかってきた頃、このままでは翌年以降のいろいろなオーダーに応えることはいよいよ難しくなってくると感じ、再度交渉を行ったことでポリシーは見直され、アナリスト側でも自由にデータマートを作成することできるようになりました。
いまとこれから
こうして2023年に入り、堰を切ったかのようにチームでモニタリングやデータ活用に最適なデータマートの作成が行われていきました。これにより、モニタリング環境の安定化、アナリストのデータ抽出時の工数削減、アウトプット品質の平準化も実現し始め、目指していた効果もはっきりと現れてきたのです。
また、合わせて GitHub の導入により PR やレビュー文化の醸成、クエリ管理など、ようやくようやく最低限のデータ環境を整えることができたと思っています。
こうして、データ基盤構築の私の役割は一段落として、より専門的なスキルを持ったメンバーへとバトンタッチし、現在は恒久的に安定したデータ環境を維持・活用できるよう、以下の推進を担ってもらっています。
テーブル更新時のエラー検知とエラー発生時の復旧へのフロー確立
データマートが乱立しないよう作成時のチェック機能をチーム内に設ける (評議会の開催)
PR や LookML などのガイドライン策定
このようなデータガバナンス強化への取り組みも順次行われております。
最後に
いかがでしたでしょうか？
データ環境が安定している組織にいらっしゃる方々からすると、至極当然のお話だったかもしれませんが、これが私たちがこれまでたどってきたリアルなデータ環境構築の歴史になります。
少ない人数でも地道に構築し改善していくことで、データアナリストがデータ活用に集中できる環境を作り出し、継続的なデータ活用、事業貢献への可能性を広げられることは実証できつつあると感じています。
組織へのデータ活用を目指し始めた方々の多くには、同じような悩みを抱えていらっしゃる方々も多いのではと思います。今回の記事が何かの参考にもなれば幸いです。
お知らせ
SmartHR では、データアナリストを絶賛募集中です！
SmartHR のマーケティング組織は80名を超え、TV CM をはじめとしたマス施策、大型イベントの開催、サービスサイトの運営、広告運用、メール配信、DM発送、コミュニティ運営など専門性の高いメンバーが日々活動を行っており、それらから生まれるオンライン、オフラインのデータは膨大です。
全社としては、マルチプロダクト化を推進しており、それに伴いマーケティング活動もこれまで以上に活発に、そしてデータも多種多様になっていくことが予想されます。社内におけるデータ活用への注目はこれまでにないくらい高まっていると実感しています。
このような変化の大きい、刺激的な環境でぜひ一緒に働いてみませんか？？
まずはカジュアル面談からでも OK ですので、ご興味を持たれた方いらっしゃいましたら、お気軽にご連絡くださいませ！
この記事が気に入ったらサポートをしてみませんか？