データアナリスト→データエンジニアになってみて

本記事はfreeeデータに関わる人達 Advent Calendar 2019におけるDay 9のエントリーです。

こんにちは。freeeのAnalyticsチームで分析基盤を作ったり、freeeのデータ分析をしているものです。今回アドベントカレンダーをやることになって、noteで書いたことがなかったのでアカウントを作ってみました。

私は新卒でfreeeに入社し、一年目ではデータアナリストとして、プロダクトのデータ分析だったり、サブスクリプションビジネスにおけるファイナンスの集計分析だったりをやっていました。

次の図でいうアナリスト系を一年目でやり、二年目（現在）でデータエンジニア系に挑戦しています

（Analyticsのチームのマネージャーが書いたアドベントカレンダーDay1の記事の図を拝借しました。）

データエンジニア系のことをやり始めて7ヶ月くらいたったので、なってみて思ったことなどを書いていこうと思います。技術的なことは今回書きません。

本記事はあくまで個人見解であり、所属組織は一切関係ないのでご了承ください

そもそもなんでデータエンジニアになったのか？

きっかけはAnalyticsチームにデータエンジニアの方が入ってきたことでした。

そもそも、データ分析においてデータ分析ができる最低限の基盤が整っていることは必要不可欠ですよね。ビッグデータ活用やAIだの流行ってはいるものの、分析基盤があることが大前提なのです。

そういった意味でも分析基盤構築や運用できるスキルって重要だなとデータ分析をしているときにも思ってたので、データエンジニア自体に興味がありました。

そんなときにAnalyticsチームにデータエンジニアの方が入ってきて新たに分析基盤を構築するとのことだったので思い切って挑戦してみようとなりました。幸いなことに、チームのジャーマネ（freeeではマネージャーのことジャーマネと呼ぶ文化がある）が挑戦することにとても寛容だったので、分析基盤構築プロジェクトにジョインすることになりました。

データエンジニアになってみて面白い部分

データエンジニアだとバッチ処理や分析基盤の運用のつらい話など結構ネガティブな話を聞くことが多い気がします。実際、データサイエンティスト・データアナリスト・データエンジニアが集まる会に参加したりすると、そういった話はよくあります。

もちろん、共感できる部分もあるのですが、自分がやってみて、面白いと感じる部分を上げてみたいと思います。

まず、単純にコードを書くのは楽しいなと感じています。アナリストだとSQLやPythonを書いたりもするのですが、アドホックなものが多く、がっつりコードを書いたのはデータエンジニアになってからでした。

あとは、自分がやったことない技術に触れるのは面白いです。新しい技術を学ぶことは割と好きですし、「このデータや基盤が整うことでこんなデータ分析がしやすくなる」みたいなことを考えるとわくわくします。

データアナリストだとどうデータを抽出・分析し、インサイトを得るのかといった現在または過去を元にした情報に注力しますが、データエンジニアだと現在だけでなく未来にも注力しなければいけません。いかにして余計な負担なく、データを加工処理できるかだったり、運用しやすい設計や技術的負債にならないような設計を意識しなければならないのです。そういった部分が難しくも面白い点だと思います。

未経験からデータエンジニアになるにあたって

最後にちょっとでもデータエンジニアに興味を持った方のために、データエンジニアをやってみてまだまだ経験は浅いですが、自分なりに未経験の状態からだとどんなことが大事かを考えてみました。

これまでにAWSやGCPのインフラ構築、ETL実装などいろいろやって来ましたが、どれでも言えることはとりあえずやってみるのが一番大事だと思います。なんとも普通のことを言っていると思うのですが（笑）、意外とできていない人は多い気がします（特に未経験の人は）。

プログラミングであれば、とりあえず簡単に動くものを作ってみて試行錯誤していくのがいいです。AWSなどもどんな仕組みかを理解するよりも、手を動かして理解していく方が上達が早くなると思います。完全に理解しようとせず、ひたすら触ってみて理解していくほうが挫折もしにくいです。有名な言葉を引用すると、

”Done is better than perfect”
（完璧を目指すよりも終わらせろ マークザッカーバーグ）

とりあえずやってみてる。やると決めたら最後までやりきる。これはプログラミングに限らず、どんなことでも言えることなので私もこれからどんどん実行していきたいと思います。
最後まで読んでいただきありがとうございました。