データエンジニアリングのおもしろさ

この記事はfreeeデータに関わる人たち Advent Calendar 2020の5日目です。

さて、私は長くWebアプリケーションエンジニアをやっていたのですが、縁があって2020/07よりデータエンジニアのチームに異動しました。まだ異動してから5ヶ月ほどですが今回は私が感じたデータエンジニアリング領域の面白さについて書いていこうと思います。

ユーザが社内にいるのでフィードバックをもらいやすい

私が所属しているのはデータ基盤というチームで、主に各プロダクトや社内で利用しているSaaS(Salesforce, Zuora等)にあるデータをDataLakeやDWHに取り込むあたりの領域を担当しています。DWHのデータはアナリストやマーケ、エンジニアと多岐に渡りデータを大事にするカルチャーから全社員がユーザとなりえます。

ときには厳しいフィードバックがダイレクトに来たりしますが、ヒアリングや課題解決にポジティブな方が多く、意見をもらう機会は多くあります。フィードバックは改善のタネなのでPDCAを回すのによい環境です。

オーナーシップをもてる

また、データ基盤は社内の多くの人向けのものであるためもらったフィードバックをそのまま鵜呑みにせず、部分最適にならないような解決方法を探ったり、フィードバックの裏側にあるコンテキストを理解したりと組織を横断して主体的に関わっていくことになります。全体最適の難しさを日々痛感しています。

幅広くエンジニアリング経験を積める

ちょっとしたバッチを処理が必要になったときにshellで書く or Pythonで書くだったり、バッチを動かす基盤にLamda, Fargate, Batchどれを使うのか等、やりたいことを実装する手段が割と広い選択肢から選ぶようなことが結構あります。

Railsのエンジニアをやっていたので普段はほぼRuby(たまにSQL)という環境でそれと比べれば、純粋なコーディングだけではなくどこでその処理を動かすか、どう処理を分割/配置するかだったりを根拠を持って説明できる必要があり、クラウドサービスの知識やアーキテクトの能力あたりが必要と感じています。

プロダクトも多く、普段の開発ではなかなか接する機会のない規模のデータを捌くことになります。大量のデータを効率よく捌くにはどうすればいいのか、プロダクトが増え続けても簡単にDWHにデータを送るにはどうすればいいのか等、技術的なチャレンジが常に求められます。

最後に

さて、個人的にはデータエンジニアリングはかなり面白い領域だと思っていますがご多分にもれずfreeeでもデータエンジニアは不足しています。興味がある方、まずはカジュアルにお話しませんか？こちらからご連絡ください。

明日はfreeeのデータアナリストチームを率いるkamata sanがなにやら集計の話をするそうです。お楽しみに。