見出し画像

データエンジニアのAさんのはなし

Nishika株式会社

はじめに

データサイエンスプラットフォームを運営するNishikaでは、ハイスキルなAI人材、データ人材にインタビューを行っています。

今回はデータエンジニアのAさんからお話をお伺いしました。データエンジニアはデータサイエンス領域の中でも特に注目度の高い職種です。

  • 実際にどのような仕事をしているのか

  • 仕事の醍醐味

  • キャリアチェンジするためのポイント

  • 日々のスキルアップの取り組み

  • データエンジニアはどうすれば採用できるの？

などなど、幅広いトピックに解像度高くお答えいただきましたので、データエンジニアに関わる方はぜひご覧ください！

Q1. ご経歴を教えてください

データエンジニアをやっています。10年ほど前に新卒入社した会社からずっとエンジニアとしてやってきたんですが、データ基盤を扱う仕事としては8年ほどのキャリアとなります。
検索サービスやレコメンドなどデータ系プロダクトの開発やMLOpsのプロジェクトを推進するかたわら、データエンジニアチームのマネジメントも業務のひとつです。

Q2. データエンジニアというポジションについて教えてください

一言で言うと、エンジニア観点でデータを活用してインパクトを与えていくような仕事ですね。
データ分析系の部署やアプリケーション開発系の部署、ビジネス系部署など、社内のコミュニケーションも特に多いですね。

具体的には、データアナリスト、データサイエンティストが分析したいデータを提供する、ログやRDBのデータ取得をSREやアプリケーションエンジニアと設計する、レコメンデーションAPIなどの開発において、各部署のコンセンサスをとる、など対応領域が多岐に渡るため、AIやデータだけでない広範な知見を求められるのがデータエンジニアだと思います。

Q3. 具体的にはどういう業務内容ですか？

データ基盤を扱うこともメイン業務ですが、最近はデータサイエンティストが開発したモデルを本番サービスに向けて試運転するといった仕事も多いですね。

モデルの開発から本番のサービスに実装するまでには、それなりにギャップがあります。
うちの場合は、データエンジニアチームでモデルのトレーニング、サーブ、精度モニタリング、コードリファクタリングなどのMLOpsを回すこともあるので、わりとMLエンジニアのような面もあるかもしれません。

Q4. データエンジニアの醍醐味ってなんですか？

やはりデータの力で事業をドライブできるという点は非常に面白みを感じるところです。
また、会社がデータドリブンな意思決定をするための土壌を作れているという点も日々感じるところではあります。

世界の名だたる大企業を見ても、結局はビッグデータを適切に操ってバリューを出した結果、今の地位があると思うので。

ただ、一般的なエンジニアと比べるとインプットの量は多いかもしれないです。
既にお話ししましたが、データを扱うということはプロダクトのハブとなる必要があり、非常に多くのステークホルダーが関わってきます。
エンジニアリング、データ、AI、ビジネスなどへの理解をそれぞれ高いレベルで備えていないと、他のロールの人との円滑なコミュニケーションができないんです。
とても勉強になる面もあるのですが、継続的な学習は難しい面でもあるので、データエンジニアとして差がつくところですね。

Q5. データエンジニアってどういう経歴の方が多いですか？

今は新卒で最初からデータエンジニアとして入社してくる人も多いですね。
中途の場合は、SREやアプリケーションエンジニアなどからのキャリアチェンジが多いように感じます。

Q6.データエンジニアになるにはどういうスキルが重要ですか？

日常的に、BigQueryなどのデータウェアハウスを使うのでツール慣れしていることやPythonを書けるという点は必須になるかもしれません。

また、EmbulkなどのETLツールなどを触ったことがあると有利ですね。データロード処理などはまさにデータエンジニアの領域なので。


Q7. 普段どういったところでスキルアップにつながる情報収集をしているんですか？

他社さんのデータサイエンス系の勉強会資料などは、参考になることも多いので積極的に目を通すようにしています。
SpeakerDeckなどで良い資料を見つけたらチーム共有、という流れでキャッチアップする知識も少なくないです。
その他はTwitterなどでデータサイエンス業界の有識者をフォローしていますね。

Q8. データエンジニアの方って、データ分析コンペやるんですか？

若いデータエンジニアほど積極的に参加している印象ですね。
今、データエンジニアを志望して入ってきた人は、機械学習への興味が強くてデータサイエンスにつながる仕事をしたいという意向が強いです。

また、実務でもデータサイエンティストとのコミュニケーション能力は非常に重要なスキルなので、個人的にもデータ分析コンペティションへの参加は非常にポジティブに捉えています。

Q9. 事業部のマネージャーとしてデータエンジニア採用にも関わられるとのことですが、どういった目線で見ていますか？

まずは自社で使っている技術やツールへの経験・理解を見ます。
BigQuery、Hadoop、Spark、RedShiftなどのデータウェアハウス系ツールやTensorFlowなどの機械学習ライブラリの利用経験、Vertex AI、SageMakerなどのMLサービスなどには一通り触れておいてほしいです。

また、面接においては職務経歴書だけでは見れないテクニカルな質問をしますね。

データエンジニアは、他のエンジニア系ポジションと比べても「やり切る力」が重要になってくる局面は多いので、スタンス、カルチャーフィットなども定性面も意識して見ています。

Q10. データエンジニアの方はどういった会社に興味が惹かれるものなんですか？

一般化は難しいんですが、MLOpsにおいて進んでいる会社は興味がありますね。
クラシックな企業でデータ活用を強く推進しようとしている、ということをメディアなどで積極的に発信している会社も話を聞いてみたいと感じるかもしれません。

何より、経営層のデータ活用に対する積極性次第で、データエンジニアの仕事も大きく変わってくるので、そのあたりは調査するデータエンジニアが多いんではないでしょうか。
例えばメディア以外でも、Nishikaさんのようなデータ分析プラットフォームでコンペティションを開催している企業などは、それだけでデータ活用に対する理解が深いことがわかるので好印象ですね。

Q11. 最後の質問ですが、これからデータエンジニアの需要は高まると言われていますが、第一線で働かれる中でどう感じていますか？

おそらくそのトレンドは変わらないと思っています。データ活用したいという企業のニーズが減ることは考えづらい上に、データエンジニアとしての良質な業務経験を積む機会は需要をカバーするほど多くない、というのが実感としてあります。

自社も採用枠自体はあけていますが簡単には埋まらない状態でして、採用・育成の両面で人材確保に力を入れていく必要があると思っています。

最後に

Aさん、非常に詳細なインタビューにお答えいただき、本当にありがとうございました！

AI・データ分析プラットフォームを運営するNishikaでは今後もデータサイエンス業界についての情報を発信していきます！

また、データエンジニアをはじめとしたAI・データ分析人材特化型の採用サービスを運営しておりますので、「データエンジニアの母集団形成に困っている」などといった採用ご担当者様がいらっしゃればぜひ以下までお問い合わせいただけますと幸いです！

Nishika


この記事が気に入ったらサポートをしてみませんか？