新卒社員の仕事紹介 分散システムの開発・運用に携わるデータエンジニア編

LINEヤフーには、さまざまな領域で活躍するエンジニアが数多く在籍しています。そのなかには、新卒入社し、早くも重要な役割を担っている若手エンジニアも多くいます。今回は、分散システムの開発・運用に携わるデータエンジニアの海野 良介さんに、新卒入社社員としての仕事内容やその魅力について伺いました。

プロフィール

海野 良介（うんの りょうすけ）
2021年、旧LINE（現LINEヤフー）のインターンシップに参加後、2023年エンジニア職として新卒入社し、データエンジニアリングに従事。

自己紹介をお願いします。

海野 良介です。2021年、旧LINE（現LINEヤフー）のインターンシップに参加後、2023年4月に新卒入社しました。インターンシップから現在まで、データエンジニアリングに携わっています。学生時代はゲームAI、機械学習に関する研究をしていました。同じ情報系ではあるものの、学生時代の研究分野と現在の業務に直接的な接点はなく、インターンシップに参加した際もデータエンジニアリングの知識はほぼない状態で参加しました。

入社してからはどのような業務に携わっていますか。

「LINE」をはじめとする各種システムから送られてきたデータを分析したり、利用したりするためにはデータを分析基盤に取り込む必要があります。私たちのチームは、システムから送られてきたデータを分析基盤に取り込むパイプラインで、データの仲介を行うプロダクトの開発・運用を行っています。

社内で運用しているさまざまなシステムからデータが送られてくるため、私たちが運用しているデータのパイプラインはかなり大規模になります。入ってくるデータは平均して毎秒数GBのスケールです。全社で利用されている分散メッセージキューシステムのKafkaのクラスターから取り込まれたデータ、チーム内で管理しているゲートウェイ用のシステムから入ったデータ、ユーザー自身が直接送り込んだデータなど、多くのデータを扱っています。

私のチーム内での役割は、内部で管理しているKafkaのクラスターと一部のパイプラインを扱うこと。Kafkaのクラスターでは保守作業をメインで行っています。チームで扱っているパイプラインに流れてくるデータは非常に大きく、それらを一時的に保存しておくためのKafkaのクラスターも非常に大きく、100台以上の物理サーバで構成されています。マシンの数が多いため、ハードウェア関連のトラブルもある程度発生します。問題発生時の一時対応や、ソフトウェア関連のトラブルシューティング、オペレーション改善の対応を行います。

チームで扱っているパイプラインではデータが常に流れてくるため、そのデータが遅れてしまったり止まったりすると大きな問題になってしまいます。そのため、そういった事象を避けるためにパイプラインを安定運用するための改善を行うのが主な仕事です。

たとえば、複数のパイプラインのなかで、ある特定のパイプラインからのデータ量が急増する事象がときどき発生します。そういったことが起こるとデータの帯域を使い切ってしまい、ほかのパイプラインへの影響が発生する場合があります。それらを防ぐために、パイプラインからのデータ転送量を制限するための機能実装を行いました。これらの機能はJavaで開発を進めることが多いです。ほかにも、細かいメトリクス集計用のバッチジョブやチーム内で管理している別のクラスターの新規構築などにも携わりました。Javaでの開発が多いと言いましたが、小規模な開発の場合Pythonを使うこともあります。

選考を受ける前に取り組んでいたことはありますか。

プログラミングやアルゴリズムの勉強はしていて役立ちました。選考時もそうですが、インターンシップ期間中はコードを書く機会が多く、たとえば簡単に検証を行いたいときに必要なコードをさっと書けるようになっていたので、作業をスムーズに進められました。ほかにも、コーディングテストの形式に慣れていない場合は、似た形式のテストを試して慣れておくのも自分の実力を最大限発揮する上で大事だと思います。

入社の決め手を教えてください。

社内のさまざまなサービスのデータ利活用を支えている大規模なデータ基盤に携われる点です。扱える範囲も、自分の仕事の影響力も非常に大きくなるため、そういった部分に魅力を感じました。インターンシップ生として働いていた際に驚いたのは、みなさんとても自由な働き方をしていた点です。服装や時間の使い方など、自由な働き方ができる点には大きな魅力を感じましたね。ここで働いたら楽しそうだなと直感的に感じ、自分も入社をしたいと思うようになりました。

入社後、チームの雰囲気やカルチャーはどうでしたか。

同僚や上長それぞれが得意分野を持っていて、わからないことを質問した際にはその領域に長けている人を紹介してくれたり、Slackで質問したことに対してもすぐ反応が返ってきたり、そういったカルチャーがとても良いなと思いました。

また、自分のチームだけではなく他のチームの社員との交流機会を設けてくれたり、チーム内で技術勉強会をしたりなど、そういった取り組みによって多くの方とコミュニケーションを取るきっかけにもなりました。

今後のキャリア目標を教えてください。

データの分野は技術的なトレンドの変化が大きく、トラブル発生時には迅速な判断が求められる場面が多々あります。そのため、知識や経験がとても重要です。最新技術のインプットや実務経験を通じて、知識や経験をもっと積みたいと思っています。そして、それらを生かして、より良い安定したプラットフォーム作りに貢献し、ユーザーにとって使いやすく信頼性の高いシステムを提供していけるようなエンジニアになりたいと考えています。

最後にメッセージを。

LINEヤフーが提供するサービスは多岐にわたり、たくさんのデータが集まってきます。そのため、集めたデータの利活用を支えるデータ基盤もおのずと大きくなり、国内でこれほど大きな基盤を扱える環境は少なく、貴重です。また、そういった環境ならではの技術的なチャレンジも多く、課題に挑戦する機会も多いです。もし、そういったことに興味がある人にはとてもおすすめの環境です。