【EM対談シリーズ】データエンジニアの山口さんに聞くGENDAデータエンジニアのアウトプット思考とStreamlit愛
Techチーム EM（Engineering Manager）の池田健人（@ikenyal）が、GENDA内のさまざまな職種のメンバーと対談するnoteの連載シリーズをスタート！記念すべき初回は、データエンジニアの山口さんと対談を実施しました。山口さんが先日技術書典で頒布されたStreamlitの書籍について、データチームについて、ざっくばらんに話してもらいました。
プロフィール
山口歩夢 | GENDA IT戦略部 データエンジニア
新卒で内装メーカーに営業職として入社。
その後、長年の趣味である音楽に携わるために楽器専門通販サイトを手掛ける企業に転職。同社に所属する間にエンジニアへのキャリアチェンジを志し、営業として働きながらエンジニアリングを学び始める。
2021年にデータエンジニアに転向し、2年間従事。
2023年にGENDAへ入社。プライベートで好きなのはマリオカート。
池田健人（@ikenyal） | GENDA Platform Engineering Chapter マネージャー
2011年にヤフー株式会社に入社。Yahoo!ニュース トピックス等のリプレイスや開発・保守運用を担当。その後、マネジメントや新規本部の開発組織立ち上げを行う。2019年に株式会社ZOZOテクノロジーズ(現 株式会社ZOZO)に入社しCTO室やZOZO CSIRTの設立に携わり、エンジニア採用や教育など幅広くエンジニアリング組織のマネジメントを行う。現在は株式会社GENDAでエンジニアリングマネージャーとして従事しながら、株式会社ZINE 取締役CTOに就任。AWS Community Builder（Front-End Web & Mobile領域）に2021年から継続して採択される。AWS User Group Leaders。Amplify Japan User Group 運営メンバー。一般社団法人 日本CTO協会 個人会員・スタッフ（プロボノ）。NPO法人CancerWith 理事。
ーまずは山口さんの自己紹介をお願いします。
前職では営業職を務めていたのですが、グループ会社への関与をきっかけに、データエンジニアのキャリアを歩み始めました。その後GENDAと出会いました。
元々エンタメ領域が好きだったことと、経験豊富なメンバーが揃っており、成長できそうな環境だなと思ったため、2023年5月に転職しました。
ー山口さんは先日の技術書典で、Streamlitの書籍を頒布されていましたよね！
はい！先日の技術書典のオフラインイベントにて、「Streamlit データ可視化入門」という書籍を頒布してきました。初めてのイベント参加だったため、実際に手にとっていただけるか不安でしたが、好評をいただいて物理本は完売することができました。ご購入くださった皆さんにはとても感謝しています！（編集部注：現在は電子版のみ購入いただけます）
ちなみに、StreamlitはPythonで書かれたオープンソースのフレームワークであり、データサイエンスや機械学習の分野でのプロトタイピングやデータの可視化を簡単かつ迅速に行うことができます。Web開発の知識が無くても簡単にWebアプリケーションの作成が可能で、インフラの知識が無くても簡単にデプロイをすることもできるところが非常に魅力的なフレームワークです。
ー書籍やブログ記事執筆などのアウトプットをするようになったきっかけはあるんですか？
前職でデータエンジニアになった際に、自分の考えをまとめるようにしたり、メモ代わりにアウトプットしたりと、心がけていました。思考整理に近い感じでしょうか。元々は自分のために続けていたことですが、徐々に周囲から反応ももらえるようになってきました。
ーアウトプットすることは楽しいですか？
はい、楽しんでやっています！今回の書籍は頒布直後から反響もあり、読んだ方から勉強になったなどの嬉しいコメントもいただくことができました。自分のアウトプットがどなたかの役に立っている実感を得られて嬉しいです。
ー今回の書籍はどのような背景で執筆に至ったのでしょうか？
まず、データチームのこみぃさん（GENDA データエンジニアの小宮山さん）が以前技術書典でSnowflakeの書籍を作られており、「山口さんも参加してみたら？」と、誘ってもらえたのがきっかけです。また、こみぃさんは以前より「いいエンジニアになるためには、自分の得意分野を持っているといいよ」ともおっしゃっていて、個人的にStreamlitを触ってみたところ、すごく楽しかったんです。さらに知見を深めて得意分野にしていきたい思いがあった一方で、Streamlitは非常に便利なPythonライブラリにも関わらず、日本ではまだ情報が限られており、英語のドキュメントや記事を参照する必要がありました。
公式ドキュメントや英語の記事などから情報を集めて体系的にまとめることで、日本語圏の開発者にとってのハードルを下げ、Streamlitの活用を促進したいという思いで執筆しました。
ー本を一冊書くとなると、ブログの記事などとはボリュームも違いますが、どうでした？
正直なところ、すごく大変でした…。今回の書籍執筆にあたって、Streamlitのドキュメントをすごく細かいところまで読んでまとめたので、なかなか骨の折れる作業でしたが、普段使っているだけでは、気づかなかった機能や、新しい開発方法にも気づけました。こうした気づきをさらに業務にも還元できそうです！
ー山口さんが、GENDAご入社後に取り組まれてきたことを教えてください。
GiGO NAVIのデータ基盤担当として入社し、システムの整備を開始しました。その後にGiGO ONLINE CRANEのログデータ基盤を構築するための技術調査を行った後に、実際の開発やテスト、スーパーオートメーションでデータ可視化アプリ作成を担当しました。また、Streamlitでデータカタログを作ったりもしています。これについては過去に登壇をして外部発信もしました！
ーStreamlitに触れたきっかけはなんだったんでしょうか？
我々はグループ会社に技術で貢献することが求められており、DXもその一つです。そして、DXを進める際にメタデータの整備は欠かせません。そこで、市販のデータカタログが高額だったのですが、Streamlitで作れば無料！ということに気づき、Streamlitでの開発に挑戦してみることになりました。またGENDAは、M&Aを通した成長もしており、色々な会社が継続してグループインするので、今後BIツールが混在する可能性もあります。今後を見据えると、今のタイミングでデータ基盤をStreamlitで統一しておきたく、またStreamlitでの開発知識も高めたいという気持ちがありました。また、GENDAで使用しているデータクラウドのSnowflakeがStreamlitを買収しており、相性がよかったことも大きいですね。
ーStreamlitは各社でカラムの調整をできたりするような拡張性の高さがメリットでしたか？
それもあります！BIツールだとどうしても機能も限られるのですが、Streamlitだとアプリケーションごとに自由に機能を拡張できるので、それぞれの目的に適したBIツールを作成できるんですよね。
ーデータチームが担当する領域・プロダクトについて教えてください。
私たちデータエンジニアは、データアナリストがデータ分析したり、店舗運用している人がデータを可視化できるように、データ基盤を作ったり、可視化アプリを作ったりしています。
店舗では、いろんなツールからExcelでデータを引っ張ってきて、データ抽出をされていることもあったのですが、今はStreamlitを用いて、その手間を省けるようにしています。
ー現場業務は改善されたのでしょうか？
そうですね、以前はデータ抽出の手順書にExcelの作業がずらっと書かれている状況でしたが、それらをやらずに作業できるようになったのは、大きな改善と時間の節約になっているのではないかと思います。実際に運用される方からも好評で、作業時間の短縮に繋がったなどの嬉しいコメントをいただいています。
ー関わるプロダクトがどんどん増えていく状況かと思いますが、働き方で意識していることはありますか？
常にドキュメント整備を心がけているのと、出社した時には積極的にコミュニケーションを取るようにしています。アミューズメント施設の景品調達を担当されているプライズ調達課の方など、普段関わりの多いチームなどに、作ったアプリの便利な点・不便な点をヒアリングしていますね。
ーデータチームの構成について教えてください。
リーダーのこみぃさんの配下に、データエンジニア・データマネジメント・データサイエンスの3チームが所属しています。
各チームの担当はこちらの通りです。
データエンジニア：データ活用のためのデータ基盤の構築・運用
データマネジメント：データ分析に必要なデータマート・データ品質の担保
データサイエンス：レコメンドなどをはじめとした機械学習やデータサイエンスを用いた事業への貢献
3チームすべてがデータにまつわるチームですが、それぞれが異なる領域を担当しています！
ーデータチームは日々連携されているのでしょうか？
毎朝もくもく会でコミュニケーションを取り、他2チームとはデータチーム定例でのコミュニケーションをしています。
ーデータエンジニアチームのミッションと現在の役割は？
GENDAがグループ全体としてデータをさらに利活用できるようにすることです！
現状、StreamlitでBIツールの作成・データカタログでのデータ利活用・ユーザログの獲得・SnowflakeとGENDA IDの繋ぎこみ…といったテーマに取り組んでいます。
また、Snowflakeに入っていないデータと入っているデータを組み合わせて、ダッシュボードを作成したいというシチュエーションもあるので、Streamlitで実現させる、といったこともやりました。
ー今期取り組んでいくテーマはありますか？
既存のBIツールに載っているダッシュボードや運用ツールをStreamlitに統一し、データカタログのメタデータの自動更新を行うことを目標にしています。データの自動化を行い、データ基盤の整理を進めていきます。
ーデータ基盤が統一されたので、これからはそれを活用した分析を行っていく段階でしょうか？
はい！データ基盤は整ってきて、データ活用のための土台はできたので、今後さらにデータの利活用を進めていくフェーズだと思います。今は新しくグループインした企業でのデータ基盤も作ることができたので、これからはStreamlitで事業の運営を担当される方々の方にとって便利なツールを提供することができるように進めていきます。
ー今後さらに取り組んでいきたいことを教えてください。
まだまだStreamlitに載せられていないダッシュボードがあるので、それらを対応していきます。また、定例の場で情報共有するために使用している、他のBIツールも色々あります。これらを全てStreamlitで統一していきます。
さらに、Streamlitは機械学習や生成AIなども簡単に導入できるので、今後はその領域にも取り組んでいきたいです。そのためにも機械学習のキャッチアップをしていきます。
ーデータチーム全体としての目標はありますか？
データチームは、データを整備するだけでなく、整備したデータを実際に活用をしてもらっているか？というところまで追っていく必要があります。そのためにも、さまざまな関係者に協力してもらわなければなりません。会社としてデータをうまく活用し、より良い意思決定をしていくために、今後もっと機動的に動ける体制を作っていきたいです。
ー技術以外にも大切にしていることはありますか？
相手の業務を想像して、「アプリを使ってくださる方の目的は景品に応じた在庫状況を確認することだから、品番や景品番号をより簡単にフィルタリングできる機能があれば便利かな」「データを抽出している期間が一目で分かるように、小さく日付をテキストで表示した方が初めて使う人にとって分かりやすいかな。」と考えることを大事にしています。言われたことだけをやるだけではなく、自分から提案することを意識していますね。
ー相手のことを考えて、先回りして動ける、というのがキーワードなんですね。ご自身の今後伸ばしていきたいスキルや、やりたいことはありますか？
Streamlitをとにかく極めて、さらに自分の得意領域にしていきたいです。またStreamlitに関する情報発信も引き続き頑張っていきたいです！
ーありがとうございました！
関連記事
関連ジョブ