他チームと連携したデータサイエンティストの業務(データエンジニアリング力編)

今回は、データエンジニア力を用いた他チームと連携した業務内容です。
データ収集するためのAPI構成やデータベース構築など幅広いチームと連携をする必要があります。自分でPoCを作成することもありますが、本番環境での実装はベンダーや開発チーム、インフラチームと協力して基本設計などをしていきます。下記のチームと連携することもあります。

• フロントエンドチーム

• バックエンドチーム

• インフラチーム

• 組み込みエンジニアチーム

各チームでどのような連携を行うのか見ていきましょう。

フロントエンドチーム

基本的にはAPI関連、データ解析の結果を表示する個所での連携が多いです。
例えば、画像処理のリクエストをAPI経由で送信する際に、どのようなデータ形式でリクエストを送付するのかなどを設計します。
最近では画像処理をフロントエンドで行うためにWASMを用いることもあります。また、A/Bテストでどのように比較をするのかなども一緒に決めていくこともあります。
事例
1. A/Bテストに関する解析結果の実装
A/Bテストを実施して有意差を見出せた際に、フロントエンドのエンジニアに実装の依頼をすることもあります。また、表示に関しては、読み込み時間や画面の動きなどに対する傾向などもロジスティック回帰を用いた結果をフィードバックしてCSSなどで実装してもらいます。その際には、イベントハンドラーやCSSのコードも一緒に確認して協力することもあります。
2. アンケート結果などでの可視化の表示
アンケートの他にも可視化して解析結果やデータの傾向を示すこともあります。よくあるのがBIツールですね。もしくはフロントエンドエンジニアに可視化結果を表示してもらうように協力してもらいます。

バックエンドチーム

データ関連だと一番密に関わることが多いと思います。こちらもAPI関連はもちろんのこと、データベース周りについても連携を行います。
既存のデータベースに追加でテーブルやスキーマの追加を相談することもあります。JSONでこのキーを追加するなどの相談をすることも多いですが、最近だとGraphQLでのデータ連携の話も多いかと思います。
また、ビッグデータ関連に対しては、リアルタイムで解析することに関しても相談します。今後はブロックチェーンを用いたデータ管理も必要になってくると思います。その際にも一緒に連携してデータ分析を行っていきます。
下にGraphQLのリンクを提示しておきます。さらに、データ基盤の運用やCI/CDでの開発も必要になってくると思います。

GraphQL | A query language for your API

クラウドインフラチーム

クラウドチームとは主に２つのことで連携することが多いです。
１つ目は、GPUを用いた解析の環境構築です。昨今では、ワークステーションなどを購入するのではなく、GPUで演算処理を行う環境をクラウドにて構築することも多いです。そのクラウド環境を使用する際にはクラウドのネットワーク構成や権限などをクラウドインフラチームと決めることもあります。
２つ目は、クラウドサービスにデータ解析を効率化するサービスです。GUI形式で画像のアノテーション付けやデータの前処理も効率よく行っていくサービスもあります。その際には料金や権限付与などといった設定も一緒に決めていきます。

組み込みエンジニアチーム

画像処理などのモデル実装に関しては、組み込みエンジニアチームと関わることも多いです。また、エッジ端末にAIを実装する際にも協力することもあります。あとは音声認識なども組み込みに実装するケースもあると思います。データ分析の処理などを組み込み系で実装する際には、余計な情報や変数を最大限に減らすのも必要です。限られたメモリを活用するためにも気をつけなければいけません。

各チームとの連携については、簡潔ではありますが記載しました。
フロントエンド、バックエンド問わず情報収集を怠らず理解を深めていかなければいけません。１番気をつけなければいけないのは、器用貧乏にならないことです。気をつけなければいけないですが、魅力もたくさんあります。例えば、様々なエンジニアと交流して技術を吸収できるのも魅力の１つです。ここまで読んでいただき、ありがとうございました。