第５回 エンプラ企業にいそうなヤバいやつ（2024/1/12 SnowflakeJP デタマネ UserGroup）
はじめに
こんにちは。
Snowflakeのデータマネージメントのユーザーグループ（通称デタマネ会）の参加メンバーの堀川（ほーりー）と申します。
普段は総合エネルギー企業でICT・DX関連のお仕事をしています。
デタマネ会では毎月第一金曜日に、データマネジメント関連で気になるテーマをディスカッションしてノウハウ共有しています。詳細はこちら。
今回は、第5回1/12（金）のデタマネ会のディスカッション内容をお届けします！
登壇者とテーマ
第５回テーマは、『エンプラ企業にいそうなヤバいやつ』by KDDI さかとくさん で、データ人材を主題にディスカッションしました。
13名（登壇者含む）の方に参加いただきました。ありがとうございました！
内容は、架空のエンプラ企業Japan Data Driven Yourself社、通称JDDY（じぇーでぃーでぃーわい）における、データ基盤に関するいろいろなお悩み事が５つのお題（カルテ）として提示され、「どうするべきだった？」「これからどうしよう？」等をみんなでディスカッションする、という凝ったものでした。
組織構成やデータ基盤構成図まで用意されているという作り込みよう！ さすがさかとくさん🎉
ディスカッション中に背景情報が必要になると、「こういう経緯がありまして」とか「それに関する状況はこうです」とかフォローが入って、テーブルトークRPGみたいでしたｗ
５つそれぞれで学び・気づきがあったのですが、個人的に一番印象に残ったのは、カルテ5での「会社内で自分の将来のエンジニア像を描くのに迷ったとき、コミュニティで出会った人を道標にすればいい」という話でした。第3回のこみぃさんスライドを思い出しました。
では、5つのカルテと、ディスカッション内容を振り返っていきます。
カルテ１「彼はやる気と根気がすごすぎた」
お題
データプロダクトオーナー（以降DPO。髭の人、データ部署のトップ）が、データガバナンスチームの新人くんに「本部全体で使うために、有識者にヒアリングして、データの詳細をまとめて」と頼んだ
↓
新人くんは、100テーブル×20カラムの情報が1シートに載ってて、各カラムの計算ロジックを自然文で記載した、超力作excelを作ってきた、というものもの。
どうするべきだった？
結果として使いにくい形のアウトプットになってしまったので、やる前に「何のためにやるのか」「何に使うのか」、出口をもう少し丁寧に会話しておくべきだった。
誰がカタログを使うかによって、記述レベルが違う
リネージが取れなかったのが痛い
これができなかった背景として、組織的な話もあるかも。
データ基盤チームとデータガバナンスチームの連携が悪かったのでは
ディレクター/データスチュアード（以下Drc。ロン毛眼鏡の人、中間管理職）の頑張りに期待したい。会話するように促すべき
ここからどうしよう？
理想的なものではないにしろ、前進したことは間違いないので、これを足掛かりに次に繋げるのがいい。
作成物を、データカタログツールに食わせる
作成物を足掛かりに、カラム名統一やリネージ調査に進む
派生して、データカタログの記述ルールの整備についての話なども出て、勉強になりました。
カルテ２「二人はレベルが違いすぎた」
お題
DPOとDrcが「Data Vault でデータモデリングしよう」と言っていて、よくわかっていない他メンバーが無邪気に「了解です」と言っている状況
↓
主人公だけ「難しいと聞いてるけど」「設計できない」と内心不安を持っている、というもの。
どうすればよかった？
ヒトの話としては、
主人公は、「ばかなフリをして、なんで Data Vaultがいいのか聞く」ことで、背景や理由、ターゲット範囲など、他のメンバーも含めてチーム全体で理解できるようにするとよかった
Drtは、妥当性を確認して納得したのなら、メンバーにそれを共有するのがよかった
組織の話としては、
権威・尊敬のある人にも意見を言える心理的安全性のあるチームにしておく。飲み会の席など、ぶっちゃけて聞ける場があるといい
知らない技術なら、外部有識者入れてディスカッションできるといい
ここからどうしよう？
背景・理由が納得できるものであれば、それでやればいいし、そうでないならPoCなりシミュレーションなりをするのがよさそう。
一方で、「やればなんとかなっちゃうのでは」という意見もありましたｗ
派生して、Data VaultのPoCはなかなか難しそうという話もしました。範囲が小さかったり、データ変更・拡張の想定シナリオがないと、Data Vaultの良さが生きないとのこと。
カルテ３：彼はフロンティア精神がすごかった
お題
全社的なデータ活用推進の流れの中で、あるシステムでデータの鮮度改善の要望が出た。（連携に4～5時間のラグがあるのを、ニアリアルタイムにしたい系の話）
同僚は、がんばって新技術の高性能ログ基盤を導入した。エンプラ事例は初めてかも、という代物。
↓
主人公は、技術スタック統一や汎用性の観点で、心配している、というもの。
【ディスカッションの中で追加された背景情報】
当該システム以外でも、鮮度改善のニーズは存在している。
どうすればよかった？
チャレンジ自体は評価できるもの。ただ、データ基盤全体で見たときに、このニーズが、そのシステムだけのものなのか、他にもあるのかによって評価が分かれる。
ここで追加情報が提示され、他にもニーズがあるという前提がわかりました。
それであれば、「他システムにも適用できるのか」、「長期的に安定してる使えるのか」といった観点も入れて選ぶべきだった。
あと、できれば他の製品に移行し易い作りにできるといい（難しいけど）。
ここからどうしよう？
他にもニーズあるのであれば、後追いになるけど、全社データ基盤としての評価をする。
データ人材観点では、「新製品のキラキラにどう向き合うか」「フロンティア精神と、実用に落とし込む力のバランス」があるけど、難しい。
派生して、新技術の導入ってどうしてる？ という話とかもしました。
カルテ４：彼らの入力はぬくもりがあふれていた
お題
JDDYのグループ会社のシステムのデータを、データ基盤に取り込んでいるが、建設工事が専門の会社なのでデータには疎く、手入力の間違いだらけ。↓
基盤にロードするところでエラーになり、しばしばデータ反映の遅延（日レベル）が起きている、というもの
【ディスカッションの中で追加された背景情報】
問題のデータは、ファシリティに係るマスタ系の情報で、よく他のデータとジョインして使われるので、データサイエンティスト部隊は遅延にペインを感じる状況
どうすればよかった？
データ遅延によるビジネスのダメージによって、扱いが変わる。
軽微なら、許容して基盤担当者間で共有程度
重大なら、なんらか改善されるべき
ここで追加情報が提示され、重大の方という前提がわかりました。
データ基盤側の受け口で対処するのは限界があるので、やはりいいデータを作る活動が必要。
ここからどうしよう？
仕組み的な話としては、
入力IFにおいて、厳しいバリデーションをかける
excel入力だと、どんなに頑張っても限界があるので、堅牢なシステム入力に変更する
データ基盤取込で、エラー発生時に全件リジェクトではなく、エラーレコードのみ無視・ワーニングにする（データによるが）
ヒト・組織に関する話としては、
入力側に、自分たちの入れるデータが役にたっていることを、ちゃんと伝える （現実的には価値の説明は難しいけど）
まずいことが起きた時に大げさに騒いで（笑）、関係者にヤバさ・大変さを、ちゃんと伝える
上層にエスカレーションして、組織として改善を要請していく
これらは「データ生産者・データ利用者の利害対立問題」に繋がる話で、デタマネ会第３回でも話題に出てたので、振り返ったりしてました。（「生産者と利用者の距離を近づけることが有効じゃないか」など）
カルテ５：「私」は将来がわからない
お題
すごく偉い人（おそらく社長クラス）が、「ジョブ型人事制度」「自身でキャリア形成」とか言い出した。
が、ジョブ定義が「エンジニア」と「データサイエンティスト」で、データエンジニアはうまくハマらない。公開された推奨スキルもそぐわない。
↓
「エンジニア」が不評だったので細分化されたが、「ソフトウェアエンジニア」「インフラエンジニア」「船舶設備エンジニア」で、あいかわらずデータエンジはハマらない
↓
主人公は、どう自分のキャリアプランを描いていけばいいのか悩んでいる、というもの。
どうすればよかった？
ジョブ定義に関しては、
細分化してもきりがない。仮に「データエンジニア」ジョブがあったとしても、その中でレイク側だったりアナリティクス側だったりで違ってくる
多くのデータエンジニアは、いろんな職を兼務していることが多いので、選ぶのが難しい
人事部が定義しても、現場にはフィットしにくい。でも、現場で定義したとしても、時間変化で新しい役割が出てきたりする（例：アナリティクスエンジニア）
主人公に対しては、
課題解決、高い視野、チームを前に進める力、が大切なのは変わらない
自分が求めるものを正当に評価されるため、アピールする力は大事
とりあえず一番それっぽいものを選んで、実務で価値を出して、アピールしていく
迷ったときは、SnowVillageなみたいなコミュニティに行くと、一歩二歩前を歩いている人がいて、道しるべになってくれる
みんなのところはどう？
エンジニアの分類はたくさんあるが、すっきり当てはまらないなと思うところがある。会社の評価は会社の評価と割り切って、一般的なジョブ定義に意識を向けるようにしている
まとめ
盛りだくさんだったので長くなってしまいましたが、以上が第5回のデタマネ会ディスカッションでした。
同じカルテに対しても、人によってどういう捉えるかが異なり、いろんな観点の話がきけて、面白かったです。
また、参加者のみなさんの実体験に裏打ちされた、説得力のある（もしくは、いたたまれないｗ）お話も、勉強になりました。
次回第6回デタマネ会（2月上旬予定）については、SnowVillage slackのdata managementチャネルにてご連絡します。
誰でも参加歓迎ですので、興味を持っていただいた方は、ご参加いただけると嬉しいです！
最後まで読んでくださった方ありがとうございました！！
この記事が気に入ったらサポートをしてみませんか？