データメッシュを勉強していく：データガバナンスの調整を減らす
分析屋の下滝です。
『Data Mesh』本を読みながらデータメッシュを勉強していきます。本来なら順番に解説していくのですが、全部読めていないし理解もしきれていないので、興味ある箇所から見ていきます。
これまでの記事の一覧はこちらのマガジンから。
今回は、データメッシュの2つ目のゴール「成長の中においてアジリティを保つ」の中の「データガバナンスの調整を減らす」（p.113）を見ていきます。
データメッシュのゴール
データメッシュは、従来のデータアーキテクチャ（データウェアハウス、データレイクなど）のアプローチにおける問題点に対処するアプローチだと言えます。
従来のデータアーキテクチャのアプローチでは、以下の3点が長い間前提とされていました。この前提に問題があるというのが、議論の焦点になります。
・データを役立てるためには、データは中央集権化されて管理されなくてはならない。管理のための中央組織が存在する。
・データマネジメントのアーキテクチャ、技術、組織はモノリシックである。
・新たな技術がパラダイムを推進し、アーキテクチャと組織を形成する。
『Data Mesh』では、これらの点を踏まえて以下の図に示すゴールと、そのゴール達成のために行うことが整理されています。
今回の記事では、2つ目のゴール「成長の中においてアジリティを保つ」の中の「データパイプラインの調整を減らす」（p.113）を見ていきます。
ゴール：成長の中においてアジリティを保つ
『Data Mesh』によれば（以下、ほぼ翻訳です）、ビジネスの成功は、その多面的な成長にかかっている、とされます。新たな買収、新たなサービスライン、新商品、地理的な拡大などです。これらは、新しいデータソースの管理や新しいデータドリブンなユースケースの構築を意味します。
多くの組織は、成長するにつれて、データから価値を生み出すこと、新たなデータを取り込むこと、そしてユースケースに対応するのが遅くなっていきます。
成長の中においてアジリティを保つためのデータメッシュのアプローチは、いくつかのテクニックでまとめられます。組織全体にまたがるボトルネック、調整、同期を減らすことを目指すテクニックです。アジリティは、依存関係を最小限にして独立して結果を達成するビジネスドメインの能力に基づきます。
より具体的には、データメッシュでは、以下を行います。
１．中央集権型のアーキテクチャのボトルネックを無くす
２．データパイプラインの調整を減らす
３．データガバナンスの調整を減らす
４．チームの自律性を可能にする
今回の記事では、３つ目の「データガバナンスの調整を減らす」を見ていきます。
データガバナンスの調整を減らす
これまで、データメッシュが達成しようとする以下の２つを見てきました。
・中央集権型のアーキテクチャのボトルネックを無くす（解説記事）
・データパイプラインの調整を減らす（解説記事）
今回はデータガバナンスに関わるものとなります（以下、ほぼ翻訳です）
上記の2つに加えて、調整のボトルネックの負荷が高いものとなるものに、データガバナンスの中心的機能があります（central functionの訳ですが、正確な表現かはわかりません）。
今日において、データガバナンスの調整は、次のようなときに必要となります。
・データへのアクセス許可
・データ品質の承認
・データの変更が組織のポリシーに適合するかを確認
データガバナンスの中心的（central）かつ重たい手動プロセスは、データ共有のアジリティを阻害します。
データメッシュは、データガバナンスで発生する調整の摩擦を、以下の２つの機能により削減します。
・各データプロダクトに、コードとしてのポリシー（policies as code）を埋め込むともに自動化する
・ガバナンスの中心的な責務を、ドメインデータプロダクトオーナー個人に委任（delegating）する。
これらの機能による変更は、データメッシュの「コンピューテーショナルな連携型データガバナンスモデル」によって実装されます。このモデルは、データメッシュの原則一つである「コンピューテーショナルな連携型ガバナンス」と関わります。以下、雰囲気を少し伝えるために関係する図を引用します。
運用上は、ガバナンスチームは、個々のドメインデータプロダクトオーナーで構成されます。ドメインデータプロダクトオーナーは、ドメインデータ共有に関して責任を持っている長期的なプロダクトオーナーです。
アーキテクチャ上は、ガバナンス機能は、計算的（コンピューテーショナル）かつ自動化された方式で、すべてのデータプロダクトにポリシー実行が埋め込まれます。これにより、今日のガバナンス機能が大幅に向上します。これは、データの発見、データの承認、および必要なポリシーに従っていることを確認するための主要な同期ポイントの一つです。
ドメインの自律性は、監視されていないと許容できない結果をもたらす可能性があります。ドメインの隔離、非互換性、あるドメインのデータプロダクトが他のものから非接続になる、コンシューマーが複数のドメインデータを使う際に断片的な経験になってしまう、といった結果です。データメッシュガバナンスは、ドメインのデータプロダクトを使う際の一貫し、接続され、信頼性のある経験のために、ガバナンスの懸念の自動化に大きく頼っています。
株式会社分析屋について
ホームページはこちら。
noteでの会社紹介記事はこちら。
専用の採用ページはこちら。
【データ分析で日本を豊かに】
分析屋はシステム分野・ライフサイエンス分野・マーケティング分野の知見を生かし、多種多様な分野の企業様のデータ分析のご支援をさせていただいております。 「あなたの問題解決をする」をモットーに、お客様の抱える課題にあわせた解析・分析手法を用いて、問題解決へのお手伝いをいたします！
【マーケティング】
マーケティング戦略上の目的に向けて、各種のデータ統合及び加工ならびにPDCAサイクル運用全般を支援や高度なデータ分析技術により複雑な課題解決に向けての分析サービスを提供いたします。
【システム】
アプリケーション開発やデータベース構築、WEBサイト構築、運用保守業務などお客様の問題やご要望に沿ってご支援いたします。
【ライフサイエンス】
機械学習や各種アルゴリズムなどの解析アルゴリズム開発サービスを提供いたします。過去には医療系のバイタルデータを扱った解析が主でしたが、今後はそれらで培った経験・技術を工業など他の分野の企業様の問題解決にも役立てていく方針です。
【SES】
SESサービスも行っております。