あなたの会社のコンプライアンスは大丈夫？OpenLineageでデータを追跡しよう

データリネージがなぜ必要か

デジタル化の初期と違って、現代は本当に様々なツールやシステムが統合されてデータが出来上がります。
そんな複雑なデータ生成過程に追い打ちをかけるように、世の中のプライバシーとセキュリティ、つまりコンプライアンスへの視線はますます強くなっています。

なぜ追い打ちをかけることになるか―
データ上のコンプライアンスを確保しようと思うと

1. そのデータにどんな情報が含まれていて

2. その情報はどこからやってきたもので

3. どのように使われているか
   を知る必要があるからです。

「自分に関連するデータを消してほしい」とユーザーに言われたら、企業はそれに対応しなければなりません。
もしデータを追跡できなければその人のデータを確実に消すことはできず、プライバシーの侵害につながります。

OpenLineageの登場

そんな状況を変えるべくOpenLineageは登場しました。
データパイプラインの運用を標準化し、データの追跡を可能にするためのプロダクトです。

データエンジニアやアナリスト、データマネージャーなどデータにまつわる様々な人々がコミュニティにいます。
彼ら自身が日々の業務の中で感じた課題をもとに開発を行っています。

機能面に目を移すと、データを追跡するための標準化されたスキーマを使うことで、色んなツールやシステムから統合されてできたデータもシームレスに自動的に追うことができ、データ管理を効率化してくれるのです。
これにより冒頭のコンプライアンスが確保されるだけでなく、データパイプライン上でどこかに障害が発生したときにすぐに影響範囲を調べることができ、可用性を高く保つこともできます。

世の中には多くのツールやシステムが存在し、まだまだ新たな統合に向けて開発が進んでいます。