Icebergでいいデータカタログがないかって？Polarisがあります

Icebergを使っていてデータカタログにお困りなら、Polarrisはいかがでしょうか？

Polarisは何ができるか

集中管理

PolarisはIcebergテーブルたちの中央ハブとして機能します。
テーブルスキーマはもちろんのこと、テーブルの実データがどこにあるのかという場所情報や、テーブルの作成者は誰かという所有者情報などのメタデータを持つのです。

オープンソースでベンダーロックインの排除

PolarisはOSSです。
ライセンス費用は掛かりませんし、特定のパブリッククラウドにロックインされてエグレスコストを支払う必要もありません。

RESTful APIでの統合

RESTful APIが提供されています。
すなわちデータパイプラインの中での自動化が簡単ということであり、効率よくデータ管理を行えます。

セキュリティとガバナンス

決められたユーザだけが情報にアクセスできます。
見せたくない人には見せないようにし、組織のデータガバナンスとコンプライアンスを強化しましょう。

データリネージ

データの変換を追跡できます。
そのデータがどこから来てどう加工され、障害があったときにどこを見ればよいかも分かります。

メタデータ探索

詳しいメタデータが見られます。
スキーマがどう進化してきたかという履歴やデータ品質を確認するためのメトリクスなど、データを使う側が気になる情報を載せられます。

可視化ツールとの統合

Grafanaなどのツールと統合できます。
ダッシュボードを通してテーブル情報を見ることでカタログはさらに分かりやすくなります。

参考

Unveiling Polaris: An Open-Source Data Catalog for the Iceberg AgeIntroducing Polaris Catalog: An Open Source Catalog for Apache Iceberg