Databricks Partner Connectにdbtクラウドが仲間入り 〜 レイクハウス上でのデータ変換を簡単に
元のブログはこちらから。2022/4/14
dbtプロジェクトの構築、管理、監視を最速かつ確実に行うdbt Cloudが、Databricks Partner Connectで利用可能になったことをお知らせします。dbtの業界標準のデータ変換フレームワークを使用して湖沼のデータを変換したいユーザーは、数回のクリックでDatabricksをdbt Cloudに接続できるようになり、既存のアカウントを持っていない場合は無料トライアルを開始することも可能です。dbt Cloudでデータモデルの開発、テスト、デプロイを行いながら、DatabricksのPhotonアクセラレーションによる計算を活用し、データ変換ワークフローを従来のクラウドデータウェアハウスよりはるかに高速に実行することが可能です。最近発表されたdbt-databricksネイティブアダプタに続くこの最新の統合により、Databricksはdbtプロジェクトの構築とプロダクション化に最適な場所となると確信しています。
数回のクリックでdbt CloudとDatabricksを接続可能
これまで、dbtクラウドとDatabricksの接続には、認証情報の転送など複数のステップが必要でした。Partner Connectでは、インジェストからETL、ML/AI統合に至るまで、パートナーの提供するサービスを簡単に試し、レイクハウスに統合することができます。今回、Partner Connectを利用することで、わずか数クリックでdbt Cloudを試すことができるシームレスな体験が可能になりました。このDatabricksとの統合により、リソースの設定やdbt Cloudのセットアップも安全に行うことができます。わずか数分でDatabricks上で最初のdbtモデルを実行することができます。
dbt CloudとDatabricksを接続すると、SQLデータパイプラインのオーケストレーションに使用でき、生データをモデル対応データに変換して、下流の分析やBIユースケースに使用することができます。
dbt Cloudでの共同開発
データチームが成長し、dbtプロジェクトが複雑化するにつれ、CI/CDのサポート、データモデルの監視、問題発生時のアラート受信が必要になってきます。
dbt Cloudは完全にホスティング、管理されたコラボレーションIDEを提供し、チームはインフラを管理する必要なく新しいメンバーを迅速に迎え入れることができます。また、CI/CD、堅牢なバージョン管理、ジョブスケジューリング、テスト、ドキュメントやリネージの提供機能などのターンキーサポートを提供します。
dbt Cloudは、SQLエンドポイントを含むDatabricksコンピュート上で実行される標準SQLを生成します。
Databricksは、dbtを実行するためのファーストクラスの場所です。
私たちはdbtのパワーに期待しており、Databricks Lakehouseをdbtモデルの実行に最適な場所とするための改善を続けています。Databricksでのみ利用可能なPhoton実行エンジンは、dbtが生成するSQLを自動的に高速化し、改善します。つまり、データモデルの実行が高速化され、コードの変更や最適化を追加する必要がありません。さらに、データチームはdbtを使用する際、既存のアクセスコントロールとガバナンスプロセスを引き続き使用できるため、よりスケーラブルで保守が容易になります。
dbt Cloudをまずは試す
dbt Cloudは現在、Partner Connectで追加費用なしで試用できます。さらに詳しく知りたい方は、dbtとDatabricksでモダンなデータスタックを構築するライブのハンズオンワークショップにお申し込みください。スケーラブルなデータ変換パイプラインをゼロから実現するためのステップバイステップガイドをご案内します。または、slack: #db-databricks-and-spark で参加することもできます。
この記事が気に入ったらサポートをしてみませんか？