GCPでデータ環境を作る作業メモ

2022年5月31日 15:37

やったこと

無職期間の最終日。データ環境を作って終わり。

Google Cloud Storage にCSVをおいて、BigQueryに取り込んだ。

dbtを使って、モデリングする。ELT方式。

ETL/ELTのTの部分を行うツール。
データエンジニア業界でめっちゃ流行っている。
この辺りを見ながらセットアップしていく。

Gitから逃げていたけど、せっかくの機会なので登録して覚える。

GitのWindowsクライアントを入れて、GitHubに登録する。

dbtとGitHubを連携させて初期設定はいったん終了。

dbt側のデータセットを明示すると、そのデータセットがBigQuery上で作られる。

あとは、テーブルを作らないといけないけど、やる気が・・・

この記事が気に入ったらサポートをしてみませんか？