マガジンのカバー画像

Dentsu Digital - データラングリング -

7
運営しているクリエイター

記事一覧

BigQueryのテーブルの値でAirflowの実行タスクを分岐する

電通デジタルでBIエンジニアをしている三瓶です。 普段は社内向け広告運用改善ダッシュボード…

【AWS AI/ML@Tokyo登壇記事】SageMakerとAirflowによる機械学習モデルの運用自動化に…

電通デジタルで機械学習エンジニアをしている今井です。 AWS AI/ML@Tokyo にて「SageMakerとAi…

AirflowのDAGの実行状況をSlackに通知して監視する

電通デジタルでデータサイエンティストを務めている吉田です。普段はウェブログデータの分析や…

Airflowのタスク実行環境を分離する

電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理…

SPOFとはもう呼ばせない!Airflow 2.0で生まれ変わったHAスケジューラー

電通デジタルでSREをしている神田です。 この記事は電通デジタルアドベントカレンダーの4日目…

Airflow 2.0 でDAG定義をよりシンプルに! TaskFlow APIの紹介

電通デジタルでバックエンド開発をしている松田です。 前回の記事は「広告出稿プランニング業…

SQLスクリプト上でのテーブルや共通テーブル式の依存関係を可視化する

電通デジタルでデータサイエンティストを務める吉田です。 こちらはDentsu Digital Tech Blogアドベントカレンダー16日目の記事です。 今回はSQLスクリプトを解析して参照されているテーブルや共通テーブル式の依存関係を可視化するツールを作成したのでご紹介いたします。 どのようなものを作ったか電通デジタルデータサイエンスグループでは普段、主にBigQuery上でSQLスクリプトを記述してデータの抽出や集計・整形作業を行うことが多いです。 最近ではBigQ