マガジンのカバー画像

データ分析基盤系

4
PREVENTのデータ分析基盤に関する記事を投稿していきます。
運営しているクリエイター

#データエンジニア

[データ分析基盤構築記 ~データカタログ編~] Notion + dbt + PipeRiderでデータカタログを作ってみた

[データ分析基盤構築記 ~データカタログ編~] Notion + dbt + PipeRiderでデータカタログを作ってみた

はじめに株式会社PREVENT、データエンジニアの俵です!
前回は弊社ダッシュボードツール『Apache Superset』についてご紹介しました。

さて、今回はデータ分析基盤構築記の早くも最終回となるデータカタログ編です。
近年急速に注目を集めているデータカタログについて、その概要と弊社における取り組みをご紹介します。

データカタログとはデータカタログは、文字通りデータのカタログ(目録)です

もっとみる
[データ分析基盤構築記 ~BI・ダッシュボード編~] 『Apache Superset』で社内データを可視化してみた

[データ分析基盤構築記 ~BI・ダッシュボード編~] 『Apache Superset』で社内データを可視化してみた

はじめに株式会社PREVENT、データエンジニアの俵です!
前回は弊社DWH『よろずや』についてご紹介しました。

今回は『よろずや』と社内のデータ利用者を繋ぐ可視化(ダッシュボード)ツール、『Apache Superset(以下Superset)』とその活用事例を紹介します。
Supersetの使用感や活用事例を記した日本語の記事は少ないため、導入を検討している方の参考になれば幸いです。

デー

もっとみる
[データ分析基盤構築記 ~DWH編~]  『よろずや』を作ってみた

[データ分析基盤構築記 ~DWH編~]  『よろずや』を作ってみた

はじめに株式会社PREVENT、データエンジニアの俵です!
前回はETL基盤の構築についてご紹介しました。

今回は弊社DWH『よろずや』編です。

『よろずや』とは『よろずや』は弊社における、一般的にはDWH(データウェアハウス)と呼ばれるデータベースを指します。
よろずやの目的は、社内の各所に散らばる全てのデータを一箇所に集約し、それらを分析に適した形に変換した上で分析者や可視化ツールなどに提

もっとみる
[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

自己紹介初めまして!株式会社PREVENTのデータサイエンス部でデータエンジニアとして活動している俵です。

データサイエンス部には3つの職種(データサイエンティスト、データエンジニア、データアナリスト)がありますが、主にデータ分析基盤の設計・構築・運用を担うのがデータエンジニアの役割です。

今回、私がPREVENTに入社して最初に取り組んだETL基盤の新規構築について紹介します。

データ分析

もっとみる