マガジンのカバー画像

データ分析基盤系

4
本
PREVENTのデータ分析基盤に関する記事を投稿していきます。
運営しているクリエイター
PREVNET.inc_データサイエンス部

#データエンジニア

PREVNET.inc_データサイエンス部

PREVNET.inc_データサイエンス部

[データ分析基盤構築記 ~データカタログ編~] Notion + dbt + PipeRiderでデータカタログを作ってみた

[データ分析基盤構築記 ~データカタログ編~] Notion + dbt + PipeRiderでデータカタログを作ってみた

はじめに株式会社PREVENT、データエンジニアの俵です！
前回は弊社ダッシュボードツール『Apache Superset』についてご紹介しました。

さて、今回はデータ分析基盤構築記の早くも最終回となるデータカタログ編です。
近年急速に注目を集めているデータカタログについて、その概要と弊社における取り組みをご紹介します。

データカタログとはデータカタログは、文字通りデータのカタログ（目録）です

もっとみる
PREVNET.inc_データサイエンス部

PREVNET.inc_データサイエンス部

[データ分析基盤構築記 ~BI・ダッシュボード編~] 『Apache Superset』で社内データを可視化してみた

[データ分析基盤構築記 ~BI・ダッシュボード編~] 『Apache Superset』で社内データを可視化してみた

はじめに株式会社PREVENT、データエンジニアの俵です！
前回は弊社DWH『よろずや』についてご紹介しました。

今回は『よろずや』と社内のデータ利用者を繋ぐ可視化（ダッシュボード）ツール、『Apache Superset（以下Superset）』とその活用事例を紹介します。
Supersetの使用感や活用事例を記した日本語の記事は少ないため、導入を検討している方の参考になれば幸いです。

デー

もっとみる
PREVNET.inc_データサイエンス部

PREVNET.inc_データサイエンス部

[データ分析基盤構築記 ~DWH編~]　　『よろずや』を作ってみた

[データ分析基盤構築記 ~DWH編~]　　『よろずや』を作ってみた

はじめに株式会社PREVENT、データエンジニアの俵です！
前回はETL基盤の構築についてご紹介しました。

今回は弊社DWH『よろずや』編です。

『よろずや』とは『よろずや』は弊社における、一般的にはDWH（データウェアハウス）と呼ばれるデータベースを指します。
よろずやの目的は、社内の各所に散らばる全てのデータを一箇所に集約し、それらを分析に適した形に変換した上で分析者や可視化ツールなどに提

もっとみる
PREVNET.inc_データサイエンス部

PREVNET.inc_データサイエンス部

[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

自己紹介初めまして！株式会社PREVENTのデータサイエンス部でデータエンジニアとして活動している俵です。

データサイエンス部には3つの職種（データサイエンティスト、データエンジニア、データアナリスト）がありますが、主にデータ分析基盤の設計・構築・運用を担うのがデータエンジニアの役割です。

今回、私がPREVENTに入社して最初に取り組んだETL基盤の新規構築について紹介します。

データ分析

もっとみる