マガジンのカバー画像

データ分析基盤系

4
PREVENTのデータ分析基盤に関する記事を投稿していきます。
運営しているクリエイター

#AWS

[データ分析基盤構築記 ~DWH編~]  『よろずや』を作ってみた

[データ分析基盤構築記 ~DWH編~]  『よろずや』を作ってみた

はじめに株式会社PREVENT、データエンジニアの俵です!
前回はETL基盤の構築についてご紹介しました。

今回は弊社DWH『よろずや』編です。

『よろずや』とは『よろずや』は弊社における、一般的にはDWH(データウェアハウス)と呼ばれるデータベースを指します。
よろずやの目的は、社内の各所に散らばる全てのデータを一箇所に集約し、それらを分析に適した形に変換した上で分析者や可視化ツールなどに提

もっとみる
[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

[データ分析基盤構築記 ~ETL基盤編~] Embulk + Fargate + Step FunctionsでサーバーレスでスケーラブルなETL基盤を作ってみた

自己紹介初めまして!株式会社PREVENTのデータサイエンス部でデータエンジニアとして活動している俵です。

データサイエンス部には3つの職種(データサイエンティスト、データエンジニア、データアナリスト)がありますが、主にデータ分析基盤の設計・構築・運用を担うのがデータエンジニアの役割です。

今回、私がPREVENTに入社して最初に取り組んだETL基盤の新規構築について紹介します。

データ分析

もっとみる