新卒2年目が設計したデータマート構想

はじめに

こんにちは！yutoです。社会人2年目を終えようとしています。
今回はデータマート設計についてご紹介できればと思います！
極力簡単な説明にしておりますので、ぜひ最後までご購読頂けますと幸いです。

データマートとは

データマートとは特定の目的のために整理して切り出したデータです。簡単にすると以下の組合わせで説明できます。
①データの種類（購買データ・会員データ・地理データ etc…）
②分析,可視化,機械学習 etc…
例えば、「購買データを可視化するためのデータマート」を特定の目的とできます。ただし、本来あるべきすデータマートはより具体的な目的に沿った細かい粒度で切り分けられます。

データマートのざっくり全体像

データマート作成の注意点

①利用目的を明確にする
②データが取得可能か確認する
③データ連携の流れをまとめておく

①利用目的を明確にする

データ分析を行う上で、目的がなければ分析とはいえません。分析設計には、何が原因（仮説）で、どのようにデータ分析をすれば課題解決できるのかと言った前提が必要です。そして、その要件を満たすためのデータマートを作成する必要があります。目的次第ではデータマートが不要なケースや、次に述べる理由でデータマートを作成できないケースが存在します。

何からデータを取って、どのように処理するのか
ER図やデータフロー図があったり、テーブル定義書は作らないとね
それって自動化できるの？取得頻度は？結合キーは？

②データが取得可能か確認する

基本的にデータは、データ基盤を整えてからでないと利用ができません。また、企業に属しているとアクセス権限やロールの制限により、データ取得が困難なケースも存在します。さらには、結合キー（主キー）が存在せず、テーブル同士を結合できず、データマートを作成できないこともあります。他にも理由は多々ありそう、、、それだけデータの利用可否は作成前に十分に確認しないといけません。

③データ連携の流れをまとめておく

上記①と②に不足がなければ、データ連携の流れをまとめることを強くおすすめします。よく使用されるのはER図やデータフロー図です。作成時にはルールに則ることが大事ですが、私は一緒に働く人にもわかりやすい説明ができるよう「なんちゃってデータフロー図」を作成しています。
また、利用頻度が高いデータマートや複雑な連携を伴う場合は、テーブル定義書を作成しましょう。

さいごに

今回はデータマート作成の概要をお伝えしました。ただ、実務の中ではこれ以上に想定外のブロッカーも多く苦悩の連続です。。そんなときは一つ一つの工程を言語化し、上長と壁打ちをして乗り越えましょう。地道ですが複雑なことを整理することが最も大切なマインドです。
今後はこのデータマートから分析や意思決定を促していきます。
それではまたの機会にお会いしましょう！