中小企業のマネジメントBIダッシュボードに、高価なデータウェアハウスが必要か?~低価格・DIYなDWH
0,はじめに
中小企業や予算のない部門で、マネジメント用のBIダッシュボードを作りたいが、高価なデータウェアハウス(DWH)を導入しないとやりたいダッシュボードが作れない😢 というようなお話を聞いたので、それほどお金をかけずにできますよ。というお話です。
1,なぜDWHが必要と思われたか?
BIダッシュボードに掲載したいデータというのは様々なデータを結合した結果になります。例えば人事データであれば、個人ごとの勤怠データや、所属マスタ、部署異動の履歴マスタ、昇格・昇給・過去評価の履歴データなどなど複数のテーブル(表)から情報を集めてきます。この「結合処理」のために、DWHが必要ということになったようです。そして詳しそうな方に質問してみると、DWHは高スペック・高価で、とても手が出せない(困)となったようです。
2,まずはDWHが必要か考える
Tableau Prep(TableauのETLツール、セットでついている)もPower BIのクエリも複数のデータソースを接続できます。勤怠データ、所属マスタ、所属履歴などそれぞれがEXCELやCSVのファイルでダウンロード(おそらく勤怠データなどは勤怠ツールからダウンロード必要なはず)しておいておけば、それらのファイルをTableau PrepやPower BIのクエリで接続して、各ツールの中で結合処理をすればBI用に必要なデータを作成することができます。結合処理をすることが目的であればDWHは必要ありません。
データ量が重すぎて処理できないというケースも考えられますが、週十万行のデータ量であれば問題ないはずです。
3,DWHの導入を検討する
2のように結合がBIツールのETL機能できる場合でも、DWH導入のメリットはもちろんあります。
・定期実行のスケジュール設定
・権限設定(公開する場合、一部のローデータは一部の部署の人には見せないようにしたいなど。オンラインでBI公開の場合は、BI側で権限設定できますが、ファイルでBIを共有する場合データが見えてしまうことを防ぎたいケース)
DWHは、データを取得する・保存する・結合する・出力するなどの機能があり、定期実行設定で、データを特定の場所から取得してDWHのデータベースに保存します。このスケジュール設定により人が実行ボタンを押す手作業の回数を減らすことが目的に導入する場合、当然それほどお金はかけられません。
そこで人気なDWHが「Snowflake」です。
Snowfakeの人気の理由の一つが、使った分(クエリを実行した分)だけ課金される料金設計です。クラウドサービスですので、ITの方にサーバーを作っていただいたり、ソフトをインストールするなど特別な設定をしていただく必要もありません。(DWHからデータソースに直接アクセスする場合、アクセス権限の設定が必要になります)
私の使用経験ではSnowflakeの利用料金は、月数千円~数万円で十分です。
いろいろできるプロにお願いすると、設計・加工のためのサービス料金がかかります。ベンダーの皆さんもそれなりの提供価格にしないと利益が出ないので、環境を作るためにトータルでまあまあの金額になってしまいますが。材料だけであればそれほどお金がかからずにできる環境ですので、DIYにチャレンジしてみてはいかがでしょうか。
中小企業やあまり予算のない部署でもマネジメントBIが運用できるノウハウを今後共有していきたいと思います。