データドリブン経営の最大の壁！データ運用の手間を減らすDataOps【データ利活用の道具箱#10】
企業は日々、データを使って様々な意思決定を行っています。
こうした意思決定のために、データを分析したり、BIツールでデータを可視化したりする業務に携わる方、もしくはそうしたユーザのためにデータを整備する運用に携わる方も多いと思います。
私たちは、このように意思決定のための業務でデータを扱うことを「データ利活用」と呼んでいます。データドリブン経営という言葉が浸透して以来、多くの企業でデータ利活用が推進され、我々のようなコンサルタントが支援者として呼ばれることが増えました。
データ利活用の推進現場で伴走していると、問題は常に山積みで、一つ一つの問題には解決に時間もコストもかかり、思ったほどのスピード感を出せずに苦労しているケースをよく見かけます。
データ利活用の現場にある問題は様々ですが、この記事ではBIツールを使ってデータを分析・可視化する現場で起きがちな問題と、注目を集めている『DataOps』（※）という方法論を使った解決のための考え方をご紹介します。
（※）DataOpsという用語はDataとOperationsを組み合わせたものであり、Lenny Liebmannが2014年にブログ投稿で初めて紹介した言葉です。その後、Andy Palmerが2015年に公開したブログで一般的に広まっていき、2018年にGartnerがデータマネジメント領域の「ハイプサイクル」で発表するところまで関心が高まりました。2024年には、Gartnerが主催するデータ＆アナリティクスサミットにおいて、「データ・エンジニアリングのプラクティスを変革するトップ・トレンド」でトレンドとして紹介されるほどに注目が集まっています。
データ利活用の現場で起きている問題
今回は、BIツールを使ってデータを分析・可視化する現場で起きがちな問題を見てみます。
BIツールを使うと、カラフルで見やすいチャートを簡単に作ることができるので、最近ではExcelレポートの代わりに導入されるケースも増えてきました。
しかし、BIツールを導入さえすれば、欲しい情報が手に入り、意思決定が楽になるはず、と考えていると痛い目に合うことが多いです。
例えば、ある企業で店舗ごとの月次売上データを分析するケースを考えてみましょう。
似たような事象を、皆さんの職場でも一つくらいは見かけたことがあるのではないでしょうか。
店舗マスタを使おうとBIツールから検索してみると、同じようなデータがたくさん見つかりどれを使えばよいか判断がつかない。「テナント情報」、「売場情報」といった複数のテーブルで店舗の名前が出てきて、どのテーブルの店舗名を使用していいか判断に困る
店舗ごとの売上を集計してみると、手元の計算と合わない。よく見ると店舗によっては返金のデータが別のテーブルに登録されているケースがあった
各店舗の月次売上データは入手できたものの、週次の売上データを見ようとすると、店によって集計データがある週とない週があり、週次での推移を比較することができない
営業担当の実績データをいくつか掛け合わせて因果関係を分析しようとしたが、営業担当のIDがシステムによって別々に管理されており、データの結合に手間と時間がかかる
営業担当の売上実績からパフォーマンスの原因を分析するために、各営業担当が受講済の教育プログラムや取得した資格情報などを提供してもらえるよう人事部に依頼したが、簡単には提供できず社内調整に時間がかかると言われた
こうしたケースはごく一部にすぎません。データ利活用の現場では、大小さまざまな問題が起きていて、データを利用するユーザが我慢したり、運用者が頑張って手作業することで乗り越えたりすることも多いです。
しかし、ユーザや運用の現場に負担を強いるやり方では長続きしません。手作業でデータを補正していては、リードタイムが長く必要なタイミングでレポートや分析結果を提出することができなくなったり、たとえ間に合わせることができても作業負荷が大きく疲弊してしまい、導入したツールやデータを利用しなくなったりします。
では、どうすれば解決できるのでしょうか？
なぜこうした問題が起きてしまうのか？
解決方法を紹介する前に、まず先にあげたような問題がなぜ、起きてしまうのか原因を考えてみましょう。
先に書いたような問題は、次の4つの課題に整理できます
部門間のコンフリクト
企業の中にはいくつもの部門がありますが、データ利活用の現場でコンフリクトを起こしがちなのは、大きく2つです。
1つは、業務部門同士のコンフリクトです。先の例では、営業部門と人事部門の間で、営業担当者のデータを共有することが簡単ではないことを示しました。各部門で扱うデータは、部門が責任をもって管理しているので、他部門への提供は非常にデリケートです。
データを提供しても問題ないかのチェックや承認などのプロセスが必要となり、部門間でのデータの共有には時間がかかることが普通です。
もう1つは、こうした業務部門とデータの運用を担当する運用部門（主に情シス部門）間でのコンフリクトです。企業でのデータの取り扱いは厳密なルールに従いますし、そのルールに従った運用が徹底されるようガバナンスを効かせる必要もあります。
運用部門はこうしたルールに則って業務を進めるので、そこに抵触するような業務部門からの要望には、簡単には応えられません。機密レベルの高いデータを取り扱う際には特にその傾向が強くなります。
つまり、部門によって大切にしていることや責務が異なるからこそ、調整に時間がかかるのは当たり前なのです。
煩雑なプロセス
部門間のコンフリクトを乗り越えると、次に壁となるのが社内プロセスです。
データ利活用は企業の基幹系業務とは違って、次から次へと新しいニーズが生まれますし、それに合わせて環境を整える必要があることからその都度、社内の関係者を説得したり、お金がかかったり、場合によってはルールを変えたりする必要もあります。
そうなると、あちこちに話を通すために申請・承認のプロセスが煩雑になり、気づくと何か月もかかってまだ完了しない、なんてことも起きがちです。
業務外で利用することを想定していないシステム
部門間のコンフリクトや、煩雑なプロセスを乗り越え、ようやくデータにたどり着くことができてもまだ壁はあります。
先の例では、営業部が人事部のデータを使うケースを紹介しました。この場合、人事部が管理するシステムから必要なデータを抽出して、必要なアクセス権を設定した上で、データ基盤などを経由して営業部にデータを提供することになります。
こうやって書くと簡単なことに思えるかもしれませんが、実際にはたくさんの壁があります。
具体的には以下のような問題が発生します。
古いシステムは外部にデータを共有する機能が貧弱で、システムから必要なデータを抽出しデータ基盤に連携したくても、手段が限定されたり手間がかかってしまったりする。場合によっては手作業でデータを連携することになる
抽出したデータに新たなアクセス権を付与する際、手作業で設定せざるをえない箇所が多く、作業にミスがないか作業内容のチェックも必要となるため時間がかかる
欠損したデータがある、連絡なくデータの源泉システムで変更が入りデータ内容が変わるなどデータの品質に問題が多く、人が目で確認しながら手作業でデータを加工する必要があり時間がかかる
データの活用目的に合わないデータ形式
手間をかけてなんとかデータを使える状態にして、いざユーザに提供する段階で最後に立ちはだかるのが「使いづらい」という壁です。
業務システムや基幹システムは、目的が業務遂行であるため、その目的に合わせた形でデータが管理されています。しかしそこでは、データ利活用の目的など考慮していません。だから、そもそもニーズに合ったデータが提供されないことは普通のことなのです。
そうなると結局、ユーザ自身がデータを使いやすい形に加工しなければいけなくなるのです。
企業のデータ利活用を効率化するDataOps
企業のデータ利活用をうまく推進する考え方として、『データマネジメント』という概念が広く知られています。データマネジメントというのは、データを安心・安全な形で関係者が活用し、データによって企業価値を高めるための考え方です。この考え方に則って、企業では専門の組織をつくり、運用プロセスやシステムを整備してきました。
しかし、ここには大きな問題が残っていました。それは、データ利活用を企業内で運用するには非常に手間がかかる、ということです。この手間を、これまでは企業努力でなんとかしようとしてきたわけですが、先に書いたように、ユーザや運用の現場に負担を強いるやり方では長続きしません。
そこで注目されているのが、『DataOps』という方法論です。
DataOpsはデータサイエンスとデータエンジニアリングの効率化を目指した考え方です。DataOpsでは、効率化の考え方として大きく2つのアプローチを提案しています。
1つは、手作業など手間が発生する業務をシステムに置き換えて自動化し、業務を効率化するアプローチです。
具体的には、以下のような業務を自動化することを検討します。
ユーザへのアカウント発行と適切なアクセス権の付与
ユーザに提供するデータの追加や変更
ユーザ目的に合わせたデータの加工
データ連携機能の実装からリリースまでの一連の開発
もう1つは、ムダ・ムリ・ムラが生じている業務を根本的に見直し、タスクやルールは必要最低限としたり、最適な形に見直したりすることで効率化するアプローチです。
1つ目のアプローチで一部の業務が自動化されれば、これまで手作業が発生していた部分の時間を有効活用し、以下のような検討が行えるようになります。
各部門が管理するデータの利用範囲や提供におけるルールの明文化
承認プロセスの簡素化
データを活用したい側のニーズも考慮してデータが登録されるよう業務と運用の見直し
既存データのカタログ化
未来に向けた第一歩
全社を巻き込んでのデータ利活用を推進するためには、経営層をはじめとして全社レベルでの理解が欠かせません。DataOpsの考え方を全社の共通言語として導入できれば、データ利活用の効率化に繋がることは少しイメージできたと思います。
とはいえ、最初から全てをやろうとするのは大変です。そこで、データ利活用を効率化する第一歩としてまず自動化できる業務を探すことから始めることをおすすめします。
ちなみにこの自動化というのは、必ずしも情シス部門だけが考えることではなく、業務部門でもできることはあります。例えば、PowerAutomateなどを使って自動化の仕組みを自分たちで作ることもできるので、ぜひ検討してみてください。
DataOpsのより詳細な情報
今回はDataOpsの紹介ということで、広く浅い記載にとどめています。みなさんにより深くDataOpsを知っていただくため、観点ごとに絞った記事を今後も掲載していきます。
DataOpsの導入による効果
DataOpsの考え方を反映したシステム環境（その1）
DataOpsの考え方を反映したシステム環境（その2）
DataOpsを実践できる体制
DataOpsの運用に必要なスキルとその習得方法
また、DataOpsの包括的な解説書である「Practical DataOps」を当社コンサルタントらが翻訳し、「実践DataOps」として翔泳社様から出版しております。DataOpsの概念を体系的に知りたい場合はこちらもご参照ください。
おわりに
今回のこの記事が、皆さんの理解の一助となりましたら、幸いです。もし少しでもお役に立てたのであれば「スキ」を押してください。私たちのモチベーションになります。
この「データ利活用の道具箱」では、データ利活用を推進したり、データをもっと活用したいと奮闘している皆さんに役立つ情報をnoteで発信しています。ぜひ他の記事もご覧ください！
ウルシステムズでは「現場で使える！コンサル道具箱」でご紹介したコンテンツにまつわる知見・経験豊富なコンサルタントが多数在籍しております。ぜひお気軽にご相談ください。