意思決定と分析のプロセス

意思決定と分析のプロセスをデザインする

データを処理する手法やプログラミングは以前から話題には登っており、ここ数年ではデータ基盤の構築にも注目が集まりつつある。一方でデータ分析やデータ活用の全体像の議論はあまりされていないと感じている。

そこでデータ活用の全体像を考える、としたいところではあるがあまりに広い領域なのでまずはデータ活用の中心となる「データ分析」から取り掛かることにする。では何が「データ分析」を構成するのだろうか。

データ分析はプロセスである

データの使い道は意思決定であり、その意思決定を支えるための分析を行う。目的がないと意思決定できないし、分析を行うためにはデータを集めなければならない、というところまではすんなりと受け入れてもらえるだろう。

次にデータを集めにしても、手元にあるデータを使えばいいとか、なんでもいいからとにかくたくさんあればいいというわけではない。どのようなデータを集めなければならないかは目的に依存するし、実際に集めるのにも様々な障害がある。であればデータを集めることも分析とは別に考えておいたほうがいい。

さらに意思決定者と分析者が別ならば、意思決定者が求める情報を分析者に要求し、分析者が結果を意思決定者に伝達することも必要になる。となればコミュニケーションが発生するのでまた違った動きになる。

また分析が役に立ったのか、今後どのように改善するのがいいのかフィードバックもあって欲しい。

以上が、1つの意思決定のために必要な仕事である。そう考えると、「データ分析」とは「目的の決定から始まり分析を経て意思決定と実行までの一連のプロセスである」と考えるのがよさそうだ。

意思決定と分析のプロセスを構成する8つのフェーズ

改めて整理すると、「データ分析」は次の8つのフェーズで構成されていると考えられる。これを以後「意思決定と分析のプロセス」と呼ぶことにする。

• 目的の決定

• 要求

• 収集

• 処理

• 洞察

• 伝達

• 意思決定と実行

• フィードバック

意思決定と分析のプロセスの各フェーズはそれぞれが大きな専門領域として成立するほどの課題となる。本記事では全体像を見通すことが目的なので、各フェーズの概要をまとめることで全体像の把握の手助けになることを試みる。

データ分析のプロセスにはCRISP-DM、インテリジェンスサイクルなど様々なモデルがあり若干の違いもあるが、どのプロセスも大きな流れは同じである。この後の記事も言葉にはこだわらずに自分の身近な言葉で置き換えたほうがわかりやすければそのようにしてもらってかまわない。

目的の決定

意思決定と分析のプロセスの始まりは、意思決定者が「何を知りたいのか」を決定することである。目的を定めることなくただ「分析」を始めたところで無駄にしかならない。

しかし、それがわかればあらゆる問題が解決するような「問い」が見つかれば素晴らしいがそんな簡単にできるはずもない。また目的が明確であっても、その目的そのものが間違えていればどうしようもない。

意思決定と分析のプロセスの始まりである「目的の決定」フェーズが最重要であり最難関であることは間違いない。しかし、完璧な目標などありえない。また、常に目的を「正しく」持っているかも問い続けなければならない。

要求

「要求」フェーズは意思決定者から分析者に対して「知りたいことは何か」を伝える。分析者は要求を受けて、「答えるために必要なこと」を期間・能力・コストなどの様々な制約下で考える。

意思決定者と分析者が同じ場合はコミュニケーションが無くなる以外は同じで上記の内容を自問自答することになる。

収集

「要求」に基づいて必要なデータを入手することを試みる。手元にあるデータから探すのではなく、獲得するための方法から検討する。

必要なデータが必要な時に必要な分だけ集まるということはまず無い。多すぎ、少なすぎ、欠けている、汚すぎて処理に時間がかかる、手に入れられるが間に合わない、コストがかかりすぎるなど様々な問題が起こる。

データの取得ができないことが発覚し、要求を満たすことができないことがこの時点でわかることもある。その場合は意思決定者に対して要求を満たせないことを伝え、方法を変えるか、内容そのものを変えるかを検討する。

データの取得を迅速かつ正確に行うようにするための1つの対策として、データ基盤を構築してデータを集約し、使いやすいように整備しておくことがある。データ基盤の構築と整備はプロセスが始まる前に行うことなので別の機会で取り上げる。

処理

目的に合わせて適切な手法を選定し、データの加工を行うことで「何があったのか」を掴む。この段階ではまだ「データ」であり意思決定のための情報（インテリジェンス）にはなっていない。

「データ分析」と言うとこのフェーズがことさらに強調されがちで「与えられた（主にデジタルで数値の）データをプログラミングで何とかする」「ダッシュボードで数値を確認する」と捉える人もいるが、それはプロセスの一部でありこれだけでは成立しない。

データ分析に関わっていない人向けにわかりやすさを優先してこの「処理」フェーズと次の「洞察」フェーズを合わせて狭義の意味で「分析」と表現することもある。しかし「インテリジェンスかそうでないか」で明確な違いを考える必要があるので本記事では別のフェーズとして扱う。

洞察

「処理」フェーズが「何があったのか」を掴むとすれば、「洞察」フェーズは「なぜ起きたのか」と「これからどうなるのか」を考察するフェーズである。言い換えると、「データ」を「インテリジェンス」にする。

「分析」と呼ばれるさまざまな行為が「インテリジェンス」にならずに「データ」に留まっているのは過去を振り返っているだけで「これからどうなるのか」が欠けているからであり、「処理」と別のフェーズとした理由はここにある。

このフェーズでは意思決定者や分析者の個人的な感想や気持ちを入れずに徹底的に論理的、客観的に考えることが求められる。意思決定者自身が分析を行い都合の良い結論を出したり、分析者が意思決定者におびえたり付託することで「インテリジェンスの政治化」が起きれば価値を失うどころか大きな損失を与える。

伝達

洞察で得たインテリジェンスを意思決定者に伝える。口頭なのか資料にまとめるのか、まとめるとしたら簡潔か詳細かなどは受け取る側の好み次第である。

「伝達」フェーズで協調しておくべき点は「分析者の意見や提案を入れ込むことは行ってはいけない」である。

分析者が自分の利益や希望を優先すれば存在意義を失う。もしここで企画まで提案するのであれば分析者ではなく別の役割であり、具体的かつ実行可能な案と結果への責任が伴う。ただし、意見を訪ねられれば答えるのは差支えない。

もう１つ重要な点は「必要な時に届けること」である。より多くのデータを集める、詳細に洞察する、充実した報告書を作成することは大切であるが、意思決定者が必要な時に届いていないのでは元も子もない。

意思決定者と分析者が同じ場合、分析することと意思決定することが混同されていることが多いが、施策の結果の良し悪しと分析が正しかったかは別の話として扱わなければならない。

意思決定と実行

伝達された分析は意思決定に使われなければ意味がない。情報を無視して失敗した例は古今東西数多い。かといって、分析結果を全て正しいと受け入れて使わなければならないというわけでもない。

また、意思決定しても実行されなければ、やはり無意味である。実行する気がない、あるいはどのような分析が提出されても結論が決まっているようならばこのプロセスそのものが無駄である。分析などせずにさっさとやった方がいい。

なお「実行」とは何かの施策を行うことはもちろん「現状維持」という意思決定を実現することでもありうる。

フィードバック

何が良く、何を改善すべきかを意思決定者から分析者にフィードバックすることで、改善を図る。フィードバックがあれば次回以降の改善に活かすことができる。「出来る限り行う」ではなく「必ず行うことでプロセスの完結とする」とするのが理想だ。

分析者も自らの分析を振り返ることが必要だ。ただし結果が正しかったかどうかを見るのではない。分析を行った時点に立ち戻って「要求を正しく捉えて知るべきことを設定できたか」「データは抜け漏れなく収集できていたか」「処理方法は適切だったか」「洞察に誤りはなかったか」などを検証すべきだ。

ただし振り返ることは目的ではない。次のプロセスのための検証と学習でなければならない

意思決定と分析のプロセスの次の課題

意思決定と分析のプロセスを概観したが、基礎として知っておくべきことでこのプロセスを知っているだけではデータ分析は（少なくとも組織としては）できない。

ではこのプロセスの次に考えるべきことは何か。3つ上げることができるだろう。

• 各フェーズの深堀

• プロセスの実際の進め方の探求

• 意思決定と分析のプロセスを中心にしたデータ活用の全体像への展開

各フェーズの深堀

「意思決定と分析のプロセスの各フェーズはそれぞれが大きな専門領域として成立するほどの課題となる」と書いた。

例えば「処理」フェーズを詳しく見るとそこには統計学や機械学習、数理モデリングといった数理的手法の適用が全部含まれている、といえばそれだけでも広さがわかるだろう。

それだけでなくKJ法のような定性的な手法の適用、スプレッドシートなどでの集計、ダッシュボードによる可視化、実現するためのツールやプログラミングの技術といった手段も対象である。

このように1つのフェーズでもこのように様々な課題があり、各フェーズの個別の課題に対して解決しなければ”正しいデータ分析”にはならず、意思決定の質を上げることはできない。

プロセスの実際の進め方の探求

紹介したのはわかりやすいように非常に単純化されたモデルである。実際にはプロセスがすんなりと進むということもない。

まず、意思決定者がたくさんいる。1人の意思決定者には複数の課題があり、それらの課題に対してまた複数の知りたいことがあるはずだ。となればこの知りたいこと＝目的の分だけ要求が起きえる。1つの目的に対しては複数の要求があり、つまりは数多くのプロセスが同時平行で動く。ということは適切なマネジメントがされなければならない。有限のリソースをどこにどれだけ配分するかはいつでも起きる課題であるが、データ分析の場合はその効果を測ることの難しさがより一層複雑にさせる。

また、プロセスは一方通行ではなく進んでは戻るのが普通である。処理している途中でデータの不足や間違いを発見すれば収集に戻るし、洞察に新たなデータが欲しければ収集をやり直すかもしれない。ここでも担当をまたぐならばコミュニケーションと調整がされなければならない。

プロセス内での役割分担も課題だ。ごく小さな問題であればプロセスの最初から最後までを1人で担うことはあっても、通常はどこかで分担をすることになる。そのためには役割、つまり責任を決めることも必要であるが、現状では曖昧だったり境目に不可解なところが見受けられる。

これらは個人の小さな問題であれば気にならなくとも、組織として重要な問題に対して活動する上では避けて通れない課題である。

意思決定と分析のプロセスを中心にしたデータ活用の全体像への展開

最後に、データ活用の全体像をとらえる試みへの展開がある。では、データを活用するにあたって必要なことは意思決定と分析のプロセス以外になにがあるだろう。

• データ基盤の構築と整備

• データ獲得のテクノロジー

• データインフラ

• データセキュリティ

• データ活用の文化

• 人材の採用、育成、評価

• データ組織

• データに関わる法律

• データに関わる倫理

これらもまたそれぞれが大きな領域でデータ活用には必要なことばかりだ。意思決定と分析のプロセスとは密接に関わりがあるので組織でどうやって担っていくかを考えることからは避けて通れない。

どこまでいけるかな

データに関する話題は非常に幅広い領域に渡るため個人ですべてができるわけでもなく、身近な領域だけに注力しても十分に仕事にはなる。それでも全体像を知った上で特定の場所に特化することを選ぶのか、特定の場所しか知らないので選択肢が無いのかではまったく事情がちがうはずだ。

とはいえ本記事では本当に表面的なことを概観しているだけなので、今後は全体像を見据えつつ、深堀は収集を中心に、データ活用の全体像はデータ基盤の整備と文化や人材面を中心により詳しくまとめていきたいと考えている。

それだけでもいつまでかかるか検討もつかないというのが正直なところだが、できるところまではやる。