AI/データサイエンスのプロジェクトが失敗する10の危険なサイン

ここ数年日本でも会社の規模を問わずAI関連のプロジェクトに関する投資が大きな規模で連日行われているように思います。こうしたAIイニシアチブは多くの場合がトップダウン、つまり社長や重役からの指示ではじまり、それに見合った実行計画をマネージャーレベルが作成し、その部下が実行もしくは外部コンサルティング会社に外注というのが多いパターンではないでしょうか。

しかし、そうしてなんとなく慌てて始まったAIに関する投資も、思ったような成果が上がっていないということで、そろそろ失望と困惑が見られるようになってきたと、少なくともこちらアメリカでは聞き始めています。こういう時に、そもそもどういった成果を当初期待していたのかというと、かなり曖昧であったり、もしくは的はずれだったりというのが往々にしてあります。これは、現在のAIに対する過剰な期待がAIの限界によって打ち砕かれた、とも言えます。業界が煽りすぎたという面が強いのかもしれません。（シンギュラリティなんて言葉を使って煽っていた人たちがいたのはまだ最近の話です。）

ただ、機械学習や統計学のアルゴリズムやデータサイエンスの手法自体はハイプなわけではなく、それは現実のビジネスの世界でも役に立つものであり、それらをうまく使うことがStitchfixのパーソナル・スタイリングやAmazonのAlexaような大きなブレイクスルーを生み出し、Netflixのコンシューマーサイエンスを支え、Airbnbがマーケティングを最適化することを可能とするのです。そして、こうした手法をうまく使っている企業はその成功体験をもとにさらに別の領域、もしくは次の段階へと継続的にステップアップしていっています。

ここで残念なのは、AIを何となく始めて失望に終わってしまった企業と、AIで出来ることをはっきり理解し、そこから受ける恩恵を明確にし、ビジネスの目的と紐づけることで進化し続ける企業との差が、これから一層広がっていくであろうということです。特に日本でよく聞く、AIやデータサイエンスのプロジェクトを外注している企業はそうした分野の人材を育てる機会と経験値を上げる機会を失ってしまうことになり、これではこの先の5年、10年を考えた時には競争優位ということを考えた時には思いやられます。

そんな時に、ちょうどビジネスコンサルティングのMcKinseyから、失敗するアドバンスド・アナリティクス（ここではAI、機械学習、データサイエンス、データマイニングなどをひっくるめた総称として使っています。）のプロジェクトに共通のパターンを10個にまとめたレポートが出てきました。きれいによくまとめられているので、ぜひ皆さんにも読んでいただきたいと思って簡単に翻訳してみました。

これは、日本の会社の経営層を含めた、全てのAI、データサイエンス、アナリティクス関連のプロジェクトに関わる方達に読んでいただきたく思います。そして、これを教訓にもっと地に足の着いたプロジェクトが日本の多くの企業で行われていくことで、次の10年のAI時代に大きく活躍するための土台作りが始まることを期待したいと思います。

以下、要約

本文中にAdvanced Analyticsという言葉が何度も出てきますが、直接訳すと高度な分析となるのですが、これは、いわゆるデータマイニングであったり、統計、機械学習、自然言語処理等のアルゴリズムを使った分析の手法やツールのカテゴリーとして使われているので、アドバンスド・アナリテイクスとして、そのまま訳します。

---

Ten red flags signaling your analytics program will fail — Link

多くのCEOがアナリティクスのプログラムを導入するのに彼らの多くの時間を割き、CAO (Chief Analytics Officer)、CDO (Chief Data Officer)を任命し、データに関する様々なタイプの専門家を採用してきました。

しかしここにきて、もうすでに彼らは大きな投資をしたのだから、彼らの組織がアナリティクス・ドリブンになるための大変な準備は終わったと思っていた多くのエグゼクティブの間に失望の色が浮かび始めました。というもの、彼らの始めたアナリティクスのパイロットプロジェクトが、その後実際のビジネスでは使い物にならないということに気付き始めたからです。最近のMcKinseyの行ったアンケート調査では1,000件の回答者のうちのたったの8％だけが彼らのアナリティクスのプロジェクトが実際のビジネスで使えるものとなったと答えています。

訳者、注意書

アメリカの場合は実務サイドのVP of Product (プロダクトのトップ)、VP of Sales (営業のトップ)、VP of Marketing (マーケティングのトップ)といった人たちのことをエグゼクティブといいます。また、取締役会は会社のマネージメントを監査するといった役割で、CEO以外は一般的には外部から来ている人たちなので、こうしたVPの人たちは入っていません。ですので、本文の中でのExecutive、またはExecutive Teamというのはマネージメント、または実行（Execution)サイドの人たちのことを指しているので、取締役会の人たちとの特別を付けるために、Executiveを日本でよく使われる”重役”ではなく、エグゼクティブとしてそのまま訳します。

全体的に見ると、アドバンスド・アナリティクスの手法を採用することで本来なら得られるはずの価値のほんの僅か、セクターによってはほんの10％ほどの価値しか得られていないというのが現状です。

そして、McKinseyのAIインデックスでは、AIとアナリティクスを使うことに関して先進的な企業 (Leader)と、後進的な企業 (Laggard) との間の差はどんどんと開いていくばかりです。

様々なアドバンスド・アナリティクスのイニシアチブを見てきましたが、失敗するものには共通のパターンがあるようです。そこで、そうしたパターンを10の失敗する危険にあるアナリティクス・プログラムの兆候としてまとめてみました。ビジネスリーダーがこうした兆候に早く気付き軌道修正することで、こうしたプロジェクトを成功に結びつけていくことが出来ると思います。

1. エグゼクティブチームがアドバンス・アナリティクスに関してのビジョンをもっていない。

私達の経験からすると、そもそもこれは、エグゼクティブ・チームが古くからあるいわゆるBIやレポーティングといった類の分析と、機械学習のような強力な予測や処方（prescriptive)を行うためのアドバンスド・アナリティクスとの違いを理解できていないのが原因です。

一つの例として、ある企業では、データサイエンティスト、データエンジニア、他のキーとなるデジタル関連の人材を集めて一つにまとまったアドバンスド・アナリティクスを行うための組織を作りました。そこのCEOは頻繁に彼の会社はAIを使っていると自慢するのですが、それが具体的に何かということに触れることはありませんでした。

その会社はたくさんのアナリティクス関連のプロジェクトをやっていたのですが、一つとして実際のビジネスに繋がるものはありませんでした。根本的な原因は何でしょうか？トップ・マネージメントのチームがアドバンスド・アナリティクスのコンセプトをしっかりと理解できていなかったからです。アナリィテイクスのチームが解決できる問題を探すのに苦労し、本当に彼らにとって必要だったスキルを社員が身につけるためのトレーニングをするといったことができていませんでした。彼らの築き上げたアナリティクスのチームは解決するにふさわしい問題を与えられず、最新のツールや技術を使わせてもらうこともありませんでした。社内でのそうしたプロジェクトに対する懐疑心が高まるに連れ、そのイニシアティブは結局一年後には中止になってしまいました。

解決案：CEO、CAO（Chief Analytics Officer)、CDO (Chief Data Officer)、もしくは他の誰でも会社のアナリティクスのイニシアティブを率いることを任されている人間は、エグゼクティブチームのためのワークショップを定期的に行うべきで、そのメンバーに対してアドバンスド・アナリティクスで一体何が出来るのかをコーチングし、長い間に渡ってはびこってきた勘違いを修正するのを助けてあげるべきです。こうしたワークショップはさらに、社内のマネージャーたちに対してアナリティクスのキーとなるコンセプトを継続的に教えていくための場として活用することも出来ます。

2. 最初のユースケースが提供することのできる価値を誰も分かっていない。

ほんとによくあるのですが、とりあえずアナリティクスのツールや手法を適用すれば、会社の中のあらゆることがベネフィット（利益）を生み出すだろうと興奮し、そうした成果を期待するばかりというものです。しかし、そうした間違った理解は、より大きな規模での無駄を生み出し、投資家や従業員からのそうしたアナリティクスのイニシアティブに対する信頼を失うだけです。

解決案： これからアナリティクスを会社でやっていこうとする場合は、まず最初に、１年以内に価値を生み出すことの出来る実現可能なユースケースを３つか５つにに絞り、詳細まで含めて熟考するべきです。そこで成果を出すことができれば、社内にいい波を作ることができ、さらなる将来のアナリティクス関連の投資にたいして賛同者を集めやすくなります。そのためには、サプライヤーから購買、アフターサポートのサービスまで含めた全てのビジネス上のバリューチェーンを分析し、もっとも高い価値を生み出すであろうユースケースを見つけ出すべきです。

実現可能かどうか考える時に以下のことを考えるべきです。

- そのユースケースに必要なデータにはアクセスできるのか、品質はどうなのか。
- そのユースケースのために必要なプロセスとは何なのか。
- そのプロセスに関わるチームは変える必要があるのか。
- 現在のビジネスへの負荷を最小限におさえながらできる変更とは何か。
- 新しいアナリティクスによるアプローチの効果が証明されるまでの間に必要な別のプロセスとは何か。

3. いくつかのユースケースがあるだけで、アナリティクスの戦略がない。

ある大手製造メーカーのエグゼクティブはアドバンスド・アナリティクスに興奮し、そうしたテクノロジーが価値を生み出すであろういくつかのユースケースを見つけ出しました。しかし、そうした特定の場面での使い方以外に、アナリティクスがどう価値を生み出すのかについての全社的な戦略を持つ努力を行っていませんでした。

その間に、競合となる別の会社は他のメーカーとパートナーシップを結び、アドバンスド・アナリティクスを使ったデジタルプラットフォームを構築しました。これは、これまでとはまったく違う新しいタイプの製品とサービスのカテゴリーを提供することの出来るような大きなエコシステムとなりました。

最初に出てきた企業のCEOは、その会社にとってのアナリティクスがもたらす機会をもっと体系的に考え、取り組むということをしなかったために、いくつかの小さなリターンを得ることはできましたが、もっと大きな機会を逃してしまったのです。

他の大きなビジネスのイニシアチブといっしょで、アナリティクスもしっかりとそれ自体の戦略的な方向性をもつ必要があるということです。

解決案： CDO、CAOは自分の会社のビジネスリーダーに対して以下の質問をするべきです。

- AIやアドバンスド・アナリティクスのようなテクノロジーがもたらすビジネス上の脅威とは何か。
- そうしたテクロジーを使うことによる、既存のビジネスにとっての機会とはなにか。
- 新しい機会を作るために、どうデータとアナリティクスを使うことが出来るのか。

4. 現在と過去のアナリティクスの役割がしっかりと定義されていない。

自分たちの組織がどんなタイプのアナリティクスの人材を持っているのかを説明できるエグゼクティブはほとんどいません。さらに、そうした人材がどこにいるのか、どういったチーム構成なのか、彼らがふさわしいスキルと役職を持っているのかを説明できるわけもありません。

ある大手の金融サービスの会社のCEOはアドバンスド・アナリティクスの熱狂的な支持者でした。特に彼の会社が、それぞれが年収250,000ドル(約2800万円）もするような1,000人ものデータサイエンティストを雇ったことを自慢していました。しかしその後、そうして新しく雇われた人材は期待された結果を出すことはありませんでした。さらに後でわかったのは、彼らの多くは本当の意味ではデータサイエンティストではなかったのです。彼らのやろうとしていたことは、本当のデータサイエンティストであれば100人ほどで十分間に合っていたでしょう。CEOもその会社の人事もデータサイエンティストの仕事をしっかりと理解できておらず、さらにはデータに関する他の職種に関してもよく分かっていなかったのです。

解決案： アナリティクスに関する人材というのはたくさんの複雑に関わり合うスキルセットの集まりです。ですので、これに関連する役割や能力はお互いに重複していたりもします。CDO (Chief Data Officer)とCHRO (Chief HR Officer)はこれから何年にも渡って必要とされる全てのアナリティクスに関連する役割を詳細に定義するための努力をするべきです。そして次のステップとして、社内からこうした要件を満たすことの出来る人材をリストアップするべきです。それをやった後で、社外から足りない人材を補うための採用を行うべきです。

こちらにいくつかのアナリティクスのプロジェクトを行うに当たって必要な人材をリストしておきます。

5. 社内にアナリティクスのトランスレーターがいない

アナリティクスのトランスレーター（翻訳者）とは、ビジネスリーダーが大きなインパクトのあるアナリティクスのユースケースを見つけ出すのを助け、ビジネス要件をデータサイエンティスト、データエンジニア、他のテクノロジーの専門家にしっかりと説明することで、彼らが実行可能なアナリティクスのソリューションを作っていくことを可能にするような人です。さらに彼らは社内でアナリティクスのソリューションが広く採用されるためのサポートを行い、多くのビジネスユーザーの賛同を得られることを可能にします。彼らに必要なスキルとは、業務知識、一般的なテクノロジーへの理解、プロジェクト・マネジメントが混ざったものとなります。

解決案： 一刻も早くトランスレーターを用意するべきです。外から雇うのもいいのですが、その場合は最も重要なあなたのビジネスに関する業務知識というものがありません。ですので社内ですでに業務知識と経験のある人材に対して、統計、機械学習のトレーニングを提供し、データサイエンティストといっしょに仕事ができるレベルに引き上げることが、より優れた解決策となるでしょう。こうしたユニークなスキルを持っている人材は探すのが大変なので、多くの会社は自分たちでトランスレーターを育成するための社内の教育プログラムを作っています。あるグローバル鉄鋼企業の場合は300人ものトランスレーターを一年でトレーニングしました。McKinseyの場合は、自分たちのアカデミーを作って過去数年で1000人ものトランスレーターを育成しました。

6. アナリティクスを行う人たちがビジネスから切り離されている。

私達の見ている限りでは、アナリティクスのイニシアチブに成功している企業はアナリティクスを行う人達を彼らのコアビジネスに組み込んでいます。逆に、うまくいっていないところは、そうしたチームを切り離して作っています。現場のビジネスからは距離の遠いところに中央集権的なチームが一つにまとめられているか、別々のところに特に計画もなしに散らばっているかのどちらかです。どちらの場合も効果的ではありません。極端に中央集権的なチームはそれ自体がボトルネックとなりビジネスサイドの賛同者を集めるのに苦労し、散らばっているチームは、社内に異なるデータモデルができてしまうというリスクをもたらします。

解決案： ビジネスサイドとアナリティクスサイドの両方から出来る人間を集めたハイブリッドなチーム編成を考慮するべきです。ハイブリッドモデルはデータの標準化、データガバナンス等、中央集権的なチームにこそできることを可能とし、またアナリティクスのチームがそれぞれのビジネスに上手く取り込まれ、そこに影響を与えることができているかに責任を持つことを可能にします。

多くの企業にとって、中央集権の度合いは時間がたつに連れて変わってきます。企業がアナリティクスを始めて最初の頃は一つにまとまったチームをつくることが理にかなっているかもしれません。その方が、チームを作り、管理し、彼らの成果の質を保ちやすいです。しかし、時間が経つに連れ、ビジネスのアナリティクスのレベルが上ってくると、そうしたチームは一歩下がり、もっとビジネス側が自分たちでアナリティクスを行っていけるように仕向けていくべきです。

7. お金のかかるたくさんのデータクリーニングプロジェクトを始めている。

多くのビジネスリーダーはついついアナリティクスのプロジェクトが始まる前に全てのデータがきれいにな状態で用意されていないといけないと思いがちです。しかし、そんなことはありません。

そんなに前でもないのですが、ある大きな企業が何百億円ともいうべきお金と2年という時間をかけて全社のデータを整理し、データ・レークを構築するためのプロジェクトを行いました。その目的は全ての会社の中のデータを一つに統合し、管理することです。しかしその努力は無駄に終わりました。その企業はそもそもデータを適切に追跡していませんでしたし、どのユースケースにどのデータが必要になるかについての理解も全く持っていなかったのです。

解決案： データの整合性に関するイニシアチブを評価するときにはデータありき（データファースト）として考えるべきではありません。CDOはビジネス部門とIT部門のトップとともに、最も価値を生むであろうユースケースからスタートし、そのために必要なデータ整合プロジェクトを計画するべきです。

8. 目的を果たすためのアナリティクスのプラットフォームとなっていない。

いくつかの企業はデジタルトランスフォーメーションのためにはその基盤となるモダンなインフラが必要なのを知っています。しかしここでよく間違いを犯すのは、レガシーのITシステムが最初に統合されなければいけないと考えてしまうことです。

別の間違いとしては、データレークを一つのものとしてデザインしてしまうことです。本来は異なったユースケースを満たすために別々に区分けされたものとなっているべきにもかかわらずです。

多くの場合は、そういったものに対する投資はとても大きなものとなり、時には何億円というお金にもなります。しかしそれに対するリターンは非常に限られたものです。私達の調査では、存在するデータレークのうち半分以上が目的を満たすことが出来ないということが分かっています。多くの場合、遥かに大きな仕様の変更が必要になります。最悪の場合、そうしたデータレークのイニシアチブはそもそも見捨てられてしまうものです。

ある金融サービスの大手がまさにそういうケースでした。その会社は、昔からあったデータウェアハウスを統合し、レガシーのITシステムをシンプルなものにしようとしていました。そのデータがサポートするはずであるアナリティクスのプロジェクトのビジネス・ケースに関するはっきりとした理解を持っていないにも関わらずです。2年後になると、ビジネスサイドが、何の価値も提供せず、コストばかりがどんどん大きくなっていくプロジェクトをこれ以上進めることに対して否定的になってきました。多くの議論を経て、結局そのプロジェクトは中止になってしまいました。といっても、80％の予算をすでに使ってしまった後だったのですが。

9. 誰もアナリティクスの提供する定量的なインパクトを知らない。

多くの企業が何億円というお金をアドバンスド・アナリティクスや他のデジタル関連の投資に費やしています。しかしそうした投資が最終的にビジネスにおけるどの数字に影響するのかを誰も理解できていない企業が驚くほど多いです。

この分野で先進的な企業は、一般的にはアナリティクスのプロジェクトのためのパフォーマンス・マネージメント・フレームワークをまず作ります。最低でも、プロジェクトに直接結びつく指標を注意深く作り上げます。これらの指標は最上位の利益に関する指標と言うよりも、その下位層になる指標かもしれません。例えば、在庫管理のシステムに使われるアナリティクスは何が今期の過剰在庫の原因になるのかを突き止めることが出来るかもしれません。この場合にアナリティクスのインパクトを定義するための指標とは、もしそうした過剰在庫の原因が修正された場合の過剰在庫の減少率であるでしょう。

解決案： ビジネス・リーダーはトランスレーターとともに、価値を生むことの出来る特定のユースケースを見つけ出すべきですが、それと同時に、そうしたユースケースがもたらすインパクトを計測することに力を注ぐべきです。

10. アナリティクスの潜在的な道徳的、社会的、法律的な影響を誰も考えていない。

ある大手の産業メーカーは、欠勤を予測するアルゴリズムの開発をしていた時に法的な問題に引っかかったことがあります。その会社には悪気があったわけではなく、単に病気や怪我につながる労働のプロセスを見直すために、仕事の労働条件と欠勤の相関関係を理解しようとしていただけだったのです。残念ながら、アルゴリズムは従業員の人種、宗教、ジェンダーによって従業員たちをクラスター分けしてしまいました。そうしたデータフィールドはアルゴリズムには直接渡されていなかったにもかかわらず、そのアルゴリズムは人種と欠勤の間に相関があるとしてしまったのです。

幸いなことに、その会社は、そのアルゴリズムが労使関係に影響を与え、膨大な法律違反の罰金を払わなくてはいけないという事態を引き起こす前に、そうした問題に気づくことが出来ました。データを扱うということは、特にそれが個人情報を含むものである場合は、アルゴリズムのバイアスによる様々なリスクをもたらすことになります。アナリティクスの世界に適切な人間の判断を持ち込むためには、しっかりとした監督、リスクの管理とそれを回避する努力が必要となります。

解決案： すでにあるリスク管理のプログラムの一部として、CHRO、社内のビジネスのコンプライアンスの専門家、法務部門といっしょに、CDOが社内のアナリティクスプログラムの間接的な影響を理解し、テストするようなサービスを作る必要があります。トランスレーターはここでも重要な役割を果たすことが出来ます。

---

要約、終わり

いかがだったでしょうか。すでにAI、データサイエンス、アナリティクス関連のプロジェクトを始めている方は思い当たるふしがいくつかあったのではないでしょうか。

最後に私の方から、価値を生み出すデータサイエンスのプロジェクトを行っていくために3点ほど指摘しておきたいことがあります。

まず最初に、経営層の問題です。現在は多くの会社のトップが株主総会での発表のためにAI関連のプロジェクトを始めるといったことをよく聞きます。そうすると、社内の人間も、外部のコンサルやSIベンダーなども、とにかく予算が取れるようにとAI絡みのプロジェクトを明確な目的もなく、何かすごいことが起きそうだという期待感だけで始めてしまうということになります。これは、社員の問題でも、外部のベンダーの問題でもありません。むしろ経営層がしっかりと時間をかけてAI、データサイエンスを理解しようとしないことが問題です。

こちらの記事でも書いたように、現在この業界がAIと呼ぶものは、多くの人達が期待するような広い意味でのAIではなく、データの中のパターンを認識することに長けた、狭い意味でのAIです。そこで、実はAIと言われているものには様々な限界があるのですが、そのことを経営層、マネージャー層はしっかりと理解しておくべきです。

次に、ここ何年かのデータサイエンスブームで、データサイエンティストがスーパーマンのように扱われ、その人達に対する期待もすごく高まってきています。高度な数学ができて、統計の専門家で、アルゴリズムが作れて、エンジニアでもあって、さらにはビジネスのドメイン知識があって、よいコミュニケーターでもあって、他のデータに関わる人達をマネージ出来て等といったように、どんどんと要求されるスキルが増えていくばかりです。

しかし、現実にはそんな人はいないので、そのギャップを埋める人が必要になってきます。つまり、データサイエンティストがビジネスの方に歩み寄っていくのを期待しすぎるのではなく、逆にビジネスのほうがもっとデータサイエンスの方に歩み寄っていくべきということです。ここで、ビジネスの業務知識を持ち、さらにデータサイエンスの手法や最新のテクノロジーに対する理解を持つトランスレーターという職がこれから増えてくるのではないかと思います。このトランスレーターに興味のある方はこちらの記事を読んでみてください。

最後に、本文では9番目に触れられていた”誰もアナリティクスの提供する定量的なインパクトを知らない。”というのがありますが、これは、私個人としても本当によく見かけます。特にデータ分析という観点からは、そのプロジェクトによって影響する、むしろ、影響させたいと思っている指標は何なのかを最初に定義しておくべきです。これはもちろん、そうしたプロジェクトの成果を測りたいという側面もありますが、それ以上に最終的に自分たちにとって重要な指標（例えば、コンバーション率、解約率、クリック率、など）にどう影響してくるのかがわからないと、そもそも機械学習なり統計なりのモデルを作る時の判断基準がないということになるからです。これでは、いたずらに過去データをもとに予測のパフォーマンスを上げていくという、まるでKaggleなどでのコンペの世界と変わらなくなってしまいます。現実のビジネスの世界では、データサイエンスのプロジェクトで得られたインサイトであれ、予測モデルであれ、最終的には、自分たちのビジネスにとって重要な問題を解決できるのか、重要な指標に期待したような影響を与えることが出来るのかが全てです。

まずは自分たちのビジネスにとって重要な指標は何なのか、これから行うデータサイエンスのプロジェクトはそうした指標に直接的でも間接的でも影響を与えるのかということを、完璧でなくてもいいのでまずは積極的にチームの中でディスカッションし始めていただければと思います。そして、もちろんこれは、経営層もしくは、ある部門を任されているビジネスリーダーの責任なのです。

---

Exploratory社主催セミナー in 東京

この6月の30日水曜日に、”AI時代のビジネスリーダーに求められる思考力「アナリティカル・シンキング」とは”というテーマのセミナーを開催します。

シリコンバレーと東京のデータ先進企業での事例も織り交ぜながら、AI/データサイエンスを使ってビジネス上の問題を解決していきたい方、この分野での人材育成に課題をお持ちの方達に役立つ情報を共有させていただきます。こちらのホームページに詳しい情報がありますので是非ご覧ください。

アナリティカルシンキングセミナー