なぜあなたの会社はデータを活用できないのか？

2011年ごろからビッグデータという言葉が生まれ、最近だとAIや機械学習が経営戦略の文脈で語れるようになってきました。

ネットを漁ると小さなベンチャーから大企業まであらゆる成功事例が紹介されていますし、セミナーやカンファレンスなどに行くとビッグデータやAIでビジネス課題を解決！売上〇〇％アップ！みたいな売り文句を必ず見ます。
しかし、現場の担当者に聞いたりするところだと課題も多く、失敗に終わったプロジェクトも多々あると聞きます。

ではどうして会社でデータの活用がうまくいかないのか？
データワーカー(データに関わる人。データサイエンティストやデータエンジニアなど)にヒアリングする中で見えてきた共通の課題について書きます。

目的の欠如

まず一つは「目的の欠如」

よく言われることではありますが、上から「データを活かそう！」という御触れが回ってきたはいいものの、何のために？具体的にどうやってやるの？が明確になっておらず、予算だけ組まれて現場で混乱して失敗してしまう現場をよく目にします。

目的がはっきり定義されていないと、データ分析してみたはいいものの、「で、どう活かすんだっけ？」みたいなことが起こってしまいます。
それではデータ分析者とビジネスサイド間で目的が共有されずに、分析結果だけが残ってビジネスに活かされないという結果になってしまいます。

スキルの欠如

次に「スキルの欠如」です。

スキルとはデータ分析的なスキルもそうですが、大量のデータを管理する基盤を設計し、構築・運用することができるデータエンジニアリングというスキルセットが大規模なデータ分析には必要になってきます。

昔は、Excelで管理できるほどのデータ量だったのが、近年データの巨大化により、大量のデータに対してどう収集・管理・分析して活用していくか？という視点が重要視されるようになりました。

データ基盤を設計・構築するのはデータエンジニアと呼ばれる職種ですが、最近少し聞くようになった程度で、まだスキル自体が体系化されておらず、知見も貯まっていません。

そのため適切に設計、構築、運用ができる人材も少なく、小さなチームでは専任でつけるのは難しいという課題もあります。

現場によっては、アプリケーションエンジニアやサーバーサイドエンジニアが担当せざるを得ないケースも多く存在します。

組織の構造的な問題

3つ目は「組織の構造的な問題」です。

各部署や事業部が保有するデータを横断的に分析したい、となった場合に、中々データの受け渡しがすんなりいかないという問題です。

データの管理ルールは会社によってもまちまちで、外部に持ち出し禁止だったり、そもそもフローが存在しないので政治的な動きが必要になったりと課題は山積みです。

また、これは導入の仕方にもよりますが、独立遊軍的なデータサイエンスチームが組織横断的に動こうとした場合、調整や根回しに時間を取られて本質的な分析に集中できないというケースもあります。

同じチームや事業部内で完結する場合はそのような問題にはなりませんが、今度はチーム毎にノウハウがバラバラになってしまい、共有されずに属人的になってしまいます。

データの重要性が叫ばれて久しいですが、やはりこれといった解決策はまだなく、各社それぞれで試行錯誤している段階といった印象です。

ただし、データの整備そして活用はこれからますます重要な経営課題となって行くでしょう。

経営レベルからデータの活用方法について議論が必要な段階にきているのかもしれません。