データエンジニアリングという仕事（その2）

以前、その1だけ書いて放置した記事「データエンジニアリングという仕事（その1）」があることに気がつきまして、その2を書きます。

前回までのあらすじ。

データ分析は、①数理統計×②情報処理技術×③ビジネスマインド。昨今の情報環境の変化によって、①と②の難易度が劇的に下がった。その結果、従来「データ分析」と呼ばれていた仕事の多くを、エンジニアリング的に解決することができるようになってきた。（ここまで）

ところで、そもそもこの「データ分析」、ビジネスの現場において、その目的は何か。

当然のことなのですが、目的はビジネス課題の解決です。なんらかの課題を解決するために、データを分析して、意思決定することが、データを分析する目的です。これは別に難しい数式や、ごちゃごちゃしたモデルなどを使っていなくても、事象の観測結果に対して仮説を設定し、これを検証して意思決定すれば、データ分析です。朝、各部署の担当者から昨日の営業実績の報告を受けて、それに対して今日の営業戦略を立てて実行を指示するのも、データ分析とそれによる意思決定です。

ではなぜ、「データ分析」とか「データサイエンティスト」などという言葉が2010年頃から脚光を浴びたかといえば、それは意思決定に使えるデータが飛躍的に増加したからです。昔から意思決定には当たり前にデータを分析していましたが、最近のITの進化によって、使えるデータが爆発的に増加し、かつそのスピードが劇的に速くなって、一人の意思決定者の手にはおえなくなったために、そこに専業の、ビッグデータをまわせる「データ分析者」や「データ分析基盤」が必要になってきた、というか、それがあるとビジネス上有利になってきたというのが実情です。つまり、ビッグデータに代表される、2000年頃から急速に進化したITがデータサイエンティストブームのきっかけです。

さて、ここまで整理するとわかると思いますが、ビジネスに必要なのは、「高度なデータ分析」の方ではありません。もちろん、課題によっては高度な数理統計、高度なモデル、高度なAIが必要になりますが、それは全体の中のわずか。

本当の変化は、意思決定に役立ちそうなデータを大量に入手することができるようになったこと。そして、その変化によって新しく生まれた仕事＝価値は、その大量のデータを回して、意思決定者に届ける仕事です。

ところで、実はこれは今さら私が提唱した話ではなくて、2000年頃からたくさんのシステム屋さんがプロダクト化してきています。社内の全データを統合してDWHを作りましょう、BIツールを導入しましょう、hadoop、クラウド・・・これまで散々新しいプロダクトが出てきて、改善され、ものすごく安価で使いやすくなってきています。そしてもちろん、これらを使いこなしてビジネスを躍進させている会社も多数存在します。

しかし一方で、多くの会社がこれらの導入に失敗しています。もしくは、導入のメリットを見いだせずに二の足を踏んでいます。その違いは何か。

違いは、人です。

システムやプロダクトではなくて、それをまわす人に、その成否があります。DWHをいくら作っても、BIをいくら導入しても、それを誰が責任もって面倒見るのか、誰がそれを回して意思決定に繋げるのか、そこでちゃんと人をおいたかどうかが分かれ道です。

そしてこれがデータエンジニアリングであり、この人がデータエンジニアです。仕事は、データをビジネス意思決定に繋げること。

では、なぜ人なのか。優秀なプロダクト（AIなど）を導入するだけではなぜダメなのか。

プロダクトやそれを管理するシステムは静的なものです。仕様通りの商品、仕様通りの動作が求められますし、入力に対して確定的、もしくは確率的であっても統制された出力がされます。これは「高度なAI」でも同じで、それがシステムである限り、同じ入力に対しては同じ出力が返されます。その意味で静的です。

一方で、ビジネスやその意思決定は動的です。顧客、市場環境、競合他社などがぐちゃぐちゃに入り乱れてあっちに振れたりこっちに振れたりしています。ビジネス意思決定はそういう乱流の中で常に舵取りしています。

つまり、ビジネスは常に静的なプロダクトと、動的な意思決定との狭間にあります。

そして、その意思決定の材料となる「データ」は、動的です。静的なシステムの中を流れるデータが動的であること。ここが紛らわしいところで、データはシステムと同じところにあるので、同類のものだと思いがちなのが間違いのもと。データは動的であり、システムとは正反対の性質を持っていますから、一緒にしてはならないんですね。

そして、その動的なデータを意思決定に繋げる仕事もまた動的です。データをうまく使いこなしている会社はここが違います。データ及びそれを扱う仕事が動的であるとわかっている会社は、データを使いこなせていたり、データを使う仕事に充てる人材を適切に配置したりできています。他方、うまく使えていないところはおそらく、この切り分けがちゃんとできていない。逆に言うと、データは動的であるということ、データエンジニアリングは人だということ、その二点だけちゃんとおさえればもうデータを使いこなす入り口に立っています。考え方を変えるだけです。

ここまでで、データエンジニアリングという仕事の意味と内容を解説してきました。が、非常に抽象的なことしか書けなかったので、いまいちイメージが湧かないかもしれません。次回、もし機会があれば、じゃあそのデータエンジニアリングを具体的にどのようにして会社の意思決定に組み込んでいけばいいのか、データエンジニアは具体的にどのような仕事をすればいいのか、最近は事例もたまってきたので、そのあたりを書いてみたいと思います。