データ分析で生み出す「富」問題

これはポエムである

それ以上でもそれ以下でもない。
別段有益な主張はないし、別段学べる命題もない。
この記事を読む事があなたの人生を豊かにできればそれ以上のことはないが、基本的にはあなたの寿命を無駄にするものである。責任はとらない。

ハッカーと画家

エンジニア界隈で有名なエッセイにポール・グレアムの『ハッカーと画家』があろう。

ハッカーと画家 コンピュータ時代の創造者たち

ソフトウェア開発の黎明期、コンピュータによって「富」を生み出すエンジニア「ハッカー」とは何か、また、「富」を生み出すとは本来どういうことなのか、ということについて書かれている。
読み物としてとても興味深い。そして特に「富の創りかた」という章(6章)に学びを得た(エッセイから学びを得るって何？)
もちろん、これは著者の経験の共有であり、一般化の範囲には限界があることに自覚的である必要があるが。

富とは何か

『ハッカーと画家』では「お金は富ではない」という。お金とはほしいモノを得るための「省略記法」であるという。そしてその「ほしいモノ」こそ富であり、プログラマはその富を創り出すことのできる集団であるという。
人々が「ほしいモノ」とはなんだろうか。それはブラウザでありペニシリンであり、人々の生活を豊かにするものだ。
それは必ずしもお金と交換しうるものでなくてもいい(このあたりがOSSの精神にも繋がっているように思われる)。
ここ以降「会社で富を生み出すこととは」という話について、生産性を測る事のできる環境について論じているが、今回のポエムではこの「富」を、データ分析によって生み出すことについて書きたいので、気になる人は買って読むといい。

データ分析によって「ほしいモノ」とは何か

さて『ハッカーと画家』はプログラマ、今のソフトウェアエンジニアに向けた書籍であるが、あえてデータ分析の分野でやっていく自分に当てはめて考えてみたい。ハッカーたちはプログラムを書くことでブラウザやサービスやプラットフォームを構築し、それによって富を「生み出して」いる。では、データ分析官はどうだろう。我々はどんな富を誰に向けて生み出せているのだろう。

意思決定のための「根拠」？

前にこんな記事を書いた。

まだ「占い師」の市場価値への否定的な態度は捨てていない。
だが、自分が占い以外に興味を持てないことも分かってきたし、
半分諦めを伴いながら、せめてその占いに価値を見出すとしたら、という話を書きなぐる。
個人的には、世間がデータ分析官に求めている「欲しいモノ」は「製品」や「サービス」レベルまでの具体性は伴わないと思っている。
また、「製品」や「サービス」の価値を高めるための「戦略」「意思決定」を「データ分析そのもの」は提供しない。それらに資するための分析の設計こそすれ、「データ分析官」としてはそれを期待されていないのではないか。
これは私が多分そういう仕事をできていないというただの能力不足なのかもしれないが、市場の3割くらいのデータ分析官は、「戦略」「根拠」の提供はしないのではないか、と思う。

「数字」そのものの価値？

データ分析官に「戦略」や「意思決定」を期待されていないとすれば、おそらくデータ分析官が提供しうる価値は「戦略」「意思決定」に資する分析の設計にあるのだろう。
果たしてこれを、広く市場全体に存在するデータ分析官の何割ができているだろう。
最近やっている仕事は「この戦略の妥当性の検証のためにこういう分析をしてほしい」という「分析の設計」まで「戦略・意思決定の主体」が行う場面も多くなってきている。それだけデータ分析で「基本的」とされる閾値が上がったのだと解釈する。
そして何より致命的なことに「戦略・意思決定」のためにはそこまで高度な「分析」は現状求められない。せいぜい「膨大なデータから意味のある要素を機械的に選択する」ことに正則化や「複数の目的変数を同時に評価・予測する」程度の効率化が求められるくらいである。
人間の推論能力は割とすごいので、精密な数値による推論よりは「人の意思が介入することによるバイアスの排除」さえ徹底できればよい、というのが、最近の私の直感である。
(ここでいうバイアスは、データ分析上の、というよりは、人の思考に付随するもので、偏見や先入観を指す。)
「戦略・意思決定の主体」は、その目的を達しようとするがために、無自覚なバイアスを持っている、と思う。データ分析官はそれらを取り除いて評価するために、人間が陥りがちなバイアスに敏感である必要があると考えている。

データ分析官が富を生み出す存在であり続けるには？

「戦略・意思決定」に資する根拠を提供するには、その検証・評価においてどのようなバイアスが内在するか(あるいは生じうるか)に、データ分析官は常に意識を向け続けなければならない、と、私は私に言い聞かせている。
昨今のデータ分析ビジネスは、こうしたバイアスを「見てみぬふりをする」ことで、「戦略・意思決定の主体が欲しがるゴール」に「合わせる」ようにして成功してきたように見える。だが、そろそろその負債が押し寄せる気もしている。
「戦略・意思決定の主体」が知りたいことを、バイアスを回避した形検証しつつ「欲しがるゴールに合わせる」という誘惑・権力に屈しないデータ分析官だけが「生き残る」んだろうか、と思う。
私はそれをできているか？現状できていない。それをすると「思った結果を納品してくれない」ことと同義で、経済主体の組織として致命的だからだ。
まあでも、バイアスが0な状態でのデータ分析結果が、本当に「合理的」か、というところは、私自身答えが見えているわけじゃない。
結局私は、この世界に何を残して死ぬのだろう。