いい時代になった、とは

本記事は、trocco Advent Calendar 2021に捧げます。データを取り巻く環境の10年間を振り返ったら、「いい時代とは何か」の考察になりました。

＊　＊　＊

研究室の先生が言っていた。

私が若い頃コンピューターを使うときは、朝からセンターに並んで、前日に穴を開けたパンチカードを提出していたんです。1日がかりです。それでミスなんかした日には悔しくて悔しくて……。今はいい時代になりました。

そんな昔話に「やー、大変でしたね」なんて言いつつ、当時院生だった自分は、Rのメモリの限界までデータを読み込ませて夜な夜なパソコンを唸らせていた。そして寝起きに、計算失敗の画面を見ては焦っていた。12年前の話だ。

1日1回の渾身の処理を回す、という意味では、昔の先生と似たようなものじゃないかと思っていた。そんなにいい時代になったのだろうか、と。

それから僕はデータ関連職に就いた。

さすがに1日1発しか許されないような処理は、実務上の弊害が大きいから、扱うことはほとんどなくなった。それでも待ち時間の多い処理や、手順が煩雑な処理というのはたくさんあった。全然、いい時代ではなかった。

今の若い子たちは知らないだろう。かつてSQLではWITH句を使えず、無限にサブクエリが続く、可読性最低のクエリが溢れていたことを。さもなくば、1つのデータマートを作成するのに、中間テーブルを保存しまくっていたことを。
（この前、昔のクエリを見て泣きそうになった）

今の若い子たちは知らないだろう。かつてクラウドが主流じゃない頃には、Web系の会社も、ウン千万円をかけたオンプレミスのサーバーにログを貯めて、例えばscp経由でデータを引っ張ってきていたことを。
（この前、WinSCPの画面を見て泣きそうになった）

今の若い子たちは知らないだろう。かつて大量データの分析には、Hadoop技術も要求されがちで、処理を分散するスキルが優遇されていたことを。
（この前、古い募集要項を見て泣きそうになった）

まずい、老害だ。
昔話を垂れ流す老害になっている。
でも言わせてほしい。

今はいい時代になった。

StandardSQLは最高だ。何よりBigQueryが凄すぎる。僕が扱うデータで3分以内に前処理が終わらないことはほぼない。あるとしたら僕のやり方が悪い。ビッグデータの基準が、データハンドリングの処理時間で決まるならば、僕にとってビッグデータはなくなった。

クラウドは最高だ。僕はGoogle Cloudしか触ってないが、データコピーで待ちぼうけすることもなくなった。分析ツールも充実して、クラウド上で完結できる領域が爆増している。どこまでクラウド上で済ませられるかが僕の関心事だ。

マネジメントツールの進化も最高だ。去年からtroccoを使い始めたが、かつてデータエンジニアに懇願していた、あんな処理もこんな処理も、自分で設定、運用できる。「昔の貧弱な武器でこれをやるのはしんどかったろうなあ」と涙が出た。

そうしてたくさんの時間が生まれた。僕は社会人生活を経るごとに、アウトプット量が増えている。それは経験値やスキルが増したことよりも、武器の進化に依るところが大きい。家事や育児に時間を投下できるようになった人もいるだろう。

処理完了まで遅々と進むバーを眺める場面は劇的に減った。コインランドリーみたいな時間はもうない。それはそれで懐かしいけど、もうあの頃には戻れないし、戻りたくない。

もう1度言おう。
今はいい時代になった。

研究室の先生は「紙と鉛筆で研究する」タイプだった。実データで計算するのは、理論の確認のためだ。

そんな先生にとっては、演算マシンに手軽にアクセスできるようになったことは、自身の能力を最大限に発揮できる環境が整ったことと、ニアリーイコールだったと想像する。

だから、「いい時代になった」と言ったのだろう。

一方僕は、データがなければ始まらない。実データから価値を引き出してナンボの僕にとっては、データ分析プロセスを満たす上での道具的障壁の多寡で、時代の良し悪しが決まる。そして、その障壁はこの10年間で急速に払拭された。めちゃくちゃ進歩した。

データ人材は枯渇したまま？ そうかもしれない。
日本のデータ活用は進んでいない？ そうかもしれない。

でも、データ分析環境は確実に、急速に前進した。

あとはモデル解析一般が、BigQueryとシームレスに接続できる形でGoogle Cloud上に実装されたらパーフェクトだ。ワガママを言うとBigQuery MLで全部できるようになってほしい。

僕の視界では、そこまでいけば、データ活用に関して個人レベルでの技術力発揮を妨げる道具的障壁はなくなる。

飽くまでそれは、僕の視界の話だ。若い子たちから見れば、「まだまだ足りない」と思うことはいっぱいあるだろう。

だが僕にとっては、今でも十分にいい時代だ。
分析屋データサイエンティストが、己の才覚を発揮しやすい環境は、ほぼ整った。
ここから先の道具の進化は、全部ボーナスだ。丸儲けだ。

そうして、時代が良くなっていく場面に立ち会えたことは、ありがたいことだと思う。実際、エキサイティングだった。そしてこれから先、LegacySQLを知らない子供たちは、何が満たされたときに「いい時代になった」と口にするのか楽しみでもある。

そのときを、老兵としてちゃんと見届けられるように、来年も精進したいと思う。レガシーな武器で戦わざるを得ない境遇にいらっしゃるデータ周りの方々は本当に大変かと思いますが、どうかご自愛ください。

それではみなさま、よいお年を。