見出し画像

データの民主化とこれからのAI組織

ばんくし

はじめに

Stable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。

（スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。

そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。

データの民主化

AIの民主化とデータの民主化

AI業界では「AIの民主化」というワードがある。
便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「AIを利用することのハードルは下がり、様々なリソースが広く使えるようになっている」ことを示すワードとして知られている。

第1部　特集　進化するデジタル経済とその先にあるSociety 5.0　総務省　情報通信白書
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r01/html/nd113220.html

上の図はちょっと古いけど、見てもわかるようにこれらは現実になっていてAIをツールとして扱うだけならハードルは大きく下がっている、というのはエンジニアリングに携わっていれば誰しも感じていることのはずだ。

AIの民主化が進むに従って起こる事象として以下のような事が言われている

機械学習を利用する方法については
①アプリケーションを利用する
②プラットフォームを利用した上でアプリケーションを開発して利用する
③フレームワークを利用した上でアプリケーションを開発して利用する
の3つがある。
①から③に行くに従って、独自の開発の余地が大きくなる反面、より高度な知識が必要となるが、③であっても、オープンソースのフレームワークを利用することで、開発のハードルは下がっている。②の場合は、①に加えて大手クラウド事業者の計算能力を利用することができる。これらにより、他者に提供するための様々なアプリケーションを開発することができるほか、自らが利用するために開発することも可能である。また、①のアプリケーションの利用においても、単に既存の学習済みモデルを利用するだけではなく、自ら用意した学習用データを使って学習させることにより、従来であれば②や③が必要であったような方法での機械学習の利用が可能となっている。

https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r01/html/nd113220.html

ここでは「学習済みモデルを利用した開発」「自ら用意した学習用データを使った学習」の2つが仕事として残っている訳だけど、これから流行していく大規模モデルによって、この2つの仕事の殆どがオープンになり代替されるのではないか、というのが私が最近考えている「データの民主化」である。

過去にMNTSQさんLayerXさんとの合同イベントでこれについて話したり、type.jpの連載でも書いたことがある。

その時はまだ画像生成の大規模モデルだけだったので「大規模データで学習されたデカいモデルがあれば、ドメインスペシフィックなモデルを学習する機会は殆ど無くなるんじゃね」とぼんやり話していた。これがLLMで実態になってきているなという感じだ。

データが民主化する例

例えば、AI応用先の代表例である「レコメンデーション」で考えてみる。

ChatGPTに私のパーソナリティに対してオススメできそうな本を並び替えてもらう
マネジメントとリーダーシップ、戦略的思考を学べとChatGPT

（ChatGPTの学習データに書籍の内容が入っているかどうかはさておき）この状態ですでに90点のパーソナライズレコメンデーションになっていると言って良さそうだ。

これまで私達AI屋さんはサービスとログ基盤を必死に開発し、コンテンツやユーザの情報を集めてそれらに適したレコメンデーションを出すようなモデルをログから学習させてはデプロイしてきた。これらが、「30代、男性、マネージャー」とは何か、「本」とは何か、「人物と本の近さ」とは何かをインターネット上のあらゆるデータから学習した大規模モデル１つによって不要になる。つまり、1企業が必死にデータを集めなくても、それ以上の公開された大量のデータを学習し分布を上手く捉えた大規模モデルがあれば十分という世界観が来るのではというのが「データの民主化」だ。

皆がネット上にアップロードしたデータの関連性から、良い感じにデータ分布を捉えてくれるモデルの到来。何ならユーザの行動ログなんかも自然文のまま使って、その人に最適なレコメンデーションを大規模モデルに聞けば良いし、情報検索だとか、何かを最適化するようなタスクでも同様の考え方が出てきたりするだろう確実に。

Prompt Engineeringの界隈を見ていると、既にZero-shot CoTだとかSelf-Consistencyだとか独自の技術体系が出来つつあるのが見て取れる。

（これらをエンジニアリングと感じるかはまだ人それぞれあるとして）今後技術としても人が入り発展していく界隈になるだろう。

大pretrain model時代の次が来たイメージだ。

データの民主化を支える技術

例えば海外にはすでにCSV等を読み込んで独自の返答を行えるようにするサービスが溢れ初めている。例えばDocsBot。誰でも簡単に扱えて自社データにフィットするようChatGPTをカスタムできる。良く考えられている。

流れもめちゃくちゃ早くて、来週にはChatGPT-4が来るらしい。

ChatGPT-4では、テキストに加えて画像や動画も扱えるらしい。もはや90%の精度で良いなら、画像認識だとか音声認識だとか、そういったタスクも大規模モデルがこなすやもしれない。

Googleが出す汎用言語モデル「PaLM」からは、理数特化の「Minerva」、医学に強い「Med-PaLM」が出てきているし、多少のドメイン特化な課題も大規模モデルからの転移学習なりで解消されるだろう。

現時点でも、ChatGPT APIではEmbedding生成が扱える。サービスに流れ込んでくるデータを全て、良い感じに捉えてくれる大規模モデルによってEmbeddingにしてしまって、GCPのVertex Matching Engine辺りに突っ込んでおけば、今世の中にある殆どのAIへの要望は良い感じに対応できるだろう。知識やデータが無くても大規模モデルだけで90点を誰でも作れる。これはもはや工学の世界に入ってくる気さえする。機械学習、線形代数、数学、統計の深い知識は殆ど必要とせず、その上データ分布についての深い考察がなくてもAI屋が実装してきた物が代替されるような気がしている。

似たような発想で実際にモノを作りはじめるエンジニアが続々と出てきている。以下なんかは、既に原型が見える。

「APIだけじゃ全ては代替できないじゃん」「でも扱うには計算機が必要じゃん」とも言っていられない。

Stable Diffusionの流れを見ていれば明らかなように、大規模モデルは続々公開されていくと思う。その是非は置いておいて、現にリークが起こってしまっている。この先はモデル公開は増えていくだろうし、ChatGPTのオープンソース代替を目指すEleutherAIなる団体もあったりして、熾烈を極める方向だろう。

速度や計算機云々って話も短いスパンで解消されるだろう。今やLLMもMacbookで動く。以下の動画は、llama.cppというツールによって、ChatGPT同等のモデルがMacbook Proで動く様子。

動画を見てもわかる通り、Streamingできて高速である。これがなんとラズパイでも動くようになってきている（ラズパイは1token10秒と遅いけど）。

学習面のコストも数年で解消していくだろう。
2019年にNLPを圧倒的に押し上げたBERT、当時大体数百ドルかかるとされていたスクラッチからの学習も今や20ドルという話が出てきている。今の業界のスピード感はそんなもんだ。

業界発展のスピードがまだまだ加速すると考えるとこの流れは続くだろう。ChatGPT同等のモデルを学習させても1万円ポッキリみたいな世界も数年で来るやもしれない。

データの民主化の先

90点なら大規模モデルでできるよってくると、プロンプトエンジニアリングってやつの価値が見えてくる。プロンプトエンジニアの高額な求人が出てくる背景もよく分かる。中長期で見れば、大体の確率的なタスクで90点が取れるスペシャリストとも取れるだろう。しかもテキスト、画像や音声、レコメンド、検索なんでも来い、のスペシャリストだ。

実際今私も転職活動をしてるけど、Diffusion ModelやLLMを扱う開発系の話が10件以上来ている。もうこのブーム自体も止まらなそうだ。

さあこの超強い何でも90点モデルがある中で「我々はデータを大量に持っているのが価値」「強いAI人材を」なんて、いくつかの優良企業以外言ってられなくなるんじゃないのって話もある。

Google BigQueryエンジニアによる「Big Data is Dead」って話もあって、殆どの企業では直近の数日データくらいしか扱う能力はそもそもなく、ビッグデータを集める価値も薄いとされてきている。そのくせデータ基盤はコストもかかるしね。

「データドリブンでなんとか」を本当にやらないといけないのはどこか、ROIは立っているのか、90点モデル以上の価値が出せるのか、データ基盤もAI人材もかなり強く追求されるようになるんじゃなかろうか。

さておき、検証性や法的な意味で保持しないといけないデータはある訳だし、AIもまだまだ余地はあると思ってる訳だけど、本当にデータ組織、AI組織が必要な場所が限られるようになってきて、その中で働く人の種別も大きく変化するだろうねってのが最近考えていることだったりする。

これからのAI組織

90点からの1点の価値がシビアに

大半の人には90点の正解が出れば良い、って感じにAI応用先の殆どがなったとして、AI組織ってやつはどうなるんだろうか。

90点を91点にする、1%変えれば数億儲かりROIプラスですみたいなビジネスモデルを持っている企業だったり、どうしても事業上99点を目指して欲しいという企業だったり、80点で良いので自社に最適化したものを作って欲しい企業はあるかもしれない。でもその8割くらいは代替できるよってきた時に、IT業界の不況も相まって、シビアに見られる事になりそうだ。自分で言うのはアレだけど、AI分野のエンジニアは金食い虫になりがちだし。

1~2人のPrompt Engineering屋と基盤実装屋が居るだけで十分みたいな世界観が来るかもなと思う。その上で、実装部分は希薄化して最悪「これバックエンドエンジニアで良くね」ってなって、世に蔓延りつつあるスプレッドシートやノーコードツールの周辺みたいに「AIやるなら最初のうちはプロンプトエンジニア1人で十分」「それならウチでも始められそう！」みたいになる気がしてる。

逆にデータサイエンティストやアナリストのビジネス力みたいなものは、これからも求め続けられるんじゃないかなとも思う。それは一般的なエンジニアには出しづらい価値を内包しているから

その辺り難しい故に価値があるよって話は前の記事を読んで欲しい。

一方で、プロンプトエンジニアリングからAutoML、モデリング、最適化、pre/post processingといった、これまで業界が積み上げてきた所との乖離はより大きくなりそうだとも思う。どう考えても必要な知識の量が違う。
スプレッドシートでやっていたものをデータ基盤に置き換える時のように、ノーコードツールからの移行の時のように、その差分には大きなお金が発生しそう。

先に述べたように、90点でオッケーな企業はめちゃくちゃ増えると思うけど、どこかにそうでない所はあるだろうし、Google OCR APIが全てのOCRの代替にならないように、91点を目指すのに研究市場やAI開発市場にいつか乗り出さないといけないのはどの企業もそう、ということになりそう（事業を拡大し続ける事が企業の命題だとするなら）。

つまり初期導入が簡単だがカスタムする時のコストが大きくなって「AI投資、データ基盤投資のタイミング」がよりシビアになっていくんじゃなかろうか。

AI屋はずっと「AIやデータに投資するなら先に事業を安定化させろ」と口酸っぱく言ってきたわけだけど、その考え方が、ChatGPTみたいなツールによってビジネスマン、経営者が体感することで如実に伝わって、経営判断として大きな意思決定の1つとして見定めるのが一般的になっていきそうというのが私の見立て。

これからのAI組織

大規模モデルがノーコードツールみたいに大きくAI業界を食って変えていくとしよう。その過程で業界文化や企業経営も変わっていく。
私のざっくり考えている見立てだと、大体以下みたいな組織が残っていくんじゃなかろうか。

  • マルチプロダクトなAI組織

    • 大規模モデルだとかAPIだとかを使いながらガンガンAI機能をリリースし続けて走り続ける事で価値を出す

    • 単一の開発継続では価値が出しづらいのでマルチに何でもガンガンリリースすることで新規のAI初期ブースト効果の量で価値を出す

    • 一方で安定した基盤開発やビジネス開発は専任を採用する

    • 海外のようにJDも分業、シャープになっていく

  • AI投資タイミングで颯爽と現れる受託開発的組織

    • 90点からの1点をもぎ取って価値を出す

    • 上記組織同様、基盤開発等は専任になる

    • 機械学習、統計など古典的な専門知識を持つが、全体の割合としてはかなり少なくコストパフォーマンスの観点からも少人数式になる

  • 他社より早く行くための研究開発組織

    • 中長期の3点、5点を狙い、かつ競合の一歩先を狙うための組織

    • 明らかに先進的となる機能を開発する

    • 体外発表や特許等を成果とするかR&Dとして開発を成果とするかは企業の業績、方向性に依存する、一方で大企業は必ず何かしらの形で抱え続ける組織

    • これまでの研究組織より中長期施策中心となる

  • ビジネス面で価値を発揮する組織

    • データサイエンティスト、アナリスト的にビジネスや顧客をターゲットにその中で技術や知識を発揮していく組織

    • 点数というよりビジネスコミュニケーションが価値になる

    • 知識の量、質、深さはまばらだがビジネス感度は総じて高い

    • デザイン等クリエイティブAIのプロダクトのような方向性含む

ざっくりこんな感じで、AI組織はシャープかつ、運営者や事業形態の思想が出るようになっていくんじゃないかなと思っている。

MLOps、データエンジニアリングなんかはバックエンドエンジニアやプラットフォームエンジニアに回帰したりするんじゃないかなと思っていたりする（元々MLOpsはソフトウェア工学の再生産という話もあったりするし）。AutoMLやツールを開発する人だとか研究組織の価値をブーストするための基盤を開発する人も完全にソフトウェアエンジニア職になったりするんじゃなかろうか。

今まで、開発っぽいものやりつつ研究っぽいものに手を出しつつ実務っぽいものをしつつビジネスっぽいものを考えつつみたいな、遊びのあった何でもAI組織、AIキャリアは終わっていき、海外のようにJDできっちり別れた形になっていく可能性を高く見積もっていて、その中で何特化するか選んでねとなる感じをイメージしている。言葉を選ばなければ、牧歌的な感じじゃなくなるんじゃないかなと思っている。

良くも悪くもね。

おわりに

とまあ考えている事を書いてみた。

直近AIでクリエイティブな人の仕事が奪われているどうのこうの議論しているが、実はAIの発展によって仕事を奪われているのはその辺に転がっている私を含む多くのAI屋なのではなかろうか。

一般的なソフトウェアエンジニアよりも確率的なものを扱ってきたのは私達だ。確率的な動作をするどんなドメインでも90点を出せるモデルが出てきた時、最も先に奪われる職は何かを考えたら自然な気もする。

第4次AIブーム的にそういう話が進むかもしれない。

はてさてこんな激動の渦中に居ることになるとはね。
転職先どうしたもんか。


サポートよろしくお願いします