人間は学習する動物

人間は学習する動物というお話をします。

人間は学習する動物

人間は言葉を使う、道具を使う、火を使う、宗教を持つ、などさまざまな特徴があります。
人間の特徴のひとつは学習する動物だということです。人間ほど何もできないで生まれてくる動物はありません。非常に柔軟な適応能力を持ち、文化や環境に対応してさまざまな能力を獲得するようにできています。

生成AIは学習する機械

生成AIは学習する機械です。大量のデータを入力してTransformerでトークンと呼ばれる言語単位に分解します。Transformerはトークンとトークンの関係を計算します。
知るとは「知らないことと既に知っていることとの関係を付けること」だと聞いたことがあります。生成AIがやっていることはまさにそのことです。
さまざまな世界に存在する関係を圧縮して記憶するのがTransformerが生成する基盤モデルです。言語の場合には大規模言語モデルですし、最近は動画もTransformerで圧縮できることが示されています。動画を圧縮した先にあるのも世界を理解するための世界モデル（動画の基盤モデル）です。

新産業革命

NVIDIAのJensen HuangはCOMPUTEX 2024の講演でGPUを発電機と比較して次のように言っています([NVIDIA])：

• 二コラ・テスラ：AC発電機で電気を生成

• NVIDIA：AI工場でトークンを生成

AIは生成AIに進化しました。AIと生成AIの本質的な違いは事前に学習した圧縮した世界知識によってトークンの関係を記憶し、次の生成に利用することです。
トークン化は言語から始まり動画にも進展します。世界の動画をとって学習すれば世界モデルもできてしまいそうです。
物理や化学や生物のトークン化が進めば、それぞれの研究も生成AIでできてしまいます。
何をどう表現すれば世界の問題がどう解けるのか、人間の頭の中だけでできてきた知識の本質的構造が解き明かされています。興味深いとともに恐るべきことでもあります。
大量のデータを圧縮するとは結局、データを表すのに最も適した形式、つまりトークン化の方法を調べることのようです。トークン化の方法を発見すれば、あとはTransformerのような方法で知識を圧縮すれば、必要な問題解法は自動生成できると理解しました。

むすび

人間は学習する能力を身につけることによって世界に広がり、人間の活動が地層に反映するまでの影響を持つにいたりました。地質学者は1950年以後の人間活動が地層に反映した時代を人新世と呼ぼうと議論しています。
それほどまでの学習能力を持つ人間を生成AIが学習能力でしのいできているのは驚きです。生成AIの活動が地層に反映するAI新世と呼ばれる時代は来るのでしょうか。人新世とは違うどんな地層ができるのか興味深いです。

参考文献

• [NVIDIA] NVIDIA CEO Jensen Huang Keynote at COMPUTEX 2024 https://www.youtube.com/watch?v=pKXDVsWZmUU NVIDIA 1h47m39s 2024年