もっとビターなレッスン

これはもう記者失格か。

昔書いた記事を読み直して失望しました。AIの将来を展望する内容で、公開されたのは2022年10月。そう、「ChatGPT」が登場する1カ月前です。にもかかわらず、その後の爆発的なAIブームを全く予見できていなかったのです。

過去の仕事を掘り返したのは、別の記事を書くためでした。やはりAIの今後を整理する狙いの原稿だったので、前回のトーンを確認しようと思い立ったわけです。

振り返ると当時もAIは注目の的であり、ものすごい勢いで進歩を続け、いずれは人の能力を広い範囲で凌ぐと考えられていました。しかし、その時期はずっと先で、まだまだ努力が必要だという暗黙の了解がありました。「2025年にも人間超え」とか、「汎用人工知能の開発を見据えて数兆ドルの資金を調達」といった過激な言動が幅を利かせる今とは大違いです。よもや、そんな激動の時代が到来する前夜だったとは思いも寄りませんでした。

言い訳をすれば、先行きを見損ねたのは自分だけではありませんでした。2022年の記事の趣旨は、著名なAI研究者3人の議論から、将来を読み解くことでした。いえ、著名どころか、Geoffrey Hinton、Yann LeCun、Yoshua Bengioの3氏、いわゆる「AIのゴッドファーザーズ」の面々です。NVIDIA社が同年9月に企画した彼らの対話をもとに、各位の論文で肉付けした上で、3回分の原稿に仕立てました。三者それぞれの発言に、激動の今をうかがわせる響きは微塵も聞き取れなかったのです。

人間超えが目の前に

仕方ない話だったのかもしれません。今回のAIブームがこれほど拡大したのは、世間の反応に多くを負っていそうです。ChatGPTにあっという間に1億人が群がり、次いで登場したGPT-4の応対に触れることで、AIの振る舞いがほぼ人と見分けがつかず、さらには人をも超える未来がもうすぐ来ると、多くの人が感じたのでしょう。その熱狂が、事前の穏当な予想を裏切るほどの社会の激動を呼び込んだのではないでしょうか。多少のハイプはあったにしても。

ChatGPT前後で、研究者の態度もずいぶん変わりました。その最たるものが、ゴッドファーザーズ最古参のHinton教授の「転向」です。

2022年の鼎談では、「AIの学習能力は人や動物のそれに遠く及ばない」と全員が認めていました。いち早くこの見解を翻したのがHinton教授でした。noteでも何度か書きましたが、2023年4月にGoogleを辞めて以来、教授はことあるごとに「今のAIの学習能力は、恐らく人よりも優れている」と表明しています。「［言語モデルやチャットボットの］この5年の成長を考えると、今後5年で人よりスマートになってもおかしくない」（筆者が意訳）とも。

この発言は衝撃以外の何物でもありません。何せ、今も昔も深層学習を支える大黒柱、誤差逆伝播法（バックプロパゲーション）の論文著者の1人で、それまで正反対の主張を再三訴えて来た人物がそう言うのですから。しかもChatGPTが世に出た後の2022年12月には、同手法の限界を指摘し、人の脳を意識した「Forward-Forward」と呼ぶ新しい学習アルゴリズムを提案していたのにも関わらず。

日本経済新聞のインタビュー動画によれば、Hinton教授が意見を変えたのは2023年初めのこと。ChatGPTが実現した性能の高さや、Googleのチャットボットがジョークを説明できたことなどが理由だったといいます。ただし、ジョークの説明にショックを受けた話は、NVIDIAのイベントでも挙げていました。教授の頭の中では、新しい考えが時間をかけて徐々に成長し、あるとき突然開花したのかもしれません。

どんなに知恵を絞っても

実は、現在のAIの開発手法は、ある意味で既に人の知恵を超えています。

先の鼎談では、Hinton教授と残る二人で意見が割れた場面がありました。AIの能力を今後も高めていく上で、スケーリングがどこまで有効かという話題です。スケーリングとは、AIの構成や学習データを大規模にするほど性能が高まるという経験則で、ここ数年でAIの性能を劇的に高めた原動力です。

この問いに対して、Hinton教授が「当分先まで行ける」と見たのに対し、二人は別の工夫が必要と主張しました。現状のAIが苦手な論理的な推論や現実世界への対処といったハードルを超えるには、新たな枠組みが必要になると訴えたのです。新しいアーキテクチャの候補として、LeCun教授は「JEPA（Joint Embedding Predictive Architectutre）」、Bengio教授は「GFlowNet（Generative Flow Networks）」と呼ぶ方式をそれぞれ提案済みでした。

Hinton教授の反論は明快でした。「我々が持つ知識をニューラルネットに作り込んで正しく動作させようと何度も試みてきたが、［畳み込みニューラルネットワークが利用する］畳み込み処理の他は、ほとんどうまくいかなかった。いい結果を出したのは、より多くのデータを使うことだった」。極端に言い換えると、大量のデータによる学習が大いに効果を発揮したのに対して、これまでに人が考えたアーキテクチャのほとんどは失敗だったとも取れる発言です。

Hinton教授の言葉は、強化学習の先駆者であるRichard Sutton教授が5年前に記した「The Bitter Lesson」というエッセイを想起させます。公開されるや否や研究者の間に論争を巻き起こした文章で、書き出しからしてこうです。「70年にわたるAI研究から読み取れる最大のレッスンは、計算力を活用する一般的な手法が最終的に最も効果的であり、しかも大差をつけているということだ」（Claude 3訳を一部編集）。

続く主張もClaude 3に要約してもらいました。「多くのAI研究者は、人間の知識を活用することに注力してきたが、長期的にはこの手法では限界があり、計算力を利用する手法に勝てない」「私たちはこの教訓を十分に学んでおらず、同じ過ちを繰り返している。人間の思考をモデル化しようとするアプローチは長期的には機能しない」「この教訓から学ぶべきことは、計算量の増加とともにスケールし続ける汎用的な手法の大きな可能性であり、探索と学習がそのような手法だということ」などなど。

ずいぶん厳しい指摘です。しかし足元の状況からは、まさにHinton教授やSutton教授がいう通りに事が進んでいるように見えます。もちろん、世界中の研究者がAIの能力を改善しようと、膨大な量の論文を日々投稿しています。LeCun教授やBengio教授の取り組みも現在進行形です（これとか、これとか）。それでも、スケーリングを凌ぐインパクトをもたらす研究成果が現れたとは、寡聞にして聞きません。

スケーリングの勢いはまだまだ健在のようです。最近OpenAIのSam Altman氏は、スケーリングを念頭に「高い科学的確実性をもって、GPT-5はGPT-4よりもはるかに賢くなると言えます。GPT-6はGPT-5よりもはるかに賢くなるでしょう。そして、私たちはまだこの曲線の頂点には近づいていないのです」（Claude 3訳を編集）と語りました。この言葉を信じてよければ、AI開発において人の知恵は、この先もなお脇役にとどまるのかもしれません。

Chomsky 対 ChatGPT

かくして出来上がったAI自体も、ある意味で人智を超えています。

深層学習技術で作り上げたAIは、しばしばブラックボックスに例えられます。内部の構成が極めて複雑で、具体的にどのように動作しているのか、人が理解するのが困難だからです。

例えばChatGPTの基盤にあるLLMは、それまでに与えられた文章から次の言葉を予測するという原理で動いています。しかし、たったそれだけのことから、なぜこれほど自然な文章を生成できるのかを説明できる理論はまだありません。ブラックボックスの内部で、入力された文章をどのように解釈し、必要な知識をどのように集約して、適切な回答を作り上げているのかを、明確に説明できないのです。

そこで思い出したのが、ChatGPTの登場を受けて言語学の泰斗、Norm Chomsky教授らがNew York Timesに寄せたエッセイです。要はChatGPTをディスる内容で、色々突っ込みたい箇所があるのですが、中でもとりわけ見過ごせないのが次の一言。「言語の科学と知識の哲学から、私たちは、それら［ChatGPTなどの言語モデル］が人間の推論と言語の使い方とは根本的に異なることを知っています」（Claude 3訳を一部編集）。

なぜそう断言できるのでしょうか。私が知る限り、「人間の推論と言語の使い方」の原理を解明した、いかなる科学も哲学も存在しないはず。そもそもChatGPTの内部は、今書いたようにブラックボックスです。どうして両者は違うとわかるのでしょう。

もちろん、言語学の素人である私でさえ、今のAIの動作原理が人のそれと完全に一致するとは思いません。それでも長年言葉を仕事の道具としてきた一人として、ChatGPTなどの振る舞いは、自然言語の正体の解明にも大いに役立つと予感できます。対するChomsky教授らの文章には、言語に関する自説を絶対視する姿勢が漂います。しかし彼らの理論には、人のように会話できる人工物をこしらえた実績がないのです。

かのFeynman教授が書き残したように、「私に作れないものを、私は理解できない」、裏を返せば「何かを理解するには、それを作ることができなければならない」のであれば、どちらに分があるかは明らかでしょう。

科学は世界を理解できるか

ここで言いたいのは、どちらの説が正解に近いかではありません。それよりも、この対比には、もっと深刻な事態がチラリと顔を覗かせています。

今のLLMの構造は、人間の脳よりもずっと単純です。Hinton教授曰く、「大規模言語モデルでは、［人の神経細胞の接続に相当する］重みが1兆しかないのに対して、人間には100兆もある」（筆者が意訳）。しかも、LLMなら内部の動作を、望みの粒度や時間軸で追跡することが可能です。何せ、人が作ったものですから。

それにも関わらず、流暢な文章を生む仕組みがよくわからないのです。だとしたら、桁違いに複雑な人の脳が操る言語の原理を、人がすっきり理解することなんて本当にできるのでしょうか。

もちろん、LLMにおける「次の単語の予測」のような、いくつかのルールの抽出はできるかもしれません。ただし、物事はなるべく少ない要素で説明すべきという原則、いわゆる「オッカムの剃刀」が常に成り立つ保証はありません。仮に原則が見つかったとしても、原則と実際の行為を繋ぐ経路の謎は残ります。LLMと同じく。

最近読んだ池谷裕二教授の『夢を叶えるために脳はある』も、よく似た話題に触れています。教授の主張を引用すると、「僕ら科学者は『科学的に検証して理解する』ことをやる職業だけれど、でも、ヒトの脳を使っている限り、その理解には限界があるかもしれない。だって、自然の摂理は、なにもヒトに理解されるように成立しているわけではないから」（Kindle版、p.268）。

同書は、人の理解が及ばない現象として、四色定理の証明にコンピュータによるしらみつぶしの計算を使ったことや、ルービックキューブは必ず20手以内で解けるが、それをするためには膨大な手順を記憶するしかないといった、単純な原理原則に還元できない事例を挙げています。人の脳に見合ったサイズに分解できない事象は、本質的に複雑なものとして、そっくりそのまま受け入れざるを得ないのです。

この壁を破るために池谷教授が提案する策は、「科学の定義を変えること」です。「『ヒトにわからなくてもよい』と諦めること。たとえば、宇宙人や人工知能が、ヒトには理解できない原理や法則を理解していて、その知識を使って、さまざまな問題を解決し、正解を導くことができた場合、それを『科学だとみなしてよい』とする考えだ」（Kindle版、p.597）。こちらの記事（*3）で取り上げた、丸山宏氏が言う「高次元科学」や、Demis Hassabis氏の「AIは生物学にとって完璧な記述言語になり得る」という発言と、瓜二つの発想です。

それ以上先に進めない地点

筆者は、かつて某所で講演を頼まれた時に、「AIが人の能力を超えるのを恐れる代わりに、『AIの目的は人の限界を超えること』と考えるべきでは」と思いついたことがありました。一例として、「交通事故の死者数は、人間がどんなに頑張ってもゼロにはならないだろう。なぜなら、どれほど訓練しても人の不注意はゼロにはできないから。死者数を桁違いに減らすには、人より注意力に優れたAIが必要になるはずだ」と話した覚えがあります。

どうやら、AIの開発や科学の発展にも同じ構図が当てはまりそうです。今、我々が立ち会っているのは、AIの台頭ではなく人間の終点なのかもしれません。