イリヤ・サツケヴァー | 神経科学はAIに非常に重要な素晴らしいアイデアをもたらした | AGIの最初の1年

ご紹介ありがとうございます。非常に良いポイントがたくさん挙げられました。簡潔に話します。3つの質問が提起されました。理論の役割は何か、神経科学はAIにどのように役立つか、AIは神経科学にどのように役立つか。まず最初の点から簡単に始めます。

理論。理論は人によって異なる意味を持つ可能性があります。ニューラルネットワークの複雑さが非常に高いため、物理学のように非常に正確な予測ができるような非常に精密な理論を持つことは難しいでしょう。同時に、理論が明らかに有用であることは確かです。今日でも、非常に正確な理論を求める欲求を諦めれば、突然、パラメータのスケーリング、活性化のスケーリング、その正規化、最適化の理論などに関する多くのアイデアがすべてまとまり、今日のAIに明らかに非常に有用であることがわかります。このような理論がこれからも有用であり続けることは間違いありません。それが最初のポイントです。

2つ目は、神経科学がAIに何をもたらすかということです。確かに、非常に重要な巨大なアイデアが神経科学からAIにもたらされたことはすでに言及されました。例えば、ニューロンの概念や分散表現の概念など、多くのものがデミスやジェフによってすでに言及されています。現時点で、神経科学から借用できるような大きなアイデアがさらに1つか2つ、あるいは3つほどある可能性はあります。しかし、神経科学からアイデアを成功裏に借用するには、非常に高度なスキルと信じられないほどの洞察力が必要です。脳は非常に複雑で、神経科学は脳やニューロン、そのスパイク、イオンチャネル、さらには脳のより大規模な組織についての信じられないほど膨大な事実のセットを生み出しました。これらのアイデアのうち、どれが偶発的なものであり、気にする必要がないのか、あるいは脳の中に私たちの研究のインスピレーションとして使えるような特定のアイデアがあるのかどうかは、全く明らかではありません。数年後には、あなたがたが発見したことが脳にアナログがあることがわかるかもしれませんし、あるいはインスピレーションが脳から私たちのシステムに向かうかもしれませんが、それは慎重に行う必要があります。単に「ああ、脳を見て真似しろ」とは言えません。これが2つ目のポイントです。

AIが神経科学に役立つこと。非常に興味深いことの1つは、もしそれが真実であることが判明すれば非常に素晴らしいことですが、人工ニューラルネットワークが学習した表現と、視覚や言語処理における脳が学習した表現の両方が、おそらく予想以上の類似性を示しているという証拠がたくさんあります。これは事前に明らかだったとは思えません。したがって、おそらく、現在誰もが生産している素晴らしいニューラルネットワークを研究することで、人間の脳がどのように機能するかについてより多くのことを学ぶことができるかもしれません。それはかなり可能性が高いと思います。私はそれが実り多いと考えています。

また、デニスのポイントについても同意し、支持したいと思います。アカデミアやこのセンターで行うことができる具体的な有用なことの1つは、評価、つまりこれらのモデルが何ができるか、本当にどれくらい優れているかを理解することです。時々、これらのモデルが一方では驚くべき閃きを見せ、他方では非常に奇妙な、かなり非人間的な失敗モードを持つことがあり、非常に混乱することがあります。そこで何が起こっているのかについてより深い洞察を得ること、さらには1年後や2年後にどうなるかについて少しでも洞察を得ようとすることは、大企業の外部で行われるべき非常に重要な貢献となるでしょう。ここで止めておきます。

では、このような配置で試してみましょう。まず、ディスカッションを導入するために、スライドを数枚お見せしたいと思います。なぜなら、パネルの中には昨日これを聞いていない人もいるからです。これは、私が理論が良いと話した理由の一例でした。ボルタが電池を発見した例を挙げて、その発見が即座に革命をもたらしたという事実について話しました。誰も電気が何であるかを理解していなかったにもかかわらず、です。ボルタがp p（これは亜鉛、コルク、銅の円盤の山を意味します）というものを発明してから20年後には、電気モーター、発電機、電気化学が行われ、電信線が引かれました。大きな革命でした。しかし、マクスウェルの電磁気学の理論による理解が得られたのはずっと後のことです。もちろん、これはさらに電気革命を推進することに貢献しました。1800年、それほど昔のことではありません。約200年前です。

これが、他の多くの理由とともに、理論が重要である理由です。デイビッドが先ほど言及したように、自分自身を理解したいという理由もあります。理論を持つということは、何が起こっているのかを理解することを意味します。私たちは理論を持ちたいと思っています。物理学やマックスウェル方程式と同じレベルの精度である必要はありません。単にいくつかの基本的な原理があるかもしれません。

そして、2つ目のポイントについて、デミスやイリヤも言及しましたが、研究プログラムがどのようなものになるかについて、それは異なる形態の知能の経験的研究のようなものになるでしょう。大規模言語モデル、さまざまなもの、おそらく人間の知能との比較、これは認知のレベルとボックスの中身のレベルです。目標の1つは、体系的な違いと共通の特性、共通の行動、共通点（もしあれば）を見つけることです。これらの知的システムに共通する理想的には基本的な原理につながるものです。

そのようなものは全くないかもしれません。私個人的にはあると信じています。そして、これは古典力学の精密な意味での理解ではないかもしれませんが、同じように有用で重要なものになるかもしれません。

では、ここから始めましょう。誰か最初に意見を述べたい人はいますか？ジェフ、理論についてもっと話したいですか？あなたは否定的な立場か中立的な立場だと思いますが。

いいえ、私は理論に反対しているわけではありません。理論は素晴らしいと思います。ただ、私はそれを行いません。数学が得意ではないので、より実践的なことを好みます。AIが神経科学に貢献できることについて話していた時に言い忘れたことがあります。AIは過去数年間で神経科学に1つの大きな貢献をしたと思います。それは、脳における言語の性質についてずっと良い理解を与えてくれたことです。MITには「チョムスキー」という狂った男がいて、すべては生得的だと主張していました。今では、そうである必要がないことがわかっています。チョムスキーの言語観全体は、振り返ってみると少し狂っています。なぜなら、言語は意味を伝えることについてのものだからです。チョムスキーはその側面を無視していました。車を理解しようとするときに、私たち全員にとって車を理解することの大部分はエンジンがどのように機能して車を動かすかを理解することを意味するでしょう。しかし、誰かが「いや、車について理解すべきことは、なぜ3輪車や4輪車があるのに5輪車は決してないのかを理解することだ」と言うようなものです。それがチョムスキーの言語理論のように思えます。彼は特定の統語構造がなぜ不可能なのかを理解したかったのです。私が見る限り、彼は言語がどのように意味するかという基本的な問題を避けるためにできることは何でもしました。

これらの大規模言語モデルは、チョムスキーの心の中以外では、ほぼすべての人の心の中でそれに終止符を打ったと思います。」

はい、それに続けて、AIが神経科学に役立つことについても言及したいと思います。ジェフ、私も学部生の頃からチョムスキーは完全に間違っていると常に思っていました。自然言語処理を長い間間違った方向に導いたと思いますが、その議論は別の機会にしましょう。AIが神経科学に役立つ点について、私は言い忘れましたが、今私たちがすべきことは、これらの素晴らしいAI技術を持っているので、それを脳の状態の解読や分析など、あらゆる方面に適用することだと思います。MITの多くの人々がすでにこれを行っていることを知っています。10年か15年前に行っていたことですが、今ははるかに優れたAIツールを持っています。

私の感覚では、神経科学の分野では - 私は最近少し神経科学から離れていますが - より良い質問を始める必要があります。私はこの分野で本当に大きな飛躍や学習理論や表現に関する大きな進展を見ていないように感じます。もしかしたら私がその論文を見逃しているだけかもしれません。オックスフォードやUCLのティム・ベアンズのような人々の仕事は好きですが、20年前にfMRIが新しいツールとして登場したときに感じたような大きな発展を見ていません。今、AIシステムを新しい分析ツールと考えれば、神経科学の観点から異なるタイプの実験的神経科学を行うチャンスがあるかもしれません。これは部屋の中の神経科学者への質問です。

また、トミーがスライドで挙げたことに加えて、評価とベンチマークの点を強調したいと思います。これは分野として行う必要があります。正しいベンチマークを作成することは理論も必要とします。出現する能力の理論、これらの出現する特性がどこから来るのか、これらのシステムがどのようにしてそれらの出現する特性を生み出すのかについての理論はまだありません。もしそれについてより良い理論があれば、より良いベンチマークを構築でき、それらがいつ現れるかについてより良い手掛かりを得られると思います。

私の最初の項目はベンチマーキングについてでした。機械と人間の間、そして機械同士の間の共通点と相違点、行動の側面を見ることについてでしたが、はい、誰か聴衆の中で神経科学者の方、デミスの挑戦に答えたい方はいませんか？ジム。

そう思います。私たちの中には、しばらく前からそのクールエイドを飲んでいる人もいます。これらのものを最高の予測因子として使用し、そこから実験を導き出し、新しい現象を生み出し、それをベンチマークとして提示しています。不明確なのは、それらの現象をどのように使用して、より深い理解を得るためにクランクを再び回すかということです。私たちの中には、神経科学と認知科学の分野では典型的ではないベンチマーク競争にも長年取り組んできた人もいます。それは難しかったですが、皆さんがそれらのアイデアを支持してくれるのを聞いて嬉しいです。これらのことには資金とお金が必要で、実験がどのように行われ、なぜ行われるかについての考え方の変化も必要です。必ずしも即座の理解を生み出すためではなく、それらのポンプを燃料として供給するためです。しかし、予測と実験を超えた次のクランクの回転、そしてそれらがどこに向かうのか、その実験的な努力は、研究室が結果を生み出し、深い理解を得るという分野のインセンティブ構造に向かわないので、そのような規模で科学を行うことは、私たちが向かうべき方向だと思います。皆さんが言っていることすべてにそれを聞いています。そして、それは私たちがAI生成器を仮説構築者として扱い、それらを脳に最も似ているものに形作るための素晴らしい機会だと思います。そのようにトラックしていきましょう。そのためには、それらのベンチマーキングプラットフォームと実験的なものを一緒に実行する必要があります。私はただ皆さんが言ったことを反映しているだけです。私はすでにそのクールエイドに乗っています。より多くの人々がそうなることを願っています。そして、もし皆さんが何らかの方法で私たちを助けることができれば、それは素晴らしいことです。ありがとうございます。

デミスが先ほど言っていたことに関連して、少し方向性が異なりますが、今日の早い時間に誰かが指摘したように、AIシステム、大規模言語モデルやトランスフォーマーアーキテクチャなどの知能を示すシステムを研究することは、脳を研究するよりもはるかに簡単です。なぜなら、好きなように見回して、ほとんど努力せずに分析できるからです。トランスフォーマーアーキテクチャで何が起こっているのかを本当に理解できるレベルで把握できないのに、脳の中で何が起こっているのかを理解することはほとんど不可能だと思います。脳はトランスフォーマーよりもはるかに複雑だからです。そのため、神経科学の仕事の一部を、これらの知能を示すアーキテクチャに実質的にシフトすることの利点があると思います。

少し付け加えさせてください。私の視点では、現在、言語に過度に注目しすぎているかもしれません。人間は知能を示す多くの種のうちの1つに過ぎないことを忘れるべきではありません。科学の基本的な原則は、現象を可能な限り最も単純な形で研究することです。そうすることで、より迅速に底に到達し、より単純なバージョンから始めて原理を理解することができます。神経科学はこれを行ってきました。そのため、約100個のニューロンを持つエレガンス線虫、約10万個のショウジョウバエ、約1億個のマウス、1000億個の人間など、さまざまなレベルの複雑さを見ています。電力消費、性能、適応性のさまざまなトレードオフを考慮し、多くの異なる種、可能であればすべての種の文脈で知能の問題を見るべきです。これは神経科学が貢献できる点です。異なる形態の知能に注意を向け続けることです。

興味深いことに、人々はそのスペクトルについて非常に異なる見方をしています。一度スティーブン・ピンカーと話していたとき、「ラットがどのように機能するかを正確に理解したとしたら、ラットについて理解したいことすべてを理解したとしたら、人間の知能を理解する道のりの半分以上まで来ているだろうか、それとも半分以下だろうか」と尋ねました。ほとんどの生物学者は、ほとんどの道のりを来ていると言うでしょう。しかし、スティーブン・ピンカーは「いや、人間の知能を理解するにはほんの一部に過ぎない」と言いました。

そうですね、それは好みの問題ですが、実際のところ、私たちはそこに到達するまでわかりません。しかし、ジェフ、あなたも同意すると思いますが、これらのすべての異なる形態に注目し続け、人間と言語にのみ執着しないことは価値があると思います。

絶対にそうですね。

マーク？

私は心理物理学をもっと直接的に議論に持ち込むべきかどうか考えていました。皆さんが神経科学について話しているのは、特にニューロンの物理学や相互接続などに関するものだと思いますが、人間や他の動物の行動は心理物理学的実験に反映されています。そして、エンジニアリングされた知能システムと生物学的システムの両方に適用できるベンチマークを得る機会があると思います。これにより、ニューロンのレベルや計算の説明のレベルまで行かなくても、比較を行う機会が本当に提供されると思います。

スライドを少し見せてもらえますか？そうですね、ここの最初の項目、最初の箇条書きは心理物理学または認知科学、または行動のベンチマーキングを含む測定です。2番目はより記録に近いものです。私は1番目の方がこれらの場合には重要だと思いますが、パネルの皆さんに聞いてみたいと思います。神経科学に言及したとき、何を指していたのでしょうか？

心理物理学についてですが、私は全く同意します。実際、心理物理学はまさに私たちが必要としているものです。おそらく少し早すぎたかもしれませんが、約10年前、私たちはサイクラボというものを持っていました。これはAIシステムのための仮想テストラボのようなものでした。非常に厳密な制御下での行動テストが、ニューラル記録の等価物よりもおそらくはるかに重要だと思います。そのため、心理物理学が大きな部分を占めるべきだということに全く同意します。

1つ質問があります。AlexNetのような何かを見ると、その決定の多くはテクスチャに大きく依存しています。そして、これらの新しいAI生成モデルを見ると、分類にテクスチャをあまり使用していません。これは心理物理学と呼ぶものの一種ですか？

はい、その場合はそうですね。私たちはもっとそのようなものが必要だと思います。しかし、他のこともあります。ジェフ、記憶状況やセットアップなど、実践的な小さな実験のようなものをテストすることも含まれます。元々はラットの実験をモデルにしていましたが、今では私たちのシステムが洗練されすぎているので、更新する必要があるかもしれません。

これらの非常に強力なモデルが存在するという事実の素晴らしい点の1つは、ここで議論されているような心理物理学をインスピレーションとして使用するというアイデアについて、議論する必要はなく、単に試してみて、非常に迅速に議論するための興味深い結果を得ることができるということです。そして、私が言う「私たち」とは、大きな研究所の人々だけでなく、強力なオープンソースモデルが今存在し、大きな研究所が研究者にモデルアクセスを提供しているので、非常に迅速に見つけることができるということです。

オープンAIやDeep Mindの方々に聞いてみたいのですが、リソースをどのように配分していますか？明らかに商業的・産業的な目標がありますが、良い仕事をしなければ成功しないでしょう。技術、理論、神経科学の間でリソースをどのように見ていますか？あなたの会社内でどのように考えていますか？

一つの考え方としては、一般的に産業界では、特定のアプローチに賭けてそれを改善し続けるというヒルクライミングの傾向があります。一方、学術界では、新しい考え方を持つ新しい思想家が常に加わるため、より多くのジャンプアラウンドがあります。実際、ヒルクライミングのためのインフラストラクチャはあまりありません。これは私の心の中では、アイデア創出の自然な分割です。

その質問は、製品のニーズと研究のニーズの間に緊張関係があるということを示唆していますが、ある意味ではそれは事実であり、別の意味ではそれほど事実ではありません。そのことについて説明したいと思います。

直感的に、異なる企業間でかなりの競争があり、AIがどれだけうまく機能しているかが重要であることは明らかです。つまり、少し近視眼的になりすぎると、来年や2年後にはAIの性能が低下してしまいます。そのため、AIを継続的に改善したいという大きな欲求と単純な商業的インセンティブが生まれます。改善とは、AIをより有能にするだけでなく、短期的なAIをより安全にすること、そして人間よりも賢いAI、つまり超知能AIを安全で調和のとれた、一般的に人類に対してポジティブな態度を持つようにする長期的な取り組みも含まれます。

しかし、これをどのように行うのでしょうか？この長期的な研究にどのように取り組むのでしょうか？簡単な答えはありません。基本的に2つの答えがあります。1つは、多くの優れた研究者を雇い、彼らに自由を与えることです。これは1つのアプローチです。もう1つのアプローチは、正しいトップダウンのアイデアがあり、自信を持っている場合、検索空間を縮小して進歩することができます。これが基本的に哲学です。物事がどうあるべきかについて、単に現在どうであるかではなく、どのように考えているかということです。これらすべての要因が組み合わさって、継続的に進歩を遂げていると思います。

もう1つ質問してもいいですか？デミスが先ほど言っていたことに戻りたいのですが、テストと理解の方法についてもっと投資する必要があるということです。これは私にとても共感します。私は視覚の分野でベンチマークを通して問題を定義することに関わっていましたが、しばらくの間うまくいきました。しかし今、これらの大規模な視覚と言語のモデルについて考えると、タスクが何であるかを定義し、それを測定するためにどのようなベンチマークを使用すべきかを定義することがますます複雑になっていると感じています。そのため、多くの人が現在、何が起こっているのが以前より良いのか悪いのかを判断するための良い指針を持っていないように感じています。

企業や大学の科学者の生活を考えると、彼らは自分たちがより良い仕事をしているかどうかを判断しようとする際に、しばしば誰かの論文のどこかにある比較的単純なベンチマークに頼っています。そして、それらが何を意味するのかさえわかりません。

神経科学の側面を見ると、私たちも少しそのような状況にあります。脳がどのように機能するかを理解することに興味がありますが、多くの人々が研究室で、動物が特定のタスクを実行しなければならない非常に固定化された準備に終わっています。そのタスクが動物にとって生態学的な意味があるのかさえ不明確で、動物は何ヶ月もかけてそれを過度に学習し、そして私たちはニューロンが何をするかを研究します。それが知能の生態学的価値の観点から何をするのかは非常に不明確です。

両分野で、知能が何のために良いのか、行動とは何か、動物や自動機械は何を達成しようとしているのか、そしてこれらの生き物の生態学的適応度をどのように測定するかを再考する必要があるように感じます。

デミスが提起した非常に豊かな質問のセットがあるように感じます。デミスの考えは知っていますが、ジェフとイリヤがどう思うか、私が言っていることに同意するか、パフォーマンスを測定するのが難しいと思うかどうか聞いてみたいと思います。

パフォーマンスの測定が非常に難しいということには全く疑いの余地がありません。いくつか例を挙げましょう。AIに携わっている人々は、2010年代半ばに視覚に関する超人的なパフォーマンスが達成されたという主張を聞いたことがあるかもしれません。ある時点で、一部の研究者がImageNetデータセットで超人的なパフォーマンスを達成したと主張しました。しかし、私たちは明らかにこのタスクで超人的ではありませんでした。これはどういうことでしょうか？実は、これはそれほど大きな問題ではありませんでした。これらのニューラルネットは、非常に意欲的で情熱的な個人が取り組んでいたただのマイクプロジェクト、研究プロジェクトでした。それほど重要ではありませんでした。

今では、はるかに洗練されたニューラルネットがあり、広く使用されています。そのパフォーマンスを理解するのは難しいです。例えば、オンラインで見つけることができる大規模言語モデルのチャットボットのいずれかを取り上げて、難しい数学の問題を解くように頼んだとします。そして、それが問題を解決したとします。それは推論と理解によるものなのか、それとも訓練セットで何か似たようなもの、あるいはやや似たようなものを見たからなのでしょうか？訓練セットはかなり大きいです。これは混乱を引き起こします。本当に興奮させるような行動の例をポストする人がいて、それがバイラルになることがあります。そして他の人々が同様のことを試そうとしても失敗します。これは私たちのニューラルネットが機能しないということではありません。明らかに機能しています。しかし、測定が本当に単純明快ではないということを示しています。これは、非常に意味のある概念的および経験的な貢献の余地がある分野だと思います。

1つ小さなコメントがあります。以前、GPT-4がウェブを見ることができるようになる前に実験を行っていました。その時、2023年1月（あるいは22年だったかもしれません）以前のことしか知らないということをかなり確信していました。そのため、ログアウトしてログインし直し、質問を少し変えて尋ねると、異なる応答を得ることができました。しかし、これからはそのようなことはできなくなるでしょう。誰かが実験について話すたびに、GPT-4はウェブ上でその実験についての議論を見ることができるようになると思います。体系的な実験を行うことは非常に難しくなるでしょう。

ペトロ、覚えておいてください。簡単だったら、すでに誰かがやっているはずです。明らかに簡単ではありません。なぜなら、この通話に参加している全ての人々、そして私も含めて、15年から20年もの間これについて考えてきました。何千人もの研究者がいて、それでも非常に難しいのです。しかし、私のポイントは、これが重要な課題だということです。これが私のトミーへのピッチです。もし私がMITのCBMMにいたら、今すぐにでもこれに取り組むでしょう。最大のモデルを構築するというコンピューティングレースに参加する必要はありません。主要な研究所のほとんどが、分析や安全性の研究のためにモデルへのアクセスを提供すると思います。そのレースに参加する必要はないと仮定してください。

私たちが本当に必要としているもの、そして主要な研究所から皆さんが聞いているものは、これには理論が含まれ、神経科学が含まれ、心理物理学が含まれ、実践的な実験が含まれています。emerging propertiesの問題、ベンチマーク、これらの新しいタイプの知能をテストすることをどのように扱うかということです。イリヤが言ったように、私たちは皆これを見てきました。AlphaGoでは、世界チャンピオンよりも優れたシステムがありましたが、分布外に出すと奇妙なことをさせることができました。今でもそうです。私たちはそれを修正できますが、囲碁に関してはそうする必要はありません。これらは一種の不均一な知能で、人間の知能が持つことができないような大きなデルタソートの穴を知識の中に持つことができるように見えます。これは人間が学習する方法とは異なるからです。

そのため、今日私たちが持っていない全く新しい学習の理論やメタ理論が必要かもしれません。これは今後5年から10年の間に非常に豊かな空間になると思います。おそらくMITとCBMMができることの強みを活かせるでしょう。そして、これは非常に必要とされており、緊急に必要とされていると思います。主要な研究所が得意とすることを補完するものだと思います。

GoogleのDeep Mindでは、一部の神経科学者を雇用しています。これはAI研究所としてはかなり珍しいことですが、十分ではありません。彼らはそのような場所でそのような仕事をすることに魅力を感じていません。これは大きな機会だと思います。これらのシステムを展開し、そのシステムの安全性に取り組み、今後10年間でAGIや人間レベルの知能に近づくにつれて、それに取り組むことを考えると、この課題は絶対に必要だと私は考えています。

私の見解では、これ以上明確なミッションや呼びかけはないと思います。さらに、これは今日議論したように、多くの異なる方法で人間の心を理解するのにも役立つでしょう。

ここで止めておきます。問題について簡単に言及すると、言われたすべてのことに同意します。ベンチマーキングは非常に難しいです。一部には、よく定義された問題があるからです。特定の問題には正解があり、ベンチマークを設定できます。しかし、多くの問題、ほとんどの問題には正解がありません。それは文脈に依存したり、あなたの哲学的枠組みに依存したりします。そのため、曖昧な出力を扱う際に、ベンチマーキングで何を意味するのかについて、本当に考える必要があります。私には本当にわかりません。

さらに付け加えると、ベンチマーキングは非常に重要です。なぜなら、ベンチマーキング機能を決定すれば、人々は本質的に自分のモデルをチューニングして、そのパフォーマンスを最大化しようとするからです。したがって、ベンチマーキング機能を間違えると、間違ったことに長けたものを構築してしまう可能性があります。

非常に良いですね。他にも多くの質問をしたいところですが、その前に聴衆の方々に質問する機会を設けましょう。誰か最初に質問したい人はいますか？ランダムに選びましょう。ヘル・ジャン・ジャ？

はい、これは以前にも暗示されていましたが、もう少し直接的に尋ねてみましょう。私たちは皆、進化の考え方で育てられてきました。特に、脳が感覚運動制御の洗練から進化してきたという事実です。例えば、ホヤという小さな動物がいます。これは泳いで岩に定着し、その時点で自身の脳を飲み込みます。もう動く必要がないからです。

ここで、私たちは奇妙な状況にいます。LLM（大規模言語モデル）では、ある意味で動きの前に言語があります。会話エージェントがありますが、配管工のようなロボットはまだ遠い将来の話です。確かに、LLMはデミスが言うように、インターネットの古い知識を吸収しています。しかし、例えば、私は何かを操作しているときに自分が何をしているのか、何を感じているのかの詳細を説明することはできません。これは簡単に説明できるものではありません。

動きの前に言語を持つことで、何か重要なものを見逃していないでしょうか？

それは完全に正しいとは言えないと思います。ルービックキューブについてコメントできるかもしれませんが、データが化石燃料のようなものだという類推は素晴らしいと思います。その化石燃料は、今日私たちが持っているデータを作り出す上で重要な役割を果たしました。少なくとも今のところ、少なくともこの時点まで、ロボットは高価で、ロボットのデータはありませんでした。高価で、誰もロボットで大規模なニューラルネットを訓練することができませんでした。そのため、今日機能しているレシピはロボットには適用されませんでした。

しかし、これは急速に変化しています。様々な研究所が生み出しているロボット工学の進歩を見ると、かなり良さそうです。GoogleのDeep Mindや最近のトヨタ技術研究所（TTI）から本当にクールな仕事が出ています。パンケーキを焼くなど、ロボットを制御する本当にクールなニューラルネットを訓練しています。今では可能だと信じられるようになりました。以前は信じられませんでした。

確かに、私たちが持っているAIは、ロボットほど完全ではない、少なくとも将来的に完全ではないと主張することができるかもしれません。しかし、ロボット工学の進歩を見ると、数年後には状況が大きく変わると思います。

はい、イリヤに同意します。私たちはちょうどRTX、つまり汎用ロボットシステムをリリースしたところです。まだ一般的にロボット工学ができるものからは遠いですが、言語はすでに非常に難しかったのに、それが可能になりました。他の方法でもそれを回避する方法があります。非常に現実的なシミュレーション、物理シミュレーション、そして大規模なロボットファーム、アームファームからより多くのデータを収集することもできます。これらの方法で回避し、一般的なモデルからロボット工学のドメインへ一般化することができると思います。私の意見では、今後数年でそれほど難しくならないと思います。具現化された知能が異なるということを過大評価しないでほうが良いでしょう。

産業界と学術界の交差点に座っている私たちにとって、イノベーションを推進し、実世界で実践するために理論をどのように適用するかを考えるとき、ここでいくつかの質問があります。1つの質問は、私たちは皆、問題や質問を適切に枠組みすることの重要性を知っています。そして、一部の人々が穴や仮定について話しました。ブラインドスポットで何が起こったのでしょうか。

20年前に遡って、このAI分野を見たとき、その当時は認識されていなかった潜在的なブラインドフィールド、潜在的なブラインドスポットは何だったでしょうか？それが今日にどのように反映されているでしょうか？例えば、デビッドの場合、Two Sigmaを始めたとき、機械学習技術を非常に不完全な現実世界のデータ、システムのダイナミクス、異なる当事者間の相反する動機などで使用する際のあなたの旅の中で、どのようなことがありましたか？これらのブラインドスポットは、おそらく私たちが今後20年間でAIと人間をどのように見るかを教え、推論し、情報を提供するのに役立つかもしれません。

一つの簡単な答えは、本質的に間違ったデータや不正確なデータから学習している場合、明らかに望ましくない出力を得ることになるということです。理論がなく、完全にデータ駆動型である場合は、データについて非常に注意深くある必要があります。これは、物事が非常に経験的になるときに心に留めておくべき一般的な教訓だと思います。

産業界のパネリストの方々に、本当に大規模な心理物理学的に制御された実験とアライメント研究を、MITのような場所で実際に行うためにどのように境界を押し広げることができるか尋ねたいと思います。少なくとも過去5年間で、このコミュニティで観察された神経科学研究への最大の貢献は、FacebookのPyTorchモデルだったと言っても過言ではないでしょう。これらは私たちの研究で使用するモデルであり、これらのモデルのオープンソースで利用可能なバージョン間で実験を行おうとしています。しかし、例えば実験の心理物理学的パラメータについて大規模な実験的グリッド検索を行うことや、GPTよりもはるかに小さなモデルを訓練できるが、多くの異なるバージョンを訓練して多くの異なる仮説をテストするために大規模に行う必要がある、より小規模なモデル-モデル心理物理学的検索を行うことが非常に有益だと思います。

これは、HubelとWieselがペンと紙で画面上でグリッド検索を行っていたようなものです。産業界がモデルを訓練しているスケールでそれができれば、私たちは実際にはるかに高いクリップでアライメント研究を追求できるかもしれません。そのためのドアは何か、どのように考えているのか、どのようなリソースを提供する意思があるのか、そして学術界からの堅牢な管理とチェックを伴いながら、産業界のリソースで大規模な実験を行う方法についての会話をどのように始められるか、お聞かせください。

私から簡単な答えを述べさせていただきます。主要な研究所は、モデルへのアクセスを提供する意思があると思います。私たちは政府とも話し合っています。そのため、それを出発点として考えるべきです。これらのモデルの一部はオープンソース化できない問題があります。これは今日のスコープ外ですが、オープンサイエンスと公開の大きな支持者であり、過去に多くのものを公開してきました。それが今日見られる多くの進歩の基礎となっています。

しかし、これらのシステムがますます強力になるにつれて、明らかな質問に答える必要があります。私の意見では、悪意のある行為者が強力な技術を手に入れて悪用する可能性があります。悪意のある行為者は個人や国家である可能性があります。これらの質問に答える必要がありますが、同時にオープンサイエンスの流れを維持する必要もあります。簡単ではありません。これも非常に難しい問題です。簡単だったら、すでに解決されているはずです。

私も簡単にコメントさせていただきます。OpenAIや他の多くのAI研究所が、学術研究のためにモデルへのアクセスを提供しているのは事実です。これが答えです。大規模なモデルは高価ですが、それでもまだ多くのことができます。人間やラットなどと比較すると、モデルに対して心理物理学にインスピレーションを得た実験を行うのは確実にはるかに簡単です。

私の名前はマノリス・ケリスです。MITのAIとコンピュータサイエンスの教授で、ゲノミクス、計算生物学、そして分子神経科学の研究も多く行っています。つまり、人間の疾患の分子的基盤についてです。この会議の多くの人々は、人間のニューロンの多様性や、統合失調症や神経変性、アルツハイマー病などの脆弱性が実際に非常に特定のニューロンメカニズム、非常に特定のニューロンのサブクラスを指し示していることについて多く考えてきました。

脳に異なるタイプのニューロンがあることがどれほど重要なのか、数十種類の異なる興奮性抑制性ニューロンの役割、グリア細胞の役割などを理解しようとすることがどれほど重要なのかについて大きな議論があります。現時点でのAIは、あなたの見解では、これと完全に切り離されているのでしょうか？これは単に、私たちが今日の状態に到達するために経なければならなかった進化の奇妙な副産物だと思いますか？もし私たちが単に巨大な皮質だけで最初からやり直したとしても、同じように知的になっていたのでしょうか？

関連して、私たちは具現化された知能や感情の役割、複数の感覚入力の収束、エングラムを通じて記憶する能力などについて多く話していますが、あなたの見解では、人間の知能は人間を理解するためだけに有用なのでしょうか？それとも、この「麺の袋」がどのようにして認知を達成したかを理解することから、真のパラダイムシフトをもたらす能力が生まれる可能性があるのでしょうか？もちろん、「麺の袋」は取り残されるかもしれませんが、それはエネルギーの観点からどのようなコストがかかるのでしょうか？

私は、トミーが先ほど提起した前提の一部でもあったこの行ったり来たりの質問について、あなたの意見を聞きたいと思います。

私の推測では、脳は長い進化の過程で高度に最適化されてきました。そのため、これらすべての異なるタイプのニューロンがあるのは、それらすべてのタイプのニューロンを持つことが役立つからです。しかし、はるかに少ないタイプでもかなりうまくいくでしょう。明らかに、いくつかのタイプは必要です。

例えば、AIモデルにおける層正規化は、脳の抑制からインスピレーションを得ています。そのため、これらのAIモデルにもわずかなニューロンの多様性があります。しかし、私の推測では、これはクリックの見解のようなものです。進化は工夫する者であり、長い間工夫を重ねてきました。そして、異なるタイプのニューロンに具現化されたこれらの小さなトリックをすべて思いついたのです。しかし、おそらく知的なシステムを得るためにそれらすべてを必要とはしないでしょう。

これについて1つ簡単なコメントがあります。訓練されたニューラルネットワーク、おそらく大規模なオープンソースモデルを取り上げると、すでに多くの興味深いニューラルタイプを発見できる可能性が非常に高いです。

パネルは素晴らしいので、AIが可能にする科学革命について皆さんの意見を聞きたいと思います。AIにできないことはありますか？AIは科学と共存できますか？

デリスはすでにそれができることを示しました。

そうですね。私の人生の目標であり、情熱でもあります。これが私がAIに人生を捧げてきた理由です。今は、私たちが世界と宇宙を理解するのを助けるためにAIを応用できる興奮する瞬間です。私はAlpha Foldがその呼び水になると考えています。10年後に振り返ったとき、それは新しいAI支援生物学時代やAI支援科学時代の始まりに過ぎなかったと思うでしょう。

現在、私はこれについて次のように考えています。私たちが構築してきたすべてのシステムを見ると、非常に単純に要約できます。巨大な組み合わせ探索空間があり、多くの場合、そのような形で表現できる状況があります。例えば、材料設計、化学、生物学の多くの分野などです。そして、そこには解決策があります。例えば、タンパク質が折りたたむことができるすべての可能な方法の中から正しいタンパク質フォールドを見つけるような解決策です。

その取り扱い不可能な空間を取り扱い可能な方法で検索して、干し草の山の中の針を見つけるような答えを見つける必要があります。基本的に、それがAlpha Foldです。ただし、明らかに囲碁の場合です。なぜなら、単に検索だけでは不可能だからです。囲碁とその動態、囲碁のモチーフについての合理的なモデル、それほど良くなくてもいいモデルが必要です。Alpha Foldも同じです。

現在、科学には多くの問題があり、そのように表現すれば、既存のシステムで解決できると思います。これから登場する次のシステムは、新しい仮説を自ら生成したりする可能性がありますが、まだその段階には達していません。私たちは仮説を入力し、質問を枠組みし、データを与え、モデルを構築する必要があります。

そのため、現在は人間の専門家が使用するツールです。これが私たちがやっていることです。そして、それは非常に一般的です。私たちはそれを生物学だけでなく、化学、核融合プラズマ閉じ込め、そして数学や定理証明にも適用しています。実際、このような方法で考え始めると、科学にはそのようなセットアップ問題に適合する多くの問題があります。

私はいつも、AIが脳を理解する問題を解決するのに役立つほど急速に進歩すると信じてきました。私たちは本当にこれを完全に適用すべきです。

パネリストの皆さんに簡単な投票をさせてください。あなたが言ったことや何度も議論されたことの根底にある1つの質問は、最新の大規模言語モデルがどれほどオリジナルまたは創造的かということです。もちろん、例えばAlpha Goが韓国でそのマッチに勝った際に、かなり創造的な動きをしたことは知っています。それは可能です。

しかし、具体的に言えば、既存のモデルや、例えば次のGPT-4、つまりGPT-5などが、新しい非自明な数学的予想を述べることができると思いますか？証明するのではなく、述べることができると思いますか？これが今後5年以内に可能だと思う人は誰ですか？

現在のモデルがそれをできないと確信していますか？それができるかどうか知っていますか？例を挙げましょう。GPT-4がすでにできる創造的なことで、ほとんどの人ができないことがあります。

私たちはまだ、論理的推論が知能の本質だという考えに囚われています。しかし、私たちは実際には、類推を見る能力、特に遠い類推を見る能力が知能の非常に重要な側面であることを知っています。

GPT-4に「コンポストヒープと原子爆弾の共通点は何か」と尋ねてみました。GPT-4はそれを的確に答えました。ほとんどの人は単に「何もない」と言うでしょう。

GPT-4は何と言いましたか？

まず、エネルギースケールが非常に異なるので、一見すると非常に異なるように見えると言いました。しかし、その後、連鎖反応について説明し始め、エネルギーを生成する速度がどのように増加するか、そのエネルギーがどのようにエネルギーを生成する速度を増加させるかについて説明しました。つまり、連鎖反応のアイデアを理解したのです。

重要なのは、GPT-4は人間の約1万倍の知識を持っているということです。そのため、私たちには見えないような類推を多数見ることができるでしょう。

私の感覚では、Alpha Goのようなものから始まり、今日のGPTのようなシステムまで、明らかにある意味で創造的です。詩を作らせると、今ではかなり素晴らしい詩を生み出します。素晴らしい音楽を作るシステムもあります。私たちが非常に創造的だと考えるようなものをたくさん作ります。テキストから画像を生成するものなどもそうです。

しかし、トミー、あなたが尋ねていることは、私の意見では、まだ不可能だと思います。断言することはできませんが、私は3つのレベルの創造性があると以前に話したことがあります。おそらくあなたとも、CBMMでも話したかもしれません。

最初の2つのレベルは明らかに持っています。1つ目は補間です。見たものを平均化して、新しい典型的なものを作り出すこと。例えば、見たすべての猫の画像から新しい猫を作り出すようなものです。これが創造性の最低レベルです。

2つ目は外挿で、私たちが今いるレベルだと思います。Alpha Goの37手のような新しい囲碁の戦略、新しい音楽の断片、新しい詩、人間には気づかないような物事の間の類推を見つけることなどです。これらのシステムは確かにそれができます。

しかし、3つ目のレベルがあります。私はこれを発明や枠外の思考と呼んでいます。これはAlpha Goが囲碁を発明するようなものです。良い囲碁の手を思いつくのではなく、囲碁そのものや、チェスを発明するようなものです。彼らにはそれができません。人間のゲーム愛好家が古典的に良いと見なすような、何か審美的な方法で良いと見なすようなものを作ることができません。

そして、それが欠けているものです。あるいは、ピカソがキュビズムを生み出したり、偉大な数学者が新しい予想を思いつくようなものです。しかし、それが魔法だとは思いません。私たちはそれができるシステムを持つことになると思います。しかし、今日のシステムにはまだそれができないと思います。まだ何かが欠けています。しかし、将来的にはできるようになると思います。

デミスに同意します。イリャ、あなたはどう思いますか？同意しますか？

私は、今日存在するニューラルネットワークが明らかに、そして疑う余地なく創造的だと思います。ただし、歴史上最も創造的な人間ほどではありません。すべての分野においてではありません。

数学に関しては、予想についてはちょっと難しいですね。デミスが言ったように、群論のようなものを発明できるかどうか、それは予想とは少し違います。

群論はかなりハードルが高いですね。ここでは文字通り他に何も残らないでしょう。

この多くは、ベンチマーキングの問題に戻ると思います。創造性についても、どのようにベンチマークするのでしょうか。コンピュータは発明された瞬間から、特定のタスクで人間を永遠に凌駕してきました。ここで起こっていることを本当に理解するためには、デミスや他の人が指摘したように、ベンチマーキングの問題に本当に焦点を当てるべきです。言われたことに反対しているわけではありませんが。

歴史的なコメントをさせてください。私は長い間、人々がニューラルネットは決してXができないと言うのを聞いてきました。ゲイリー・マーカスの著作集はその良い歴史です。私はもうそのような発言を信じません。なぜなら、人々が言ったほとんどすべてのことを、今ではニューラルネットができるようになったからです。

数学的定理を証明することは、かつてはニューラルネットワークには決してできないと言われていました。人々はただタスクをどんどん難しくしているだけです。デミスに完全に同意します。人間ができることで、彼らができないことはないと信じる理由はありません。彼らはまだ深遠な新しい数学的予想を思いつくことができないかもしれませんが、それは20年後にはできるようになるかもしれません。

それについては同意します。存在証明がありますね。脳はニューラルネットワークですから。

そうですね。脳で何か計算不可能なことが起こっているのでない限り。

非常に賢いものか、非常に洗練されたもの、あるいは非常に進化したものかもしれません。

私の質問は、既存のパラダイム、トランスフォーマーや大規模言語モデルについてでした。そして、これらから始めても...

ここで何か専有情報の領域を侵害しているのではないかと心配ですが、トランスフォーマーの次のアーキテクチャについて何か考えがありますか？ジェフ、あなたは何か考えがあるはずです。

もし考えがあったとしても、論文を書くまでは公の場で言うことはないでしょう。少なくとも大学院生に取り組ませるまでは。

ペトロ、何か考えはありますか？

いいえ。

イリャ、あなたはありますが、それについて話すことはできませんね。わかりました。

オープンサイエンスについてはこれくらいにしましょう。

では、神経科学に話を移しましょう。機械学習に大きな影響を与えるような神経科学のブレークスルーは何だと思いますか？私は、脳での学習がどのように行われているのか、バックプロパゲーションで行われているのか、それとも他の何かで行われているのか、その他の何かが何なのかについてもっと知ることができれば素晴らしいと思います。

ニューラルネットワークの爆発的な進歩の中で最も劇的なものの1つは、バックプロパゲーションと勾配降下法でした。多くの人々がそれは生物学的にありそうもないと考えているので、脳がどのようにそれを行っているのかを知ることは非常に興味深いと思います。それはAIにも影響を与える可能性があります。

しかし、機械学習に影響を与える可能性のある神経科学の他の潜在的なブレークスルーについて、何か考えがあればお聞かせください。

脳が時間を通じてバックプロパゲーションを行っていないことはかなり明確だと思います。それはとてもありそうもありません。私が知っている、複数の皮質領域を通じてバックプロパゲーションを行う脳の理論はすべて...また、これらの大規模言語モデルやマルチモーダルモデルが、脳よりもはるかに多くの情報を接続ごとに保存していることもかなり明確です。

これは単に、彼らがはるかに多くの経験を持っているためかもしれません。そして、もし私たちがはるかに多くの経験を持てば、もっと多くのことができるようになるかもしれません。しかし、私は今疑っています。私は常に脳が何らかの形のバックプロパゲーションを行っているに違いないと考えてきました。しかし、今では、おそらくもっと愚かなことを行っているのではないかと疑っています。

もしGPT-2に1つの質問ができるとしたら、「脳は何らかの形のバックプロパゲーションを実装しているか」と尋ねるでしょう。

これは素晴らしかったです。皆さん、ありがとうございました。