イリヤ・サツケヴァー | AIのニューロンは人間のニューロンとまったく同じように機能する | AGIは人間のように意識を持つだろう

「はい、この技術が何であり、なぜ機能するのかを説明できます。なぜ機能するかという説明は、シンプルで極めて美しいものだと思います。それは次のような理由からです。
ご存じのように、人間の脳は世界で最高の知能の例です。人間の脳は非常に多数のニューロンで構成されていることがわかっています。神経科学者たちは、ニューロンがどのように正確に機能するかを理解しようと、何十年もの間研究してきました。生物学的なニューロンの働きはまだ謎に包まれていますが、1940年代の初期のディープラーニング研究者たちによって、かなり大胆な推測がなされました。その考えは、人工ニューロン、つまり私たちの人工ニューラルネットワークにあるニューロンが、生物学的なニューロンとある程度似ているというものです。もちろん、これは仮定ですが、この仮定に基づいて考えていきましょう。
人工ニューロンの良いところは、それらがはるかにシンプルで、数学的に研究できることです。ディープラーニングが知られる以前の非常に初期のパイオニアたちによって、非常に重要なブレークスルーがありました。それは、バックプロパゲーションアルゴリズムの発見です。これは、人工ニューラルネットワークがどのように学習すべきかを示す数学的な方程式です。これにより、大規模なコンピューターでこのニューラルネットワークをコードで実装し、そしてこのニューラルネットワークが経験から学ぶためにどのように接続を適応させるべきかを示す方程式をコーディングすることができるのです。
さらなる進歩の多くは、この学習手順がどれほど優れていて、どれほど能力があるか、そしてこの学習手順がうまく機能する正確な条件は何かを理解することに関係していました。これはコンピューターを扱うものですが、少し実験科学的な面もあります。生物学の実験のようなものです。少し実験的な要素があり、そしてディープラーニングの進歩の多くは基本的にこういうことです。私たちは大規模なコンピューターでこれらのニューラルネットワークを構築し、それらをデータで訓練することができます。大規模なニューラルネットワークを訓練して、データが要求することは何でもできるようにするのです。
大規模言語モデルのアイデアは、非常に大規模なニューラルネットワーク、おそらく今ではそれほど遠くない規模のものを持ち、テキスト内の前の単語から次の単語を予測するタスクで訓練するというものです。これが大規模言語モデルのアイデアです。テキスト内の前の単語から次の単語を可能な限り正確に予測するように大規模なニューラルネットワークを訓練するのです。
ここで起こることは、私たちは元の仮定に戻る必要があります。生物学的ニューロンは人工ニューロンとそれほど違わないかもしれないという仮定です。そして、次の単語を非常にうまく予測する大規模なニューラルネットワークがあれば、それは人々が話すときに行うこととそれほど違わないかもしれません。そしてそれが得られるものです。
このように、このようなニューラルネットワークと話すとき、それは次に何が来るか、どの単語が次に来るかについて非常に優れた感覚を持っているため、可能性を正確に絞り込むことができます。将来を見通すことはできませんが、その理解力から正確に可能性を絞り込むことができるのです。次の単語を非常に正確に予測できることは、予測を必要とします。これが理解を操作可能にする方法です。ニューラルネットワークが理解するとはどういう意味かについて、明確な答えを出すのは難しいですが、次の単語の予測誤差を測定し最適化することは非常に簡単です。
私たちは理解を望んでいますが、予測を最適化することができます。そしてそれが私たちが行っていることです。そしてそれが現在の大規模言語モデルを得る方法です。これらは大規模なニューラルネットワークであり、非常に能力のあるバックプロパゲーションアルゴリズムで訓練されています。そして、人工ニューロンが生物学的ニューロンとそれほど違わないと想像することを許すなら、はい、私たちの脳も次の単語を予測するのがかなり上手です。非常に注意深く聞いていれば。」
「素晴らしいですね。そのアナロジーをもう少し具体的にしたいと思います。生物学的な脳と、これらのニューラルアナログ物理ネットワーク、デジタルネットワークとの類似性をさらに押し進めてみましょう。人間の、つまり以前はこれらの機械が学習できるとは考えられていませんでしたが、今では予測的な結果を出すことができるのは当たり前になっています。人間が1倍の学習能力だとすると、最新のChatGPTモデルに関する洞察をお持ちだと思いますが、人間を1倍とした場合、ChatGPTはどのくらいの比率になると考えますか？」
「人工ニューラルネットワークと人間を直接比較するのは少し難しいですね。なぜなら、現在、人間はずっと少ないデータからより多くのことを学ぶことができるからです。これが、ChatGPTのようなニューラルネットワークが初期の遅い学習能力を補うために、非常に多くのデータで訓練される理由です。これらのニューラルネットワークを訓練し、より優れたものにするにつれて、より速い学習能力が現れ始めますが、全体的に、私たちはかなり異なっています。人々の学習方法は、これらのニューラルネットワークの学習方法とはかなり異なります。
例えば、これらのニューラルネットワークは数学やプログラミングにおいて確かに優れていますが、例えば微積分のようなものに熟達するために必要な数学の本の数は非常に多いです。一方、人間なら2冊の教科書と200問程度の演習問題で十分でしょう。」
「大まかな感覚をつかむために、データの制約を緩めて、機械が必要なだけのデータを消費できるようにした場合、現在の機械は人間の10分の1程度で動作していると思いますか？」
「その質問に答えるのはまだかなり難しいですね。なぜためらうのか説明させてください。今のところ、そのような数字は誤解を招く可能性があると思います。その理由を説明します。
現在、そのようなニューラルネットワークは、知識の広さや非常に多くのスキルを持っている点で明らかに超人的です。例えば、詩を書くのが非常に上手で、どんなトピックについても雄弁に話すことができ、歴史的な出来事や多くのことについて話すことができます。
一方で、人間は深く掘り下げることができ、実際にそうします。例えば、ある分野について非常に深く理解している専門家がいるかもしれません。その分野についてごくわずかな文書しか読んでいなくても、です。
このような違いがあるため、「ああ、それは0から1の間のある数字だ」というような形で質問に答えるのをためらってしまいます。」
「機械が人間を学習と適応のペースで追い越す特異点があると思いますか？そしてその点がいつ訪れると考えていますか？」
「はい、そうだと思います。いつ起こるかはわかりません。追加の進歩が必要になると思いますが、この点が近い将来に起こらないと賭けることは絶対にしないでしょう。」
「範囲を教えていただけますか？それは来月なのか、来年なのか？」
「そうですね、これらの進歩に関する不確実性はかなり高いです。これらの進歩は、かなり時間がかかる可能性があると想像できます。がっかりするほど長い時間がかかる可能性もあります。また、数年で起こる可能性もあります。しかし、正確にどのようになるかを言うのは非常に難しいです。校正された答えを出すのは難しいですね。」
「わかりました。押し進めるべきことがたくさんあることはわかっています。もう一つ質問してから他の問題に移りたいと思います。あなたが子供の頃、意識という概念に困惑していたと読んだことがあります。「困惑」という言葉がどういう意味なのかわかりませんでしたが、意識や感覚、自己認識を学習の延長線上にあるものとして見ていますか？それともそれは必然的に起こるものだと思いますか？それとも起こらないと思いますか？」
「はい、意識の問題については、子供の頃、自分の手を見て、『なぜこれが私の手なのか、なぜ私がそれを見ることができるのか』というようなことを考えていました。もっとうまく説明する方法がわかりません。それは私が好奇心を持っていたことの一つです。
意識については扱いが難しいですね。なぜなら、どのように定義するのでしょうか？長い間定義を逃れてきたものです。そしてどのようにシステムでテストできるでしょうか？完璧に動作するシステム、つまり意識のあるシステムが行動すると予想されるように完璧に動作するシステムがあるかもしれません。しかし、何らかの理由で意識がない可能性もあります。
AIシステムで実行できる非常にシンプルな実験があると思います。今すぐには実行できませんが、将来的に、AIがより少ないデータからより速く学習するようになったときに実行できるかもしれません。次のような実験です：
非常に慎重にデータをキュレーションし、意識について何も言及しないようにします。『これはボールです』『これは城です』『これは小さなおもちゃです』というようなデータだけを使います。このような種類のトレーニングデータを何年分か用意し、非常に管理された状態にします。おそらく、そのようなAIシステムが多くの異なる教師と対話し、彼らから学ぶでしょう。しかし、すべて非常に慎重に、意識については一切言及せず、人々についても話さず、彼らの経験の最も表面的な概念以外は何も話さないようにします。
そして、ある時点でこのAIに座ってもらい、『意識について話したいと思います。これはあまりよく理解されていない状態で、人々はそれについて意見が分かれていますが、彼らはこのように描写しています』と言います。そして、AIが『ああ、そうか。私も同じことを感じていたけど、どう表現していいかわからなかった』と言ったら、それは確かに考えるべきことですね。AIが非常に平凡なデータ、つまり物体や場所から場所への移動についてのデータ、あるいは非常に限られた概念セットでのみ訓練されたとして、もし私たちが認識できるような方法で、雄弁に正確にそれについて話すことができたら、それは説得力のあるものになるでしょう。」
「意識を程度の問題として見ていますか、それともより二元的なものとして見ていますか？」
「私はそれをより程度の問題だと考えています。例えば、人が非常に疲れている場合、極度に疲れている場合、あるいは酔っている場合、その状態にある人の意識はすでにある程度低下しているかもしれません。動物がより低下した形の意識を持っていると想像できます。大型の霊長類から犬、猫、そしてやがてネズミに至り、最終的に昆虫に至るまで、かなり連続的なものだと言えるでしょう。」
「わかりました。技術についてもっと質問したいところですが、OpenAIのミッションと、あなたが最高科学責任者としての役割をどのように捉えているか、そして倫理がどのように関わっているか、もしあるとすれば、について話を移したいと思います。
基礎的な点をいくつか挙げて、それからお話しいただきたいと思います。ご存じの通り、OpenAIのミッションは、人工知能が全人類に利益をもたらすことを保証することです。当初は非営利組織としてスタートし、オープンソース化されていましたが、現在は営利組織となり、クローズドソース化され、マイクロソフトと密接な関係を持っています。
イーロン・マスクは、元々OpenAIに参加するようあなたをリクルートし、非営利組織だった頃に1億ドルを寄付しました。彼は、当初のビジョンはGoogleや企業世界に対抗するものを作ることだったと述べています。彼は、人類に存在論的脅威をもたらす可能性があるAIが、営利企業の手中にのみあることを望んでいませんでした。
そして今、OpenAIはもはやオープンでもなく、純粋な非営利組織でもありません。マイクロソフトと密接な関係を持つ営利企業でもあります。世界はマイクロソフトとGoogleの私的な複占状態に向かっているように見えます。
非営利から営利への移行の計算について説明していただけますか？その決定の倫理面について意見を述べましたか？そして、最高科学責任者としての役割をどのように考えていますか？それとも、それは他の誰かが扱うべきことで、あなたは主に技術を前進させることだけを任されていると考えていますか？」
「はい、この質問にはいくつかの部分がありますね。最良のアプローチを考えさせてください。
いくつかの部分があります。オープンソース対クローズドソースの問題、非営利対営利の問題、マイクロソフトとの関係、そしてイーロン・マスクの最近のコメントの文脈でどう見るかという問題、そして私がこれらの中で自分の役割をどのように見ているかという質問です。
おそらく最後の部分から始めるのが簡単だと思います。私が自分の役割をどのように見ているかについてですが、OpenAIが行うことに対して直接的な責任を感じています。私の役割は主に科学を前進させることですが、それでも私は会社の創設者の一人であり、最終的にはOpenAIの全体的な影響を非常に気にかけています。
この文脈で、オープンソース対クローズドソース、非営利対営利の問題について話したいと思います。オープンソース対クローズドソースから始めましょう。なぜなら、AIの課題は非常に包括的で、多くの異なる課題、多くの異なる危険が互いに衝突するからです。オープンソース対クローズドソースは、その素晴らしい例だと思います。
AIをオープンソース化することが望ましい理由は何でしょうか？その答えは、AIを構築している人々の手に力が集中するのを防ぐためです。例えば、この非常に強力な技術を管理する企業が少数しかない世界にいるとしたら、これは望ましくない世界だと言えるかもしれません。そしてAIはオープンであるべきで、誰でもAIを使用できるべきだと。これがオープンソースの主張です。
もちろん、明らかなことですが、オープンソースに反対する近期的な商業的インセンティブがあります。しかし、オープンソース化に反対するもう一つの長期的な議論もあります。最終的にAIが信じられないほど強力になると信じるなら、AIが非常に強力になり、「自律的に生物学的研究室を作成してくれませんか？すべての書類作業を自動的に行い、スペースを借り、技術者を雇い、実験を集約し、これらすべてを自律的に行ってください」と言えるほどになったら、それは途方もなく強力になり始めます。これはオープンソース化されるべきでしょうか？
オープンソースの問題に関する私の立場は、これらのニューラルネットワークを能力の観点で考えることができると思います。どれほど能力があるか、どれほど賢いか、どれほど多くのことができるかという観点です。能力が低い方の端では、オープンソース化は素晴らしいことだと思います。しかし、ある時点で - そしてその時点がどこにあるかについては議論の余地がありますが - 能力が非常に大きくなり、モデルをオープンソース化することが明らかに無責任になる時点が来ると私は言うでしょう。」
「その考え方がクローズドソース化の背後にある要因だったのですか？それとも、マイクロソフトやその他から現金を得て事業の実行可能性を支援するための悪魔の契約や事業上の必要性によって推進されたのですか？クローズドソース化の意思決定は、実際にその理由によって推進されたのですか、それともより競争的な理由によって推進されたのですか？」
「そうですね、私の見解を説明しますと、現在の能力レベルはまだそれほど高くありません。安全性の考慮事項がモデルのクローズドソース化を推進するほどではありません。この種の研究では。言い換えれば、段階を踏んでいると主張します。現在は確かに競争的な段階です。しかし、これらのモデルの能力が向上し続けるにつれて、安全性の考慮事項がこれらのモデルをオープンソース化しない明白かつ即座の理由となる日が来るでしょう。
これがオープンソース対クローズドソースの問題ですが、あなたの質問にはもう一つの部分がありました。非営利対営利の問題です。それについても話すことができます。
確かに、ある意味では、OpenAIがOpenAIのミッションが完了するまで非営利組織のままであることが望ましいでしょう。しかし、指摘する価値のあることの一つは、これらのデータセンターの非常に大きなコストです。様々なAIスタートアップが調達している資金の額について読んでいると思います。その大部分がクラウドプロバイダーに行きます。なぜでしょうか？
これほど多くのお金が必要な理由は、これらの大規模なニューラルネットワークの性質です。それらは計算能力を必要とします。これだけです。学術界とAI企業の間で起こっている分断を見ることができます。長い間、何十年もの間、AIの最先端の研究は大学の学術部門で行われていました。それは2010年代半ばまで続いていました。しかし、ある時点で、これらのプロジェクトの複雑さとコストが非常に大きくなり始めたとき、大学が競争力を持つことはもはや不可能になりました。
現在、大学のAI研究は貢献する別の方法を見つける必要があります。その方法は存在しますが、彼らが慣れている方法や企業が現在貢献している方法とは異なります。
この文脈で、あなたは非営利について言及しています。非営利組織に寄付する人々は、決してそのお金を取り戻すことはありません。それは本当の寄付です。信じられないかもしれませんが、非営利組織にお金を寄付するよう人々を説得するのは、かなり難しいのです。
では、解決策は何でしょうか？良い行動方針は何でしょうか？私たちは、世界のすべての企業構造の中で、私の知る限り独特のアイデアを思いつきました。OpenAIの企業構造は絶対的に独特です。OpenAIは営利企業ではありません。それは利益に上限のある企業です。
それが何を意味するか説明させてください。OpenAIの株式は、株式というよりも債券として見ることができます。通常の会社の主な特徴は、一度支払われたら消えてしまうことです。言い換えれば、OpenAIは投資家に対して有限の義務を負っています。通常の会社が投資家に対して無限の義務を負うのとは対照的です。」
「それには創設者も含まれますか？創設者はOpenAIの株式を持っていますか？」
「サム・アルトマンは株式を持っていませんが、他の創設者は持っています。」
「それは上限付きですか、それとも無制限ですか？」
「それは上限付きです。創設者が購入したのでない限り、名目株式価値で上限が設定されているのではないかという質問の部分は、正確には理解できません。しかし、私が答えられる部分について説明します。
確かに、通常のスタートアップの株式とは異なりますが、いくつかの類似点もあります。例えば、会社に早く参加するほど、上限が高くなります。なぜなら、初期の投資家を引き付けるためにはより大きな上限が必要だからです。会社が成功し続けるにつれて、上限は減少していきます。
なぜこれが重要なのでしょうか？それは、投資家と従業員への義務がすべて支払われると、OpenAIは再び非営利組織になるからです。これは完全に狂っていると言えるかもしれません。何を言っているんだ、何も変わらないじゃないかと。しかし、私たちがAIについてどう考えているか、考慮する価値があります。
今日のAIを見て、OpenAIが投資家と従業員への義務を果たし、経済的混乱が非常に大きくなる可能性がある時期に、コンピューターがおそらく非常に能力を持つようになる頃に非営利組織になることは、全く考えられないことではありません。この移行は非常に有益になるでしょう。
これが営利対非営利の質問への答えです。
あなたの質問の最後の部分は、マイクロソフトとの関係についてでした。ここで非常に幸運なのは、マイクロソフトがこれらの問題について正しく考えているということです。彼らはAGIの可能性と重大さを理解しています。
例えば、OpenAIへの投資家が署名したすべての投資文書には - ちなみに、マイクロソフトはOpenAIへの投資家であり、これはGoogle DeepMindとは非常に異なる関係です - 投資文書の上部に紫色の四角があり、OpenAIの受託者責任はOpenAIのミッションにあると記されています。つまり、ミッションと衝突する可能性があれば、すべてのお金を失うリスクがあるということです。これはすべての投資家が署名したものです。」
「皆さんのために明確にしておきましょう。GoogleはDeepMindを買収したので、DeepMindはただGoogleの資産の一部であり、Googleに束縛されています。あなたは、OpenAIとマイクロソフトの関係は異なると強調しています。マイクロソフトは投資家であり、したがってOpenAIのミッションに対する受託者責任に束縛されているということですね。このミッションは非営利組織が保持しており、その非営利組織が営利部門のGPまたはLPとなっているということですか？」
「はい、そのようなものです。正確な詳細はお話しできませんが、これが一般的な図式です。」
「しかし、アップルの共同創業者のスティーブ・ウォズニアックやイーロン・マスクなど、一部の人々は、もし今止めなければ、AIとその影響を抑制することが不可能になる転換点にすでに到達したか、近づいていると主張しています。彼らはAIの開発を停止するよう呼びかけています。
あなたは世界市民ですね。ロシアで生まれ、イスラエルで育ち、カナダ人です。そして、OpenAIの公開請願に対する反応は、基本的にサムが『これは正しいやり方ではない』と言ったものでした。しかし、同時にサムは、西側に敵対的な国々も含む多くの国々を世界ツアーで回っています。
現在、OpenAIを通じて世界中に技術を広めることに関して、あなたの技術的義務を上回る市民としての義務や倫理的義務があると考えますか？これは規制や何らかの監督に従うべきだと思いますか？」
「もう一度言いますが、質問にはいくつかの部分がありますね。申し訳ありませんが、できる限り答えようとしています。
確かに、AIは真に非常に強力になり、真に非常に変革的になるでしょう。私は、賢明な政府規制のある世界に移行する必要があると思います。そこにはいくつかの側面があります。
例えば、より強力なニューラルネットワークの訓練について明確なルールがある世界にいたいと思います。これらのニューラルネットワークが今日何ができるか、そして1年後または訓練が終わる頃に何ができると予想されるかについて、慎重な評価、慎重な予測が行われることを望みます。
これらすべてのことは、進歩を理性的に - スローダウンという言葉は使いたくありませんが - 進歩を賢明にするために非常に必要になると思います。各ステップで宿題をし、確かに、私たちが訓練したシステム、ニューラルネットワークがこれをしており、ここにすべてのステップがあり、それが検証または認証されたという信頼できるストーリーを作ることができるようにするためです。これが私たちが向かっている世界だと思います。そしてそれは正しいと思います。
市民としての義務については、このように答えさせてください。明らかに、私はアメリカに住んでおり、ここが大好きです。ここができる限り繁栄することを望んでいます。それを気にかけています。もちろん、多くの議論があるでしょう。しかし、世界はアメリカだけではありません。これらの質問は、私の専門外の領域だと少し感じます。国家間の関係がどのように展開するかについては。しかし、そこでも多くの議論があることは確かです。」
「戦略に少し話を向けてもいいですか？社内で、北極星として追跡している指標は何ですか？現在、OpenAIの成功を測定するために使用している最も重要なKPIは何ですか？」
「最も重要なKPIですね。これも、おそらく異なる人々が異なる答えを出すかもしれない種類の質問だと思います。しかし、私が本当に絞り込むとすれば、本当に重要な進歩の指標、本当に重要な次元がいくつかあると言えるでしょう。
一つは、疑いなく技術的進歩です。私たちは良い研究をしているでしょうか？システムをよりよく理解しているでしょうか？より良く訓練できているでしょうか？よりよく制御できているでしょうか？私たちの研究計画はうまく実行されているでしょうか？安全性計画はうまく実行されているでしょうか？それにどれほど満足しているでしょうか？
これが主要なKPIの私の説明です。技術、その開発、そしてその制御、その操縦において良い仕事をすることです。
もちろん、製品に関することもありますが、それは面白いと思います。しかし、本当にOpenAIの中核にあるのは、コア技術だと言えるでしょう。」
「現在、ChatGPTは目的地ですが、将来的にOpenAIをGoogleのような目的地として見ていますか？それとも他のアプリケーションの裏で動作し、バックエンドやバックエンドインフラストラクチャの一部として使用されるでしょうか？5〜10年後には、目的地になるのか、それともより裏方になるのでしょうか？」
「そうですね、物事は非常に速く変化するので、5〜10年後の製品の正しい形について何か主張することはできません。おそらく両方の要素があると想像します。しかし、この種の質問は、まだ非常に新しいものです。」
「最後の質問をして、学生からの質問に移りたいと思います。今日、スタンフォード大学でAIに興味のある学生だったら、あなたはどこに焦点を当てますか？そして、起業にも興味がある場合、AIと起業に興味のあるスタンフォードの学部生エンジニアにどのようなアドバイスをしますか？」
「最初の質問については、このような一般的なアドバイスを与えるのは常に難しいですね。しかし、それでも一般的なアドバイスを提供することはできます。
一般的に、自分独自の傾向に寄り添うのは良いアイデアだと思います。人が持つかもしれない傾向や技能、才能の組み合わせを考えると、その組み合わせはかなりまれです。だから、どの方向に進むにしても、それに寄り添うのは非常に良いアイデアです。
AIの研究については、自分のアイデアに寄り添い、本当に自分にとって明らかで、『なぜ他の人はこれに気づかないんだろう』と思うようなことがあるかどうか自問自答することをお勧めします。そのように感じるなら、それは良い兆候です。それはあなたの直感が正しいかもしれないことを意味します。正しくないかもしれませんが、探求する価値があります。
私の指導教官のジェフ・ヒントンは、私が本当に気に入っていることを言っています。『直感を信じるべきだ。なぜなら、もし直感が良ければ、非常に遠くまで行けるし、もし良くなければ、何もできないからだ』と。
起業については、独自の視点がさらに価値があると感じます。あるいは、研究と同じくらい価値があるかもしれません。研究でも非常に価値がありますが、起業では、ほとんど自分の独自の人生経験から引き出す必要があります。『この技術を見て、何か見えるものがある。非常に広い視点を持って、何かに焦点を当てることができるか』と自問し、そして実際にそれに向かって進むのです。
これが私の一般的なアドバイスの結論です。」
「素晴らしいですね。学生からの質問に移りましょう。最も多くの投票を集めた質問の一つは、『今後5〜10年でディープラーニングの分野がどのように進化すると考えていますか？』というものです。」
「そうですね。ディープラーニングは進歩し続けると予想しています。ある期間、多くの進歩はスケーリングから来ました。それはGPT-1からGPT-3への移行で最も顕著に見られました。しかし、状況は少し変わるでしょう。
スケーリングでの進歩が非常に急速だった理由は、人々が単一の訓練実行に使用していなかったデータセンターをたくさん持っていたからです。単に既存のリソースを再配分するだけで、大きな進歩を遂げることができました。既存のリソースを再配分するのにそれほど時間はかかりません。誰かがそうすることを決定するだけです。
今は状況が異なります。なぜなら、訓練実行が非常に大規模になっており、スケーリングは以前ほど急速には進まないからです。データセンターの構築には時間がかかるからです。
しかし同時に、ディープラーニングは他の場所からも進歩し続けると予想しています。ディープラーニングのスタックは非常に深く、スタックの多くの層で改善が行われると予想しています。それらが合わさって、進歩は依然として非常に堅調なものになるでしょう。
推測するなら、おそらく現在知られていないディープラーニングの新しい特性を発見し、それらの特性が利用されるだろうと想像します。5〜10年後のシステムは、現在のものよりもはるかに優れたものになると完全に予想しています。しかし、正確にどのようになるかを答えるのは少し難しいと思います。それは少し...小さな改善の大きな数と、大きな改善の小さな数が、すべて大規模で複雑なエンジニアリングの成果物に統合されるようなものだからです。」
「あなたの共同創設者のサム・アルトマンは、より大規模な言語モデルにスケールアップすることで達成できることの限界に達したと述べています。あなたもそう思いますか？もしそうなら、次のイノベーションのフロンティアはどこに焦点を当てているのでしょうか？」
「そうですね、彼が正確に何を言ったかは覚えていませんが、おそらく『簡単なスケーリングの時代は終わった』というようなことを意味していたのかもしれません。もちろん、より大きなニューラルネットワークの方が優れているでしょうが、それらを作るには多くの努力とコストがかかるでしょう。
しかし、多くの異なるフロンティアがあると思います。実際、ディープラーニングにどのように貢献できるかという質問に対する答えの一つは、そのようなフロンティアを特定することです。おそらく他の人々が見逃しているものを。」
「さらに深く掘り下げてもいいですか？垂直的な焦点と一般的なトレーニングについて議論があります。法律や医学などの特定の分野で、特別なデータセットでトレーニングすることでより良いパフォーマンスが達成できると思いますか？それとも、利用可能なすべてのデータによる一般的なトレーニングの方が有益だと思いますか？」
「ある時点で、専門的なトレーニングが大きな影響を与えることを絶対に期待すべきです。しかし、一般的なトレーニングを行う理由は、ニューラルネットワークが私たちが尋ねる質問を理解できるポイントに到達できるようにするためです。非常に堅固な理解を持った時点で初めて、専門的なトレーニングに移行し、本当にそれから恩恵を受けることができます。
つまり、これらはすべて有望な方向性だと思います。しかし、専門的なトレーニングに焦点を当てるべき時点がいつだと思いますか？」
「そうですね、オープンソースの作業をする人々、オープンソースモデルで作業する人々を見ると、かなりの量のこの種の専門的なトレーニングを行っています。なぜなら、彼らは比較的能力の低いモデルを持っていて、そこからできる限りのパフォーマンスを引き出そうとしているからです。
これは既に起こっている例だと言えるでしょう。二元的なものではありません。連続的なスペクトラムとして考えるべきかもしれません。」
「AIを垂直方向に応用する際に、競争上の優位性は、これらの専有データセットを持つことにあると思いますか？それとも、はるかに高性能な大規模言語モデルを持つことにあると思いますか？」
「AIをこのように考えるのが生産的かもしれません。複数の要因の組み合わせとして、各要因が貢献をしています。特定のタスクセットでAIをより良くするのに役立つ特別なデータを持つことは良いことですか？もちろんです。より能力のあるベースモデルを持つことは良いことですか？タスクの観点からすれば、もちろんです。
これが答えかもしれません。どちらか一方ではありません。」
「他の質問に移りましょう。GPT-4の訓練と開発のコストはいくらでしたか？」
「明らかな理由で、それについてコメントすることはできません。」
「しかし、私たちの研究コミュニティからも、OpenAIの技術のさまざまな側面にアクセスできるようにしたいという強い要望があります。研究者や他のスタートアップに公開して、より多くの競争とイノベーションを促進する計画はありますか？
聞いた要求の中には、モデルのパフォーマンスを理解するためのセーフガードのない制限のない相互作用、トレーニング方法の詳細を含むモデル仕様、モデル自体（つまり、訓練されたパラメータ）へのアクセスなどがあります。これらについてコメントしていただけますか？」
「はい、これは以前のオープンかクローズかという質問に関連していますね。中間的なアプローチがあり、それらは非常に実り多いものになる可能性があります。例えば、モデルへのアクセスとそのさまざまな組み合わせは非常に生産的になり得ます。
これらのニューラルネットワークは既に非常に大きく複雑な行動の表面積を持っており、それだけを研究するのも非常に興味深いことができます。実際、私たちにはアカデミックアクセスプログラムがあり、モデルへの様々な形のアクセスを提供しています。多くの学術研究者がこの方法でそれらを研究しています。
このようなアプローチは実行可能であり、私たちが行っている、あるいは行うことができることだと思います。」
「時間が迫っていることは分かっていますが、最後の質問をさせてください。他の人が知らないかもしれないChatGPTの直感的ではないが説得力のある使用例を共有していただけますか？」
「未知だとは言えませんが、私は本当にその詩を書く能力を楽しんでいます。詩を書くことができ、ラップを書くことができ、非常に面白いものになります。」
「OpenAIでは、それを使用していますか？チームワークの統合された部分だと思いますが、AIが人間のチームに深く統合されている場合のチームのダイナミクスの変化について、何か洞察はありますか？私たちが知らないかもしれないが、これから来るものについての洞察はありますか？」
「今日の影響を最もよく描写する方法は、誰もが少し生産性が高くなり、物事をより把握できるようになったということだと思います。現時点で、『ああ、ダイナミクスがこのように顕著に変化した』と言えるような劇的な影響はないと思います。」
「会話が非人格化されるのではないかと思いますが、AIボットがいるからですね。あるいは、まだそこまで至っていないのかもしれません。」
「確かにそうではないと思いますし、そうはならないと予測します。しかし、見てみましょう。」