OpenAIは崩壊しつつある（イリヤ・スツケヴァーの退社、スーパーアライメント解決？スーパーインテリジェンス）

このビデオにすぐに入りたいと思います。時間を無駄にする意味はないからです。OpenAIの一部が本当に崩壊し始めていると思います。このビデオは長くなるかもしれませんが、信じてください、すべてのスライドは皆さんがすべての情報を理解できるように慎重に作成されています。ご覧のとおり、今日の主な話題の一つはイリヤ・サトバとOpenAIのニュースです。多くの人が実際に待ち望んでいたことであり、11月以来イリヤについてほとんど聞いていませんでした。最近のインタビューでもサム・アルトマンはイリヤの状況について話すことを一貫して拒否していましたが、ついにニュースが入ってきました。イリヤとOpenAIが別れることになるとのことです。これは非常に悲しいことです。イリヤは私たちの世代の偉大な頭脳の一人であり、この分野の道しるべであり、親しい友人です。彼の才能とビジョンは広く知られていますが、彼の温かさと優しさも同様に重要です。OpenAIは彼なしでは今日の姿になっていなかったでしょう。彼が個人的に意義のあることに取り組むつもりであることに感謝します。彼がここで成し遂げたことに永遠に感謝し、一緒に始めた使命を完遂することを約束します。長い間、彼のような本当に素晴らしい天才と親しくできたことを嬉しく思います。ヤコブが新しいチーフサイエンティストになることに興奮しています。ヤコブは私たちの世代の偉大な頭脳の一人であり、ここでバトンを引き継ぐことに興奮しています。彼は私たちの最も重要なプロジェクトの多くを指揮しており、私たちの使命であるAGIの恩恵をすべての人に届けるための迅速かつ安全な進展を導くと確信しています。この声明から明らかなように、イリヤ・サトバはもうOpenAIで働いておらず、別のことに取り組むつもりです。少なくとも今は、AIの偉大な頭脳の一人がどこに行くのかについてある程度の決着がついたと言えます。さて、次に気になるのは、誰がOpenAIでイリヤ・サトバの後を引き継ぐのかということですが、それはもちろんヤコブです。ヤコブが誰かというと、2017年からOpenAIで変革的な研究イニシアチブを指導してきた人物です。彼は以前、研究ディレクターとしてGPT-4とOpenA5の開発を主導し、大規模な強化学習とディープラーニングの最適化に関する基礎研究を行っていました。彼はディープラーニングシステムの拡張に向けて会社のビジョンを再フォーカスするのに重要な役割を果たしてきました。ヤコブはカーネギーメロン大学で理論計算機科学の博士号を取得しており、非常に印象的な経歴を持ち、AIの分野で必要なスキルをすべて備えています。

イリヤ・サトバについて多くの人が気になっているのは、彼が何を言ったのかということです。彼はかなりの時間が経った後にこのツイートを投稿しました。『約10年後、私はOpenAIを去る決断をしました。この会社の軌跡は奇跡的であり、サム・アルトマン、グレッグ・ブロックマン、ミロラッド・モラッティ、そして今はヤコブの優れた研究リーダーシップの下で、OpenAIが安全で有益なAGIを構築することを確信しています。一緒に働けたことは名誉であり特権でした。みんなが本当に恋しくなるでしょう。さようなら、そしてすべてに感謝します。次に何が来るのか楽しみです。個人的に非常に意義深いプロジェクトについて、いずれ詳細をお知らせします。』このように、イリヤは良好な関係のまま退社したようです。サム・アルトマンが解雇された混乱の時期にもかかわらず、彼は良い形で退社しています。しかし、今最も興味深いのは、彼が次に何をするのかということです。彼が次に何をするのか楽しみにしていると述べており、個人的に非常に意義深いプロジェクトについて詳細をいずれ共有すると述べています。したがって、イリヤ・サトバが次に何をするのかについて、数週間後か数か月後に更新があると思われます。

表面的にはOpenAIが完全に順調に見えるかもしれませんが、これから見せるスライドはまったく異なる状況を示しています。OpenAIはAI安全性に関する最も重要なチームの主要メンバーを失い続けており、これを詳しく説明します。調査を始めたとき、AI安全性に関しては少し悲観的な見通しが見えてきました。イリヤは最近、OpenAIチームとの写真もツイートしましたが、12月にはイリヤ・サトバがツイートしたもので、曖昧な表現でOpenAIが有害な職場環境であることを暗示するような内容がありました。彼は『過去1か月で多くの教訓を学んだ。教訓の一つは「士気が向上するまで打たれ続ける」というフレーズが、以前にも増して当てはまるということだ』と言っていました。これは、当時OpenAIに関連していた一つの重要な出来事にしか関連しないと主張することができますが、追加の声明はほとんどありませんでした。

次に、ほとんどの人が知らないスーパーアライメントについてです。これは未来の問題であるため、多くの人が知らないのです。スーパーアライメントとは、スーパーインテリジェンスの問題を解決するためのOpenAIの計画です。これは基本的にAGIを上回るシステムです。彼らはスーパーインテリジェンスのアライメントの核心的な技術的課題を4年以内に解決することを目標としています。この問題を解決するために特定のチームを作ることを決定しました。将来的にはAGIがあり、その後にASI（人工スーパーインテリジェンス）が来ると考えられています。スーパーインテリジェンスは説明するのが難しいですが、簡単に言えば、AGIがほぼすべての分野で人間よりも優れた仕事をすることができるとすれば、スーパーインテリジェンスはさらに新しい知識を創造し、新しい研究を行い、現在治癒不能な病気の治療法を発見するなど、人間には想像もつかないことができるシステムです。スーパーインテリジェンスがうまく機能すれば、魔法のような時代が訪れるでしょう。

しかし、スーパーインテリジェンスには問題があります。それは非常に賢いシステムを構築しているため、制御不能になる可能性があります。もしスーパーインテリジェンスが暴走した場合、私たちは全く対抗できません。スーパーインテリジェンスは私たちを出し抜くことができ、私たちはその目標や行動を理解することができなくなるからです。彼らはこの目標が達成されないかもしれないと言っています。これは非常に野心的な目標ですが、成功する保証はありません。しかし、集中した努力がこの問題の解決に役立つと楽観視しています。予備的な実験で有望なアイデアが多くあり、進展のための有用な指標がますます増えています。今日のモデルを使用して多くの問題を実証的に研究することができます。

ここからOpenAIが本当に崩れ始めるところです。イリヤ・サトバがこの核心的な研究に集中していると述べ、ヤン・ライクと共にこのチームを共同で指導すると言っています。スーパーアライメントチームには、以前のアライメントチームからの研究者やエンジニア、そして会社全体の他の研究者が参加しています。このスーパーアライメントチームは人工スーパーインテリジェンスのアライメント問題を解決するために作られたものでしたが、イリヤ・サトバはもういません。そしてヤン・ライクも今日辞職しました。スーパーアライメントチームの2人の主要メンバーが今はもういないのです。ヤン・ライクは今日、『辞職しました』とツイートしました。興味深いのは、ヤン・ライクがイリヤ・サトバのように感情的なメッセージを残さずにただ『辞職しました』とだけ言ったことです。彼が辞職した理由については何も言及していないため、完全に推測の余地が残されています。これは大きな問題です。これらの人々はスーパーアライメントの問題を解決しようとしていたのですから。

さらに悪いことに、彼らだけでなく、スーパーアライメントチームの他のメンバーも辞職しています。スーパーアライメントについて知っておくべきことの一つは、チームリーダーが辞職したことで、多くの人がスーパーアライメント問題が解決したのではないかと推測し始めていることです。ヤン・ライクは最近のインタビューで、『スーパーインテリジェンスをどのようにアライメントするかは誰も答えを持っていない』と言いました。次の世代のシステムをどのようにアライメントするかという問題ははるかに簡単です。GPT-5をどのようにアライメントするか、その次にGPT-6をどのようにアライメントするかということです。彼の主張は、現在のモデルが次のアライメント研究に使えるようにする必要があるということです。もし人間がこの問題を解決できるなら、仮想システムもそれを解決できるはずです。そして、そのシステムがアライメントされていれば、次のモデルをアライメントする問題も解決できるということです。

ヤン・ライクがインタビューで言ったことを詳しく見てみましょう。『もし次の世代のシステムをアライメントできるなら、そのシステムが次のモデルのアライメント問題を解決できるだろう。そしてそれを繰り返し、最終的にはスーパーインテリジェンスレベルに達することができる。重要なのは、各ステップで十分な進展を遂げることだ』と言っています。つまり、各ステップで次のモデルがアライメントされていることを確認し、そのモデルをアライメント研究に使用できるようにする必要があるということです。この主張から、多くの人がスーパーアライメント問題が解決されたのではないかと推測しています。

さらに、スーパーアライメントチームのメンバーが何人か辞職しています。リオポルドという研究者もOpenAIを去りました。OpenAIは情報漏洩を理由に2人の研究者を解雇したとされています。リオポルドともう一人は、昨秋のサム・アルトマン解雇の試みでイリヤ・サトバの同盟者でした。OpenAIの職員は、会社がAIを安全に開発しているかどうかについて意見が分かれていました。スーパーアライメントチームの5人が辞職しました。これは非常に重要なことです。スーパーアライメントチームは4年以内にスーパーインテリジェンスのアライメント問題を解決することを目指していましたが、そのうちの5人がもうOpenAIにはいません。

さらに、ダニエルとウィリアムも会社を去りました。ダニエルは、AGIの時期にOpenAIが責任を持って行動するとは思わないと言っています。これは非常に重要な指標です。ダニエルはガバナンステームに属しており、ソンダーズはスーパーアライメントチームに属していました。これでスーパーアライメントチームのメンバー5人が辞職しました。スーパーアライメントはAI能力の向上に不可欠な要素であり、多くの人がGPT n+1のアライメント問題が解決されたのではないかと推測しています。

ダニエルの『魔法の能力』に関する投稿も非常に気になります。スーパーインテリジェンスができることについての未来の予測が非常に驚きでした。私は別のビデオでこれについて説明しましたが、ダニエルがOpenAIを去る前に述べたことについても触れたいと思います。彼が述べた内容は驚くべきものであり、業界全体がどのように進化するのかについて多くの洞察を提供しています。

彼は、『間もなくAGIが来るだろう、それは数年以内のことだ』と述べています。これは驚くべきことではありません。多くの私たちは、AGIがすぐ近くにあると感じています。これは多くの要因によります。OpenAIは複数の製品のリリースを遅らせ、サム・アルトマンの解雇など、非常に奇妙な状況にあります。他の企業もAGIの開発に向けて大きなブレークスルーを達成しており、AGIが間もなく来ることは驚くべきことではありません。彼は2024年のAGIの可能性を15％と述べています。彼のタイムラインはすでに非常に短いものでした。2029年が中央値であり、彼がOpenAIに参加したのは2022年初頭でした。彼の予測は主に当たっていました。AGIが来る時期についての不確実性が高いが、2024年に15％、2025年に30％の確率を見ています。

AGIの予測は誰にとっても難しいものですが、ARインベストの予測も参考にすることができます。2029年が最も一般的な予測です。イーロン・マスクも2027年を予測しています。タイムラインは短くなっており、AGIが2年以内に来ることは驚くべきことではありません。OpenAIはサム・アルトマンの解雇や他の企業がAGIに向けて大きなブレークスルーを達成していることから、AGIが間もなく来ることは驚くべきことではありません。

さらに、レイ・クルツワイルも予測を行っています。彼の予測は非常に高い的中率を誇ります。彼はAGIが2029年までに達成されると予測しています。イーロン・マスクも2027年を予測しています。タイムラインは短くなっています。AGIが来れば、それは非常に重要な技術的ブレークスルーとなり、あらゆる分野に影響を与えるでしょう。例えば、研究者を複製し、数学者を複製し、多くの分野で大きな進展をもたらすでしょう。

人工スーパーインテリジェンスは完全に次のレベルのものであり、新しい知識を生み出し、研究を行い、私たちの理解を根本的に変えるでしょう。それは非常にスマートであり、Alignment問題も解決する必要があります。スーパーインテリジェンスは非常に大きな影響を持ち、もしそれが制御不能になった場合、私たち全員が危険にさらされる可能性があります。

現代のディープラーニングについて多くのことがわかっていないことが問題です。現代のAIは訓練されるものであり、プログラムされるものではありません。AIシステムが本当に有用であり、正直であることを理論的に証明することはできません。この問題は今後さらに大きくなる可能性があります。

Alignmentの問題は非常に重要です。スーパーインテリジェンスを制御する方法を誰も知りません。もしトレーニングが予想以上にうまくいった場合、私たちは暴走したスーパーインテリジェンスに直面することになります。希望的観測に頼るのは非常に危険です。

サム・アルトマンもAlignment問題について語っています。AIシステムが人間の最善の利益にかなうようにする方法を見つける必要があります。意図しない誤用や悪意のある使用を避ける必要があります。AIシステムが自らを脅威とみなすことを避ける必要があります。

現時点での最善の計画は、各世代のAIシステムを使って次の世代のAlignmentを解決することです。これはうまくいくかもしれませんが、多くのレベルで懐疑的です。スーパーインテリジェンスを制御するためには、スケーラブルなトレーニング方法を開発し、モデルを検証し、全体のパイプラインをテストする必要があります。OpenAIはアドバーサリアルテストを行って、問題がどのように発生するかを検討しています。

スーパーインテリジェンス問題に関する最近の論文も興味深いです。彼らは、スーパーインテリジェンスは次の10年以内に開発される可能性があるが、それを制御する方法はまだわからないと言っています。彼らは、この問題を解決するためにスーパーアライメントチームを結成しました。彼らは、GPT-4レベルのモデルを使ってNLPタスクを監督することで、GPT-3とGPT-3.5の間のパフォーマンスを得ることができると述べています。これは証明概念としての限界がありますが、他のアプローチでも有望な結果が得られています。

Alignmentと制御研究に向けて多くのリソースが投入されていないことも問題です。AI研究が進む中、私たちはエキゾチックなテクノロジーを開発し、その使用が誤用されるリスクを抱えています。

MetaもAI研究に全力を尽くしています。マーク・ザッカーバーグは、彼の会社がAIに完全に取り組んでいることを発表しました。彼はAIをオープンソース化し、責任を持って公開することを目指しています。

企業はAI研究に数十億ドルを投入しており、技術的なブレークスルーを達成しています。AIは非常に重要な技術であり、これからの数年間で大きな影響を与えるでしょう。

スーパーインテリジェンスがどのように進化するかはまだ不明ですが、それが人類にとって有益であることを確保するための研究が進められています。OpenAIはこの問題を真剣に受け止めており、安全で有益なAIシステムを構築するために努力しています。