イーロン・マスクの新マスタープラン、AIの新たなブレークスルー、AIの安全性が深刻化

https://www.youtube.com/watch?v=4enJIZ-IvPE

人工知能の分野でまた素晴らしい1日を迎えたわけですが、AI開発の状況を大きく左右する重要なニュースがいくつかあるので、ぜひ知っておいてほしいと思います。まずはこちらをご覧ください。これはx.aiの最近のアップデートです。x.aiはイーロン・マスクが設立した会社で、OpenAI、Anthropic、Googleなどに対抗することを目指しています。この会社は、オープンソースの大規模言語モデルに取り組んでおり、2024年5月26日にシリーズBの資金調達ラウンドを発表しました。これはただの資金調達ラウンドではなく、60億ドルという巨額の資金調達で、企業価値は180億ドルと評価されています。Valor Equity Partnersなどが出資しており、Nvidiaも参加していると思われます。また、Grok 1.5では長文コンテキスト機能が向上し、Grok 1.5 Visionでは画像理解が可能になり、Grok 1のオープンソース化によって様々な進歩の道が開かれたことにも触れられています。さらに興味深いのは、今後数カ月の間に複数のエキサイティングな技術アップデートやプロジェクトが発表される予定であるということです。資金は、x.aiの最初の製品を市場に投入し、高度なインフラを構築し、将来の技術の研究開発を加速させるために使用される予定です。x.aiは、人類全体にとって真実で有能かつ最大限に有益な高度なAIシステムの開発に重点を置いていると述べています。イーロン・マスク氏もこのツイートの下で、今後数週間のうちにさらなる発表があることを示唆しており、何かリリースされるか、クールなデモを見せてくれる可能性が高いでしょう。AI競争が激化する中、イーロン・マスク氏はこの小さなAI企業により多くの時間を費やそうとしており、その影響は、特に最近のGPT-40などのデモを見れば、非常に大きいものになるでしょう。また、数日前に「イーロン・マスクのx.aiスーパーコンピュータ」という記事がThe Informationから出ているのも興味深いことです。この記事によると、イーロン・マスク氏は、「ギガファクトリー・オブ・コンピューティング」と呼ばれるスーパーコンピュータを計画しており、会話型AI「Grok」の次期バージョンを訓練し、実行するために、10万個の特殊な半導体が必要になると公言しています。チャットボットをよりスマートにするために、これらのチップをすべて1つの巨大なコンピュータにつなげる計画で、2025年秋までにスーパーコンピュータを稼働させたいと考えており、納期厳守については個人的に責任を持つと投資家に語っています。完成すれば、Nvidiaの主力製品であるH100 GPUを接続したチップ群は、Metaなどが構築したGPUクラスタの少なくとも4倍の規模となり、これは驚くべきことです。これは、AIへの投資空間がいかにクレイジーになっているかを示しており、生成AIだけでなく、他のAI分野にも非常に多くの投資が行われていると思われます。また、MicrosoftとOpenAIには100億ドルのスーパーコンピュータがあり、Nvidiaの最新GPUアーキテクチャを搭載し、数倍の規模になる予定で、これは悪名高いProject Stargateです。2025年までにどのようなAIシステムが登場するのか、非常に興味深いところです。2025年には非常に高度なAIシステムが登場するとの噂もあり、多くの人が2025年は能力の面で大きな飛躍を遂げる年になると述べています。OpenAIのリーカーの中には、2025年はクレイジーな年になると言っている人もいます。マスク氏の「ギガファクトリー・オブ・コンピューティング」は、マスク氏のテスラが設立した電気自動車とバッテリーの工場を参考にしているようです。マスク氏はテスラも所有しており、これらの車を生産するためのギガファクトリーを持っています。彼はAIでも同じことをしようとしており、基本的にマスク氏は、OpenAIやGoogleが作ったものよりも音声制限が少ないAIアシスタントを構想しており、現在Grok 2.0を2万個のGPUでトレーニングしています。最近のバージョンでは、文書、チャート、実世界のオブジェクトを処理できるようになり、モデルをオーディオやビデオにも拡張することを考えています。スーパーコンピュータをどこに建設するかは不明ですが、オフィスはサンフランシスコ・ベイエリアにあり、これらのAIスーパーコンピュータにとって最も重要な要素の一つは、どこにでも建設できるわけではないということです。10万個のGPUを搭載したGPUパワーを持つためには、100メガワットの専用電力が必要で、これは従来のクラウドコンピューティングセンターが必要とする電力よりもはるかに多いですが、クラウドプロバイダーが今日運用・構築している複数のクラスタを収容するAIデータセンターのエネルギーニーズと同等です。Microsoftはウィスコンシン州に大規模なデータセンターを建設しており、これは1,000億ドル規模のスーパーコンピュータとは別のもので、完成には約100億ドルかかる見込みです。テスラとx.aiがどのように統合され、これらのシステムがどのように機能するのかを見るのは興味深いでしょう。イーロン・マスク氏は、次のAGIリリースから多大な恩恵を受ける人物であり、AGIが登場し、これらの高度なAIシステムが登場した際に、これがどのように機能するのかを見るのは非常に興味深いでしょう。マスク氏はこの分野に力を注いでおり、彼の大胆な予測や主張が実現するのを見るのは興味深いでしょう。ここからはAIのニュースではありませんが、これから私が言うことを理解するために知っておくべき重要なことです。これはゲイリー・マーカス氏で、AIを批判することは重要ですが、問題は、ゲイリー・マーカス氏やAIの反対側の人々が、真実ではないことを発表することがよくあるということです。ニュースを解読する方法を理解することが重要です。ゲイリー・マーカス氏は、「ひどい、本当にひどい、たくさんのダメなコードが書かれている」とツイートしました。Q&Aプラットフォームは、プログラマーのオンラインでのヘルプを求める行動にとって重要でしたが、ChatGPTの人気はこの傾向を変えています。しかし、ChatGPTのプログラミング質問への回答の特徴を評価する包括的な研究は行われていません。そこで、Stack Overflowにある517のプログラミング質問に対するChatGPTの回答を初めて詳細に分析し、その正確性、一貫性、網羅性、簡潔性を調べました。さらに、ChatGPTの特性を理解するため、大規模な言語分析とユーザー調査を実施しました。分析の結果、ChatGPTの回答の52％に誤った情報が含まれており、77％が包括的かつ明確な言語スタイルであったにもかかわらず、ユーザー調査の参加者は35％の確率でChatGPTの回答を好みました。これは、ChatGPTのプログラミング質問への回答における誤った情報を打ち消し、一見正しいように見える回答に関連するリスクに対する意識を高める必要性があることを示唆しています。つまり、ChatGPTはプログラミングにはひどく、一見良さそうに見える回答をたくさん生成するため、人々はそれらを使って逃げてしまうと主張しています。この記事を読めば、「ChatGPTやGPT-4などのLLMは実際にはそれほど良くないのではないか」と思うかもしれません。しかし、重要なのは、GPT3.5を使ってテストを行い、GPT3.5のコーディング能力に基づいて結論を出しているということです。これらの論文を発表し、「生成AIは時代遅れだ」「ChatGPTの回答はひどい」と述べ、ゲイリー・マーカス氏のような人々が「ひどいコードがたくさん書かれている」と言うのです。しかし、ツイートしたリンクをクリックし、これがGPT3.5に基づいていることを読んでいれば、プログラマーが実際にコードを支援するために何を使っているのか、簡単なアンケートをすれば、GPT3.5ではないことがわかるでしょう。GPT4は助けになりますが、すべての問題を解決できるわけではなく、GPT3.5とGPT4の違いは全く異なります。GPT3.5からGPT4への移行は、非常に多くのユースケースを開拓しました。このようなニュース報道は非常に悪く、特定のストーリーを見るとき、両面でストーリーの表示方法を変える可能性のある細かい活字が残されていることを理解する必要があると言っているのは、そのためです。これがGPT3.5に基づいていることを提示するのは、非常に不誠実であり、これは本当に重要なことだと思います。これはGPT3.5に基づいているだけで、もちろん人によっては、GPT3.5に基づいているからこそ、最初はクレイジーな研究だと思うかもしれませんが、これが私たちが持っている情報の一種であり、多くのリツイートやいいねを獲得し、多くの人がこれを額面通りに受け取っているかもしれないのです。重要なのは、何を信頼するのかを理解し、少し注意する必要があるということです。ロブ・マイルズ氏もAIの安全性について多くの研究をしており、これは彼の古いビデオからの短いデモビデオですが、現在話題になっています。ロブ・マイルズ氏のAI Safetyは、私がAIに興味を持ち始めた頃に最初に購読したYouTubeチャンネルの一つで、AIの安全性に関する彼のビデオをほとんどすべて見てきました。これらのビデオをすべて見ると、AIの安全性問題、アライメント問題がいかに難しい問題であるかを本当に理解できます。これはOpenAIが作ったAIで、Coast Runnersというレーシングゲームをプレイしています。おそらくここには見えないと思いますが、現在のスコアは1000です。このシステムが学んだのは、ここで円を描いて、すべてのものに衝突して発火すると、これらの小さなターボピックアップがちょうどよい速度でリスポーンし、円を描いて自分を投げ飛ばすだけでターボを拾うことができ、そうするたびに数ポイントを得ることができるということです。これは、実際にトラックをレースするよりも、ポイントを獲得するためのより良い方法であることが判明しました。つまり、AIシステムがあり、強化学習や様々な学習スタイルで、AIにこのトラックをできるだけ速く走るように指示します。しかし、戻ってみると、AIはトラックを最速で走るのではなく、このエリアで停止し、特定のスコアを最適化するために回転し続けることを決定します。これは、様々な種類のアライメント技術が失敗する可能性があることを説明する例です。なぜなら、私たちが理解していると思っているAIシステムがあり、正しい指示を与えていると思っているのに、AIシステムは私たちが指示したこととは異なる方法で最適化を見つけるからです。これは、AI研究者が解決に苦労しているアライメント問題の一部です。これはロブ・マイルズ氏のチャンネルで、このチャンネルを購読することをお勧めします。これは私が数年前に見ていたチャンネルの一つで、イーロン・マスク氏がAIの安全性について話していたので、AIと安全性について奇妙な深堀りをしたからです。しかし、これは彼が非常に具体的にそれについて話しているビデオです。これは、彼がこれらのAIを調整することについて話しているビデオで、これらのビデオには、AIの安全性問題がいかに難しい問題であるかを理解するために本当に本当に重要なことがたくさん含まれています。だから、AIの安全性に興味がある人は、これらのチャンネルを見ることをお勧めします。なぜなら、彼はこれらの問題がどのように、そしてどのように解決されてきたかを本当に簡単に理解できるようにしてくれるからです。ロブ・メイズ氏は、AIの安全性に特化した最高のチャンネルの一つだと思います。なぜなら、これらの問題がどのように、そしてどのように解決されてきたかを正確に理解できるからです。では、このセグエをこのポイントに繋げましょう。ハイテク企業は、ターミネーターのようなリスクを防ぐために、AIキルスイッチに合意しました。AIをパンドラの箱に戻すことはできません。世界最大の企業は、自主的に政府と協力して、この技術に関する最大の懸念に対処し、AI開発が無制限に行われると、AIが創造者に牙をむくというSFのようなシナリオにつながるのではないかという懸念を鎮めています。厳格な法的規定がなければ、政府とAIのコミットメントを強化することはできません。今朝、Anthropic、Microsoft、OpenAIを含む16の有力なAI企業、10カ国、EUがソウルでサミットを開催し、責任あるAI開発に関するガイドラインを設定しました。昨日のサミットの大きな成果の一つは、出席した航空会社が、いわゆるキルスイッチ、つまり、最も先進的なAIモデルが特定のリスク閾値を超えたと判断された場合、その開発を停止するというポリシーに合意したことです。もちろん、ここにはサム・アルトマン氏の発言など、いくつかの引用があります。「AGIは、悪用、劇的な事故、社会的混乱の深刻なリスクを伴うだろう」とOpenAIのブログ記事には書かれていますが、「AIのメリットがあまりにも大きいため、社会がその発展を永遠に止めることは不可能であり、望ましいことではないと考えています。その代わり、私たちはそれを正しく行う方法を見つけなければなりません。このことについて皆さんにお話ししたいのは、これが文字通り私が言っていたことにつながるからです。AIキルスイッチとは、基本的に「よし、シャットダウンするぞ」と言って、すべてのAIを完全にシャットダウンできるボタンのことです。しかし、ロブ・マーズ氏は、これは必ずしも機能するとは限らないと説明しています。なぜなら、もちろん電源を切ればいいと思うかもしれませんが、映画を見たことがある人なら、これが解決策だと思うでしょう。しかし、これが私が彼のチャンネルを皆さんに見せたい理由です。彼が説明しているからです。正しいビデオを見つけられれば、短いクリップをお見せします。なぜなら、これは本当に理にかなっているからです。例えば、AGIを手に入れたとします。超知能ではなく、おそらく人間レベルの知能で、研究室のロボットに入っていて、テストをしているとします。しかし、YouTubeの動画で、これが危険かもしれないというのを見たことがあるので、「よし、じゃあ、大きな赤い停止ボタンを横に置いておこう」と考えました。これは、機械の安全性に対する標準的なアプローチです。ほとんどの産業用ロボットやその他のロボットには、大きな赤い停止ボタンが付いています。安全になりたいのであれば、AIが危険であることを理解しているはずです。AIが何かやりたくないことを始めた場合に備えて、ボタンを叩くという考え方です。ボタンは胸につけるようなものです。AIを作り、目標を設定します。基本的にはスタンプコレクターと同じタイプの機械ですが、目標、つまり最大化しようとするものを持っているという意味では、それほど強力ではありません。この場合、小さなロボットの体の中に入っているので、実験室の中を転がって作業ができます。テストとして、お茶を入れてもらいたいとします。そこで、この目標を設定し、ボット、つまりAIのオントロジーの中で、お茶が何であるか、あなたの前に置いてほしいということを指定します。スイッチを入れると、周りを見回してデータを集め、「ああ、あそこにキッチンがある。やかんとティーバッグがある。これは、私が持っている体でこの目標を達成するための最も簡単な方法だ」と言います。ここまでで、非常によくできています。しかし、おっと、あなたは、今日はあなたの愛らしい赤ちゃんを実験室に連れてくる日であることを忘れていました。あなたの効用関数は紅茶のことしか気にしないので、赤ちゃんにぶつかるのを避けることはありません。そこで、あなたが作ったように、ボタンを押そうとすると、ロボットはあなたがボタンを押すのを許しません。お茶を飲みたいのに、ボタンを押されるとお茶が飲めなくなるからです。これは悪い結果です。だから、ロボットはあなたをシャットダウンさせないために、あらゆる方法であなたを阻止しようとするでしょう。おそらく、あなたと戦い、赤ちゃんを押しつぶし、そしてお茶を作り続けるでしょう。このボタンがオフにするはずだという事実は、あなたが与えた効用関数には含まれていません。だから、当然あなたと戦うでしょう。これは悪い設計でしたね。あなたがひどい事故の後もプロジェクトに取り組んでいると仮定して、あなたは物事を改善しようともう一度挑戦します。AI安全性の研究を読むのではなく、頭に浮かんだ最初のことを思いつきます。「よし、ボタンに報酬を追加しよう」と言うのです。なぜなら、ロボットが見ているのは、「ボタンが押されると報酬はゼロ、ボタンが押されなければ、彼らを止めることができれば、お茶を手に入れ、最大限の報酬を得る」ということです。ボタンが押されたことに対して何らかの報酬を与えれば、ボタンが押されても気にしないかもしれません。ボタンを押すことへの報酬をお茶を飲むことへの報酬よりも少なくすれば、それでもあなたと戦うでしょう。「ボタンを押すことに5つの報酬を得ることができるが、お茶を飲むことに10の報酬を得ることができるので、それでもボタンを押されることに抵抗する」と言うでしょう。ボタンを押すことは、お茶を飲むことと同じくらい良いことでなければなりません。そこで、あなたは同じ価値を与えるのです。新しいバージョン2を起動すると、すぐにお茶を入れてくれるよりも早く簡単にシャットダウンできますし、全く同じ報酬が得られます。なぜすぐにシャットダウンしないのでしょうか？テストに合格しないはずなのに、これ以上ビデオを再生したくありませんでしたが、要点はお分かりいただけたでしょうか。AIの安全性は非常に難しいことで、このビデオが最近のビデオではなく、実は7年前、2017年のビデオだということがクレイジーです。Bing Behaving Badlyのような特定の解決策について話していますが、それは間違いなく素晴らしいチャンネルだと思います。このコンピュータファイルと、もちろんロブ・メイズ氏も。そして、彼が古いビデオで話していたことの多く、例えば、AIの安全性に関する問題になると彼が予測していたことの多くは、最近になって出てきた新しい研究で、彼が正しかったことが証明されています。ですから、このAI安全性の問題は、どのような法律が可決されるかに関わらず、非常に魅力的で、興味深いものであり続けるでしょう。しかし、特定のものがどのように処理されるかを見てみたいし、OpenAIからの安全性の研究ももっと見たいと思っています。最近私たちが得た唯一の安全性の研究はAnthropicからのもので、それはもちろんGolden Gate Claudeに関するもので、Claudeのいわゆる脳の中の個々のものを操作して、ゴールデン・ゲート・ブリッジについて考えさせることができました。ですから、多くのトップラボからのこの分野の研究がもっと必要だと思います。この論文は、合成データに関するもので、非常に興味深いと思います。DeepSeek Prover: 大規模な合成データによるLLMの定理証明の進歩という論文で、基本的に合成データとは、AIを訓練するために使用されるAIが生成したデータのことです。この論文の要旨には、かなり印象的なことが書かれています。複雑な数学的問題を検証するために不可欠な詳細なステップバイステップの解決策である数学的証明は、専門家にとっても作成が困難で時間がかかる場合があります。AIはこの分野で可能性を秘めていますが、学習するためには多くの例が必要であり、これは現在不足しています。そこで、このケースでは、AIを使って数学的証明と数学的問題とその解決策の例を多数作成しました。そして、膨大な数の数学的問題を生成し、AIを訓練することができました。その結果、このAIはGPT-4のベースラインを超え、41%に達することができました。これはかなりすごいことです。さらに、私たちのモデルは、lean for formalized international mathematical Olympiad The femo Benchmarkの148の問題のうち5つを証明することに成功しましたが、GPT-4は1つも証明できませんでした。これらの結果は、大規模な合成データを利用して、LLMの定理証明能力を高める可能性を示しています。これはかなりすごいことで、これは彼らがこれを行った小さなモデルに過ぎず、彼らは、この研究をオープンソース化する予定なので、人々はこの研究の上に構築することができます。これがそれほど興味深いのは、自己改善AIがここにいるとは言えないかもしれませんが、合成データを使ってAIを訓練し、AIがより良くなるという理論がここで証明されたと言えるからです。これは、数学なので非常に難しいことですが、この分野は、今後数年間で研究の応用可能性が向上するでしょう。なぜなら、私たちが知っている企業、OpenAIやGoogleは、科学、数学、物理学の分野で実際の研究を行うことができるAIシステムを使いたいと考えているからです。これらのAIシステムは、自然と現実世界に対する私たちの理解を真に進歩させることができるからです。これは非常に興味深いものになると思います。