ClaudeがGPT4oを打ち負かし、Qスターが登場、元OpenAI創設者が帰ってきた、イーロンのAIファクトリー、100万ドルのAGI賞金

前回のAIニュース動画からまだ数日しか経っていませんが、すでにたくさんの新しいAIニュースが出てきました。それらすべてについて話していきましょう。イリヤ・スツケヴァーが隠れていた場所から出てきて、安全な超知能に専念する新しい会社を立ち上げました。Qスターらしき研究論文が発表されました。イーロン・マスクがマイケル・デルと協力して、xAIのための巨大なAIサーバーファームを構築しているようです。そして、メタAIがいくつかの新製品を発表し、マルチモーダルになりました。Grockがとても高速なWhisper実装を導入し、AGI到達に100万ドルの賞金が出されました。これらすべてについて詳しく見ていきましょう。

ここに元のOpenAIチームの他のメンバーと一緒に写っているイリヤ・スツケヴァーは、取締役会に行ってサム・アルトマンに対するクーデターを試みた人物です。でも、このチャンネルをご覧の方はご存知の通り、そのクーデターは失敗し、サム・アルトマンは解雇されてからわずか数日後に王様として復帰しました。それ以来、イリヤからは基本的に何の音沙汰もなく、「イリヤは何を見たのか」というミームが広まりました。数週間前、イリヤがOpenAIを去ることが発表されましたが、誰も驚きませんでした。彼はOpenAIの方向性を本当に心配していて、超知能が世界を乗っ取ることを真剣に懸念していたのです。
そして今、たった1日前に、彼が何に取り組んでいたのかがついに明らかになりました。Safe Super Intelligence Inc.という新しい会社を立ち上げたのです。「私は新しい会社を立ち上げます。そしてそのすべてを説明します。私たちは一つの焦点、一つの目標、一つの製品に絞って、まっすぐに安全な超知能を追求します。小さな精鋭チームによる革命的なブレイクスルーを通じてそれを実現します。私たちに参加してください。」
これがSafe Super Intelligenceの投稿です。「超知能は手の届くところにあります。それは私たちの時代で最も重要な技術的課題です。私たちは世界初の直接的なSSI（Safe Super Intelligence）研究所を立ち上げました。一つの目標と一つの製品、それは安全な超知能です。SSIは私たちのミッションであり、名前であり、製品ロードマップのすべてです。なぜなら、それが私たちの唯一の焦点だからです。私たちのチーム、投資家、ビジネスモデルのすべてがSSIの達成に向けて調整されています。」
これは、OpenAIに対する直接的な批判です。ご存知の通り、OpenAIは以前の非営利から何かハイブリッドなフランケンシュタインのようなものに変わり、今では完全な営利企業になりそうです。そして先ほど言及したように、ヤン・レクンがスーパーアライメント研究者としてOpenAIを去りました。レオポルド・F・ブレナーもOpenAIを去った後、超知能と安全性に関する懸念について165ページ以上の論文を書きました。
イリヤはここで、彼の会社には唯一のミッション、唯一の目標があると言っています。興味深いのは、彼が多額の資金を調達したことです。最終的に収益がないのであれば、投資家が何を得るのかよくわかりません。しかし、彼は多額の資金を調達しました。もちろん、それは彼の名前に基づいています。イリヤ・スツケヴァーはAIの世界で世界的に有名です。
「私たちは、安全性と能力を同時に、革新的なエンジニアリングと科学的ブレイクスルーによって解決される技術的問題として扱います。私たちは能力を可能な限り速く進歩させながら、常に安全性が先行していることを確認する計画です。」
多くの元OpenAI従業員は、サム・アルトマンが安全性よりも目新しいものを最適化していると言っています。ヤン・レクンは、OpenAIの全体的な計算能力の20%をスーパーアライメント研究に使えると約束されていましたが、それは実現しませんでした。
これを見るのは素晴らしいことです。私はより多くの競争、特に安全性に焦点を当てた競争を全面的に支持します。「このようにして、私たちは平和裏にスケールアップできます。経営のオーバーヘッドや製品サイクルに気を取られることなく、私たちのビジネスモデルは安全性、セキュリティ、進歩を短期的な商業的圧力から守ります。私たちはアメリカの会社で、パロアルトとテルアビブにオフィスがあります。そこには深い根があり、トップクラスの技術的才能を採用する能力があります。私たちは、世界最高のエンジニアと研究者からなる精鋭チームを集めています。もしあなたがそのような人材なら、人生の仕事をし、私たちの時代で最も重要な技術的課題を解決する機会を提供します。今がその時です。私たちに参加してください。」イリヤ・スツケヴァー、ダニエル・グロス、ダニエル・レヴィ。
では、他の2人は誰なのでしょうか？紹介しましょう。これはダニエル・グロスです。Safe Super Intelligenceの共同創業者です。彼は複数の10億ドル規模の企業に投資しています。Stripe、Instacart、Coinbase、Rippling、Figmaなどです。彼は複数回の共同創業者経験があり、自分の会社をAppleに売却しました。Y Combinatorのパートナーでもありました。彼が属しているのは非常に閉鎖的なコミュニティです。
次にダニエル・レヴィです。Safe Super Intelligence Inc.の共同創業者兼主任科学者です。OpenAIで2年半、技術スタッフのメンバーとして働き、今月退社しました。Googleにしばらくいて、Facebookにもいました。そして、Microsoft、Facebook、Googleなど大手テック企業でインターンをしています。チームには豊富な経験が集まっています。
イリヤ・スツケヴァーが別の会社を立ち上げたのを見るのは本当に嬉しいです。彼の成功を心から願っています。彼らが次に何を作るのか楽しみです。

イーロン・マスクとTeslaは、DellとNVIDIAの助けを借りて、絶対的に巨大なサーバーファームを構築しています。これは数ヶ月前の写真で、ニュースが発表される前のものです。Dell創業者のマイケル・デルとTesla創業者のイーロン・マスクが数ヶ月前に何かを計画していたようです。そして昨日、マイケル・デルが書いています。「NVIDIAとともにDell AIファクトリーを構築して、xAIのためのGRに電力を供給します。」イーロン・マスク。ここに、この巨大な工場に入ってくるすべてのユニットの写真があります。この巨大なサーバーファームのために構築しなければならない冷却システムを見てください。これを見てください。
そしてもちろん、イーロン・マスクは冗談で「私たちはファンなしでは何もできません」と言っています。とてもおもしろいですね。これは、これらのファンの絶対的な巨大さを示す別の写真です。これらは人間です。そしてこれらがファンです。もちろん、これらのGPUがすべて稼働すると、大量の熱が発生します。テキサスはとても暑いので、冷却を本当にうまく機能させる必要があります。

次に、Qスターがついに何らかの形で登場したようです。Qスターの実装のように見える全く新しい研究論文が発表されました。TwitterのDDDDDは言います。「ついに来ました。Qスターが真実となりました。小さなLLMがフロンティアモデルと同じくらい数学が得意です。Googleが囲碁を解くために使ったのと同じテクニック、MCTSとバックプロパゲーションを使用しています。Llama 8Bは数学ベンチマークGSM8Kで96.7%を達成しました。これはGPT-4、Claude、Geminiよりも優れており、パラメータは200分の1です。」
これは上海人工知能研究所の論文で、MCTSセルフリファインアルゴリズムを紹介しています。これはモンテカルロ木探索のことです。これがどのように機能するかの要点は次のとおりです。エージェントは人間のように試行錯誤から意思決定と推論を学ぶことができます。基本的に、実際に前もって計画を立て、物事を試し、戻って間違いから学び、そこから反復できるのです。
これは、エージェントの混合のようなプロジェクトで見てきたことです。このアプローチに本当にワクワクしています。生のLLMは信じられないほど強力ですが、エージェントやエージェントフレームワーク、実際に計画を立て、物事を試し、長期的に考え、そしてそのすべてから学ぶことができるような新しいアプローチを追加し始めると、信じられないほどの性能を見ることになるでしょう。
AlphaGoの主要な革新の1つは、人間のプレイヤーからの大量のゲームを与えるだけでなく、実際に自分自身と何度も何度もゲームをプレイして、何が機能し何が機能しないかを学ぶことができたことです。ここで見られるように、MCTSで96.66%の性能を示しています。これは、何も使わずにゼロショットで思考連鎖を行った場合の74%と比較しています。この実装は本当にうまく機能しています。
ここに、彼らがアルゴリズムで実際に使用しているプロンプトの一部があります。自己修正と自己報酬があり、すべてが単純なプロンプトで行われているようです。新しい技術がこれほどうまく機能しているのを見るのはとてもクールです。
あなたはこれがQスターだと思いますか？コメントで教えてください。

次に、Meta AIが多くの新しいものをリリースしました。とてもエキサイティングです。数週間前に発表した研究論文にようやくモデルがつきました。Meta Chameleonという7億と34億パラメータの言語モデルをリリースしています。これは混合モーダル入力とテキスト出力をサポートします。
これが興奮する理由は何でしょうか？GPT-4やその他のフロンティアモデルが画像や他のモダリティを非常にうまく取り込めるのを見てきました。しかし、オープンソースは常に遅れていました。Llama 3にはそれができるいくつかのバージョンがありましたが、あまりうまく機能しませんでした。今や、マルチモーダル入力をネイティブに取り込み、出力を非常にうまく生成できるベースバージョンができました。それがChameleonです。
残念ながら、現在は研究用ライセンスのみですが、将来的には変わるでしょう。これが非常に興奮するのは、すべてが単一のモデルに組み込まれていて、アドオンが不要だからです。マルチモダリティをネイティブにサポートしています。
次に、Metaのマルチトークン予測があります。コード補完のための事前学習された言語モデルで、マルチトークン予測を使用しています。もっと詳しく読んでみましょう。
「ほとんどのモデルは基本的に次の単語を予測するだけです。このアプローチはシンプルでスケーラブルですが、非効率的で、子供が同じ程度の言語流暢性を学ぶのに必要な量の何桁も多いテキストを必要とします。4月に、私たちはマルチトークン予測と呼ばれる新しいアプローチを提案しました。このアプローチでは、古い1回に1つのアプローチの代わりに、一度に複数の将来の単語を予測するように言語モデルを訓練します。これにより、モデルの能力とトレーニングの効率が向上し、より高速な速度が可能になります。責任ある オープンサイエンスの精神で、私たちはコード補完のための事前学習済みモデルを非商用研究用ライセンスのもとでリリースします。」それはいいですね。でも、非商用研究用ライセンスというのはあまり好きではありません。しかし、研究者の手に渡ればすぐに、この技術は他のモデルに適用されるでしょう。とてもクールですね。
次に、MetaのJascoがあります。様々な条件付き入力を受け入れて、より高い制御性を実現できる生成的テキスト音楽モデルです。論文は今日公開され、事前学習済みモデルも近日公開予定です。テキストから音楽を生成するオープンソースが近日公開されるのは非常にクールです。今月後半に、Audio Craftリポジトリの一部として推論コードをMITライセンスの下でリリースし、事前学習済みモデルも公開します。
サンプル作品を聴いてみましょう。これが入力オーディオです。「80年代のドライビングポップソング、電子ドラムとシンセパッドがバックグラウンドに」[音楽]。こちらは別のもの。「中国の伝統的な曲で、鑼と笙の打楽器、そして笛」。これは白鳥の湖のバレエのように聞こえますが、中国の伝統的な曲に翻訳されています。そしてこれは「蜂の飛行」です。では、これを「速いテンポのカントリーソング」に変えてみましょう。そして今度は「深いシンセベースのサイケデリックトランス音楽」です。
聴けるサンプルがたくさんあります。これらすべてのリンクを説明欄に載せておきます。
次に、MetaのAudio Sealです。AIで生成された音声の局所的な検出のために特別に設計された、最初の音声透かしモデルだと考えられています。これは、ディープフェイクがさらに広まり始めたときに非常に役立つでしょう。
そして、地理的および文化的な好みの表現とAIシステムの多様性を測定し改善するための追加のAI人工物、研究データ、コードも含まれています。これは基本的に、私が以前話した異なる地理的地域のためのファインチューニングだと思います。

次に、Grockが超高速の音声テキスト変換であるWhisper Large V3をリリースしました。非常に速い音声テキスト変換で、他に見たことがないほど高速です。とてもクールです。
そして、この動画を録画している最中に、AnthropicがClaudeの新バージョンをドロップしました。Claude 3.5 Sonetです。「私たちの最も知的なモデルです。これは3.5モデルファミリーの最初のリリースです。」SonetはOpusに次ぐ中間モデルです。これらのベンチマークを見てみましょう。多くのベンチマークでOpusを大きく上回っています。GSM8Kで96.4%、大学院レベルの推論で60%、コードで92%、ゼロショットで絶対に信じられない成績です。
「Sonetは主要な評価でライバルモデルを上回り、Claude 3 Opusの2倍の速度で1/10のコストです。」AIの世界でこのような競争があるのが大好きです。素晴らしいモデルが信じられないほど安く手に入るようになり続けています。
Claude 3.5 Sonetは現在、最強のビジョンモデルでもあります。すべての標準的なビジョンベンチマークでClaude 3 Opusを上回っています。そして、「アーティファクト」と呼ばれるものを発表しています。Claudeにドキュメント、コード、マーメイド図、ベクターグラフ、さらには簡単なゲームの生成を依頼することができます。Anthropicは素晴らしいことをしています。これらのモデルをすべてテストすべきでしょうか？コメントで教えてください。

最後に、AGI到達に100万ドルの賞金を提供するARC賞が設立されました。AGIを非常に具体的に定義しています。
「ARC賞は、AGIベンチマークのオープンソースソリューションを打ち破った最初の個人またはチームに100万ドルを提供する公開コンペティションです。Mike NupとFrançois Cholletが主催し、同じくAIコンテンツクリエイターのGreg Kamradtの協力を得ています。これはとてもエキサイティングです。ほとんどのAIベンチマークはスキルを測定しますが、スキルは知能ではありません。一般知能は新しいスキルを効率的に獲得する能力です。2019年の人工知能のための抽象化と推論コーパス（ARC）は、AGIの唯一の正式なベンチマークです。人間には簡単ですが、AIには難しいのです。」
ここに例があります。他のベンチマークもたくさんありますが、基本的にベンチマークが導入されてすぐに、5年以内にすべてのモデルがそれを打ち破ることができました。しかし、ARC AGIはまだ50%以下です。
彼らが提供している例の1つを見てみましょう。この例では、入力と出力を見て、2つの例が提供されています。青色の3つの正方形のグループがあり、それらを完成させるためにより薄い青色が追加されているのが分かります。これが2回起こっています。私にとってはこれを解決するのはとても簡単です。単に入力を再現し、各グループにより薄い青色を追加すればいいのです。解答を提出すると、正解です。
私にはとても簡単ですが、AIにとっては達成するのが非常に難しいようです。他の例を見てみましょう。これは基本的にすべての色が底に落ちるものです。このように、さまざまなパターンがあり、パターンを探しているのですが、AIはそれを本当にうまくできません。
現在のハイスコアを見ると、Anthropic's AIが35%で、AGIの実装のトップでわずか38%です。100万ドルを獲得するチャンスがほしい方は、ARC賞をチェックしてみてください。
今日はここまでです。とてもエキサイティングな内容でした。コメントで感想を教えてください。この動画を楽しんでいただけたなら、ぜひ「いいね」をして登録してください。次回またお会いしましょう。