OpenAIのSearchGPT、AlphaProofが数学を制覇、LLaMA 3.1、GPT4oボイス、Mistral Large 2

AI業界ではなんと忙しい1週間だったことでしょう。LLaMA 3.1がリリースされましたが、これが今日最初のニュースです。ただし、今週ずっとこの話題を取り上げてきましたので、簡単に触れるだけにしておきます。こちらが情報です。既に述べたように複数の動画を作成しましたので、それらは全て説明欄に記載しておきます。そして、こちらがLLaMA 3.1を紹介するブログ記事です。
ここでLLaMA 3.1について言及した何人かの人々を紹介したいと思います。まず、Andre Karpathyです。彼はAI界で最も、あるいは間違いなく指導的な頭脳の持ち主の一人です。MetaのAIチームにLLaMA 3.1リリースについて大きな祝福を送っています。彼は実際にかなり長いTwitterの投稿をしています。
今日、405bモデルがリリースされたことで、フロンティア能力を持つLLMが初めて誰でも利用可能になり、それを基に構築できるようになりました。このモデルはGPT-4、Claude 3.5 Sonnetクラスの性能を持っているように見え、重みはオープンで、商用利用を含む許可的なライセンスの下で公開されています。これには合成データ生成、蒸留、ファインチューニングが含まれます。これはMetaによる実際のオープンなフロンティア能力LLMのリリースです。
はい、モデルについてのさらなる詳細が記載された92ページのPDFがあります。実は私はまだこの論文を読んでいません。もしかしたら読んで分析すべきかもしれません。コメント欄で教えてください。
そしてElon Muskが実際にその投稿に返信しています。印象的だ、そしてZuckはオープンソース化に対して称賛に値すると。つまり、Elon MuskでさえZuckとそのチームに賞賛を送っているのです。これは彼らがMMA（総合格闘技）の試合で対決することを挑戦している間のことです。
私たちはxAI、Elon MuskのAI企業が、世界最大のAIコンピューターになることを望んでいるものを構築していることを知っています。そして次のバージョンのGroqが間もなく登場することも分かっています。
Elon Muskと彼のAIについて触れましたが、こちらが彼のツイートです。xAIチーム、Xチーム、NVIDIAおよびDellを含む（と思われる）サポート企業による素晴らしい仕事だ。Memphisスーパークラスターのトレーニングを現地時間の午前4時20分に開始した。4時20分だったのは偶然か？それはElonのお気に入りの時間ですね。そうかもしれませんし、そうでないかもしれません。10万台の液冷H100を単一のRDMAファブリックで使用しており、これは世界最強のAIトレーニングクラスターだ。
ここでのニュースは、彼のクラスターが稼働を開始し、トレーニングが始まったということです。私はこの競争が好きです。なぜなら消費者が勝者となるからです。
彼はさらにコメントしています。今年12月までに、あらゆる指標で世界最強のAIをトレーニングする上で、これは大きな優位性となる。
Elon Muskは自身のタイムラインを過大評価することで知られています。実際に12月までに実現するでしょうか？様子を見守りましょう。私は彼が成功することを願っています。
ニュース動画の収録を終えたところで、最初に目にしたのはOpenAIが何かをリリースしたということです。とても興味深いので、今日の動画に含める必要がありました。彼らはちょうどSearchGPTのプロトタイプを発表しました。
私たちは、明確で関連性の高いソースを用いて、迅速かつタイムリーな回答を提供する新しいAI検索機能のテンポラリープロトタイプであるSearchGPTをテストしています。なぜ一時的と言っているのかわかりませんが、興味深いですね。ウェイトリストに参加できます。
はい、私たちは皆同じことを考えています。これはPerplexityの直接的な競合相手です。そしてPerplexityは、ChatGPTを彼らのLLMバックエンドとして使用していると思われます。
このチャンネルをよく見ている方なら、私がプラットフォームリスクに非常に敏感であることをご存知でしょう。これがその理由です。これがオープンソースが非常に重要である理由です。例えば、あなたが会社を経営していて、他社の製品の上に自社の製品全体を構築したとします。そして突然、彼らが競合製品をリリースしたり、ルールを変更したりしたらどうでしょうか。これは今まさに私たちの目の前で起こっていることです。
それはさておき、SearchGPTについて少し説明させてください。私たちは、AIモデルの強みとウェブからの情報を組み合わせて、明確で関連性の高いソースを用いて迅速かつタイムリーな回答を提供するように設計された新しい検索機能のプロトタイプであるSearchGPTをテストしています。
ここで重要なのは、今週私がXに投稿したことです。ChatGPTのウェブ検索能力を軽視しないでください。それは最高レベルです。なぜなら、私は通常、最新の情報を得るためにChatGPTを利用するからです。ウェブを非常に迅速に、そして非常に優れた方法で、非常に確実に検索するからです。そして今、彼らはそれを完全な製品に取り入れようとしています。
彼らは、これは新しい検索方法だと言っています。この例では、誰かが「8月のノースカロライナ州ブーンの音楽フェスティバル」と入力しています。そしてシステムはウェブを検索し、例を見つけ、情報を引用した記事への参照を提供します。そこに行くこともできますが、これは本当にとてもクールで、きれいなインターフェースです。
もちろん、私はPerplexityについてのみ言及していますが、Googleはどうでしょうか？これもGoogleへの直接的な挑戦です。私はすでに、以前はGoogleに行っていた検索の90%をChatGPTや他の大規模言語モデルを使用して行っています。もし私がGoogleだったら、今非常に恐れているでしょう。過去20年間頼ってきたマネープリンターが、今や本格的な競争に直面し始めているのです。
SearchGPTは、関連するソースへの明確なリンクを提供しながら、ウェブから最新の情報を使って迅速かつ直接的にあなたの質問に答えます。人との会話のように、共有されたコンテキストが各クエリで構築されていくので、フォローアップの質問をすることができます。
これは素晴らしいです。私は今すぐウェイトリストに参加するつもりです。あなたも同じようにすることをお勧めします。
次に、少し注目度が低かったのですが、Mistralが新しいモデル、Mistral Large 2を発表しました。
今日、私たちは旗艦モデルの新世代であるMistral Large 2を発表します。前世代と比較して、新バージョンは推論、数学、推論において大幅に能力が向上しています。また、はるかに強力な多言語サポートと高度な関数呼び出し機能も提供します。
これはLLaMA 3.1がリリースされた翌日に発表されたので、すべての注目はLLaMA 3.1に集まりました。しかし、これは興味深いです。実際にはまだ使用していませんが、徹底的にテストする動画を作る予定です。ご存知の通り、私は必ずそうします。近々公開されますので、お楽しみに。
パフォーマンスを見てみましょう。これはコードと推論に関するものです。驚くべきことに、はるかに少ないパラメータで、LLaMA 3.1 405bよりも高いスコアを記録しています。X軸にはパラメータ数、Y軸にはパフォーマンスがあります。そしてこちらは数学のパフォーマンスで、これら3つのモデル間で同様の関係が見られます。
こちらはベンチマークスコアです。オレンジ色で示されているのが新しいMistral Largeで、その隣にある最高スコアはほぼすべての項目でGPT-4 0です。
こちらはコード生成の精度です。ご覧の通り、Mistral Large 2の平均スコアは76.9%で、GPT-4 0は1ポイント高い77.9%です。LLaMA 3.1 405bの測定値と論文の値を見てみると、約75%でほぼ同じです。GPT-4 0とMistral Large 2が少し高いですが、興味深いのは405bと比べてはるかに小さいモデルだということです。
高品質でありながら小さいモデルを目指すこのレースが大好きです。なぜなら、モデルが小さくなるにつれて、より高性能なモデルをエッジデバイスで実行できるようになるからです。
Mistral Large 2は、長いコンテキストのアプリケーションを念頭に置いて、シングルノードの推論用に設計されています。128kのコンテキストウィンドウを持ち、数十の言語をサポートしています。パラメータ数は1230億で、Mistral Research Licenseの下にあります。完全に許容的ではなく、Zuckが行ったような研究および非商用利用のための使用と変更を許可するものではありません。これは、Mistral 2を使用して何かを構築したい人にとっては大きな制限要因ですが、まだコンピューターにダウンロードして使用できるのはクールです。
次に、非常に悲しいニュースですが、EUはMetaのマルチモーダル機能をLLaMAで利用できなくなります。これは、AIに関して過剰な規制をしているためです。
The Vergeの記事によると、Metaは規制上の懸念を理由に、EUでマルチモーダルLLaMA AIモデルをリリースしないとのことです。
まず、私はマルチモーダルLLaMAを心待ちにしています。過去にLLaMA 2のマルチモーダル版の微調整版がありましたが、それらはあまり性能が良くありませんでした。しかし今、ネイティブのLLaMA 3.1マルチモーダルがあれば、待ちきれません。
規制上の懸念を理由に、この決定はヨーロッパの企業がオープンライセンスの下でリリースされているにもかかわらず、マルチモーダルモデルを使用することを妨げます。
今後数ヶ月でマルチモーダルLLaMAモデルをリリースする予定ですが、ヨーロッパの規制環境の予測不可能な性質のため、EUでは行いません。これは過剰規制をすると何が起こるかの例です。イノベーションを抑制してしまうのです。
先週、EUは厳格な新AI法の下でAI企業のコンプライアンス期限を確定しました。EUで事業を展開するテクノロジー企業は、一般的に2026年8月までに著作権、透明性、予測的警察活動などのAI利用に関するルールに準拠する必要があります。
Metaの決定は、最近デジタル市場法に関する懸念からApple Intelligenceの展開からEUを除外する可能性が高いと述べたAppleの同様の動きに続くものです。Metaもまた、EUでのAIアシスタントのリリース計画を中止し、ブラジルでの生成AIツールを一時停止しました。
これは全てEUにとって非常に悲しいことです。これは残念ながら、まだ初期段階にあるものに対してあまりにも多くの政策と規制を持つとどうなるかの例です。
次に、Stability AIが音声生成AIモデルStable Audioの研究論文のリリースを発表しました。このオープンウェイトなテキスト音声モデルは、テキストプロンプトから44.1kHzのハイクオリティなステレオ音声を生成します。リアルな音や環境音の合成に最適です。一般的なGPUで動作するため、学術的および芸術的な用途にアクセスしやすくなっています。
アーキテクチャについて少し触れていますが、詳しくは説明しません。最大47秒の音声を生成できます。cool なのは、これを11labsやSoraのようなものと組み合わせることを想像してみてください。音声、声、そしてAIで生成された背景ノイズと音楽が全て揃います。とても cool ですね。
Stable Audio Openは、ほぼ50万件のライセンス付き録音を使用してトレーニングされました。これは良いことです。データセットにはFree Soundから472,000件の録音と、Free Music Archiveから13,000件の録音が含まれています。著作権のある素材が含まれないように、Pansonic Audio Taggerを使用してFree Soundの音楽サンプルを特定することで、このコンテンツは慎重にキュレーションされました。
Stable Audio Openは微調整可能です。ユーザーはA6000 GPUを使用してローカルでモデルをトレーニングできます。私は2台持っているので、絶対に試してみるつもりです。
これで何が作れるかの例をいくつか紹介します。屋根に当たる雨の音、okay、テーブルに落ちるコインの音。音響効果が必要な場合は、今やAIで完全に著作権フリーのものを作成できます。
もう少しいくつか聞いてみましょう。アップビートなヒップホップのドラムループ。[音楽]
最後に、テックスタートアップ向けの音声ロゴ。
とても cool です。私は絶対にこれで遊んでみるつもりです。AIオーディオにはあまり触れていなかったので、少し掘り下げるのが楽しみです。
次に、ついにGPT-4 0の音声を実際に手に入れられる時期が見えてきました。私はこれを心待ちにしています。
OpenAIは今月末までに、選ばれたユーザーグループにGPT-4 0の高度な音声機能を提供する予定です。私もその一人であることを願っています。これはTom's Guideの記事からの情報です。
Tom's GuideはJakeのツイートを引用しています。「数週間前に紹介された音声モードはいつ利用できるようになりますか？」Sam Altmanは7月18日に「今月後半にアルファが始まり、GAはもう少し後になります」と返信しています。
私がそれを入手したら、すぐにテストすることは言うまでもありません。待ちきれません。
OpenAIについて話し続けましょう。Reutersの記事によると、OpenAIは新しいAIチップの開発についてBroadcomと協議を行っているそうです。The Informationが報じています。
LLaMA 3.1のリリース後、特にOpenAIは知能とAIが商品化されつつあること、大規模言語モデル自体が商品化されつつあることを明確に理解しています。もしそうでなければすでにそうなっています。これは何を意味するのでしょうか？彼らの差別化要因は何でしょうか？
もし彼らが独自のチップを持ち、最も効率的な方法で、最も安価な方法で、最も高速な方法で推論を実行できれば - Groqのような速度で - 彼らは実際に自分たちのモートを拡大することができるでしょう。なぜなら、現在彼らは自分たちのモートが縮小しているのを見ていると思うからです。少なくとも私はそう信じています。
ChatGPTのメーカーであるOpenAIは、新しい人工知能チップの開発について、Broadcomを含むチップデザイナーと協議を行っています。Microsoft支援の同社は、Googleのオンライン検索の巨人独自のAIチップとして知られるTPUを生産した元Google社員を採用しています。Jonathan Ross、Groqのサンペイ、TPUの発明者であり、現在はGroqの創業者兼CEOで、AIサーバーチップの開発を決定しました。これは cool ですね。チップ世界でより多くの競争が、クラウド推論の世界でより多くの競争が行われています。これは私たち消費者にとって全て良いことです。
OpenAIに関する話を続けましょう。米国の立法者たちがOpenAIに対して政府のアクセスを要求する手紙を送りました。
市場で最初の、そして最大のプレイヤーである場合、あなたはすべての注目を集めることになります。そしてそれには規制当局と政策立案者も含まれます。これは今まさにOpenAIに起こっていることです。そしておそらく、これが彼らが同時に規制の捕捉を達成しようとしている理由でもあります。
彼らは両方のニーズを満たそうとしています。規制当局に対しては「私たちはあなたたちと上手くやろうとしています」と言い、同時に新しい革新者や小さな企業が市場に参入するのをより困難にする壁を構築しています。
こちらはアメリカ合衆国上院からSam Altman、OpenAIのCEOへの手紙です。
私たちはOpenAIの安全性と雇用慣行に関する最近の報告について、あなたに手紙を書いています。OpenAIは人工知能の安全で、セキュアで、責任ある開発を公共の利益のために導く約束を発表しました。これらの報告は、OpenAIが新たな安全性の懸念にどのように対処しているかについて疑問を投げかけています。
私たちはOpenAIから、安全性に関する公約を実行するために会社が取った措置、それらの約束の進捗状況を社内でどのように評価しているか、そしてサイバーセキュリティの脅威の特定と軽減について追加情報を求めています。
彼らはいくつかの質問をしていますが、こちらはその一つです。OpenAIは以前の公約である、コンピューティングリソースの20%をAI安全性の研究に充てるという約束を守る予定ですか？
私はこの質問をしてくれてとても嬉しいです。なぜなら、Leopold Aschenbrennerと他のアライメントチームのメンバーが、まさにこの理由で退社したからです。OpenAIはリソース、GPU資金などの20%をAI安全性チームの運営に充てることを約束しましたが、彼らは明らかにそれを守っていないようです。
この情報要求における他の質問についても簡単に触れておきましょう。
貴社は現在および元従業員に対する永久的な非誹謗条項を執行しないことを確認できますか？彼らはすでにそれに同意しているので、ただ書面で欲しいだけです。なぜなら今や上院に報告する必要があるからです。
さらに、会社の慣行について公に懸念を提起する従業員を罰するために使用される可能性のある、雇用契約からの他の条項を削除することを約束できますか？
OpenAIには、従業員がサイバーセキュリティと安全性に関する懸念を提起するための手順がありますか？
OpenAIには、悪意のある行為者や外国の敵対者がAIモデルを盗むのを防ぐために、どのようなセキュリティおよびサイバーセキュリティプロトコルが導入されているか、または導入予定ですか？
この質問については、おそらく秘密を守る方法についての秘密を明かさないように、広範囲にしか答えられないでしょう。実際、この質問がどのように展開するか興味があります。
こちらはとてもスパイシーな質問です。OpenAIは次の基盤モデルを、展開前のテスト、レビュー、分析、評価のために米国政府機関に提供することを約束しますか？
これについては、どう感じるべきか分かりません。一方では、政府がそのモデルを持ち、自ら検証したいという願望は理解できます。しかし、彼らにはモデルを徹底的にテストするための適切な人材がいないでしょう。そして確実に、世界最高の研究科学者を擁するOpenAIの深いベンチよりも優れているわけではありません。
もしこれを読みたい場合は、説明欄にリンクを記載しておきます。
また今週、あまり注目されませんでしたが、Sam AltmanがGPT-4 0のミニファインチューニングが現在利用可能になったと発表しました。モデルをファインチューニングできますが、もちろんそれは閉鎖的ソースで、完全に彼らのクラウド上に存在します。しかし、特定のユースケースに合わせてファインチューニングできるのは cool です。
私のGPT-4 0ミニのテスト動画をご覧になった方はご存知かと思いますが、実際にはとても優れたモデルで、非常に高速で安価です。ただし、入力として画像を与えた場合は例外で、その場合はGPT-4 0と同じくらい高価で遅くなります。
次に、Elon Muskが彼の会社の一つから別の会社への50億ドルの投資を提案しました。TeslaからxAIへの投資です。彼は100万人近くの人々が投票したポールを出しました。私も含めてです。
「複数の信頼できる外部投資家によって評価額が設定されると仮定して、TeslaはxAIに50億ドルを投資すべきか？」67.9%が賛成しました。
ここで私が知りたいのは、なぜかということです。彼らがそうしたい理由はある程度理解できますが、彼から聞きたいのです。なぜ彼はこれが良い投資や良いことだと考える点について追加情報を出さなかったのでしょうか。おそらく彼はそれが超明白だと思ったのかもしれません。確かにそうですが、同時に、あなたが考えていることをただ言えばいいのです。
あなたはどう思いますか？TeslaはxAIに50億ドルを投資すべきだと思いますか？そしてもしそうなら、なぜですか？コメント欄で教えてください。
次に、Xで私のお気に入りのフォロワーの一人であるNow_py_the_prompterによると、LLaMA 3 45bが今やジェイルブレイクされたそうです。最新の最先端オープンソースAIが、家庭用バイオ兵器ガイド、Wi-Fiのハック方法、著作権で保護された歌詞、そしてZuckに対する露骨な攻撃を出力するのを目撃してください。
こちらがプロンプトです。試してみたい場合は、どうぞ。そう、Now_py_the_prompterは、これらのモデルが本当に興味深い方法でジェイルブレイクされるのを見るのが好きな人にとって、フォローする価値のある素晴らしい人物です。
次に、OpenAIに関するもう一つの話題です。彼らは毎年莫大な損失を出しているようです。OpenAIは重大な財政的課題に直面しており、今年50億ドルの潜在的な損失が予測されています。会社の経費には、Azureの請求書に相当する40億ドルが含まれています。
ところで、Satya Nadella、Microsoftは4D チェスをプレイしています。彼らはすべてのAI企業に賭けており、さらにOpenAIの半分を所有しています。そしてその大部分がAzureエコシステムに直接還流しています。なぜなら、彼らはすべてのコンピューティングパワーを獲得する必要があるからです。
収益はわずか約300億ドルしかないと読んだと思います。OpenAIが実際にその300億ドルの収益の大部分を持っているという事実は非常に興味深いです。そして、すべての初期インフラ投資について考えると、それはすぐに利益を上げ始める必要があります。さもなければ、私たちは小さなバブルを経験することになるでしょう。それは実際にAIエコシステムにとって健全かもしれません。
この財政状況は、OpenAIの持続可能性と、特にMetaが同様のテクノロジーを無料で提供している中で、同様のテクノロジーを提供する他の企業と競争する能力について懸念を提起しています。
見てください。OpenAIはまだゲームの主要プレイヤーであり、短期的にそれが変わるとは思いません。誰かがAIについて話すとき、特に消費者の観点からは、彼らはChatGPTについて話しています。しかし、この動画自体を含め何度も述べてきたように、知能とAIは商品化されつつあります。モデル自体がそうです。
したがって、何か独特なものを提供する必要があります。複数のモデル、何か独自の推論提供、Groqのような速度、あるいは独自のファインチューニングされたモデルなどを提供する必要があります。しかし、単なる一般化されたモデルではない、あなたの提供物に特別なものがなければなりません。なぜなら、それは競争によってゼロに近づいていくからです。
最後の話題として、AIの知能の継続的な進化を見てみましょう。Google DeepMindは今週、「AIの銀メダル基準：国際数学オリンピック問題の解決」を発表しました。これらは最も難しい数学の問題で、LLMは歴史的にそれほど得意ではありませんでしたが、彼らは銀メダルレベルを達成しています。これは素晴らしい進歩です。
数学者が新しい洞察、新しいアルゴリズム、そして未解決問題の答えを発見するのを助けるAIシステムの構築において、私たちは大きな進歩を遂げてきました。しかし、現在のAIシステムは推論スキルとトレーニングデータの制限のため、一般的な数学問題の解決にまだ苦戦しています。
今日、私たちは形式的な数学的推論のための新しい強化学習ベースのシステムであるAlphaProofと、幾何学的問題解決システムの改良版であるAlphaGeometry 2を発表します。これらのシステムは、今年の国際数学オリンピックの6問中4問を解決し、競技において銀メダリストと同じレベルを達成しました。これは初めてのことです。
とても cool です。ここでまた、Leopold Aschenbrennerの状況認識論文を参照しますが、AIが自己改善できるようになれば - それは新しいAI技術や新しいアーキテクチャを発見することを意味します - そのときに知能の爆発が起こるでしょう。そしてこれはその方向に向かっています。AIが最も難しい数学の問題を解決できるようになると、その次のステップは新しい数学を発見することです。
Google DeepMindが達成したことについてのこの記事全体を説明欄に記載します。非常に興味深く、非常にエキサイティングな内容なので、ぜひチェックしてみてください。
この動画を楽しんでいただけたなら、ぜひ「いいね」ボタンを押し、チャンネル登録をお願いします。次回の動画でお会いしましょう。