プロジェクト・オリオン（GPT-5 ストロベリー）が間近に迫る、すでに連邦政府に公開済み！

どうやらOpenAIが新しいモデルをリリースする直前にあるようです。そして今、その新技術について多くの追加情報が得られました。OpenAIがこの新技術を連邦政府に実際に公開した可能性もあります。では、これらすべてについて今から見ていきましょう。
まず、過去数日間にThe Informationから投稿された2つの主要な記事があります。1つ目は「OpenAIがストロベリーを公開」というものです。私たちはストロベリーやQARについて多く話してきました。それらの動画へのリンクを説明欄に載せておきます。また、完全な記事へのリンクも説明欄に載せておきます。
OpenAIは連邦政府にストロベリーAIを公開し、それを使ってオリオンを開発しています。オリオンは私にとって新しいものですが、どうやら彼らの次のフロンティアモデルのようです。
ここで注目すべきは、もし皆さんが有名なOpenAIのリーカーであるジミー・アップルを疑っていたとしたら、2023年11月24日の彼のツイートを見てください。「宇宙を征服しよう。気分：好奇心」とジミーは言っています。そして今日の時点で、「去年からこれを待っていた。気分：忍耐」と彼は言っています。これはオリオンに関するThe Informationの記事を指しているようです。彼は知っていたのかもしれません。
では、記事の内容を少し読んでみましょう。ステファニー・パラゾロによるこの記事は、「サム・アルトマンが今月初めに暗号めいてイチゴの写真を投稿した理由を知りたいと思っていた方へ、その答えはほぼ間違いなくストロベリーに関係しています。ストロベリーは、会話型AIが従来苦手としてきた複雑なタスク、例えば数学の問題などを解決するのに役立つ可能性のある謎の技術的ブレークスルーです」と始まります。
簡単に振り返ると、QAR、ストロベリーはすべて同じことを指しています。ゆっくり考えるモデル、実際に先を見越して考え、問題を考え抜き、多段階の推論を行い、数学や論理、推論においてはるかに優れた性能を発揮するモデルです。これらのモデルは予測した最初のトークンを返すだけではなく、実際に考え、長期的な思考を行います。
7月中旬、ロイターがストロベリーの存在について報じ、今朝私たちはさらに詳細な記事を公開しました。すぐにそれについて見ていきます。
ここで最も興味深い部分は、「この夏、サム・アルトマンのチームがアメリカの国家安全保障当局者にこの技術を実演した」というものです。これらの会合については以前に報告されていませんでした。未発表の技術を政府当局者に実演することで、OpenAIはAI開発者、特に高度なAIがますます国家安全保障の懸念事項となる中で、新しい基準を設けている可能性があります。この実演は、自社の技術に脅威を感じた場合に問題を引き起こす可能性のある政策立案者に対して、OpenAIがより透明性を高めようとする取り組みの一環かもしれません。
少し下にスクロールすると、中国やその他の国々がアクセスできるオープンウェイトAIをリリースしたMetaプラットフォームズに対する批判もあります。皆さんご存知の通り、私はオープンソースが正しい道だと考えています。単一の民間企業が、中国のような敵対者による侵入や知的財産の入手から秘密を永遠に守れると考えるのは非常に考えにくいことです。
Metaのマーク・ザッカーバーグCEOは、中国が何らかの方法で手に入れるのは避けられないと言っています。私もそう思います。セキュリティに一度でもミスがあれば、それで中国は重みを手に入れてしまいます。私たちは人間ですから、ミスは起こります。しかし、重みだけでなく、それを動かすための計算能力や他の多くのものも必要です。マーク・ザッカーバーグのオープンソースに関する考えについて、私は詳細なレビューを行いました。彼の考えは私の考えとかなり重なっています。そのビデオへのリンクも説明欄に載せておきます。
ストロベリーについて、そしてそれがオリオンにとってなぜ重要なのかについて読み進めましょう。繰り返しになりますが、ストロベリー、QARはオリオンとは異なります。オリオンは彼らの次のフラッグシップモデルで、他のすべてのモデルを圧倒すると報告されています。
ストロベリーの最も重要な応用の1つは、開発中のOpenAIの次のフラッグシップ大規模言語モデルであるオリオンのために高品質のトレーニングデータを生成することです。なぜそれが重要なのでしょうか。インターネット上のトレーニングデータの多くはすでに使用済みで、公開されていて簡単にアクセスできるものはほとんど残っていません。現在はすべて有料壁や認証の裏側にあります。だからこそOpenAIは様々な出版社やReddit、その他の企業と契約を結んでいるのです。そしてそれがTwitterのデータセットがXにとってとても重要な理由です。
しかし、サム・アルトマンはしばらく前に、もしかしたらより多くのトレーニングデータは実際には必要ないかもしれないとほのめかしました。実際には2つの他のアプローチが可能です。1つは既存のデータでもっと多くのことができるというもの、2つ目は、ここで話題になっているように、実際に1つのモデルを使って別のモデルのための合成データを生成するというものです。
これが持続可能なモデルであることには多くの疑問が投げかけられています。なぜなら、あるモデルで作成したデータを別のモデルで使用するのは、基本的に派生データだからです。多くの人々は、大規模言語モデルは実際には新しい知識を生み出しているのではなく、単に既に知っていることを出力しているだけだと考えています。もし既に知っていることだけを出力できるのであれば、それを使ってモデルをそれほど良くトレーニングすることはどうしてできるのでしょうか。
ストロベリーを使うことで、オリオンが生成する幻覚やエラーの数を減らすことができるかもしれません。研究者たちは、AIモデルがトレーニングデータから学習するため、複雑な推論の正確な例をより多く見れば見るほど、モデルの性能が向上すると言っています。
ここで起こっている可能性があるのは、彼らがデータセットを持っていて、オリオンとQスターが長期的な思考と多段階の計画を行い、基本的にデータを考え抜いて正確性を確認し、その後高度に正確な新しいデータを生成しているということです。
しかし、OpenAI内では、オリオンがリリースされる前にチャットベースの製品で使用できるように、蒸留と呼ばれるプロセスを通じてストロベリーを簡素化し縮小しようとする動きもあります。これは、ストロベリーの背後にある技術が消費者向け設定では使用できないほど遅い可能性があることを示唆しています。そしてそれは理にかなっています。後で詳しく触れますが、要するにストロベリーとQARは時間がかかります。これは欠点ではなく特徴なのです。実際に多くの時間がかかり、人間のように考え抜きます。
誰かに何かを尋ねたとき、彼らは最初に思いついたことをすぐに吐き出すわけではありません。少なくとも、ほとんどの人はそうではありません。代わりに、考える時間を取ります。特に難しい質問、推論、論理、数学などについては、メモを取るかもしれません。これらは時間をかけて行うことです。考えを書き留め、結果を反復します。
ここでThe Informationは、ストロベリーベースの製品がどのようなものになるかはわからないと認めていますが、教育的な推測はできます。ストロベリーが実際の製品になる1つの明らかなアイデアは、ストロベリーの改良された推論能力をChatGPTに組み込むことです。これは明らかな選択肢です。しかし、これらの回答はより正確になる可能性がある一方で、より遅くなる可能性もあります。つまり、ストロベリーは、ユーザーが即時の応答を期待するOpenAI検索やGPT検索エンジンのようなアプリケーションには適していない可能性がありますが、GitHubの重要でないコーディングエラーの修正など、時間的に余裕のあるユースケースには理想的かもしれません。
これのもう1つの良い使用例はエージェントです。もし24時間働いてくれるエージェントがいれば、即座に応答を得る必要はありません。Qスターやストロベリーのパワーを与え、その仕事をさせ、最高の可能性のある応答を持ち帰らせることができます。遠くない将来、ChatGPTユーザーがリクエストの重要度に応じてストロベリーのオン/オフを切り替えられるようになるかもしれません。
これがThe Informationの最初の記事でオリオンについて書かれていたものです。私にとっては初めて聞く名前なので、皆さんにとっても初めてかもしれません。
Xのチュビー（素晴らしいフォロワーです。まだフォローしていない方はぜひ）が触れているのは、ストロベリーが遅いのは、次の正しいトークンだと思うものにすぐに反応するのではなく、実際に時間をかけてシステム2の思考を行うからだということです。システム1の思考ではなく。
では、ストロベリーについてもっと読んでみましょう。これはThe Informationからのもう1つの記事です。「OpenAI、チャットボットビジネス強化のためストロベリー推論AIの立ち上げを急ぐ」というものです。
OpenAIがさらに多くの資本を調達しようとしていると報じられています。これは驚くべきことです。彼らはすでにたくさんの資金を調達していますが、少なくとも今のところ、これらのモデルを構築するにはたくさんのお金がかかるのです。研究者たちは、既存のAIよりもはるかに優れた推論能力を持つと信じる新しい人工知能製品の立ち上げを目指しています。
ここでは、QARについて簡単に触れています。私たちはすでにかなり詳しく議論しました。追加の思考時間が与えられると、ストロベリーモデルは、製品マーケティング戦略などのより主観的なトピックについての顧客の質問にも答えることができます。
ストロベリーの言語関連タスクの能力を示すために、OpenAIの従業員は同僚に、ストロベリーがニューヨークタイムズのコネクションズ（複雑な単語パズル）を解くことができることを示しています。もしパズルが与えられ、すぐに思考の結果を出力するよう求められた場合（システム1の思考）、それは効果的に解くことはできません。しかし、反復し、思考の木や思考の連鎖、あるいはこれらの他のより高度な能力を使用する時間があれば、モデルは実際に先を見越して計画を立て、物事をテストし、戻ってきて他のことをテストすることができます。
ここでThe Informationは、OpenAIのビジネスと企業へのLLMの販売、ChatGPTのサブスクリプションについて触れています。1年前と比較して月間収益はおよそ3倍の2億8300万ドルになっています。これは驚異的です。しかし、月間損失はそれ以上である可能性が高いとThe Informationは報じています。私はすでに説明しましたが、彼らはおそらくまだ赤字ですが、すぐに破産することはないでしょう。
この会社は非公開で860億ドルの評価を受けていますが、OpenAIの見通しは、現在開発中の新しいフラッグシップLLM（コードネーム：オリオン）の最終的な立ち上げにある程度依存しています。
では、なぜこの次のモデルがそれほど重要なのでしょうか。オープンソースがほぼGPT-4oに追いついたからです。Llama 2 70B、Llama 2 34Bは価格の何分の一かで、ローカルで実行でき、ファインチューニングも可能で、大半のユースケースではGPT-4oと同等かそれに近い性能を発揮します。それだけでなく、Claudeモデルもあり、Grok 2もあり、さらに多くのGrokモデルが登場予定です。検索にはPerplexityもあります。競争が急速に激化しており、OpenAIは大きくリードを広げるために何か素晴らしいものを立ち上げる必要があります。なぜなら、インテリジェンスのコストがゼロに近づいているからです。
ここでは、前の記事で触れたのと同じことについて語られていますが、もう一度読んでみましょう。OpenAIはまた、ストロベリーのより大きなバージョンを使用してオリオンのトレーニングデータを生成しているとのことです。この種のAI生成データは合成として知られています。これは、このチャンネルで多く触れてきたトピックです。これは、ストロベリーがOpenAIのインターネットから取得したテキストや画像などの実世界のデータから新しいモデルをトレーニングするための高品質なデータを十分に得ることの制限を克服するのに役立つ可能性があることを意味します。
そして、どうやらOpenAIはまもなくエージェントを立ち上げるようです。ストロベリーは今後登場するOpenAIのエージェントを支援する可能性があるとその人は言いました。ストロベリーを使用してより高品質なトレーニングデータを生成することで、OpenAIはモデルが生成するエラーの数を減らすことができるかもしれません。これは別名ハルシネーションとして知られています。
人工知能が一般的に企業設定やより重要な設定で採用される上での最大の障害の1つは、依然としてハルシネーションを起こすという事実です。ハルシネーションを減らすためにできることはたくさんあります。プロンプトを改善したり、複数のエージェントに互いに話をさせて検証したり（エージェントシステムのようなもの）、インターネットから情報を取り込んで検証したり、もちろん自分で検証したりすることができます。しかし、最終的に、大規模言語モデルが完全に自律的になり、私たちが信じているスケールで本当に実行されるようになるためには、ハルシネーションをほぼゼロに減らす必要があります。
エージェントスタートアップMinion AIのCEOでGitHub Copilotの元チーフアーキテクトは次のように言っています。「ハルシネーションのないモデル、論理パズルを尋ねたら最初の試みで正解するモデルを想像してください。モデルがそれを行える理由は、トレーニングデータにあいまいさが少ないからです。つまり、推測する必要が少ないのです。」
5月のイベントでのサム・アルトマンの言葉によると、「私たちは次のモデルのために十分なデータを持っていると感じています」とのことです。彼らは近づいていて、私は本当に彼らが次に出すものを見るのが待ち切れません。
私はこれを何度も言っていますが、民間のAI企業が完全にユニークな研究やユニークな技術を持ち、すでに存在するものから50%、100%の改善を実現することは想像しがたいです。おそらく10%、maybe 20%でしょうが、今日の市場に既にあるものから大きな飛躍があるとは想像しがたいです。なぜなら、科学コミュニティの運営方法がそうだからです。これらの論文はすべて公開されており、OpenAIの研究者たちが世界で唯一新しいアイデアを思いついて、それがどこにも漏れ出なかったということは非常に考えにくいのです。
ここでは、数学の問題を解くことがOpenAIのビジネスにとってなぜそれほど有利な可能性があるかについて触れています。「難しい数学の問題を解くAIは、既存のAIが航空宇宙や構造工学のような数学を多用する分野で優れていないことを考えると、潜在的に収益性の高いアプリケーションになる可能性があります。」
しかし、それは必ずしも真実ではありません。Googleのディープマインドチームは実際に数学オリンピックで銀メダルを獲得したと思います。つまり、AIが数学で非常に優れた性能を発揮することは、すでに今日可能なのです。
そして、ここで私が言及したことを参照しています。Googleのディープマインドは、そのAIが国際数学オリンピックのほとんどの人間参加者を上回ると述べました。もう1つの主要なライバルであるアンスロピックは、最新のLLMがより複雑なソフトウェアコードを書くことができ、以前のLLMよりもグラフやチャートに関する質問に答えることができると述べました。これは推論能力の向上のおかげです。
繰り返しになりますが、競争は存在し、特にアンスロピックについては、Claudeモデルがコーディングのユースケースで好まれる大規模言語モデルのようです。AIネイティブのIDEであるCursorをClaudeモデルと組み合わせて使用している人が多いようです。
続いて、「モデルの推論を改善するために、一部のスタートアップは問題をより小さなステップに分解するという安価なハックを使用していますが、この回避策は遅く、高コストです」と書かれています。これを安価なハックと呼ぶのは少し奇妙です。これらは発見されたプロンプト技術やフレームワークで、大規模言語モデルをラップしてより効果的にするものです。私はこれを全く安価なハックとは見ていません。
確かに、これらは遅い傾向にありますが、もしGroqでパワーアップすれば、突然これらの追加の技術層のすべての利点を得られ、同時に1秒間に数百トークンを得ることができます。
最後に、イリヤ・サツケヴィッチが見たストロベリーは、数年前に彼がOpenAIの主任科学者だった頃に始めた研究に起源があります。彼は最近、競合するAIラボを立ち上げるために退社しました。彼が去る前に、OpenAIの研究者であるジェイコブとサイモン・シュダーが、新しい数学解決モデルQARを開発することでサツケヴィッチの仕事を発展させ、AI安全性に焦点を当てた一部の研究者を警戒させました。基本的に、スーパーアラインメントチーム全体がその後退社しています。
イリヤは一体何を見たのでしょうか。
最後に、少し楽しい話題を加えましょう。ニューヨーク・マガジンの「AIの人々は自分たちを狂わせている」という記事です。これはストロベリーマン、QAR、ストロベリーモデル、ジミー・アップルズ、そしてこれらすべての憶測と推測に関するものです。
皆さん、これはすべて楽しいものです。基本的に他のすべての業界が行っていることと同じです。アップルが新しい携帯電話をリリースしようとしているとき、アップルをフォローしているすべての人が、それがどのようなものになる可能性があるかについて話し、リークについて話し始めます。私たちは今後起こることにとてもワクワクしています。なぜ少し推測を加えて、何が来るかを理解しようとしないのでしょうか。
この記事はかなり面白いです。「I rule the world Mo」がサム・アルトマンに返信され、彼のハイプなツイートすべてについて語っています。これは素晴らしいことです。
そして、ここが素晴らしい部分です。彼らは実際にQARに関する私のビデオの1つを含めています。これは光栄なことです。とてもクールです。
彼らはまた、リリー・アッシュウッドについても語っています。彼女がAIなのかどうか、みんなが理解しようとしています。先週のライブストリームでそれについて話しました。
確かに多くのことが起こっていて、とても楽しいです。新しいOpenAIモデルが登場したら、詳細にカバーし、すべての情報をお伝えします。ですので、私のチャンネルを購読してください。
最後に、私には素晴らしいニュースレターがありますので、最新のAIトレンドやニュースを常に把握できます。matthew burman.comをチェックしてください。
この動画を楽しんでいただけたなら、いいねとチャンネル登録を検討してください。次回の動画でお会いしましょう。