ASIへの道: OpenAIのSTRAWBERRYとORION

OpenAIとqarに関する最近のThe Informationの記事、そして私たち全員が初めて耳にしたという新しいプロジェクト「Orion」についてです。ただし、Jimmy Applesは約1年前に何かを投稿していました。とにかく、これによってAI中心のインターネットが大騒ぎになり、人々はこれが次の大きなモデルになると話しています。実際、私はストロベリーまたは以前のqarと呼ばれていたものは、答えよりも質問に関するものだと感じています。これには大きな派生効果があります。見てみましょう。
みなさん、こんにちは。Dr. Know It Allです。まず最初に言っておきたいのは、これは非常に推測的なエピソードだということです。私にはこれについての証拠がありません。ただ、現在起こっていることに基づいて合理的だと思われることについて考えてみたいと思います。2つ目は、サムネイルは間違いなく42という数字を形作るイチゴになるでしょう。なぜなら、今朝ジムにいて、このすべてのことについて考えていたときに、ああ、待てよ、ストロベリーやqarの全ポイントは本当に答えではなく質問に関するものだと思ったからです。そう思った瞬間、ダグラス・アダムズ、なんて天才だと思いました。ご存知、『銀河ヒッチハイク・ガイド』で、答えは42で、問題は質問が何かということです。
これらすべては、1年前にqarと呼ばれ、現在はOpenAIによってプロジェクト・ストロベリーと呼ばれているものに関連しています。私はこれについて多くのビデオを作成しました。こちらで確認できますし、説明欄にもリンクを残しておきます。背景を理解することが重要だと思うからですが、ここで15分もqarとストロベリーについて話したくありません。
超簡単なTL;DRは基本的に、Qスター/ストロベリーは答えを出すのではなく、推論について考える方法だということです。従来のLLMは、言うのは少し変かもしれませんが、公開形式では5年以上前から、研究室形式ではそれ以上前から存在しています。とにかく、従来のLLMはタイプ1思考と呼ばれるものを使用します。つまり、友人との会話をしているときにすることです。これは素晴らしいチャットボットになります。「今日の天気はどう？」と聞くと、「ああ、ちょっと暑いね」と答えます。答えについてあまり考えません。でも、突然誰かに「摂氏と華氏の変換方法は？」と聞かれたら、「ああ、それは考えないと」となります。5/9倍して32を足すという公式を思い出さなければならず、そういったことすべてを考えなければなりません。答えについて考え、しばらく熟考しなければなりません。華氏と摂氏の変換のエキスパートでない限り、すぐに答えを言うことはできません。
一般的に、それについて考える必要があります。推論する必要があります。ペンと紙を使って計算したり、これらのことについて合理化したりする必要があるかもしれません。それがタイプ2思考です。LLMはタイプ2思考が苦手です。少しずつ改善されてきていて、思考の連鎖などを使ったり、推論を示してもらったりすることができます。最近のGrok 2は、私のテスト動画をまだ見ていない人は必ず確認してください。Grok 2は推論が大幅に向上しています。これは私だけでなく、インターネット上の他の人々も言っていることです。
現在、Grok 2が推論の面でリードしていると感じています。しかし、これを大幅に改善できる建築上のブレークスルーがあります。現在彼らがやっているのは、LLMの上に推論を無理やりつけ加えることです。つまり、タイプ1思考プロセスの上にタイプ2推論を無理やりつけ加えているのです。それはあまり効果的ではありません。これが、大規模言語モデルが知能の最終形態ではないと考える主な理由の1つです。本当のAGI、特に人工超知能（ASI）に到達する前には、別の建築上のブレークスルーが必要です。
その一部はエージェントです。私は人工知能エージェント（AIA）について話すのが大好きです。エージェントを作る最良の方法の1つは、これはFarzadのシャツですが、今朝ジムで着ていて、「おっ、かっこいい」と思いました。彼はいつも「ロボットがやってくる」と言っています。私も自分のマーチストアで「2024年は具現化AIの年」というTシャツを持っています。具現化は、これらのロボットにとってフィードバック、つまりデータを得るためだけでなく、個性の感覚、つまり地球全体に広がる機械の中の数字の集まりではなく、個別の存在感を持つために重要です。具現化AIは実際に物理的に個別の場所に存在します。これについては後でこのビデオで触れます。
とにかく、OpenAIのプロジェクト・ストロベリーは、ゆっくりと非常に特定的に考えるように設計されています。実際には答えを出すようには設計されていません。これには非常に良い理由があります。インターネットを見てみると、ほとんどのインターネットは事実の記述か会話です。より複雑な思考については、例えば誰かが「華氏と摂氏の変換方法は？」と聞き、誰かが公式を教えてくれるかもしれません。私はこの質問にこだわっているようです。テスト目的でよく使うので、よく考えるのだと思います。とにかく、誰かが5/9倍して32を足すという公式を教えてくれるかもしれません。それが一方から他方への変換公式です。
インターネットにはこの種のデータ、つまり質問と答えがたくさんあります。では、欠けている部分は何でしょうか。その公式をどのように導き出すのでしょうか。つまり、高校の物理や数学の授業で、実際にその公式を導き出す方法を学んだかもしれません。それは比較的簡単ですが、その公式を導き出すには複数のステップがあります。この中間部分が欠けているのです。
これは正確に『銀河ヒッチハイク・ガイド』とは言えません。私は少し自由に解釈していますが、一般的にインターネット上には質問と答えがあります。しかし、根拠がありません。プロジェクト・ストロベリーやqarが設計されているのは、その根拠を構築することです。Qスターの論文を見ると、その全ポイントは、既知の質問と既知の答えを与えることができ、それらが真実であり、そしてその間に根拠を構築させるということです。そして、そのサイクルを繰り返し、そのグループから最良の根拠を選びます。
ある程度の時間が経つと、人間が関与しなくてもこれを自動化することができます。なぜなら、人間が根拠を読んで、これらのグループの中で最良のものだと言うのには多くの時間がかかるからです。それはできますが、非常に遅いプロセスです。しかし、全ポイントはそのプロセスを自動化し、真実の質問、真実の答え、そしてその間の最良の根拠を持つ合成データベースを構築することです。
つまり、ストロベリーが実際にやっているのは、質問と答えのデータベースを構築することではなく、根拠を構築することです。このような質問があり、このような答えが欲しい場合、それについて考える最良の方法は何か、つまり根拠、タイプ2思考、答えに到達するために必要な手順的なものを構築しているのです。
これが、qarやプロジェクト・ストロベリーが数学においてはるかに優れているとされる理由です。なぜなら、それはタイプ2思考だからです。ペンを取り出して、すべてを書き出し、答えを見つけ出す必要があります。それは、存在しない根拠でいっぱいの合成データベースを構築しているので、そのような内部的なものを持っているのです。
人々が実際のデータの不足について話し、合成データを構築する必要があると言うとき、それは現在のトレーニングの重要な問題の1つです。欠けているもの、そして非常に効果的に合成的に生成できるものの1つは、この根拠のものです。
私の予測、私の考えは、プロジェクト・ストロベリーやqstarは、OpenAIが内部的に使用して、より公開向けのものを作成するためのデータセットを構築するためのものだということです。それがプロジェクト・オリオンかもしれません。
では、なぜプロジェクト・オリオンなのでしょうか。ギリシャ神話から来ているという事実以外に（みんなギリシャ神話が大好きみたいですね）、私はオリオンの帯に3つの星があるからだと言いたいです。オリオン座の猟犬の一部である3つの非常に明るい星があります。その3つのものは何でしょうか。それは質問、答え、そして根拠です。ねえ、それは完璧でしょう？つまり、それはまさにqarやストロベリーのようなものが私たちのために生成できるものです。
そして、それを使って、古いバージョンのような2つの部分ではなく、3つの部分を持つこの新しいモデルをトレーニングします。これにより、従来の大規模言語モデルよりもはるかに賢明なタイプ2思考、はるかに複雑な思考が可能になります。
もちろん、もう1つの選択肢は、それがただビートルジュースに基づいていて、彼が現れるように何度も言いたいだけかもしれません。私は3回言いませんよ、彼が現れてほしくないので。でも、それは冗談です。
私は本当に、オリオンは実際にオリオンの帯の3つの星に基づいていると思います。そして、3つの星は質問、根拠、そして答えです。
その場合、オリオンは何になるでしょうか。私の予測では、それはさらに専門家の混合の道を進むでしょう。単一の一枚岩的な存在ではなく、特定のタスクを実行するように設計された多くの小さなモデルの集まりになるでしょう。例えば、コーディングの専門家、詩の専門家、翻訳の専門家、物理学の専門家、生物学の専門家、などなど、創造的な文章の専門家、これらすべての異なる専門家を持つことができます。
そして、どの専門家が質問を向けるのに最適かを決定する指揮者を持つでしょう。または、複数の専門家に同時に向けるかもしれません。なぜなら、段階的なプロセスがあるかもしれないからです。
これについての私の考えは、インターネット上でAIについて考えている多くの他の人々と一致していますが、これらの専門家はより小さく、より効率的になり、大きくはならないということです。
インターネット上で聞いたこと、そしておそらく真実だと思うことの1つは、ストロベリーが決して公開されない理由の1つは、単に遅すぎるということです。まず第一に、それは本当に答えを与えるように設計されていません。質問と答えの間の根拠を生成することに重点が置かれています。第二に、それは非常に遅いです。物事について考える必要があるからです。つまり、高価で、時間がかかり、人々が即座に答えを得られるようなものではありません。
これには用途があるでしょう。つまり、物事について本当に考えることができるものが欲しい場合、公開される可能性があります。AI科学者に関する私のビデオをまだ見ていない人は、こちらでぜひチェックしてください。それは大規模言語モデルを使用して、はるかに複雑なタスクを実行する本当にクールな使用法です。AI分野でのエンドツーエンドの研究を行い、実際に出版可能な論文を作成します。それについて考えるのはちょっと狂っていますね。
それは可能性があり、ストロベリーの公開向けの終着点かもしれません。しかし、ほとんどの場合、それはバックグラウンドで使用され、オリオンをトレーニングするためのデータを生成します。そして、1つの大きな一枚岩的な非常に遅いモデルではなく、オリオンは蒸留された小さなモデルから構築されるでしょう。私たちはAIエージェントを手に入れることになりますが、それらは蒸留され、量子化されていきます。量子化と蒸留は別のビデオのトピックですが、私たちが見ることになるのは、これらのモデルが縮小し続けることだと思います。
オリオン全体ではありません。実際、私たちはおそらくオリオンが何であるかを見ることはないでしょう。OpenAIはもはやオープンではないからです。しかし、舞台裏では、おそらく私たちが見ることになるのは、非常に特定的にトレーニングされた多くの小さなモデルです。それらは本当に速く動作できるようになります。1兆のパラメータを持つ大きなモデルは、入力データが通過し、それらすべてのパラメータで乗算され、他端から答えが出てくるのに一定の時間がかかります。
その代わりに、なぜ小さなモデル、数十億のパラメータを持つ多くの小さなモデルを持たないのでしょうか。それらははるかに速く動作し、はるかに安価に運用でき、答えは同じくらい良いものになります。非常に大きく、遅く、エネルギーを消費するモデルを使用して、これらの蒸留されたモデルを生成します。それらは非常に小さく、効率的で、低エネルギーで速く実行されます。これが私のオリオンに対する予測です。そして、私たちはこれをますます多く見ることになると思います。
これらの大規模言語モデルが一種の基盤的なトレーニングモデル、つまりこれらのものを生成し、多くの小さなAIを生み出すものになっていくと思います。それらは非常に特定的に焦点を当てられています。そして、別のAIがオーケストラを指揮するような指揮者のようなものがあるかもしれません。「バイオリン、あなたの番よ。オーボエ、あなたの番よ」というように、個々のタスクを実行できる様々なエージェントに質問を向ける指揮者のようなものです。
これらの個々のエージェントは、これらの大きなものよりもはるかに小さく、より効率的に、より速く、そしてはるかにコスト効果的に動作します。
最後に、これは2つの質問につながります。1つは具現化AIであり、もう1つは人工汎用知能です。いつそれに到達するのか、あるいは特に人工超知能に到達するのかということです。
実際にこれらの複数のモデルがあれば、一枚岩的な人工汎用知能や超知能を持つことはないかもしれません。しかし、集合的に、この何かは実際に最も知的な人間と同じくらい知的になり、最終的には、もしそこに到達すれば（私たちはまだ別の建築上のブレークスルーが必要だと思いますが）、人間を超越し、地球上の頂点の知性になるかもしれません。
ちなみに、Wes Rothの昨日のビデオで、彼は実際に「頂点の知性」という用語を使用しました。私はそれを思いついたと思います。少なくとも、私が知る限り、先週のビデオでその用語を思いついたのです。たぶん彼はそれを見たか、あるいはそれはただ何ヶ月も前からインターネット上にあった用語で、私が知らなかっただけかもしれません。私が無知だからかもしれません。とにかく、もしWesが実際に私が発案した「頂点の知性」という用語を使用したのなら、それはとてもクールです。そうでない場合は、他の誰かから盗んでしまったことを申し訳なく思います。それは意図的ではありませんでした。
とにかく、その重要な部分は、頂点の知性、このものが私たちのように単一ではないだろうということです。おそらくそれはより分散型の知能システムになるでしょう。
そして、それはロボットの形での具現化AIの問題につながります。それは正確にどのようなものになるのでしょうか。なぜなら、私たちは人間であり、これが私たちの脳で、これが私の体の範囲で、これが私の行動力で、私の宇宙との相互作用は私の周りの小さな体積で始まり終わるということに慣れているからです。
具現化AIは正確にどのようなものになるでしょうか。どのような種類の意識を持つでしょうか。個別の意識ではなく、ハイブリッドな意識を持つでしょうか。そして、人工知能に対する具現化の影響は何でしょうか。
これについて考えると、私は完全に推測しているだけですが、私たちが得るのは個別の意識ではなく、ハイブリッドな意識だと思います。ロボットについて考えると、潜在的に最終的には物事を専門化する可能性があります。それらを小さなAI専門家と考えてください。本当に優れた配管工のロボット、本当に優れた電気技師のロボットがあるかもしれません。それらはもっと具体的になる可能性があります。たぶん1つは流しだけを扱い、別のものはトイレを設置できるかもしれません。
これらの個別の存在は、理論的なアイデアだけでなく、指や腕、脚などを使って実際に作業を行う機械的な側面について、非常に特定の知識を持つことができます。そして、それらはより広範な知性を持つ外部の指揮者に結びつけられる可能性があります。その指揮者は、おそらくコーディングなどに優れた仮想化された専門家の集団に働きかけることができます。
私たちは、個別の意識ではなく、本当に興味深いハイブリッドな群れの意識を持つことになるかもしれません。そしてそれは、おそらくこのシステム全体が自己向上することを可能にするでしょう。
ロボットを人間の目や耳のようなものと考えてください。宇宙と相互作用する方法、非常に迅速にたくさんのデータとフィードバックを収集する方法として考えてください。そしてそれは、このハイブリッドな一般化された集団意識に取り込まれ、その後、意識をより良くするようにトレーニングします。
質問、根拠、答えがある場合、タイプ2思考を仮想化された環境で行うことができます。また、ロボットなどを使用して物理的な環境でも行うことができます。そしてそれがシステム全体に分散されます。
明確にしておきますが、これらのボットは実際にいつでもソフトウェアを再読み込みすることができます。流しの設置に詳しいボットがあって、代わりにトイレを設置したい場合、トイレを設置する部分をダウンロードするだけでいいのです。映画『マトリックス』のネオのようなものです。「ああ、トイレを設置できるようになりました」というのはあまり面白くありませんが、そういうことができるのです。
つまり、ボットはその瞬間に必要なものを交換することができます。しかし、その種の知能、そのパッケージの一部は比較的小さく、100ワットか200ワットで実行でき、非常に効率的でありながら、はるかに大きな集合意識の一部となる可能性があります。
このように、ストロベリーのような質問と答えの間の根拠を生成するだけのものから、私たち自身とは根本的に異なる全く新しいタイプの頂点の知性に至るまでの道筋が見えてきます。もちろん、そこに到達したとき、答えは42になるでしょう。しかし大きな問題は、その答えを生成した質問は何だったのかということです。
このビデオを楽しんでいただき、刺激的で興味深いと感じていただけたら嬉しいです。私は確かにそう感じています。これらすべてについて話すのは本当にクールです。コメント欄で皆さんの考えを聞かせてください。私は完全に外れているかもしれません。すべて推測です。でも、賛成か反対か、あなたの考えを教えてください。
もちろん、そこにいる間に、良いと思ったらいいね、登録もお願いします。チャンネルにとって本当に助かります。いつかは10万人の登録者に到達できたらすごいですね。本当にありがとうございます。次のビデオでお会いしましょう。さようなら。