OpenAIの「ストロベリー」モデルが今月中に登場...

4,802 文字

ほな、OpenAIのストロベリーモデルが予想よりもかなり早う登場するみたいやで。The Information.comによると、OpenAIは今後2週間以内にChatGPTサービスの一部としてストロベリーをリリースする計画やそうや。
ここで「いいね」押してな。今は固まっとる場合ちゃうで。
まだ100%確実じゃないけど、どないなるんかはわからへんな。ChatGPTの一部になるだけやのうて、何か単独のオファリングになるかもしれへん。ChatGPTのドロップダウンメニューで選べるオプションの1つになるか、別の列やタブで選べるようになるかもしれへんな。
新しいところは、答える前に考える時間を取るっちゅうとこや。初期のテスターによると、この考える段階は普通10〜20秒くらいかかるらしいで。
ストロベリーモデルのことをずっと追っとらんかった人のために説明すると、要するに推論や多段階の計画立案、実行前の考察なんかをより上手にできるようにするのが目的やねん。
今までやったら、Chain of ThoughtプロンプティングやChain of Thought推論を使って、モデルに答えを段階的に考えさせてから答えさせるようにしてたやろ。モデルが推論過程を出力して、段階的に進めていって、それから答えを出すっていう感じやな。そうすると、たいてい答えの質がぐっと良うなるんや。
ストロベリーでは、このプロンプティングの仕組みが何らかの形で組み込まれてるみたいやな。他のモデルでも、見えへんような「スクラッチパッド」みたいなんを使うのを見たことあるわ。ちょっとジェイルブレイクせんと見られへんけどな。モデルが横で考えてるみたいな感じで、推論が終わったら求めてる答えを出力するんや。その答えは見えるようになっとるわけや。
ストロベリーモデルもこれに似たようなもんかもしれへんな。これが意味するのは、ストロベリーが数学の問題やコーディングだけやなくて、もっと主観的なビジネスタスクやブレインストーミング、製品のマーケティング戦略なんかでも優れた性能を発揮する可能性があるってことや。
初期のテスターの中には、10〜20秒待つのが答えの質の向上に見合うかどうか疑問視する声もあるみたいやけど、実際に自分で試してみんとわからへんな。待つ価値があるかどうかは各自で判断せなあかんわ。
これはOpenAIのサム・アルトマンが前から言うてた話やな。時には即座に答えが欲しい場合もあるやろ。例えば、家を出る時に「今日の天気は？」ってGoogle検索したら、すぐに答えが欲しいわな。その情報がすぐに必要やからな。
でも、すぐに答えや結果が必要やないもんもたくさんあるんや。例えば、同僚やインターンと仕事する時を考えてみ。指示を出しても、すぐに完了せえへんって分かっとるやろ。何時間か、何日か、場合によっては何週間かかけて作業して、最終的に戻ってきて、何をどう完了したかを説明するみたいな感じやな。
AIや、AIエージェントの方向に進んでいく中で、彼らが話してたのはこういうことなんや。AIエージェントにそういうスペースを与えて、作業させて、完了した時だけ報告させるにはどうしたらええんかってな。
例えば、コードを書いてもらう時、アプリやゲームの開発をしようとしてる時なんかは、AIが離れて行って、コードを作って、数分かけてまず設計を考えて、それからコードを書いて、トラブルシューティングまでやってくれる方がええやろ。
多くの人は、行ったり来たりしてエラーを修正するんじゃなくて、他の作業をしてる間にAIがバックグラウンドで作業してくれる方が嬉しいと思うで。
確かに、こういうAIモデルがバックグラウンドで作業してる間に別のことができるっていう考え方は、AIが自分で作業を実行して、完了した時だけ報告するっていうエージェント的な振る舞いに向けての大きな一歩やな。
YouTubeのSteps in Phillyっていうチャンネルでこんなこと言うとったで。噂の ChatGPTのアップグレード、ストロベリーが9月24日までに来るって聞いたって。記事では2週間以内って書いてあるから、遅くとも9月24日ってことやな。具体的な日付はわからんけど、そんな感じのタイムラインや。
でも、何かおかしいって言うてんな。元OpenAIのスタッフによると、これは人類にとって脅威やったはずやし、Reutersによると人間レベルの推論能力に達してるって。Bloombergにリークされた情報では、初期のテスターによると、ちょっと良くなった答えのために10〜20秒も待つ価値はないらしいで。しかも、待たんでくれって頼んでも、そんなに長く考えることが多いみたいやし、値段も高くなりそうやって。何かがおかしいな。SIMPLEベンチでテストするのが楽しみやわ。
ストロベリーが大きな脅威やないって言う人もおるで。オリオンの方が心配せなあかんって。それに、エンドユーザーが使えるストロベリーモデルは大したもんやないって。完全版のストロベリーモデルの量子化された縮小版みたいなもんやって。まだわからんことだらけやな。
全てのクエリで素晴らしい性能を発揮せんでも、特定のクエリだけでも本当に優れた性能を発揮するなら、それでもかなりパワフルやと思うで。特にOpenAIか誰かが、質問を適切なところにルーティングする仕組みを作れば、なおさらやな。
既に、より高価なモデルと安いモデルに簡単な答えをルーティングするのは見たことあるやろ。Chain of Thought推論や答える前の深い計画が必要なタスクは、ストロベリーモデルの何らかの形にルーティングされるかもしれへんな。
まあ、2週間以内にリリースされたら、そのハイプが本物かどうかわかるやろな。もちろん、遅れる可能性もあるけどな。前にもあったことやしな。
他のニュースやけど、Appleが「SK Interface Pro Plus Max」っていう特別リリースを発表したらしいで。全部人間の皮膚でできとるんやて。これ、本物やないからな。みんな気づいてると思うけど、本物やないで。
これは、Ecklar by Designっていう人が作った動画や。スター・ウォーズの音楽ビデオを作った人と同じ人やな。めっちゃ不気味やで。どないしてこんなん思いつくんやろ。
ほんまに好きやったのは、最初はまだ信じられそうなもんから始まるとこやな。皮膚みたいな携帯ケースとか、ちょっと変やけど、まあありえるかもって思えるやろ。
それからVRゴーグルになって、もう不気味やな。ヘッドホンもめっちゃ気持ち悪なってくる。最終的には完全に奇妙なもんになるんや。最初は1%くらいの確率でホンマかもって思えるけど、最後はもう何がなんやらわからんようになるんや。これについてはもう何も言えへんわ。
Jimmy Applesは、ストロベリーモデルの新リリースの可能性に興奮しとるみたいやな。「忍耐の時代は終わった。ついにリリースの季節や」って言うてる。要するに、忍耐の洞窟から出てくるってことやな。
カレンダーに印つけとかなあかんな。2週間やで。他の人も指摘しとるけど、これにはかなりのものがかかっとると思うわ。理由を説明したるで。
OpenAIは、リーダーとして見られとるんや。エイリアンテクノロジーみたいな、最先端の技術を持っとる人らやって。AIへの大規模な投資や、AIバブルみたいな活動の多くは、少なくとも一部はOpenAIによって動かされとると思うんや。
なんでかっていうと、リークがあって「これは人類にとって危険や」「これで人類が死滅するかもしれん」みたいな話が出てくるやろ。OpenAIが地下の研究所に、我々が見たことのあるもんよりもはるかに強力なもんを隠し持っとるんちゃうかって感じになるんや。そういう噂やヒントがぐるぐる回っとるわけや。
でも、次の大きなリリースがイマイチやったらどうなると思う？ちょっとした改善程度で、答えるのに20秒もかかるのに、答えの質はそれほど良うないってなったら？高度な音声モードも、みんなが使えるようになったら、「あんまり凄くないやん、そんなにクールやないやん」ってなったら？
次のOpenAIモデルが、桁違いに性能が良くなったり、能力が上がったりせんかったら、次のレベルに行かんかったら、がっかりするんちゃうかな。そしたら、このハイプの多くに冷や水浴びせるようなもんやで。AIに流れ込んでる投資にもな。
OpenAIは最前線におるって認識されとるからな。それが正確かどうかは別として、多くの人がそう思っとるんや。OpenAIを見て、「ここに向かっとるんや」って思っとるんや。
確かに、多くの人がOpenAIを去ったっていうのも疑問を呼ぶな。世界にAGIを解き放とうとしとる会社で働いとって、最先端のAI開発会社で、最新の秘密技術を持っとって、これから上がっていくだけの会社やのに、なんで辞めるんやろ？競合他社に行くんか？自分でスタートアップを始めるんか？
それとも、Andre Karpathyみたいに、AIに関連はしとるけど実際のAI研究所やないところで働くんか？彼はAIについて教えとるけど、AI開発ラボで働いとるわけやないしな。
多くのものがかかっとる感じがするな。このストロベリーモデルだけやなくて、多くの人がOpenAIから何か大きなもんを期待しとるんや。正直、私も含めてな。
でも、それが来なかったら？今年か来年の初めに来なかったら？既に世間の雰囲気はゆっくりと変わり始めとるで。人々はハイプトレインに疑問を持ち始めとる。これはどこに向かっとるんや？もう道の終わりなんか？って。
勘違いせんといてな。AIモデルの能力が今のまま「凍結」されて、今後5年か10年くらいはちょっとした改善しかないってなっても、まだまだたくさんの応用があるで。
Dario Amadeが最近ポッドキャストで言うとったけど、彼もこの考えに同意しとったな。今すぐに全てが凍結されても、まだまだ大きな効果があるって。この技術をどう特定の状況に適用するか、ビジネスや研究やその他のことにどう統合するかを考えていく中で、まだまだ効果はあるやろうって。
だから、ここで止まっても効果はあるんやけど、みんなが賭けとるのは、時間とともに10倍、100倍の改善が見られることなんや。
OpenAIの日本オフィスからのニュースによると、GPT-Nextっていうコードモデル、次に出すモデルのコードネームみたいなもんやけど、GPT-5かもしれんし、何か別の名前かもしれんけど、それについて言うとったんや。
前のモデルの100倍の「実効コンピュート」を期待しとるって。GPT-2からGPT-3へ、3から4へ、そして4からGPT-Nextへの各ジャンプは、実効的に100倍、つまり2桁の増加やって言うとるんや。
これはハードウェアの改善だけやなくて、アルゴリズムの改善も含めて、より効率的になっとるってことやな。それが実効的に100倍、2桁の改善になっとるわけや。だからこそ、こんなにハイプが起こっとるんやけどな。
でも、次のモデルが10%か20%くらいしか良うならんかったらどうなると思う？まだ影響はあるやろうけど、ハイプトレインは正式に終わりやって宣言できるんちゃうかな。
ほな、あんたはどう思う？今後6ヶ月以内、つまり今年の終わりまでに、ストロベリーみたいな凄いもんが出てくると思う？それとも2024年の第4四半期か2025年の第1四半期くらいに、でかい飛躍が見られると思う？
それとも、これが現実で、これからは少しずつ改善していくだけやと思う？コメント欄で教えてな。
ワイの名前はウェス・ロスや。ここまで見てくれてありがとう。