サム・アルトマンが「AIの未来」を明かす

https://www.youtube.com/watch?v=2crVJjXA7ZE

サム・アルトマンがAI for Good Global Summitに登場しました。彼はリモートで参加し、インタビュアーはステージ上にいました。彼が人間であることを確認するために、物理的なキャプチャのようなことをしなければなりませんでした。これは新しい人間であることの証明方法のようです。しかし、それだけではありません。サム・アルトマンは、AIが近い将来にもたらすものについて少しプレビューを提供しました。この時点で、おそらくOpenAIが次のフロンティアモデルのトレーニングを最近始めたことを耳にしているでしょう。これはGPT-5とは呼ばれないようで、私たちが思うGPT-5でもありません。Microsoft Buildカンファレンスやフランスのパリで開催されたAIサミットでの発表によると、OpenAIは今年の後半に新しいモデルをリリースする予定です。人々はそれをテストしていますが、これは次に来る大きなものです。彼らはGPT-4, 5, 6の命名法から離れて、少し異なるものに移行しています。だから、正確には何と呼ばれるかわかりませんが、それが来るのです。彼はこれらのより大きく、より優れた、より賢いモデルから何を期待するかについて少し話します。Omniモデルの新しいアップデートやボイスモードなど、良いニュースがあります。そして、彼らは私が予想しなかった方向に話が進みます。それでは始めましょう。最初に起こる大きな良いことと、最初に起こる大きな悪いことは何でしょうか。それが本当に影響を与え始めるときに。私は、今すでに影響を見ている分野は生産性だと思います。ソフトウェア開発者は最も一般的に引き合いに出される例であり、おそらく今でも最良の例です。人々がより速く、より効果的に仕事をこなせるようになり、好きな部分にもっと取り組むことができるようになります。他の技術的なツールと同様に、それらはワークフローの一部となり、それなしでは仕事を想像することが難しくなります。そして、そのパターンが他の分野にも広がることを期待しています。これらのツールを使用することで、以前よりもはるかに生産性が向上し、コーディングから教育、学習、ヘルスケアの仕組みに至るまで、効率が向上します。そして、これが最初に目に見える良いことになると思います。そして、すでにその段階にいると思います。

最初のネガティブなこととして、もちろんすでにいくつかのネガティブなことが起こっていますが、サイバーセキュリティがその一つであり、特に注目すべき問題だと思います。次に、AIの進歩の限界について話します。「漸近的」という言葉を使うとき、それはAIの進歩が限界に達しているかどうかを意味します。AIをトレーニングするとき、どのレベルの改善が見込まれるのでしょうか。線形的な改善が見られるのでしょうか。それとも漸近的な改善が見られるのでしょうか。あるいは、何か驚くべき指数関数的な改善が見られるのでしょうか。素晴らしい質問です。私たちは漸近に近いとは考えていませんが、これは世界の中で議論されていることであり、私たちができる最善のことは、ただ示すことだと思います。多くの人々が多くの予測をしていますが、私たちができる最善の研究を行い、何を創造できるかを責任を持ってリリースする方法を見つけることだと思います。ある領域では大きな進歩が見られ、他の領域ではそれほどの進歩が見られないことを予想しています。これは以前のモデルでも同じでしたが、これは私たちが他のモデルをリリースするたびに行った議論のように感じます。3から3.5、3.5から4への移行時にも同様の議論がありました。それが本当にそれほど良くなるのか、もしそうならどのように良くなるのかという疑問がありましたが、まだ多くの余地があるように見えます。そして、予想外の進歩が見られる分野があると予想しています。

ちょっとここで宣伝をさせてください。Omniモデルのフルリリースには、ボイスエンジンを含むすべての要素が含まれており、自律型AIエージェントの構築に向けた大きな一歩となるでしょう。これに興味がある場合、私のグループNatural 20に参加することを検討してください。次の数週間でこれについて話す予定です。

次に、合成データについて話します。最近の研究で見たように、MicrosoftのOrca 2や他のいくつかの研究では、AIによって生成されたデータに欠点はないかもしれません。重要なのはそのデータが高品質かどうかです。例えば、Orca 2はGPT-4の出力に基づいてトレーニングされています。GPT-4はこれらのリドルや言葉の問題に答え、それが新しいモデルOrca 2にフィードバックされました。それはその特定の領域で非常に効果的になり、サイズが10倍のモデルと同等の能力を持つようになりました。興味深いのは、Mark ZuckerbergやSamがこのインタビューで示唆しているように、トレーニングランとデータ生成の考え方は、初めに思っていたほど明確ではないということです。それは連続的なサイクルのようになりつつあります。これはまた、初めて大部分が合成データでトレーニングされたモデルでもあります。ウェブには今、他の大規模な言語モデルによって生成された合成データが大量に含まれているためです。大規模な言語モデルを合成データでトレーニングすることがシステムの腐敗につながるのではないかとどれほど心配していますか？

重要なのは高品質なデータです。低品質な合成データもあれば、低品質な人間のデータもあります。私たちがモデルをトレーニングするための高品質なデータを見つけられる限り、あるいはデータの効率性を向上させ、より少ないデータから多くを学ぶ方法を見つける限り、それは問題ないと思います。次のモデルに必要なものは揃っていると感じています。

あなたは大量の合成データを生成してモデルをトレーニングしましたか？

もちろん、私たちはさまざまな実験を行い、合成データを大量に生成してトレーニングしました。私の希望は、モデルをトレーニングする最良の方法が、合成データを無数に生成してそれをフィードバックすることではないということです。それは非効率的であり、トレーニング中にデータからもっと学ぶ方法があるべきだと感じます。まだ多くを学ぶことが残されていますが、もちろん合成データを生成してトレーニングする実験を行っていますが、重要なのは少ないデータからどのように多くを学ぶかということです。それは興味深い問題です。

先週、Flaw 3にコードを生成してもらおうとしたところ、「私は橋だ」と言われて混乱しました。これはAnthropicの研究の一環で、神経ネットワーク内のニューロンが何をしているのか、どのニューロンが生成に貢献しているのかを理解するためのものです。現実には、私たちはそれを本当に理解していません。それはまだ始まったばかりで、人々を怖がらせることもありますが、これはブラックボックスの問題です。昨年、Stripeの創設者Patrick Collisonとのインタビューで、彼が「AIが世界に劇的な悪影響を与えないようにするために、AIで何が変われば心配しなくなるか」という質問をしました。あなたは「内部で何が起こっているかを理解できるなら、心配しなくなるだろう」と答えました。それが正しい考え方ですか？また、この問題を解決しましたか？

安全性には多面的なアプローチが必要ですが、解釈可能性の問題は理解する価値があると思います。私たちは解釈可能性を解決していませんが、多くの興味深いことが進行中です。システムの挙動は非常によく特徴づけられていますが、私たちがこれらのモデルで何が起こっているのかをもっと理解することができれば、それが安全性を確保するための一部になると信じています。

しかし、何が起こっているのかを理解していないなら、新しいより強力なモデルをリリースし続けるべきではないという議論になるのではないですか？

私たちは、ニューロン単位であなたの脳の何が起こっているのかを理解していませんが、それでもあなたが何かを考える理由を説明することができるように、システムを理解する方法は他にもあります。システムの特徴や挙動は非常によく特徴づけられており、新しい技術の歴史を振り返ると、これらのシステムが安全で堅牢と見なされるまでに非常に速く進展していることに驚かされます。

これはEthan Moのブログからの引用です。「ケンタウロスとサイボーグについての興味深いことの一つは、AIが最も能力の低い従業員に最も役立つということです。トップの従業員と下位の従業員に分けた場合、チャットGPTのようなAIを使用すると、両方の従業員に効果がありますが、下位の従業員には強い効果があります。この点について次のセクションで言及されます。」

昨年11月から、私はAIに関する賢い人々が異なる意見を持つ質問リストを持っています。AIが収入格差を悪化させるのか、改善させるのかは非常に興味深い議論の一つです。多くのポッドキャストでこの話題が取り上げられ、収入格差を悪化させる可能性があると考え、ユニバーサル・ベーシック・インカムが必要になると話していますが、今朝のステージでAzarが経済研究を引用し、AIツールがコールセンターで導入された場合、最も低賃金の労働者に最も効果があると述べていました。AIの導入によって収入格差に対する見解は変わりましたか？

まず一例を挙げますが、今日私たちは「OpenAI for Nonprofits」という新しいイニシアチブを立ち上げました。これは非営利団体に対してツールを安価で広く提供するものです。割引やベストプラクティスの共有方法があります。国際救助委員会が私たちのツールを使用して素晴らしい成果を上げています。これにより、難しいことを自動化し、知性をより広く利用できるようにすることで、貧しい人々により大きな助けになると信じています。これが私たちがこれらのツールを構築したい理由の一つです。

技術は世界をより豊かにし、繁栄をもたらすことができると信じています。それは特別な介入を必要とせず、社会契約に変化が必要になると予想しています。私は仕事がなくなるとは考えていませんが、社会の構造全体が議論と再構成を必要とするでしょう。その再構成は大規模な言語モデル企業によって主導されるのですか？

いいえ、経済全体の仕組みと社会が何をしたいかを決定することです。これは長い間続いてきたことで、社会安全網などの例があります。私たちはより多くのことを行いたいと決定するでしょう。

次に、AI生成コンテンツがウェブにあふれることについて話します。私はこれについても興味があります。サムはこれについてどう考えていますか？

ウェブの使用方法は少し変わると思いますが、長い時間がかかります。しかし、私はそれが理解不能になるとは思いません。例えば、チャットGPTを使うと、情報をより効果的に得ることができ、インターネットがあなたに提供されるという考えは、AIの進化のクールな側面だと思います。インターネットの使用方法が変わるかもしれませんが、スパム生成記事で覆われて理解不能になるとは思いません。

次に、AIガバナンスについて話します。世界全体でAIに関する決定をどのように行うか、どのような政策を実施するかという問題に取り組む方法について話します。サムは、Worldcoinというプロジェクトに関与しており、これには多くの問題がありましたが、AIガバナンスの問題は残っています。サムは興味深いことを話していますので、聞いてみましょう。

これは8年前にNew Yorkerに掲載されたインタビューでの発言です。OpenAIのガバナンスについて話していたとき、「世界の広範な地域が新しいガバナンスボードの代表を選出できる方法を計画している。もし私が関与していなかったら、なぜこれらのやつらが私に何が起こるかを決定するのかと思うだろう」と述べました。この発言について現在の考えを教えてください。

そのようなことはまだ良いことだと信じています。ガバナンスの実施方法について話し続けていますが、今はあまり詳しく話さない方がいいかもしれませんが、その方向に興奮しています。

次に、元取締役2人、特にHelen Tonerについて話します。前の動画で取り上げましたが、Helen Tonerが述べたことは現実と一致しないようです。私は現場にいませんでしたが、彼女が真実を述べていないように思えます。これは私の意見ですが、サムがここで何を言っていると思いますか？

元取締役の2人、Toha MolagとHelen Tonerは、The Economistに寄稿し、「OpenAIでの失望した経験の後、AI企業の自己統治を信頼できない」と述べました。これらはサムを解任し、復職する前の取締役です。今週初め、TonerはTed AIポッドキャストでインタビューを受け、「監督は完全に機能していなかった」と述べ、チャットGPTのリリースをTwitterで知ったと述べました。これは正確ですか？

彼女の記憶には尊敬の念を持っていますが、非常に大きな意義を持って異議を唱えます。しかし、Tonerさんが良いAGIの結果を本当に気にかけていることを評価しています。彼女に幸運を祈ります。チャットGPTのリリースについては、研究プレビューとして低調にリリースされましたが、ボードと多くの話をしていた計画がありました。GPT-4のトレーニングは完了しており、段階的なリリース計画を立てていましたが、彼女の記憶には異議を唱えます。

最後に、AIと人類についての大きな質問について話します。この議論の深さに驚かされました。興味深いことを考えるのに良い機会です。AIは人間よりも強力なものを作り出すことで、私たちをより謙虚にすることができますか？私はそう信じています。そして、広く謙虚さと世界への畏敬の念が広がると思います。それは非常にポジティブなことだと思います。科学の歴史の中で、人間は中心にいないことが多くの例で示されています。太陽が地球の周りを回っていると信じていた時代がありましたが、実際には地球が太陽の周りを回っていることがわかり、さらに多くの星があり、多くの銀河があり、マルチバースの考え方もあります。AIは、私たちにさらなる視点を与え、謙虚さと畏敬の念を持つことができると信じています。

以上、rthでした。ご視聴ありがとうございました。