OpenAIのCEOが語る「巨大なAIモデルの時代はすでに終わっている」

新興企業OpenAIのチャットボットChatGPTの驚異的な能力は、人工知能への新しい関心と投資を急増させるきっかけとなりました。しかし先週末、OpenAIのCEOは、このロボットを誕生させた研究戦略はもう限界だと警告しました。将来の進歩がどこから来るのか、はっきりしないのです。

OpenAIは近年、既存の機械学習アルゴリズムを利用し、これまで想像もしなかった規模に拡大することで、言語と連携するAIの目覚ましい進歩を次々と実現してきた。その中でも最新のプロジェクトであるGPT-4は、何兆語ものテキストと何千もの強力なコンピューターチップを使って学習されたようです。このプロセスには1億ドル以上のコストがかかっています。

しかし、同社のCEOであるサム・アルトマンは、モデルを大きくすることで、さらなる進歩は望めないと言います。「先週末にマサチューセッツ工科大学で開催されたイベントで、彼は聴衆に「私たちは、このような、巨大で巨大なモデルになる時代の終わりにいると思います。"他の方法でより良いものにする "と。

アルトマンの宣言は、新しいAIアルゴリズムの開発・展開競争における予想外の展開を示唆しています。OpenAIが11月にChatGPTを発表して以来、Microsoftはその基礎技術を利用してBing検索エンジンにチャットボットを追加し、GoogleはBardというライバルチャットボットを発表しました。多くの人々が、仕事や個人的な作業を支援するために、新種のチャットボットを使って実験することを急いでいます。

一方、Anthropic、AI21、Cohere、Character.AIなど、資金力のあるスタートアップ企業は、OpenAIの技術に追いつこうと、膨大なリソースを投入してより大きなアルゴリズムを構築しようとしています。ChatGPTの初期バージョンは、GPT-3を少しアップグレードしたものをベースにしていましたが、ユーザーはより高性能なGPT-4を搭載したバージョンにもアクセスできるようになっています。

アルトマンの発言は、GPT-4が、モデルを大きくし、より多くのデータを与えるというOpenAIの戦略から生まれる最後の大きな進歩になる可能性を示唆しています。その代わりにどのような研究戦略や技術が登場するのかについては触れていない。GPT-4を説明する論文の中で、OpenAIは、モデルサイズを拡大すると収穫が逓減するとの予測を示していると述べています。アルトマンによると、同社が建設できるデータセンターの数や、建設に要する時間にも物理的な限界があるという。

Cohere社の共同創業者で、以前はGoogle社でAIに携わっていたニック・フロスト氏は、「より大きくすることは、いつまでもうまくいくわけではない」というアルトマンの感覚は真実だと語る。彼もまた、GPT-4とそのライバルの中核をなす機械学習モデルの一種であるトランスフォーマーの進歩は、スケーリングを超えたところにあると考えています。「トランスフォーマーをより良く、より便利にする方法はたくさんあり、その多くはモデルにパラメータを追加する必要はありません」と、彼は言います。Frosstは、新しいAIモデルの設計やアーキテクチャ、人間のフィードバックに基づくさらなるチューニングは、多くの研究者がすでに探求している有望な方向性であると述べています。

OpenAIの影響力のある言語アルゴリズムファミリーの各バージョンは、人工ニューラルネットワーク、つまりニューロンが一緒に働く方法にゆるくインスパイアされたソフトウェアで構成されており、与えられたテキスト文字列に続くべき単語を予測するように訓練される。

これらの言語モデルの最初のものであるGPT-2は、2019年に発表されました。最大の形態では、その粗い人工ニューロン間の調整可能な接続の数を示す指標である15億個のパラメータを持っていました。

当時、OpenAIの研究者が、スケールアップすることでモデルがより首尾一貫したものになることを発見したこともあり、それは以前のシステムと比較して極めて大きなものだった。そして、2020年に発表されたGPT-2の後継機であるGPT-3は、さらに大きく、なんと1750億ものパラメータを持つようになった。このシステムは、詩や電子メールなどのテキストを生成する幅広い能力を備えているため、他の企業や研究機関も自社のAIモデルを同様の、あるいはさらに大きなサイズに拡張するよう説得することができました。

11月にChatGPTが登場した後、ミームメーカーや技術専門家たちは、GPT-4が登場すれば、その大きさと複雑さは目もくらむほどだろうと推測していました。しかし、OpenAIがついに新しい人工知能モデルを発表したとき、同社はその大きさを明らかにしませんでした。おそらく、もはや大きさだけが問題ではないのでしょう。MITのイベントで、アルトマンは「GPT-4のトレーニングに1億ドルかかったのか」と聞かれ、「それ以上です」と答えました。

OpenAIはGPT-4のサイズや内部構造を秘密にしていますが、その知能の一部はすでにスケールだけでなく、その先を見据えたものである可能性があります。可能性としては、ChatGPTの強化に使われた「人間のフィードバックによる強化学習」という手法が使われていることが考えられます。これは、モデルの回答の質を人間が判断することで、より質の高い回答と判断されやすいように誘導するものです。

GPT-4の驚くべき能力は、一部の専門家を驚かせ、AIが経済を変革する一方で、偽情報を拡散し、雇用をなくす可能性をめぐる議論を呼び起こした。一部のAI専門家、イーロン・マスクを含む技術起業家、科学者は最近、GPT-4より強力なものの開発を6カ月間休止することを求める公開書簡を書いた。

先週、MITでアルトマンは、自社が現在GPT-5を開発していないことを確認した。「手紙の以前のバージョンでは、OpenAIは今GPT-5をトレーニングしていると主張していました」と彼は言いました。"我々はそうではないし、しばらくはそうではない。"