AIの未来：万能エージェントへの道　未来を語り出したNVIDIA 　Jim Fan

サンフランシスコGEN AI Summitmでオープニングキーノートを務めたJim Fan氏のプレゼンテーションがAIによる未来像をを語ってくれていました。

序章

2016年春、コロンビア大学の教室に座っていた私は、講義に集中せずにノートパソコンでボードゲームのトーナメントを見ていました。それは特別な試合で、AIのAlphaGoが人間の囲碁チャンピオンであるイ・セドルと対戦していました。AIが初めて人間のチャンピオンに勝つ瞬間を目撃したのです。

AIエージェントの限界と可能性

その瞬間はとても興奮しましたが、AlphaGoが囲碁しかできないことに気づきました。AlphaGoは他のゲームをしたり、家事をしたりすることはできません。私たちが本当に望むのは、映画『ウォーリー』のように色々なことができるAIエージェントです。これをどのように実現するかが次の課題です。

万能AIエージェントへのステップ

私たちの研究は、AIエージェントがどれだけのスキルを持つか、どれだけ多様な体をコントロールできるか、どれだけの現実で機能できるかの3つの軸で進められています。AlphaGoは一つのスキルに特化していますが、私たちはもっと多様なスキルを持ち、多くの現実で活躍できるエージェントを目指しています。

プロジェクトVoyager

今年初めに私が率いたプロジェクトVoyagerは、AIエージェントが多くのスキルを学ぶことを目指しました。Minecraftというゲームは、無限の創造的なことができるため、最適なプラットフォームです。Minecraftには1億4000万人のアクティブプレイヤーがおり、その人気は絶大です。VoyagerはMinecraftの中で何時間も人間の介入なしにプレイし続け、地形を探索し、素材を採掘し、モンスターと戦い、何百ものレシピをクラフトし、新しいスキルを次々と習得します。

コーディングとしての行動

Voyagerの核心は、「行動としてのコーディング」です。まず、3Dの世界をテキスト表現に変換し、GPT-4を使ってJavaScriptのコードスニペットを生成します。Voyagerは行動を観察し、結果をもとに自己反省し、新しい行動計画を試みます。成熟したスキルはスキルライブラリに保存され、エージェントはMinecraftの中で自ら能力を向上させていきます。

MetaMorphと多体制御

Voyagerの次のステップは、多くの異なる体を制御するアルゴリズムの開発です。MetaMorphは、スタンフォード大学で開発したプロジェクトで、異なる腕や脚の構成を持つ数千のロボットを制御できる基礎モデルです。MetaMorphは、ロボットの体の部分を特殊な語彙で表現し、Transformerを適用してモーター制御を生成します。

IsaacSimと現実の超越

IsaacSimは、NVIDIAのシミュレーションプロジェクトで、物理シミュレーションを現実の1000倍の速さで加速します。これは、例えば、キャラクターが10年間の訓練を3日間のシミュレーションで学ぶことを可能にします。IsaacSimは無限のバリエーションを持つ世界を生成し、AIエージェントが様々なシナリオで訓練できるようにします。

Foundation Agentのビジョン

私たちが目指すのは、すべての現実に対応できる単一のエージェント、つまり「Foundation Agent」です。これは、入力として体のプロンプトとタスクのプロンプトを受け取り、行動を出力するもので、膨大なデータを使って訓練されます。未来には、あらゆる動くものが自律化され、『ウォーリー』や『スター・ウォーズ』、『レディ・プレイヤー1』のすべてのAIエージェントが、同じFoundation Agentの異なるプロンプトになると信じています。

AIエージェントの未来は、無限の可能性を秘めています。彼らがこれから目指すのは、その可能性を現実にすることです。

Jim Funは、人工知能（AI）の分野で非常に重要な仕事をしている研究者です。NVIDIAという大きなテクノロジー会社で働いており、AIエージェントという自動で学んで働くコンピュータプログラムの開発をリードしています。彼の研究は、ロボットやゲームの中で使われるAIをより賢くすることを目指しています。

彼の経歴もとても立派で、スタンフォード大学で博士号を取得し、OpenAI、Baidu AI Labs、MILAなどの有名な研究機関でも働いてきました。コロンビア大学では、クラスのトップで卒業し、特別なメダルも受賞しました。

具体的に彼がしてきた仕事をいくつか紹介します：

• Voyager: Minecraftという人気のゲームを上手にプレイしながら学習するAIを作りました。このAIは、プレイするうちにどんどん賢くなります。

• MineDojo: MinecraftのYouTube動画を大量に見て、その内容から学ぶAIを開発しました。これにより、AIは新しいスキルを獲得します。

• Eureka: 5本指のロボットハンドを使って、ペン回しのような非常に細かい動きを学習させるプロジェクトです。この学習には、GPT-4という高度なAI技術を使用しました。

彼の研究は、ニューヨークタイムズやフォーブスなどの有名なメディアでも取り上げられており、多くの人々から注目されています。

面白い事実として、彼は2016年にOpenAIという有名なAI研究所の最初のインターンでした。その時、ウェブブラウザを使うAIを開発していました。