SakanaAI 新AI研究者エージェントが業界全体に衝撃を与える! (自律型AI研究者)

本日はAI開発にとって画期的な日となりました。この発表は、まだ受け取れないだろうと思っていたものですが、AIの発展は常に予想よりも早いものです。今日、サカナラボは、AI科学者を紹介しました。これは科学研究と自由な発見を自動化する世界初のAIシステムです。

サカナラボは、実は元Googleの研究者であるレオン・ジョーンズとデビッド・ハが設立した東京を拠点とするAIスタートアップです。この会社は、魚の群れや蜂の巣のような自然システムにインスピレーションを受けたAIモデルの開発に焦点を当てており、柔軟で適応性が高く、経済的に効率的なAIモデルを作成しています。これはもちろん、かなり異なるアプローチです。そして今日、彼らは新しいAI科学者を発表しました。
アイデアの創出からコードの作成、実験の実行、結果の要約、論文全体の執筆、そしてピアレビューの実施まで、AI科学者はAI駆動の科学研究と加速された発見の新時代を切り開きます。この会社は、自然界の群れのように協調して働く多数の小規模モデルを活用することを目指しています。
レオン・ジョーンズは、非常に影響力のある2017年の論文「Attention Is All You Need」の共著者の一人で、有名なTransformerアーキテクチャを紹介しました。彼はサカナAIのCTOを務めています。そして、以前Stability AIとGoogle Brainで研究をリードしていたデビッド・ハがCEOです。彼らは実際に3000万ドルのシード資金を調達しています。
この発表について詳しく見ていきましょう。これは実際に業界に衝撃を与えた発表だからです。ここにAI科学者の概念図があります。AI科学者はまずアイデアの集合を生み出し、次にそれらの新規性を評価します。これは基本的に、これらのアイデアがどれほど新しいか、以前にカバーされているかをチェックしているところです。次に、最近の自動コード生成の進歩によって支えられたコードベースを編集して、新しいアルゴリズムを実装します。
そして科学者は、数値データと視覚的な要約の両方で構成される結果を収集するために実験を実行します。結果を説明し文脈化する科学的レポートを作成します。最後に、AI科学者は、トップクラスの機械学習会議の基準に基づいて自動化されたピアレビューを生成します。このレビューは、現在のプロジェクトの改善を助け、将来の自由な発想の世代に情報を提供します。
ここに4つの主要なステップがあることがわかります。アイデア生成では、AI科学者は与えられた開始テンプレートからまずブレインストーミングを行います。実験テンプレートでは、AI科学者の第2フェーズは、アイデアテンプレートが与えられた後、まず提案された実験を実行し、結果を得て、結果を視覚化するプロットを作成します。そして、各プロットの内容を説明するメモを作成します。保存された図と実験ノートは、論文を書くために必要な情報を提供します。
最後に、AI科学者は、標準的な機械学習の進行状況をLatexで簡潔で有益な報告書を作成します。Semantic Scholarを使用して、関連する論文を自律的に見つけて引用します。この作業の重要な側面は、後で詳しく説明しますが、ほぼ人間の精度で生成された論文を評価できる自動化されたLLM駆動のレビューアーの開発です。
生成されたレビューは、プロジェクトの改善や将来の世代のための自由な発想へのフィードバックとして使用できます。これにより、AI科学者が研究成果を反復的に改善できる継続的なフィードバックループが可能になります。最も能力の高いLLMと組み合わせると、AI科学者は、自動化されたレビューアーによってトップレベルの機械学習会議で弱い採択と判断される論文を作成することができます。
この全体について、非常に興味深いことがいくつかあります。論文はかなり長いのですが、皆さんが知らないかもしれないことがいくつかあります。その1つは、会議での関連性がある可能性のある論文を減らすシステムのコスト効果が、論文1本あたり15ドルであることです。つまり、このモデルを効果的に実行し、実際に論文を作成するには、各論文を作成するのに15ドルかかります。
皆さんはどう思いますか? 将来的にモデルが全体的に安くなることを考えると、これは比較的安いと思います。アルゴリズムの効率化や異なるエージェントのワークフローにより、同じレベルのLLMの計算能力からより多くの機能を引き出す可能性が高いです。つまり、これらのものはより効率的になり、時間とともにはるかにスマートになるということです。
これは、新しいベンチマークが各論文にどれだけ有意に下がる可能性があるかを意味します。もちろん、ここに書かれているように、これは研究を民主化し、科学の進歩を加速する能力を強調しています。これらの研究論文が1ドルあるいは数セントになる世界を想像してください。私たちはどれだけ多くの研究分野を自動化できるようになるでしょうか。
私が個人的に持っていた最大の疑問の1つは、自動化されたAI研究者を手に入れたが、論文は良かったのかということでした。提供された情報に基づくと、AI科学者によって生成された論文には、いくつかの潜在的に新しい洞察が含まれていましたが、全体的な品質は混在していました。
彼らの論文についての簡単な要約です。いくつかの論文は、潜在的に新しいアイデアやアプローチを提示しました。例えば、低次元データの拡散モデルに関する論文は、サンプル品質と分布マッチングに大きな改善を示しました。別の論文は、拡散モデルのための新しいデュアルエキスパートノイズ除去アーキテクチャを提案し、パフォーマンスの向上を示しました。
論文は一般的に中程度の品質と描写され、アイデアを適切に実行できるが、深い背景知識が不足している可能性のある初期段階の機械学習研究者の作品に匹敵するものでした。多くの論文には、提案された方法の徹底的な理論的正当化の欠如、限られた実験範囲、時折の幻覚、論文の異なるセクション間での一貫性のない品質など、重大な制限がありました。
著者らは、この科学的内容を額面通りに受け取るべきではないと強調しています。これらは、人間の研究者によるフォローアップと検証が必要な有望なアイデアのヒントとして使用できます。これは正確に画期的な研究ではありませんが、これらの論文は、さらに探求する人間の研究者のためのアイデアや出発点として役立つ可能性があります。
これらの論文のいくつかは、自動化されたレビューアーシステムによると、トップレベルの機械学習会議の例外閾値を超えるスコアを達成しました。システムが多くの論文を迅速に生成する能力、例えば1週間に数百の論文を生成する能力は、個々の論文が出版品質でなくても、研究の方向性をブレインストーミングするのに価値があるかもしれません。
AI科学者は、いくつかの新しいアイデアを持つ一貫した研究論文を生成する能力を示しましたが、論文は一般的に出版の準備ができた新しい知識を表すものではありませんでした。しかし、これが有用な研究ではないということではありません。これらは、出版可能な研究に発展させるためにはより実質的な人間の専門家の関与が必要な、予備的な研究提案や初期段階の作業に近いものでした。
彼らがこの研究で使用していたモデルの1つは、もちろんClaude Sonnet 3.5でした。ここで彼らは述べています。「Claude Sonnet 3.5が一貫して最高の論文を生成することがわかりました。そのうちのいくつかは、自動化された論文レビューアーから、標準的な機械学習会議での採択の閾値を超えるスコアを達成しました。」
彼らがここで述べていることは、これからの明確な兆候です。「Sonnet 3.5のような単一のモデルがリードを維持すると期待する根本的な理由はありません。すべてのフロンティアLLM（オープンモデルを含む）が引き続き改善され、LLM間の競争がその商品化と能力の向上につながると予想しています。」彼らはまた、オープンモデルの使用についても言及しました。「コストが低く、使いやすいが、品質は劣っていました。」
プロンプトエンジニアリングの側面に興味がある方々のために、研究論文では実際に彼らが使用したすべてのプロンプトを説明するセクションがありました。ここで見ることができます。アイデアの新規性システムプロンプトの1つは、「あなたは、分野に大きく貢献する論文を発表しようとしている野心的なAI PhD学生です。あなたにはアイデアがあり、それが新規であるかどうか、つまり既存の文献と大きく重複しているか、すでによく探索されているかどうかを確認したいと思っています。」
このようなプロンプトがいくつかあり、これらのモデルが応答に関してどのように考えるように調整されたかを示しています。これを自分で試してみたい方は、研究論文にあります。
この全体について最も驚くべき制限の1つは、AI科学者が現在ビジョン能力を持っていないということでした。そのため、論文の視覚的な問題を修正したり、プロットを読んだりすることができません。例えば、生成されたプロットが時々読めず、表が時にページの幅を超えることがあります。ページレイアウトは多くの場合最適ではありません。マルチモーダル基盤モデルを追加することで、これを修正できます。
彼らはまた、AI科学者がアイデアを誤って実装したり、ベースラインとの不公平な比較をしたりして、誤解を招く結果につながる可能性があることについても言及しています。時々、結果の書き込みと評価において重大なエラーを犯します。例えば、2つの数字の大きさを比較するのに苦労することがあります。
これらすべてについて驚くべきことは、彼らがこれをオープンソース化することに成功したと話していることです。これの完全な中身を知りたい方、AI研究を行うためにこれを自分で実行したい方は、それが可能になります。彼らはGitHubリポジトリへのリンクを提供し、すべてをオープンソース化しています。
ここで何が起こるか見るのが楽しみです。正直、今日のこの発表は予想していませんでしたが、AI開発では本当に何が来るかわかりません。