見出し画像

Arxiv論文:自分でツールを作って再利用するLLMのコンセプト(LATM)

以下論文が面白げでした。
論文で提案されたコンセプトをデモするノートブックも用意されているので、興味がある方は実際に動かしてみても面白いと思います。

論文の概要

  • 大規模言語モデル(LLM)の問題解決能力を向上させるための新しいフレームワーク、LLMs As Tool Makers(LATM)を提案する。このフレームワークは、LLM自体が問題解決のための再利用可能なツールを作成する。

  • LATMのアプローチは「ツール作成」フェーズと「ツール使用」フェーズの2つから成り立ち、それぞれのフェーズで異なる、または同一のLLMが機能する。

  • ツール作成により、LLMは新たな問題に対応するツールを継続的に生成することが可能となり、労働分担によるコスト削減効果が期待できる。

  • ツール作成に高性能モデル(GPT-4)を、ツール使用に軽量モデル(GPT-3.5)を使用することで、推論コストを大幅に削減しながら、高いパフォーマンスを維持することができた。

図1:LATMの閉ループフレームワーク。強力だが高価なLLMがPython関数の再利用可能なツールを作成して、コストが安い軽量LLMがツールを使う
図2:LATMのパイプライン 【第1ステップ】ツール作成ステップ (ⅰ)ツール提案~Python関数生成,(ⅱ)ツール検証~単体テスト,(ⅲ)ツールラッピング ~関数コードをラッピング、使用方法のデモをつくってツールの使用準備をおこなう 【第2ステップ】ツールをUserのLLMが利用
図3:LATMタスクの動作例

サンプルコードのリポジトリ

  • (心配な方はdocker環境下で)以下をgit cloneして、各ノートブックを開いて、コードやプロンプトを眺めたり、実行時の挙動を観察するとコンセプトが理解できて楽しいです。

まとめ・感想

  • 今回のは、あくまで研究段階のコンセプトの域を出ませんが、ソリューション構築する高性能LLMと、それを使う軽量LLMを使い分ける考え方は、今後、一般的な考えになっていくと思いました。

  • 今回のコンセプトの実用化は、速度面、性能面、安全面でも、まだまだ課題が多くて時間がかかりそうです。でも、LLMがサービスのプログラムを書いて、テストして、デプロイまでする未来はそう遠くないだろうという気がします。

  • 今回のアイデアを発展させれば、小規模なツール開発に留まらず、LLMが学習データを収集・編集して、特定分野に特化したLLMを主体的に訓練してもいいわけですし。夢があるというか、ちょっと怖いかも。

おしまい。ありがとうございました。


この記事が気に入ったらサポートをしてみませんか?