AIが自己学習する可能性 ～Sakana AIなどの研究報告から～

LLMや生成AIの躍進が話題ですが、
その先には、AIが自分自身で学習し、考え方を考える可能性があります

そんな予感を広げるニュースがあったので、
シェアしてみます

LLMが別のLLMを改善する「LLM^2」

LLMが別のLLMを何度も改善　より良い回答を出す最適化手法をAIが発見する技術　Sakana AIなどが開発

• LLM周辺技術の「選好最適化」（Preference optimization）に着目

• 従来は、人間が「損失関数」を設計した後、ファインチューニングに使用していた

• 今回、「損失関数」自体を、LLMを使って改善させた

• 自動発見プロセスを約100回試したところ、新しい選好最適化アルゴリズムを発見した

部分的ではありますが、
LLMに入力できるようにモデル化自体を工夫できれば、
改善ループを自動化できる

新しい可能性を感じます

人間とAIの協調研究！？

• 人間は、モデルのモデルを考える

• AIは、膨大な組み合わせを試す

という分業がうまくいった事例です

従来は、時間がかかりすぎて、ムリだったことが
AIを活用することで、可能になる

AIに任せられるように、どう問題を切り出すか？
人間には、より高度な観点が求められますね

常識をアップデートしていきましょう～！

こちらは、同じ内容で、もう少し詳しい記事

Sakana AI、LLMのトレーニングアルゴリズムをLLMに発見、実装させることに成功　今後のAI活用をどう変える？

この記事を書いたのは、

収益の柱を増やす「未来実現パートナー」　川原茂樹
https://mousoubiz.com/
https://twitter.com/mousoubiz