OpenAIのスーパーアラインメントチームが解散

OpenAIのスーパーアラインメントチームが解散したのが話題になっています。

OpenAIの人材流出

OpenAIでAIの安全性を確保する研究の責任者だったIlya Sutskever とJan Leikeが2024年5月に退社しました。OpenAIの安全性に関する論文"Weak to Strong Generalization"の著者は次々と退社しています。著者はCollin Burns∗, Pavel Izmailov∗, Jan Hendrik Kirchner∗, Bowen Baker∗, Leo Gao∗,Leopold Aschenbrenner∗, Yining Chen∗, Adrien Ecoffet∗, Manas Joglekar∗,Jan Leike, Ilya Sutskever, Jeff Wu∗　(*が主著者）ですが、 Pavel IzmailovとLeopold Aschenbrennerは秘密漏洩のかどで解雇されたと報じられています。

スーパーアラインメントとは何か

アラインメントとは世界のデータを圧縮して作られた大規模言語モデルをファインチューニング（調整）して、人間世界の価値観や倫理観に合わせることです。
スーパーアラインメントとは、非常に高性能な生成AIを人間の価値観に合わせることです。
人間をはるかに超える知的能力を持つ人工知能ができたときにそれを制御することを目指しています。

２つの可能性

次の2つの可能性があります：

• AIの安全性の研究が完成した

• AIの安全性を重視しない経営に移行した

真相は謎ですが、噂によるとOpenAIは計算能力の20％をAIの安全性研究に充てることになっていたが、その約束が守られなかったと言われています。

OpenAIのWeak to Strong Generalization論文

Weak to Strong Generalizationは能力の小さいGPT-2がGPT-4をファインチューニングしてGPT-3.5レベルの性能を獲得したという研究結果の報告です。より能力の小さい大規模言語モデルがより高性能な言語モデルを制御できる可能性を示しています。
将来、人間が人工超知能を制御できる可能性を示唆しています。

むすび

すでにOpenAIでは人間を超える能力の人工知能は完成したのではないかと言われています。真相はやぶの中です。
E. O. WIlsonは「現代の人間の問題は、旧石器時代からの感情、中世に作られた制度、そして神のような技術を併せもっていることだ」、と言いました([ict-in-ecuaton] [oxford])。
この技術を使って世界がいい方向に向かうことを願っています。

参考文献

• [TheAIGRID] OpenAI Is FALLING Apart. (Ilya Sutskever Leaving, Super alignment Solved? Superintelligence)　https://www.youtube.com/watch?v=3NP_3CRMBdA TheAIGRID 43m17s 2024年

• [wired] OpenAIの「スーパーアライメントチーム」が解散、超人間的なAIの制御を目指す取り組みはどうなる？　https://wired.jp/article/openai-superalignment-team-disbanded/

• [openai] Weak to Strong Generalization https://cdn.openai.com/papers/weak-to-strong-generalization.pdf

• [ict-in-ecuaton] やってみた：ウィルソンの言葉「現代の人は、旧石器時代からの感情、中世に作られた制度、そして神のような技術を併せもっている」（うろ覚え）を検索してみた　https://blog.ict-in-education.jp/entry/2023/05/14/050000　2024年

• [oxford] Edward O. Wilson 1929– 
  American sociobiologist　https://www.oxfordreference.com/display/10.1093/acref/9780191826719.001.0001/q-oro-ed4-00016553