人がAIに支配されるべきか議論した方が良いと思う。

これはAIを開発する指針となるものです。
人間を凌駕するAGIに向かうべきか、従来型の特定のタスクや問題に特化し事前学習が必要なAI、例えば知識集約型のLLMや生成AIを進化させるべきか。
人類の未来について

Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.

— Jan Leike (@janleike) May 17, 2024

昨日は、アライメントの責任者、スーパーアライメントのリーダー、そしてOpenAIの重役としての最後の日だった。 この3年間は本当にワイルドな旅でした。私のチームは、InstructGPTと共に史上初のRLHF LLMを立ち上げ、LLMに関する初のスケーラブルな監視を発表し、自動解釈可能性と弱-強汎化のパイオニアとなりました。
さらにエキサイティングなことがもうすぐ発表される。 私は自分のチームを愛している。 スーパーアライメント・チームの内外を問わず、一緒に働くことができた多くの素晴らしい人々にとても感謝している。OpenAIには、非常に賢く、親切で、有能な人材がたくさんいます。私たちよりもはるかに賢いAIシステムを制御し、操る方法を解明することが急務だからです。

私がOpenAIに参加したのは、この研究を行うのに世界で最高の場所だと思ったからだ。 しかし、私はOpenAIのリーダーシップと、会社の中核となる優先事項に関してかなり長い間意見が合わず、ついに限界に達しました。私は、セキュリティ、モニタリング、準備、安全性、敵対的堅牢性、（スーパー）アライメント、機密性、社会的影響、および関連するトピックについて、次世代モデルの準備にもっと多くのリソースを費やすべきだと考えています。これらの問題を正しく解決するのは非常に難しく、私たちはそこに到達する軌道に乗っていないのではないかと懸念している。

過去数ヶ月間、私のチームは風まかせの航海を続けてきた。時には膨大な計算量に苦しむこともあり、この重要な研究を成し遂げるのはますます難しくなっていた。人間より賢いマシンを作るというのは、本質的に危険な試みだ。OpenAIは、全人類を代表して大きな責任を担っている。 しかし過去数年間、安全文化とプロセスは、華やかなプロダクトよりも後回しにされてきた。

私たちは、AGIがもたらす影響について真剣に取り組むべき時期をとうに過ぎている。私たちは、できる限りの準備をすることを優先しなければならない。そうしてこそ、AGIが全人類に恩恵をもたらすことを確実にすることができるのだ。OpenAIは、安全第一のAGI企業にならなければならない。

すべてのOpenAIの社員に言いたい：
AGIを感じることを学びなさい。
自分が作っているものにふさわしい重責を持って行動してください。
君たちなら、必要な文化的変革を「船出」できると信じている。
私はあなたに期待している。
世界があなたに期待している。
:openai-heart：