OpenAI "超知能AI"を制御する新チームを結成！！！

新たなチームの設立

OpenAIは、"超知能"AIを制御するための新チームを設立しました！！このチームは、OpenAIのチーフサイエンティストであり、共同創設者の一人でもあるイリヤ・スツケヴァー氏が率いています！！

"超知能"AIの到来予想

スツケヴァー氏とOpenAIのアライメントチームリーダーであるヤン・ライケ氏は、人間を超える知能を持つAIが今後10年以内に現れる可能性があると述べています！！そして、もしAIが現れたとしても、必ずしも善意を持つわけではないため、その制御や制約の方法について研究する必要があると警告しています！！

超知能AIの制御問題

「現在、超知能AIが暴走することを防ぐ制御策はない」とスツケヴァー氏とライケ氏は述べています！！人間の監督能力に頼る現在のAI整列技術は、我々よりも知能が高いAIを信頼性高く監督することができないとのことです！！

"Superalignment"チームの設立

「超知能整列」の分野を推進するために、OpenAIは新たな"Superalignment"チームを立ち上げます！！このチームはスツケヴァー氏とライケ氏が率い、OpenAIが確保した計算能力の20％にアクセスすることができます！！このチームの目標は、次の4年間で超知能AIを制御する中心的な技術的課題を解決することです！！

"人間レベルの自動化された整列研究者"の開発

スツケヴァー氏とライケ氏は、「人間レベルの自動化された整列研究者」を作り上げることを提案しています！！大目標は、人間のフィードバックを使用してAIシステムを訓練し、他のAIシステムを評価するAIを訓練し、最終的に整列研究を行うAIを構築することです！！

AIによる整列研究の推進

OpenAIの仮説では、AIは人間よりも速く、より高いレベルの整列研究を進めることができるとされています！！「AIシステムが整列作業を次第に引き継ぎ、最終的には今よりも優れた整列技術を構築できる」と、ライケ氏とその同僚たちは以前のブログ記事で述べています！！

限界と課題

しかし、ライケ氏らはOpenAIの多くの制約を認識しています！！AIを評価に使用することは、そのAIの不一致、バイアス、または脆弱性を増大させる可能性があります！！そして、整列問題の最も困難な部分は、エンジニアリングに関連していないかもしれません！！

試みる価値

しかし、スツケヴァー氏とライケ氏は、それが試みる価値があると考えています！！「超知能の整列は基本的に機械学習の問題であり、我々は優れた機械学習の専門家がそれを解決するのに重要であると考えています！！」と彼らは述べています！！また、「この努力の成果を広く共有し、OpenAI以外のモデルの整列と安全性に貢献することを我々の仕事の重要な部分とみなしています」と彼らは締めくくりました！！

OpenAI is forming a new team to bring ‘superintelligent’ AI under control

OpenAI is forming a new team to bring ‘superintelligent’ AI under control | TechCrunch