知性を他のあらゆる人間の資質よりも価値がある物と見なすなら、良い結果は得られないだろう by イリヤ・サツケヴァー

OpenAIメイン開発者イリヤ・サツケヴァー氏の今日のポストです。

if you value intelligence above all other human qualities, you’re gonna have a bad time

— Ilya Sutskever (@ilyasut) October 7, 2023

イリヤ・サツケヴァー氏は、汎用人工知能 (AGI) についていくつかの考えを共有しており、これはこのポストの文脈を理解するのに役立つかもしれません。

• AGI の調整と AI の将来: Sutskever 氏は、AGI の調整を達成するための課題とアプローチについて説明しました。同氏は、AI の最大の課題は信頼性であり、信頼性はこれらのシステムによって生み出される経済的価値を妨げる可能性があると示唆しています。彼は、AGI が、社会がどのように運営されるべきかを決定するのではなく、人々が道徳的に進化し、自己改善できるようにする基本的なセーフティ ネットを提供する世界を思い描いています。

イリヤ・スツケバーによるAGIの構築とAIの未来について

• 人間と AGI の相互作用: Sutskever 氏は、多段階推論の障壁を克服し、AI システムを改善するために、人間と AI の間の協力の重要性についても示唆しました。このコラボレーションは、私たちよりも知的で意図を誤解する可能性のあるモデルを調整する際の課題を克服するための鍵となります。

• 強力な AGI と人間性: Sutskever 氏のツイートの中には、親が子を愛するのと同じように人類を愛するAGIを作るという長期的な目標を表明しているものがあります。また別のツイートでは、AGI開発者にとって、深く従順なAGIと人類を本当に愛するAGIのどちらを作るのが良いのかという疑問を投げかけているものがあります。

What is the better overarching goal for AGI developers: the deeply obedient ASI that faithfully does what it's asked by its creators, or the ASI that truly deeply loves humanity:

— Ilya Sutskever (@ilyasut) September 15, 2022

• AGI の潜在的リスク：Sutskever 氏は、AGI に関連するリスクについても触れています。彼は、AGI が人間に対して積極的に敵意を抱くことはないかもしれないが、その計り知れない力が危険をもたらす可能性があると述べ、それを人間が動物を扱う方法に喩えています。

Open AI Chief Scientist Ilya Sutskever: “It’s not that [AGI is] going to actively hate humans and want to harm them, but it’s just going to be too powerful, and I think a good analogy would be the way humans treat animals. It’s not that we hate animals… but when the time comes…

— Stop AGI (@juststopai) July 10, 2023