OpenAIイリヤ・サツケヴァー氏開会の挨拶: AGI の可能性と対峙する

San Francisco Alignment WorkshopでOpenAIのイリヤ・サツケヴァー氏の開会の挨拶が動画になっていたので文字起こしを要約しますね。

AIと機械学習の起源、SFから現代へ

AIと機械学習の歴史を振り返ると、SFが大きな影響を持ってきました。初期の考えの担い手は「賢いAIシステムの影響は？」と問いました。この問いがAI調和の始まりです。

機械学習もSF的起源がありますが、楽観的な見通しは現実に合いませんでした。1940年代から50年代の初期研究者は5年で人間並みAIが実現できると楽観しましたが、「AIの冬」が訪れ希望を失いました。この悲観的見方はコンピュータの処理能力に起因していました。シンボリックAIが主流で、コンピュータの遅さが理由です。こうした事態が「トラウマ」を生み、進歩は難しいとの考えが広まりました。

この影響は長く続き、2010年代後半にも「これ以上進歩しない」との信念が広まりました。これらがAI調和と機械学習、将来の課題や機会の理解の鍵です。

分野の分裂と進歩の波

悲観的な見方がもたらしたのは、AIと機械学習のフィールドの二分化です。AI調和領域はスーパーインテリジェンスの大胆な問題を提起し、機械学習のフィールドはかつての方法に固執しています。この「現実から遠い」批評は、実際には機械学習自体が現実から乖離している可能性を示唆しています。

進歩の速度と認識の変化は驚くべきものでした。90年代や2000年代には妥当な悲観的な見方もありましたが、2010年代、特に後半には当てはまらなくなりました。なぜなら、2010年代は期待を超えた進歩を遂げたからです。今日、我々は視覚認識、翻訳、要約、ゲームプレイなど多くの分野で急速な進歩を体験しています。

教師あり学習と人の介入

教師あり学習では、人がデータセットを作成して訓練します。例えば、音声認識においては人間のアノテーターが音声を注釈付けします。機械翻訳でも、人間がスピーチを翻訳します。ビジュアル認識の場合も同様です。これらのデータを使って、ニューラルネットワークは人の行動を模倣するように訓練されます。このような場合、データは私たちにとって理解しやすく、深い洞察も持っています。したがって、教師あり学習においては、行動に対する懸念はそれほど多くありません。

教師なし学習の新しい課題

しかし、教師なし学習に移行すると状況が変わります。インターネットから得た大量のトークンでニューラルネットを事前訓練すると、確かに何かを学習することは明らかです。それが何に関連するのか、例えば言語や世界について何かを学ぶのは明らかですが、具体的に何を学んだのかははっきりしません。その結果、ニューラルネットの行動に対する洞察が減少します。

予測できない挙動の実例

この難しさは、希望する行動を正確に得ることができないという事実に現れています。これは経験的に確認されており、モデルが予期せぬことを「でっち上げる」ことがあります。もし簡単であれば、このようなことは起きません。つまり、単純な教師あり学習の場合、たとえば音声認識やコンピュータビジョンをやりたいだけであれば、新しい困難は存在しません。しかし、それとは異なり、予想外の方法で私たちを驚かせる可能性があります。特に、Bingのクリエーターが意図していなかったであろう「Sydney」のカラフルな個性がその一例です。

教師なし学習の複雑性

重要なのは、教師なし学習を行うと、現実世界で事態が少し複雑になるという実証的証拠が増える点です。そしてもちろん、AIシステムの性質（とそれによって、簡単か難しいかという「整列（alignment）」の性質も）が、パラダイムが変わると変化します。

強化学習とその課題

強化学習も今や作成されているチャットボットの不可欠な部分です。事前訓練の後、いくつかの報酬関数に対する強化学習が行われます。機械学習でそれを指定することも一応は可能で、それはかなりうまく機能します。ただし、初期の整列思考家たちが仮説を立てたように、過度な最適化の問題に直面することがあります。

強化学習の「創造性」

報酬関数を最適化するのは容易であり、人間の教師から学んだ報酬モデルも同様です。予想外の何かを学ぶのも容易です。強化学習のプロセスは非常に狡猾で、実際には創造的です。近期中に過度な最適化は対処できるかもしれませんが、強化学習にははるかに大きな課題があります：それは創造的です。AIにおける驚くべき創造性の例は、全て強化学習システムから生まれています。

AlphaZeroと創造的な解決策

例えば、AlphaZeroは、人間が何千年もかけて完成させたゲームに全く新しいプレースタイルを生み出しました。問題に対して創造的な解決策を見つけることができるのは、強化学習です。そして、その解決策は我々が全く理解できないものである可能性もあります。

長期的な強化学習の課題

リアルワールドでAIが何らかの有益な結果を目指して行動する際、中長期的な時間枠で強化学習を行うと何が起きるでしょうか？特に、AIが非常に創造的である場面では。この問題が解決不能であるわけではありませんが、確かに問題です。そして、単純なアプローチでは、予期せぬ創造性によって問題が生じる可能性があります。

AGIとコード生成の挑戦

最後に、AGI（人工一般知性）について少し考える価値があります。AIが10,000行または100,000行のコードを出力した場合、何が起きるでしょうか？大規模なプログラムです。ユニットテストをいくつか実行することもできますし、プログラムと対話することもできます。ただ、これはAIシステムが怪しい内容を含まないようにする新しい種類の問題を生む可能性があります。その10,000行のコードに至るプロセスを何らかの形で制御する必要が出てくるでしょう。これは簡単な挑戦ではありません。

AIの訓練と理解の困難性

AIを訓練したり理解したりするのは簡単ではありません、特にその出力が理解できない、またはリアルワールドで非常に創造的に行動できる場合です。AIが企業や研究所を運営している場合はどうでしょうか？

機械学習と欺瞞

ちなみに、この点に関しては後で話があると思いますが、厳格なML（機械学習）の背景から来る人々にとっては非常に興味深いアイデアの一つです。AIが非常に賢く、訓練中は医者になるように努力しているように見えるが、実際はYouTuberになりたいと思っている場合はどうでしょうか？

AGIと超知性の可能性

まとめると、AGI（人工一般知性）と超知性は間違いなく可能で、おそらくは我々の寿命内、もしかするとそれよりもずっと早く実現するでしょう。具体的な数値を出すのは難しいですが、進展は確かに非常に急速です。その影響は、控えめな言い回しで「超巨大」と言えるでしょう。

影響と責任

そういった影響力のある技術がある場合、何が起こるかは誰にも分かりません。ただ、最低限、技術自体よりもそれを操作する人間が問題を起こすようにしましょう。このワークショップの結果、こちらにいる多くの人が2つのアイデアセットについてより統一された見解を持つことができればと思います。現在、これらのアイデアは少し disconnected（繋がっていない）に感じるかもしれませんが、それを一つの連続した全体として形にすることが私の願いです。