【MIT Technology Review】OpenAI共同創業者Ilya Sutskever
今回はIlya Sutskeverの記事について、翻訳してみました。AIに対する彼の恐怖となぜAIは彼のライフワークの焦点を変えさせたのかについての対談となっています。
以下翻訳：
イリヤ・スツケバーとのインタビュー
頭を下げたイリヤ・スツケバーは深く考えている。彼の腕は大きく広げられ、彼の指は彼の最初のノートを演奏しようとしているコンサートピアニストのように卓上に広げられています。私たちは黙って座っています。
私は、サンフランシスコのミッション地区の目立たない通りにある彼の会社のマークのないオフィスビルで、OpenAIの共同創設者兼チーフサイエンティストであるSutskeverに会いに来て、彼がもたらした世界を傾ける技術の次のステップを聞きに来ました。また、彼の次のステップ、特になぜ彼の会社のフラッグシップジェネレーティブモデルを構築することがもはや彼の仕事の焦点ではないのか、についても知りたいです。
Sutskeverは、次のGPTまたはイメージメーカーDALL-Eを構築する代わりに、彼の新しい優先事項は、人工スーパーインテリジェンス（真の信者の先見の明を持って来る仮説的な未来技術）が不正になるのを止める方法を見つけることだと私に言います。
Sutskeverは他にもたくさんのことを教えてくれます。彼はChatGPTが意識しているかもしれないと思っている（あなたが目を細めるなら）。彼は、世界は彼の会社や他の人々が創造するために競争している技術の真の力に目覚める必要があると考えています。そして、彼は何人かの人間がいつか機械と融合することを選ぶだろうと考えている。
Sutskeverが言うことの多くはワイルドです。しかし、ほんの1、2年前に聞こえたほどワイルドではありません。彼が私に言ったように、ChatGPTはすでに何が起こるかについての多くの人々の期待を書き換え、「決して起こらない」を「あなたが思っているよりも早く起こるだろう」に変えました。
「すべてがどこに向かっているのかについて話すことが重要です」と彼は、まるで別のiPhoneと同じくらい確実な賭けであるかのように、一般的な人工知能（彼は人間と同じくらいスマートな機械を意味する）の開発を予測する前に言います。「ある時点で、私たちは本当にAGIを持つでしょう。OpenAIがそれを構築するかもしれません。たぶん、他の会社がそれを構築するでしょう。」
昨年11月に突然のサプライズヒットであるChatGPTがリリースされて以来、誇大広告で知られる業界でも、OpenAIをめぐる話題は驚くべきものでした。誰もこのオタクな800億ドルのスタートアップを十分に得ることはできません。世界の指導者たちは、民間の聴衆を求める(そして得る)。その不格好な製品名は、カジュアルな会話でポップアップします。
OpenAIのCEO、サム・アルトマンは、夏の大部分を1週間のアウトリーチツアーで過ごし、喜んで政治家を扱い、世界中の満員の講堂で話しました。しかし、Sutskeverは公人ではなく、多くのインタビューをしません。
彼は話すとき、慎重で系統的です。彼が言いたいこととそれをどのように言うかを考えるとき、長い一時停止があり、彼が解決する必要があるパズルのように質問に返します。彼は自分のことを話すことに興味がないようだ。「私はとてもシンプルな生活を送っています」と彼は言う。「私は仕事に行き、それから家に帰ります。私は他にあまり何もしません。従事できる社会活動がたくさんあり、参加できるイベントがたくさんあります。しかし私はしません。」
しかし、私たちがAIと、彼が見ている画期的なリスクと報酬について話すとき、景色が開きます:「それは記念碑的で、地球を揺るがすものになるでしょう。前と後があるでしょう。」
生成AIの始まり、そしてより良く、より良く
OpenAIのない世界でも、SutskeverはAIの歴史に入るだろう。イスラエル系カナダ人で、ソビエトロシアで生まれましたが、5歳からエルサレムで育ちました(彼はまだロシア語とヘブライ語、英語を話します)。その後、彼はカナダに移り、今年初めに発明した技術に対する懸念を公表したAIのパイオニアであるジェフリー・ヒントンと一緒にトロント大学で勉強しました。(Sutskeverはヒントンの発表についてコメントしたくなかったが、不正な超知性に対する彼の新しい焦点は、彼らが同じページにいることを示唆している。）
ヒントンは後に、ニューラルネットワークの研究でYann LeCunとYoshua Bengioとチューリング賞を共有しました。しかし、Sutskeverが2000年代初頭に彼に加わったとき、ほとんどのAI研究者はニューラルネットワークが行き止まりであると信じていました。ヒントンは例外だった。彼はすでに一度に1文字ずつテキストの短い文字列を生成することができる小さなモデルを訓練していました、とSutskeverは言います。「それはそこで生成AIの始まりでした。本当にかっこよかったです。」
Sutskeverは彼らがどのように学び、そのプロセスが機械でどのように再現されるか、または少なくとも模倣されるか、脳に魅了されました。ヒントンのように、彼はニューラルネットワークの可能性と、ヒントンがディープラーニングと呼ばれるそれらを訓練するために使用した試行錯誤技術を見ました。「それは良くなり続けました」とSutskeverは言います。
2012年、Sutskever、Hinton、およびHintonの別の大学院生であるAlex Krizhevskyは、AlexNetと呼ばれるニューラルネットワークを構築し、当時の他のどのソフトウェアよりもはるかに優れた写真内のオブジェクトを識別するように訓練しました。それはディープラーニングのビッグバンの瞬間でした。
長年の誤ったスタートの後、彼らはニューラルネットワークが結局のところパターン認識に驚くほど効果的であることを示しました。ほとんどの研究者が以前に見たよりも多くのデータ（この場合、プリンストン大学の研究者Fei-Fei Liが2006年以来構築していたImageNetデータセットからの100万枚の画像）と目を見張るような量のコンピュータパワーが必要でした。
コンピューティングのステップ変更は、Nvidia製のグラフィックスプロセッシングユニット(GPU)と呼ばれる新しい種類のチップから来ました。GPUは、動きの速いビデオゲームのビジュアルを画面に投げるのに超高速で設計されました。しかし、GPUが得意な計算は、膨大な数のグリッドを掛け合わせ、ニューラルネットワークを訓練するために必要な計算によく似ています。
Nvidiaは現在、1兆ドルの会社です。当時、ニッチな新しいハードウェアのアプリケーションを見つけるのに必死でした。「新しい技術を発明するときは、クレイジーなアイデアを受け入れなければならない」とNvidiaのCEO、ジェンセン・フアンは言う。「私の心の状態は常に何か風変わりなものを探していて、ニューラルネットワークがコンピュータサイエンスを変えるという考えは、とんでもなく風変わりな考えでした。」
Huangは、NvidiaがAlexNetに取り組んでいるときに試してみるためにトロントチームにいくつかのGPUを送ったと言います。しかし、彼らは最新バージョン、店舗で急速に売り切れていたGTX 580と呼ばれるチップを望んでいました。Huangによると、Sutskeverはいくつかを買うためにトロントからニューヨークまで国境を越えて運転した。「人々は角を曲がったところに並んでいた」と黄は言う。「彼がどうやってやったのかわかりません。あなたはそれぞれ1つしか購入できないと確信しています。私たちはゲーマーごとに1つのGPUという非常に厳格なポリシーを持っていましたが、彼は明らかにトランクをそれらでいっぱいにしました。GTX 580でいっぱいのトランクは世界を変えました。」
それは素晴らしい話です-それは真実ではないかもしれません。Sutskeverは、それらの最初のGPUをオンラインで購入したと主張している。しかし、このような神話作りは、この賑やかなビジネスでは一般的です。Sutskeverはより謙虚です。「1オンスでも本当の進歩を遂げることができれば、それは成功だと考えるだろうと思いました」と彼は言います。「当時のコンピュータはとてもちっぽけだったので、現実世界の影響はとても遠くに感じました。」
AlexNetの成功の後、Googleはノックした。ヒントンのスピンオフ会社DNNresearchを買収し、Sutskeverを雇った。Google Sutskeverでは、ディープラーニングのパターン認識の力が、単語や文章、画像などの一連のデータに適用できることを示しました。「イリヤは常に言語に興味を持っていました」と、現在GoogleのチーフサイエンティストであるSutskeverの元同僚Jeff Deanは言います。「私たちは長年にわたって素晴らしい議論をしてきました。イリヤは、物事がどこに行くかについて強い直感的な感覚を持っています。
しかし、Sutskeverは長い間Googleに留まらなかった。2014年、彼はOpenAIの共同創設者になるために採用された。10億ドル（アルトマン、イーロン・マスク、ピーター・ティール、マイクロソフト、Yコンビネーターなど）とシリコンバレーのスワッガーに支えられた新会社は、当初からAGIの開発を目指しました。
資金を支える頭脳であるサツケヴァー氏が参加していたため、威張り散らすのは当然だった。それまで、彼は順調にニューラル ネットワークを活用していました。 Yコンビネーターの投資担当マネジングディレクター、ダルトン・コールドウェル氏は、彼の評判が先行して彼を大きな注目を集めた、と語る。
「サム（アルトマン）がイリヤのことを世界で最も尊敬される研究者の一人だと言っていたのを覚えています」とコールドウェルは言う。 「彼は、イリヤがAIのトップ人材を多く惹きつけることができると考えていました。彼は、世界トップの AI 専門家の 1 人であるヨシュア ベンジオ氏が、OpenAI の主任科学者としてイリヤより優れた候補者を見つける可能性は低いと考えているとさえ述べました。」
しかし、OpenAI は最初は苦戦しました。 「OpenAI を開始したとき、進捗がどのように続くのか正確に確信が持てなかった時期がありました」と Sutskever 氏は言います。 「しかし、私には非常に明確な信念が 1 つありました。それは、ディープラーニングには賭けないということです。どういうわけか、障害に遭遇するたびに、研究者は半年か 1 年以内にそれを回避する方法を見つけます。」
彼の信仰は報われました。 OpenAI の最初の GPT 大規模言語モデル (名前は「生成事前学習トランスフォーマー」の略) は 2016 年に登場しました。その後、GPT-2 と GPT-3 が登場しました。次に、印象的なテキストから画像へのモデルである DALL-E です。これほど優れたものを構築している人は誰もいませんでした。 OpenAI はリリースのたびに、可能だと考えられていたことの基準を引き上げました。
AIへの期待、夢の実現
昨年 11 月、OpenAI は、既存の技術の一部を再パッケージ化した、無料で使用できるチャットボットをリリースしました。それは業界全体の課題をリセットしました。
当時、OpenAI は自分が何を出しているのか全く知りませんでした。社内の期待はこれ以上に低いものではなかった、と Sutskever 氏は言います。それが良かったかどうかはわかりません。事実に基づいた質問をすると、間違った答えが返されました。あまりにも印象に残らないものになるだろう、人々が『なぜこんなことをするの？』と言われるだろうと思っていた。これはとても退屈です！
引き分けは都合がよかった、とサツケヴァー氏は言う。 ChatGPT の内部にある大規模な言語モデルは数か月前から存在していました。しかし、それをアクセシブルなインターフェースに包み込み、無料で配布したことで、何十億もの人々が OpenAI などが何を構築しているのかを初めて知ることになりました。
「その初めての体験が人々を魅了したのです」とサツケヴァー氏は言う。 「初めて使ったときは、ほとんどスピリチュアルな体験だと思います。 ”なんと、このコンピュータは理解しているようだ”と思います。」
OpenAI は 2 か月足らずで 1 億人のユーザーを獲得し、その多くがこの素晴らしい新しいおもちゃに魅了されました。ストレージ会社 Box の CEO、Aaron Levie 氏は、発売から 1 週間のツイートでその雰囲気を次のように要約しました。「ChatGPT は、今後すべてがどのように変わっていくのかが垣間見える、テクノロジーにおける稀な瞬間の 1 つです。」
ChatGPT が何か愚かなことを言ったとたんに、その不思議は崩れ去ります。しかし、それまでにそれは問題ではありません。可能性を垣間見るだけで十分だとサツケヴァー氏は言う。 ChatGPT は人々の視野を変えました。
「機械学習の分野において、AGI は汚い言葉ではなくなりました」と彼は言います。 「それは大きな変化でした。これまで人々がとってきた態度は、「AI は機能しない、すべてのステップが非常に困難、一歩一歩前進するために戦わなければならない」というものでした。そして、人々が AGI について大々的に宣伝するとき、研究者たちはこう言いました。「何を言っているのですか?これもダメ、あれもダメ。問題がたくさんあります。」しかし、ChatGPT を使用すると、違うように感じ始めました。
そして、その変化はたった 1 年前に起こり始めたのでしょうか? 「それはChatGPTのせいで起こりました」と彼は言います。 「ChatGPT は機械学習研究者に夢を与えてくれました。」
OpenAI の科学者たちは、当初からエバンジェリストとしてブログ投稿や講演ツアーを通じてその夢を実現してきました。そしてそれは効果を上げています。「私たちは今、AI がどこまで進むかについて話し合っています。AGI または超知能について話す人たちです。」研究者だけではありません。 「政府はそれについて話し合っています」とサツケヴァー氏は言う。 "それはクレイジーです。"
信じられないこと
スツケヴァー氏は、まだ存在していない（そして決して存在しないかもしれない）テクノロジーについてのこのような話は、彼がすでに当然のことと考えている未来についてより多くの人が認識できるようになるため、良いことだと主張する。
「AGI を使用すると、非常に多くの驚くべきことを実行できます。医療を自動化し、医療を 1,000 倍安くし、1,000 倍良くし、非常に多くの病気を治療し、実際に地球温暖化を解決することができます。」と彼は言います。 「しかし、『なんてことだ、AI 企業はこの驚異的なテクノロジーの管理に成功するだろうか？』と心配している人はたくさんいます。」
このように表現すると、AGI は現実世界の展望というよりも、願いを叶えてくれる魔神のように聞こえます。命を救い、気候変動を解決することにノーと言う人はほとんどいないでしょう。しかし、存在しないテクノロジーの問題は、それについて言いたいことは何でも言えるということです。
Sutskever 氏は AGI について実際に何を話しているのでしょうか? 「AGI は科学用語ではありません」と彼は言います。 「これは有用なしきい値、基準点となることを目的としています。」
「それはアイデアです――」と彼は話し始めたが、すぐに立ち止まった。 「AI が非常に賢くなり、人間が何らかのタスクを実行できるようになると、AI もそれを実行できるようになります。その時点で、あなたはAGIを持っていると言えるでしょう。」
人々はそれについて話しているかもしれませんが、AGI は依然としてこの分野で最も物議を醸すアイデアの 1 つです。その発展を当然のこととして受け止めている人はほとんどいません。多くの研究者は、サツケヴァー氏が念頭に置いているようなものを目にする前に、概念的な大きな進歩が必要であると信じていますが、中には決してそうなることはないと信じている人もいます。
しかし、それは最初から彼を突き動かしてきたビジョンです。 「私は常にこのアイデアにインスピレーションを受け、動機付けられてきました」とサツケヴァー氏は言います。 「当時は AGI とは呼ばれていませんでしたが、ニューラル ネットワークにすべてを実行させるようなものでした。私は彼らができるとは常に信じていませんでした。しかし、それは登るべき山だった。」
彼は、ニューラル ネットワークと脳の動作方法を類似点にしています。どちらもデータを取り込み、そのデータから信号を集約し、いくつかの単純なプロセス (ニューラル ネットワークの数学、脳内の化学物質、生体電気) に基づいて、信号を伝播するかどうかを決定します。これは大幅な単純化ですが、原則は変わりません。
「もしあなたがそれを信じるなら、そしてあなたがそれを信じることを自分に許可するなら、たくさんの興味深い示唆があるでしょう」とサツケヴァーは言う。 「主な意味は、非常に大規模な人工ニューラル ネットワークがある場合、それは多くのことを実行できるはずだということです。特に、人間の脳が何かを実行できるのであれば、大きな人工ニューラル ネットワークも同様のことができるでしょう。」
「この認識を十分に真剣に受け止めれば、すべてがうまくいきます」と彼は言います。 「私の仕事の大部分はそれで説明できます。」
脳について話している間に、以前は Twitter として知られていた X サイトでの Sutskever の投稿の 1 つについて聞きたいと思います。サツケヴァー氏のフィードには、まるで格言を巻いたような内容が書かれている。 「人生やビジネスにおける共感は過小評価されている。 完璧なものは、多くの完璧な良いものを破壊しました。」
2022 年 2 月、彼は「今日の大規模なニューラル ネットワークはわずかに意識的である可能性がある」と投稿しました (Google DeepMind の主任科学者でインペリアル カレッジ ロンドンの教授であり、映画『エクス マキナ』の科学顧問でもあるマレー シャナハン氏はこれに対して「...広い小麦畑が少しパスタになっているのと同じ意味で」と答えた）
私がその話をすると、スツケヴァーは笑いました。彼はトローリングをしていましたか？彼はそうではありませんでした。 「ボルツマン脳の概念をご存知ですか?」彼は尋ねます。
彼が言及しているのは、19世紀の物理学者ルートヴィヒ・ボルツマンにちなんで名付けられた量子力学における（冗談めいた）思考実験のことである。この実験では、宇宙におけるランダムな熱力学的変動が脳の出現と消滅を引き起こすと想像される。
「現時点では、これらの言語モデルはボルツマン脳のようなものだと感じています」とサツケヴァー氏は言う。 「話しかけ始めると、少し話し始めます。それから話し終わると、脳がなんだか――」彼は手で消える動作をした。ふーん、さようなら、脳。
ニューラル ネットワークがアクティブである間、いわば起動している間、そこに何かがあるということですか?と尋ねます。
「そうかもしれないと思います」と彼は言う。 「確かなことは分かりませんが、その可能性には反論するのが非常に困難です。でも、何が起こっているのか誰にも分かりませんよね？」
人間よりも賢い知性
他の人が人間の知性に匹敵する機械のアイデアに取り組んでいる一方で、サツケヴァー氏は人間に匹敵する機械の準備を進めている。彼はこれを人工超知能と呼んでいます。「彼らは物事をより深く見るようになるでしょう。彼らは私たちに見えないものを見るでしょう。」
繰り返しますが、これが実際に何を意味するのかを理解するのは困難です。人間の知性は、知性とは何かについてのベンチマークです。サツケヴァー氏が言う、人間よりも賢い知性とは何を意味するのでしょうか?
「私たちは、AlphaGo における非常に狭い超知能の例を見てきました」と彼は言います。 2016年、DeepMindのボードゲームAIは、世界最高の囲碁棋士の1人であるイ・セドルを5試合で4対1で破った。 「人類が何千年もかけて集団的に発展させてきたものとは異なる方法で囲碁をプレイする方法を発見しました」とサツケヴァー氏は言う。 「新しいアイデアが思いつきました。」
スツケヴァー氏は、AlphaGo の悪名高い手 37 を挙げています。セドルとの第 2 局で、AI は解説者を当惑させる手を打ちました。彼らは、AlphaGo が失敗したと考えていました。実際、それはゲームの歴史の中で誰も見たことのない勝利の一手でした。 「そのレベルの洞察力を想像してみてください。ただし、すべてを網羅しています」とサツケヴァー氏は言います。
この一連の思考こそが、スツケヴァーをキャリア最大の転換へと導いたのだ。彼は、OpenAI の科学者仲間である Jan Leike とともに、彼らがスーパーアライメントと呼ぶものに焦点を当てるチームを設立しました。アライメントとは専門用語で、AI モデルに必要なことだけを実行させることを意味します。スーパーアライメントとは、スーパーインテリジェンスに適用されるアライメントを意味する OpenAI の用語です。
目標は、この将来のテクノロジーを構築および制御するための一連のフェールセーフ手順を考案することです。 OpenAIは、膨大なコンピューティングリソースの5分の1をこの問題に割り当て、4年間で解決すると述べている。
「既存の調整方法は、人間よりも賢いモデルには機能しません。なぜなら、既存の調整方法は、人間が AI システムの動作を確実に評価できると基本的に想定しているからです」とライク氏は言います。 「AI システムの能力が高まるにつれて、より困難なタスクも引き受けるようになります。」そして、それが人間による評価を難しくするという考えです。 「イリヤとスーパーアライメントチームを結成することで、私たちは将来のアライメントの課題を解決することに着手しました」と彼は言います。
「大規模な言語モデルの潜在的な機会だけでなく、リスクやマイナス面にも焦点を当てることが非常に重要です」と Google の首席科学者ディーンは言います。
同社は7月に典型的な鳴り物入りでこのプロジェクトを発表した。しかし、一部の人にとっては、それはさらに幻想的でした。 OpenAI の Twitter への投稿は、Mozilla で AI の説明責任に取り組んでいるアベバ・ビルヘイン氏を含むビッグテックの著名な批評家からの軽蔑を集めた（「1 つのブログ投稿に、壮大に聞こえるが空虚な言葉がたくさんある」）。 Timnit Gebru 氏、分散型人工知能研究所の共同創設者 (ChatGPT が OpenAI 技術者とさらに『超連携』していると想像してみてください)。 AI企業ハギング・フェイスの主任倫理科学者マーガレット・ミッチェル氏（私の配列はあなたの配列より大きい）。確かに、これらはよく知られた反対の声です。しかし、これは、OpenAI が先頭に立っていると見る人もいれば、周縁部から傾いていると見る人もいるということを強く思い出させます。
しかし、Sutskever 氏にとって、超整合は避けられない次のステップです。 「それは未解決の問題です」と彼は言います。これは、彼自身のような中核となる機械学習研究者が十分に取り組んでいないと彼が考えている問題でもあります。 「私は私利私欲のためにやっているのです」と彼は言う。 「誰かが構築する超知能が不正にならないことが明らかに重要です。」
スーパーアライメントに関する研究はまだ始まったばかりです。研究機関全体にわたる広範な変更が必要になるとサツケヴァー氏は言う。しかし、彼は設計したい安全装置の模範を念頭に置いています。それは、親が子供を見るのと同じように人々を観察する機械です。 「私の意見では、これが黄金律です」と彼は言います。 「人々が本当に子どもたちのことを気にかけているということは、一般的に真実です。」 （彼には子供がいますか？「いいえ、でも欲しいです」と彼は言います。）
スツケヴァーとの時間はもう終わりに近づいているので、これで終わりだと思います。しかし、彼は絶好調で、もう 1 つ共有したい考えがあるのですが、それは私にはわかりません。
「不正な AI の課題を克服したら、その後はどうなるでしょうか?より賢いAIが登場した世界に人間が存在する余地はあるのでしょうか？」彼は言います。
「一つの可能性としては、今日の基準ではクレイジーかもしれないが、将来の基準ではそれほどクレイジーではなくなる可能性があり、多くの人がAIの一部になることを選択するということです。」スツケヴァー氏は、これが人間が追いつくための方法である可能性があると述べています。 「最初は、最も大胆で冒険好きな人だけがそれに挑戦しようとするでしょう。おそらく他の人も続くでしょう。」
待って、何？彼は出発するために起きています。彼はそれをするでしょうか？尋ねます。彼はその最初の一人になるだろうか？ 「最初？分かりません」と彼は言う。 「しかし、それは私が考えていることです。本当の答えは”おそらく”です。」
そして銀河系の脳みそを持ったマイクを落としながら、彼は立ち上がって部屋から出ていきました。 「また会えて本当にうれしい」と彼は歩きながら言いました。
この記事が気に入ったらサポートをしてみませんか？