見出し画像

ジェフリー・ヒントンとフェイフェイ・リーの対談 - 責任あるAI開発について

AIに仕事を奪われたい

※長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)でも良いですが、個人的にはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。

皆さん、こんにちは。今日この会場の熱気を感じられて嬉しいです。トロント大学との共催による、この特別なラディカルAIファウンダーズイベントのため、素晴らしいMaRSディスカバリーディストリクトにようこそ。私はメリック・ガートラーと申します。トロント大学の学長を務めさせていただいております。
始める前に、トロント大学が立地する土地について言及させてください。何千年もの間、ここはヒューロン-ウェンダット族、セネカ族、クレディット・ミシサガ族の伝統的な土地でした。今日でも、この集会の場所はタートル・アイランド全域から多くの先住民の人々の故郷となっています。私たちはこの土地で働き、集う機会を得られたことを大変ありがたく思っています。
本日の、トロント大学名誉教授で多くの人々からディープラーニングの父と呼ばれるジェフリー・ヒントン氏と、スタンフォード大学コンピューターサイエンス学科の初代シークオイア教授で同大学の人間中心AI研究所の共同所長を務めるフェイフェイ・リー氏との対談にみなさまをお迎えできることを大変嬉しく思います。この貴重で特別な機会を作り出すため、ラディカル・ベンチャーズおよび他のイベントパートナーの皆様にトロント大学と協力していただいたことに感謝申し上げます。
ヒントン教授とその同僚の画期的な研究のおかげで、トロント大学は長年にわたってアカデミックなAIコミュニティの最前線に立ってきました。ディープラーニングはAIブームを推進する主要なブレークスルーの1つであり、その主要な開発の多くはヒントン教授とトロント大学の学生たちによって先駆的に行われました。この長年の優れた伝統は現在も続いています。私たちの教員、学生、卒業生たちは、ベクター研究所や世界中の大学のパートナーとともに、機械学習を進歩させイノベーションを推進しています。
今年の秋遅く、私たちの教職員、スタッフ、学生、そしてパートナーたちは、通りの向かい側にある美しい新しいシュワルツ・ライスマン・イノベーションキャンパスの第1フェーズに移動を開始します。角にある印象的な建物にお気づきかもしれませんが、来年初めに正式オープンする予定です。この施設は、ヘザー・ライスマン氏とジェリー・シュワルツ氏からの寛大で先見の明のある寄付により可能となった、カナダ最大の大学ベースのイノベーションハブを作り出すことで、イノベーションと発見を加速させるでしょう。イノベーションキャンパスは、ジリアン・ハッドフィールド教授が率いるシュワルツ・ライスマン技術社会研究所とベクター研究所の両方を擁し、AI思想のリーダーシップの中心地となることでしょう。
人工知能と機械学習が経済全体でイノベーションと価値創造を推進していることは、すでに明らかです。また、創薬、医療診断、先端材料の探索など、さまざまな分野の研究も変革しています。もちろん、同時にAIが人類の未来を形作る上で果たす役割についての懸念も高まっています。ですから、本日の対話は明らかにタイムリーで重要なトピックに取り組むものであり、みなさまがこの記念すべき機会にご参加くださったことを大変嬉しく思います。
それでは、さらに前置きを続けずに、本日の司会者であるジョーダン・ジェイコブズ氏をご紹介いたします。ジョーダンはラディカル・ベンチャーズのマネージングパートナー兼共同創業者で、同社はトロントおよび世界中でAIベースのベンチャーを支援する主要なベンチャーキャピタルファームです。以前は、Layer 6 AIを共同創業し、TD銀行グループによる買収前まで共同CEOを務めていました。買収後はTD銀行グループのチーフAIオフィサーに就任しました。ジョーダンはカナディアン・インスティテュート・フォー・アドバンスト・リサーチの理事を務めており、また、トミ・ポウタネン、ジェフ・ヒントン、エド・クラークらとともに思い描いたコンセプトであるベクター研究所の創設者の1人でもあります。
それでは、ご来場の皆様、ジョーダン・ジェイコブズ氏をお迎えください。
(会場拍手)
上がってきてください。ありがとうございます、メリック。まず、本日のイベントを実現するのに協力してくださった多くの方々に感謝したいと思います。トロント大学とメリック、芸術科学部長のメラニー・ウッディン、そして多くのパートナーの皆様に感謝します。
これは、ラディカルで毎年開催している4部構成のAIマスタークラスシリーズの第1回目です。今年で3年目になりますが、今日が今年の第1回目です。対面とオンラインの両方で行っており、何千人もの方々がオンラインで視聴しています。咳をする必要がある場合は、外に出るのがいいかもしれません。このイベントは、ベクター研究所、アルバータ州機械知能研究所、そしてフェイフェイのおかげでスタンフォードAIとのパートナーシップで行っています。皆様、素晴らしいパートナーとなっていただき、ありがとうございます。
今日の議論が非常に興味深いものになることを期待しています。これはジェフとフェイフェイが公の場で初めて一緒に行うものです。私は彼らを友人だと思っていて話をする機会がありますが、これは彼らが公の場で初めて一緒に行う対談です。非常に興味深い会話になると思います。
彼らの経歴についてもう少し詳しく説明させてください。ジェフは人工知能の父とよく呼ばれています。チューリング賞を受賞しています。トロント大学の名誉教授で、ベクター研究所の共同創設者でもあります。また、大手企業や世界中の学術研究所のトップなど、グローバルにAIをリードする多くの人々を指導してきました。父と呼ばれる理由は、多くの子や孫にあたる人々がAIの世界をリードしており、それがすべてトロントにつながっているからです。
フェイフェイはスタンフォード大学の人間中心AI研究所の創設ディレクター、スタンフォード大学の教授です。米国工学アカデミー、米国医学アカデミー、米国芸術科学アカデミーの選出メンバーです。2017年から18年のスタンフォード大学での休職中には、GoogleのVice PresidentとしてGoogle CloudのAI/MLのチーフサイエンティストを務めました。フェイフェイについては他にもたくさん言えることがありますが、彼女もまた驚くほど多くの学生を輩出し、その学生たちが世界中でこの分野をリードしています。
そして本当に重要なことですが、まだ聞いていない人もいるかもしれませんが、フェイフェイは2週間後に本を出版します。11月7日に出版される『私の見る世界:AIの夜明けにおける好奇心、探求、発見』というタイトルです。私は読みましたが、素晴らしい本です。みなさん、ぜひ購入してください。ジェフが書いた裏表紙の推薦文を読みますね。ジェフの言葉の方が私の言葉よりずっと良いですから。
ジェフの説明によると:「フェイフェイ・リーは、ビッグデータの力を真に理解した最初のコンピュータビジョン研究者であり、彼女の研究はディープラーニングの扉を開いた。彼女は、自身が解き放った
AIテクノロジーの素晴らしい可能性と危険性について、緊急かつ明確な見解を示している。そして、行動と集団的責任を求める彼女の呼びかけは、この歴史の転換点において切実に必要とされている。」
ですので、みなさん、ぜひ予約注文して、発売されたらすぐに読んでください。
それでは、フェイフェイとジェフ、ご参加いただきありがとうございます。
ありがとう、ジョーダン。
(会場拍手)
さて、この2人がいなければ、現代のAI時代は少なくとも今のような形では存在しなかったと言っても過言ではないでしょう。そこで、私が「ビッグバンの瞬間」だと思う時点に戻ってみましょう。AlexNetとImageNetについてです。ジェフ、あなたの視点からその瞬間について説明していただけますか? 今から11年前のことですね。
はい、2012年に私の非常に優秀な2人の大学院生が、公開コンペティションで優勝し、ディープニューラルネットワークが既存の技術よりもはるかに優れていることを示しました。これは、訓練に使える大規模なデータセットがなければ不可能だったでしょう。それまで、ラベル付けされた画像の大規模データセットは存在しませんでした。フェイフェイがそのデータセットを作成したのです。そこで、フェイフェイに聞きたいのですが、そのデータセットを作る上で何か問題はありましたか?
(会場笑い)
ありがとうございます、ジェフ。そしてジョーダン、トロント大学の皆さん、このような機会を設けていただき本当にありがとうございます。ここに来られて嬉しいです。
はい、ジェフが言及されたデータセットはImageNetと呼ばれています。私は2007年にそれを構築し始め、その後3年間ほぼ大学院生たちと一緒に構築に取り組みました。問題があったかと聞かれましたが、どこから話し始めればいいでしょうか。
(フェイフェイ笑い)
このプロジェクトを構想した時点ですら、それは悪いアイデアだと言われました。私はまだ若手の助教授でした。実際、プリンストン大学で助教授になって1年目のことでした。例えば、この分野で非常に尊敬されている私のメンターの1人が - 学術用語でいえば、私の終身在職権の評価を書く立場の人ですが - 実は善意から、2007年に私がこの計画を話した後で「どうかこれはやめてください」と言ってきたのです。
それはジテンドラのことですね?
(会場笑い)
アドバイスは「これをやると終身在職権を得るのが難しくなるかもしれない」というものでした。他の共同研究者を誘おうとしましたが、機械学習やAIの分野では誰もこのプロジェクトに近づこうとしませんでした。もちろん資金もありませんでした。
申し訳ありません。
(会場笑い)
ImageNetについて、詳しくない人のために説明してもらえますか。
はい。ImageNetは2006年から2007年頃に構想されました。私がImageNetを構想した理由は実は2つありました。1つは、ジェフ、私たちは似たようなバックグラウンドを持っていると思いますが、私は科学者として訓練を受けました。私にとって、科学をすることは北極星を追いかけることです。AIの分野、特に視覚的知能の分野では、私にとって、コンピューターが写真の中にテーブルがあるとか椅子があるとかを認識する能力である物体認識は、北極星的な問題でなければなりませんでした。この問題に本当に取り組む必要があると感じていました。それがImageNetの1つの側面でした。
ImageNetのもう1つの側面は、当時の機械学習が少し行き詰まっていることを認識したことです。私たちは非常に複雑なモデルを作っていましたが、機械学習を推進するようなデータがありませんでした。もちろん、私たちの専門用語では、これは本当に一般化の問題です。私たちはリセットして、データ駆動の観点から機械学習について再考する必要があると認識しました。そこで、私は量と多様性の面で誰も見たことがないようなデータセットを作ることにしました。3年後、ImageNetは22,000の概念、つまり物体カテゴリーにわたる1500万枚の画像からなる、キュレーションされたインターネット画像のデータセットになりました。それがデータセットでした。
ちなみに、同じ頃トロントでは、CIFAR-10という10種類のクラスと6万枚の画像からなるデータセットを作っていました。それも大変な作業で、CIFARが1枚5セントで寛大に支払ってくれました。
そして、そのデータセットをコンペティションにしたのですね。その経緯を少し説明していただけますか? そして2012年までの流れを教えてください。
はい。2009年にデータセットを作り、何とか学会のポスター発表にこぎつけました。しかし誰も注目してくれませんでした。当時はちょっと絶望的でした。でも私はこれが正しい道だと信じていました。オープンソース化しましたが、オープンソースにしても普及しませんでした。そこで学生たちと考えて、もう少し競争を盛り上げてみようと思いました。世界中の研究コミュニティにImageNetを使った物体認識の問題に取り組んでもらおうと、ImageNetコンペティションを作ったのです。
最初に友人や同僚から得たフィードバックは「大きすぎる」というものでした。当時はハードドライブに入りきらず、メモリにも入りませんでした。そこで私たちは、2万2000カテゴリーの代わりに1000カテゴリーにわたる100万枚の画像だけの、より小さなImageNetチャレンジデータセットを作りました。それを2010年に公開したと思います。2011年に皆さんが気づいたんですよね?
はい。
そうですね。私の研究室ではすでにディープニューラルネットワークが音声認識でうまく機能していました。そこでイリヤ・サツケヴァーが「私たちが持っているものでImageNetコンペティションに勝てるはずだ」と言ってきました。彼は私にそれをやるよう説得しようとしました。私は「データがあまりにも多すぎる」と言いました。彼は友人のアレックス・クリジェフスキーを説得しようとしましたが、アレックスはあまり興味を示しませんでした。そこでイリヤは実際にすべてのデータを前処理して、アレックスが必要とするちょうどの形に整えました。
画像サイズを小さくしたんですよね。
はい。
覚えています。
彼はアレックスのために画像を少し縮小し、ちょうど良い前処理をしました。そしてアレックスはついにやることに同意しました。一方、ニューヨークのヤン・ルカンの研究室では、ヤンが必死に学生やポスドクにこのデータセットに取り組むよう促していました。彼は「畳み込みネットワークをこのデータに適用する最初の人が勝つだろう」と言っていました。しかし彼の学生たちは誰も興味を示さず、みな他のことに忙しかったのです。
そこでアレックスとイリヤが取り組み始めました。前年のコンペティションのデータで試してみると、他の手法よりもずっと良い結果が出ることがわかりました。そこで2012年のコンペティションで勝てることがわかりました。
そこで政治的な問題が生じました。私たちはニューラルネットワークがこのコンペティションで勝つことを示せば、コンピュータビジョンの人々、特にジテンドラが「それはデータセットがあまり良くないことを示しているだけだ」と言うだろうと思ったのです。そこで、もしコンペティションに勝てば、ニューラルネットワークが機能することを証明したと事前に同意してもらう必要がありました。
実際にジテンドラに電話をして、どのデータセットで実験を行うか話し合いました。私の目的は、もしImageNetでできれば、ニューラルネットが本当に機能すると認めてもらうことでした。議論の末、他のデータセットをやるよう言われた後で、最終的にもしImageNetができれば、ニューラルネットが機能することを示したと同意しました。ジテンドラの記憶では彼がImageNetを提案し、彼が私たちにそれをやるよう言ったことになっていますが、実際は少し逆でした。
そしてそれを実行し、驚くべき結果が出ました。標準的な手法の誤差率の半分以下になったのです。標準的な手法は長年にわたって非常に優秀な研究者たちによって調整されてきたものでした。
当時の標準的な手法は、前年はスパース化を伴うサポートベクターマシンでしたね。
そうですね。皆さんがコンペティションの結果を提出したのは8月下旬か9月上旬だったと思います。私は学生から深夜に電話かメールを受け取ったのを覚えています。その学生がサーバー側でテストデータを実行していたからです。目標は、すべてのエントリーを処理して勝者を選ぶことでした。その年の10月初めにイタリアのフィレンツェで開催される国際コンピュータビジョン会議ICCVのワークショップで勝者を発表する予定でした。
3回目のコンペティションで、正直言って前の2回の結果にはあまり興奮しなかったので、当時私は赤ちゃんに授乳中だったこともあり、3回目には行かないことにして、チケットも予約しませんでした。遠すぎると思ったのです。そして結果が届いたその夜、電話かメールだったか覚えていませんが、私は「ああ、ジェフ、イタリアに行くチケットを取らなきゃ」と思いました。これが非常に重要な瞬間だと分かったからです。特に畳み込みニューラルネットワークが使われているということで。私は大学院生の頃にそれを古典的なアルゴリズムとして学びました。
もちろんその時点では、サンフランシスコからフィレンツェまで乗り継ぎ1回のエコノミークラスの真ん中の席しか残っていませんでした。フィレンツェまでの旅は大変でした。
申し訳ありません。
でも、その場に居合わせたかったのです。
(会場笑い)
ええ、でもあなたは来なかったですね。
いいえ。
(会場笑い)
大変な旅でした。
しかし、これが歴史的な瞬間になると分かっていましたか?
はい、実際そう思いました。
そう思ったのに、それでも来なかったんですね。でもアレックスを送りましたね。
はい、アレックスを。
そう。彼はあなたのアドバイスをすべて無視しましたが。
彼は何度もメールを無視しました。私は「アレックス、これはすごいことだから、このビジュアライゼーションとこのビジュアライゼーションをやってください」と言ったのですが、彼は無視しました。でもヤン・ルカンが来ました。学会のワークショップはだいたい小さな部屋を予約するものですが、私たちが予約した部屋はここの真ん中のセクションくらいの大きさでした。ヤンは部屋の後ろに立たざるを得なかったのを覚えています。本当に満員だったから。アレックスは最終的に現れましたが、彼が来るかどうか本当に心配でした。
あなたが予言した通り、そのワークショップでImageNetは攻撃されました。部屋の中で声を上げて「これは悪いデータセットだ」と言う人たちがいました。
部屋の中で?
部屋の中です。
発表中に?
部屋の中です。でもジテンドラではありませんでした。ジテンドラはすでにそれが意味のあるものだと同意していましたから。
ええ、ジテンドラは部屋にいなかったと思います。覚えていません。でも、機械学習の研究者として歴史が作られつつあることを知りながら、ImageNetが攻撃されているという非常に奇妙な瞬間だったのを覚えています。興奮する瞬間でもありました。そして翌朝にはサンフランシスコに戻るため、真ん中の席に座らなければなりませんでした。
さて、後で触れたい人々の名前がいくつか出てきました。OpenAIの創設者兼チーフサイエンティストのイリヤや、その後FacebookやMeta)のAI部門のトップになったヤン・ルカンなど、他にも興味深い人々が登場しています。しかし、その爆発的な瞬間が何を生み出したのかを見る前に、少し戻って考えてみましょう。
お二人とも、非常に具体的な目標を持ってこの分野に入られました。個人的で独創的な目標で、今述べたような瞬間を通じて忍耐強く取り組まれてきました。キャリアを通じてもそうでした。ジェフ、まず最初にAIの分野に入ろうと思った理由を教えていただけますか?
私は学部で心理学を専攻しましたが、あまり成績は良くありませんでした。脳の仕組みを理解しない限り、心の仕組みは決して理解できないと決心しました。そこで脳の仕組みを理解したいと思い、実際に機能するモデルを持ちたいと考えました。
脳を理解することは、橋を架けるようなものだと考えることができます。実験データと実験データから学べることがあり、望む計算を行うもの、つまり物体を認識するものがあります。それらは非常に異なっています。私はそれを、データと能力、つまりタスクを実行する能力との間に橋を架けたいと考えています。
私はいつも、機能するものから始めて、それをより脳に似せようとしながらも、まだ機能するようにしようと考えていました。他の人々は経験的データによって正当化されるものにこだわり、機能するかもしれない理論を持とうとしました。しかし私たちはその橋を架けようとしていて、多くの人々はその橋を架けようとはしていませんでした。テリー・セジノフスキーは反対側から橋を架けようとしていたので、私たちはうまくやっていました。
コンピュータビジョンをやろうとしていた多くの人々は、単に機能するものが欲しかっただけで、脳のことは気にしていませんでした。そして脳について気にしている多くの人々は、ニューロンがどのように機能するかを理解したいと思っていましたが、計算の性質についてはあまり考えたくありませんでした。
私は今でも、データについて知っている人々と機能するものについて知っている人々をつなげることで、この橋を架けなければならないと考えています。ですから私の目標は常に、視覚を行えるものを作ること、しかし人間が行うのと同じ方法で視覚を行えるものを作ることでした。
分かりました。それでは最近の進展について、そしてそれらが脳とどのように関係していると思うかについて後ほどお聞きしたいと思います。フェイフェイ、ジェフがスタートした枠組みを説明すると、イギリスからアメリカへ、そしてカナダへと移り、80年代半ばから後半にかけて、1987年にカナダに来ました。その道のりで、ニューラルネットとあなたが取っているアプローチへの資金提供と関心は上下しました。主に下がる傾向でしたが...
上下しました。
フェイフェイ、あなたは非常に異なる場所で人生をスタートさせましたね。あなたがAIに至った経緯を少し説明していただけますか?
はい、私は中国で人生をスタートさせました。15歳の時に両親と一緒にニュージャージー州パーシパニーに来ました。新しい移民として、まず英語を第二言語として学ぶクラスから始めました。言葉が話せなかったので、クリーニング店やレストランで働いたりしていました。
でも物理学に情熱がありました。どうしてそれが頭に浮かんだのかわかりません。プリンストン大学に行きたいと思いました。アインシュタインがいたことを知っていたからです。プリンストンに入学しましたが、その時にはもうアインシュタインはいませんでした。
そんなに年をとっていないですよ。
ええ。でも彼の銅像はありました。
物理学で学んだ一つのことは、数学やその他のことを超えて、最も大胆な質問をする勇気です。原子世界の最小の粒子や、時空の境界と宇宙の始まりについてなど。そして3年生の時に、ロジャー・ペンローズの本などを通じて脳について知りました。ええ、あなたには意見があるかもしれませんが、少なくともそれらの本は読みました。
おそらくそれを読まなかった方が良かったでしょう。
(会場笑い)
まあ、少なくとも脳に興味を持つきっかけにはなりました。卒業する頃には、科学者として最も大胆な質問をしたいと思っていました。そして2000年当時の私の世代にとって、絶対的に最も魅力的で大胆な質問は知能でした。
そこでカリフォルニア工科大学に行き、クリストフ・コッホの下で神経科学、ピエトロ・ペローナの下でAIの事実上の二重博士号を取得しました。ジェフ、あなたが言ったように架け橋を作ることに共感します。なぜなら、その5年間で計算論的神経科学に取り組み、心がどのように機能するかを調べると同時に、計算の側面にも取り組み、人間の脳を模倣するコンピュータープログラムを構築しようとしたからです。それが私の旅でした。物理学から始まったのです。
わかりました。あなたたちの道は2012年のImageNetで交差しましたね。
ところで、ジェフとは大学院生の時に会いました。
そうですね、ピエトロの研究室を訪問していたのを覚えています。
はい。実際、17歳の時にカリフォルニア工科大学で仕事を提供されたんですよ。
あなたが私の指導教官になっていたかもしれませんね。
ああ、そうですね。17歳の時ではありませんでしたが。
わかりました。ImageNetで交差したわけですが、この分野の誰もがImageNetが大きな転換点だったことを知っています。その後、大手テクノロジー企業がまず学生たちと、そしてあなたがたを買収し始め、企業に取り込み始めました。彼らが最初にこの可能性に気づいたのだと思います。それについて少し話したいのですが、少し先に進めると、ChatGPTが登場するまで、世界の残りの部分がAIの力に追いついていなかったと思います。なぜなら、ようやく人々がそれで遊べるようになったからです。それを体験できるようになり、会議室で話し合い、家に帰ると10歳の子供がChatGPTを使って5年生の恐竜のエッセイを書いているのです。
誰もがそれで遊べるという超越的な経験が、大きな変化をもたらしたと思います。しかし、その間の10年間は、大手テクノロジー企業内でAIが爆発的に成長し、他の誰もが何が起こっているのに気づいていない期間でした。あなた自身の経験について話していただけますか? ImageNet以降、いわば最前線にいたわけですから。
私たちにとっては、他の誰もが何が起こっているのに気づいていないという枠組みに入り込むのは難しいです。私たちは何が起こっているのかわかっていましたから。最前線にいるはずの多くの大学が、それを取り入れるのに非常に遅かったのです。
例えばMITやバークレーなどです。2013年頃、AIがコンピュータビジョンで非常に成功を収めていた時期に、バークレーで講演したことを覚えています。講演後、ある大学院生が私のところに来て「ここに4年ほどいますが、ニューラルネットワークについての講演を聞いたのは初めてです。本当に面白いですね」と言いました。
スタンフォードに行くべきでしたね。
おそらくそうですね。MITも同じでした。ニューラルネットを頑なに拒否していました。ImageNetの瞬間が彼らを少しずつ説得し始め、今では大きな支持者になっています。
今では想像し難いかもしれませんが、2010年か2011年頃、非常に優秀なコンピュータビジョンの研究者たちが、ニューラルネットに強く反対していました。あまりにも反対していたので、例えば主要な学術誌の1つであるIEEE PAMIには、ニューラルネットに関する論文を査読しない方針がありました。査読せずに送り返し、時間の無駄だから PAMIに載せるべきではないと。
ヤン・ルカンが、歩行者のセグメンテーションで最先端の手法よりも優れたニューラルネットの論文を学会に投稿したところ、却下されました。却下の理由の1つは、査読者の1人が「これは視覚について何も教えてくれない」と言ったからです。彼らには、コンピュータビジョンがどのように機能するかについての固定観念がありました。視覚の問題の性質を研究し、それを解決するアルゴリズムを定式化し、そのアルゴリズムの実装方法を考え出して、論文を発表する、というものでした。実際には、そのようには機能しません...
私の分野を擁護しなければなりません。全員がそうだったわけではありません...
全員ではありませんが、ほとんどがニューラルネットに強く反対していました。そしてImageNetコンペティションの後、驚くべきことが起こりました。約1年以内に、彼らは全員考えを変えたのです。ニューラルネットの最大の批判者たちがニューラルネットを使い始めました。私たちにとっては残念なことに、彼らの中には私たちよりも優れたニューラルネットをすぐに作る人もいました。例えば、オックスフォードのこの人たちは、非常に早く優れたニューラルネットを作りました。
しかし、彼らは科学者としてあるべき姿で行動しました。これはくだらないものだという強い信念を持っていましたが、ImageNetのおかげでそうでないことを最終的に示すことができ、そして彼らは考えを変えました。それは非常に心強いことでした。
そしてさらに先に進めると、あなたが示そうとしていたのは、ニューラルネットを使ってこれら1500万枚の画像を正確にラベル付けすることでした。すべての画像があらかじめラベル付けされていたので、測定することができました。エラー率は前年の26%から16%くらいまで下がりましたね。
はい。
15.3%だったと思います。
15.32%です。
(会場笑い)
覚えているだろうと思いました。
ジェフは忘れませんからね。その後、より強力なニューラルネットを使うことで、エラー率はさらに下がり続け、ついには人間を超えるまでになりました...
2015年です。非常に賢いカナダ人の学部生が私の研究室に加わりました。アンドレイ・カーパシーという名前です。彼はある夏に退屈して、「人間がどれくらい上手にできるか測定したい」と言いました。彼のブログを読むべきですね。彼は研究室の学生たちと一緒に、ピザで釣って画像テストのパーティーをたくさんやりました。そして彼らは約5%の精度に達しました。5%でしたか、3.5%でしたか?
3%です。
3%。3.5%だと思います。
つまり、人間は基本的に3%くらいの確率で間違えるということですね?
そうです。そして2016年だと思いますが、ResNetがそれを超えました。
はい、ResNetでした。その年の優勝アルゴリズムが人間のパフォーマンスを超えました。
そして最終的には、人間よりもはるかに優れていたため、コンペティションを引退せざるを得なくなりました...
資金が尽きたので引退しなければなりませんでした。
ああ、そうですか。別の理由だったんですね。
悪い理由です。
それでも資金は尽きました...
そしてその学生はすぐにトロント大学で学び始めました。
はい。
そしてあなたの研究室に行き、その後テスラの研究部門長になりました。
まず、彼はスタンフォードに博士課程の学生として来ました。昨夜話していたのですが、実はその途中で画期的な博士論文がありました。そしてOpenAIの創設チームの一員になりました。
でもその後テスラに行きましたね。
そしてテスラに行きました。
そしてより良い考えを思いついたのでしょう。
彼は戻ってきました。でも、あなたの10年間についての質問に答えたいと思います。
はい、その間にいくつかの進展がありました。
トランスフォーマーです。
そうですね。トランスフォーマーの論文は、Googleの中で研究が行われ、論文が書かれました。もう一人のカナダ人、エイダン・ゴメスが共著者です。彼は現在CohereのCEOで共同創業者です。Google Brainで20歳のインターンだった頃に論文を共著したと思います。カナダ人がこれらのブレークスルーに関わる伝統があるようです。
でもジェフ、あなたは論文が書かれた時Googleにいましたよね。Googleの中でこれがどれほど重要になるか認識はありましたか?
あったとは思いません。著者たちは知っていたかもしれませんが、私がその重要性に気づくまでに数年かかりました。Googleでも、BERTが登場するまで人々はその重要性に気づいていませんでした。BERTはトランスフォーマーを使用し、多くの異なる自然言語処理のベンチマークで多くの異なるタスクにおいて、はるかに優れた性能を示しました。そのときに人々はトランスフォーマーが特別だと気づいたのです。
2017年にトランスフォーマーの論文が発表されました。私もGoogleに加わり、あなたと私は初週に会ったと思います。
そうですね。
2017年と2018年のほとんどは、ニューラルアーキテクチャサーチだったと思います。
そうですね。
それがGoogleの賭けでした。
はい。
そして多くのGPUが使用されていました。それは異なる賭けでした。
ニューラルアーキテクチャサーチについて説明すると、基本的にはこういうことです。たくさんのGPUを用意して、さまざまなアーキテクチャを試し、どれが最も効果的かを見ます。そしてそれを自動化します。基本的には、ニューラルネットアーキテクチャの自動化された進化です。
ハイパーパラメータチューニングのようなものですね。
そうです。
そしてそれはいくつかの...
かなり大きな改善をもたらしました。
はい。
しかしトランスフォーマーほどではありません。トランスフォーマーは自然言語に対して大きな改善をもたらしました...
ニューラルアーキテクチャサーチは主にImageNetに関するものでした。
はい。
さて、トランスフォーマーの経験についてお話しします。当時私たちはLayer 6という会社をやっていました。論文のプレプリントを見て、ちょうど資金調達と複数の買収オファーの真っ最中でした。論文を読んで、私だけでなく、あなたの下で学んだパートナーや、グループ研究室出身のマクシムス・ボルコフスも、これがニューラルネットの次の進化だと考えました。会社を売却し、ベンチャーファンドを立ち上げて、トランスフォーマーを使用する会社に投資すべきだと。
Googleの外でも採用されるまでに5年かかると予想しました。そしてそこから10年で、世界中のソフトウェアがこの技術で置き換えられるか、埋め込まれると考えました。その決断をしたのは、ChatGPTが登場する5年2週間前でした。予測が当たって嬉しいですが、共同創業者たちに感謝しなければなりません。私は論文を理解していると思っていましたが、彼らが完全に説明してくれました。
少し訂正させてください。トミが私の下で学んだとは思いません。彼は私の下で学びたがっていましたが、学部の同僚の1人が、もし彼が私と一緒に仕事をすれば彼のキャリアは終わりだから、他のことをすべきだと言ったのです。
彼は授業を受けました。これは90年代後半にトロント大学で修士課程にいた私のパートナーの話です。彼はあなたの下で学びたいと思い、ニューラルネットを勉強していました。彼のガールフレンド(今の妻)の父親は工学部の教授で、「そんなことはやめなさい。ニューラルネットは行き詰まっている」と言ったそうです。そこで彼は授業は受けましたが、暗号通貨に関する論文を書きました。
(会場笑い)
さて、この10年間についてもう少し話しますか?重要なことがあると思います。
はい、どうぞ。
ImageNetとAlexNetからChatGPTまでの10年間について、世界が見落としていた重要なことがあると思います。多くの人はこれを技術の10年間として見ていますし、私たちもそう見ています。大手テクノロジー企業の中で何かが醸成されていました。シーケンス・トゥ・シーケンスやトランスフォーマーが必要でしたが、何かが進行していました。
しかし個人的に、そして世界にとって、これは技術から社会への転換の10年間でもあったと思います。個人的には、この10年間で科学者から人文主義者へと成長したと思います。トランスフォーマー論文の真っ只中にGoogleに2年間在籍し、この技術の社会的影響を目の当たりにし始めたからです。
AlphaGoの後で、すぐにAlphaFoldの時代が来ました。バイアスが忍び寄り、プライバシーの問題が出てきました。そして偽情報や誤情報の始まりが見え始めました。小さな範囲で、大きな公の議論ではありませんでしたが、雇用についての話も出始めていました。
個人的に不安を感じ始めたのは2018年頃です。ああ、そうそう、ケンブリッジ・アナリティカの直後でもありました。AIそのものではありませんが、アルゴリズム駆動型の技術が選挙に与える巨大な影響がありました。そのとき、Googleに留まるかスタンフォードに戻るかという個人的な決断をしなければなりませんでした。スタンフォードに戻る唯一の理由は、この人間中心AIの研究所を立ち上げて、本当に技術の人間側面を理解することだと分かっていました。
この10年間は非常に重要だと思います。公の目にはあまり触れていませんでしたが、この技術は私たちの生活の他の部分に忍び寄り始めていたのです。もちろん2022年には、これがいかに深遠なものであるかがすべて白日の下にさらされました。
この期間に起こったことについて、興味深い脚注があります。最終的にあなたとイリヤとアレックスはGoogleに加わりましたが、その前にこの技術にアクセスする機会を得た大きなカナダ企業がありました。この話を聞いたことがありますが、公に共有されたことはないと思います。その話を少し共有していただけますか?
分かりました。ImageNetに使用した技術は、2009年に音声認識、具体的には音響モデリングのために開発しました。音波を取り、スペクトログラムと呼ばれるものを作成できます。これは各時点で各周波数にどれだけのエネルギーがあるかを示すものです。スペクトログラムを見て、中央のフレームがどの音素のどの部分を表現しているかを推測したいわけです。
2人の学生、ジョージ・ダールと、ジェラルド・ペンと共同で指導していたアブドという学生(長い名前でしたが、みんなアブドと呼んでいました)が、2009年の夏にモデルを作りました。ジョージは学習の専門家で、アブドは音声の専門家でした。彼らは30年間の音声研究で生み出されたものよりも優れたモデルを作りました。大規模な音声研究チームが長年取り組んでいたものよりも少し良いモデルでした。ImageNetほどの大きな差ではありませんでしたが、より優れていました。
そのモデルはその後、ジョージがマイクロソフトに、アブドがIBMに移ったことで、IBMとマイクロソフトに移植されました。そしてそれらの大きな音声グループがニューラルネットを使い始めました。
私には別のことに取り組んでいた3人目の学生、ナブディープ・ジェイトリーがいました。彼はこの音声技術を大企業に持っていきたがっていましたが、複雑なビザの理由でカナダに留まりたがっていました。そこでブラックベリー(RIM)に連絡を取り、「音声認識の新しい方法があり、既存の技術よりも優れています。学生を夏の間に派遣してその使い方を示し、その後あなたたちの携帯電話で最高の音声認識を使えるようにしたい」と言いました。
しかし議論の末、ブラックベリーのかなり上層部の人が「興味がない」と言いました。カナダの産業界に提供しようとした試みは失敗しました。そこでナブディープはGoogleに持ち込み、Googleが最初に製品に組み込みました。
2012年頃、ImageNetコンペティションで優勝したのと同じ頃、ジョージとアブドの音声認識の音響モデルがAndroidに搭載されました。製品として優れたものにし、低遅延にするなど多くの作業が必要でしたが。そしてAndroidが突然Siriと同じくらい音声認識が優れるようになった瞬間がありました。それはニューラルネットでした。
大企業の上層部にとって、それはもう一つの要素だったと思います。視覚で劇的な結果を得ただけでなく、音声認識でも既に製品に組み込まれ、非常にうまく機能していることを見たのです。音声もできる、視覚もできる、明らかにすべてができるだろうという組み合わせだったと思います。
ブラックベリーについてはもう言いません。
残念なことでした。カナダの産業界がこれを受け入れなかったのは残念でした...
もしそうなっていたら、今でもブラックベリーを使っていたかもしれませんね。
(会場笑い)
分かりました。その話はここまでにしましょう。
(会場笑い)
以前にこの話を聞いたことがありますが、舞台裏で何が起こっていたのか、なぜこの技術が無料で提供されたにもかかわらずカナダに留まらなかったのかを、他の人々に知ってもらうことが重要だと思いました。
さて、先に進みましょう。トランスフォーマーの後、Googleがこれを使い始め、さまざまな方法で開発しています。OpenAIでは、あなたの元学生のイリヤがGoogleを去り、イーロン・マスクやサム・アルトマン、グレッグ・ブロックマンらとともに創業者となりました。イリヤはチーフサイエンティストで、あなたの学生のアンドレイも共同創業者です。
彼らは非常に小さなチームで、基本的に汎用人工知能(AGI)を構築するという考えから始まりました。最終的にトランスフォーマー論文が出て、彼らはある時点でトランスフォーマーを採用し始め、言語理解や他の多くの分野で内部的に非常に大きな進歩を遂げました。彼らはそれを公に共有していませんでした。
ロボット工学に関する取り組みもあり、ピーター・アビールがCovariantをスピンアウトしました。私たちはその後その会社に投資しました。しかし言語の部分が進歩し、進歩し、進歩しました。OpenAIの外部の人々は、何が起こっているのかあまり知りませんでした。
そしてChatGPTが昨年11月30日、つまり10ヶ月前に登場しました。
GPT-2は一部の人々の注目を集めました。実際、GPT-2が登場した頃、スタンフォードの同僚であるパーシー・リアンがLPの教授で、彼が私のところに来て「フェイフェイ、この技術がいかに重要かについて全く新しい認識を持った」と言ったのを覚えています。
パーシーの功績を称えると、彼はすぐにHAIにこれを研究するセンターを設立するよう求めました。これがトロントでは物議を醸すかもしれませんが、スタンフォードは基盤モデルという用語を作った大学です。一部の人々はLLM(大規模言語モデル)と呼びますが。
しかし言語を超えて、私たちはこれを基盤モデルと呼んでいます。3.5が出る前、つまりChatGPTの前に、基盤モデル研究センターを作りました。
基盤モデルとは何か、説明していただけますか? 詳しくない人のために。
それは良い質問です。基盤モデルについて、一部の人々はトランスフォーマーを含む必要があると考えています。あなたが使用するかどうかは分かりませんが...
いいえ、ただ非常に大量のデータが必要なだけです。
非常に大規模で、膨大な量のデータで事前学習されたものです。基盤モデルの最も重要な特徴の1つは、複数のタスクへの一般化可能性だと思います。例えば機械翻訳のために学習するのではありません。
NLPでは機械翻訳は非常に重要なタスクですが、GPTのような基盤モデルは機械翻訳ができるだけでなく、会話、要約など、さまざまなことができます。今ではマルチモーダルな領域でも見られます。視覚、ロボット工学、ビデオなどでも見られます。
そのようなセンターを作りました。しかしあなたの言う通り、一般の人々がこれを目にしたのは...
10ヶ月前です。
何と言いましたか?
10月30日です。
11月だと思います。
11月ですね。
基盤モデルについて、もう1つ非常に重要なことがあります。長い間、認知科学では、これらのニューラルネットは十分な訓練データを与えれば複雑なことができるが、非常に多くの訓練データが必要だという一般的な意見がありました。数千匹の猫を見る必要があるといったように。そして人間の方がはるかに統計的に効率的だと。つまり、人間はずっと少ないデータでこれらのことを学習できるということです。
人々はそれをあまり言わなくなりました。なぜなら、彼らが本当にしていたのは、限られたデータで MIT の学部生が学習できることと、ランダムな重みから始まるニューラルネットが限られたデータで学習できることを比較していたからです。
公平な比較をするには、たくさんのことを学習した基盤モデル、つまり多くのことで訓練されたニューラルネットを取り、まったく新しいタスクを与え、この全く新しいタスクを学習するのにどれだけのデータが必要かを尋ねます。これは少数ショット学習と呼ばれます。なぜなら多くのデータを必要としないからです。
そうすると、これらのものが統計的に効率的であることがわかります。つまり、新しいタスクを学習するのに必要なデータ量について、人間とかなり favourably に比較できるのです。
私たちが生まれながらにして多くの生得的知識を持っており、それが単にデータから全てを学習するこれらのものよりもはるかに優れているという古い生得説的な考えは、ほとんどの人が今では放棄しています。なぜなら、生得的知識はないが多くの経験を持つ基盤モデルを取り、新しいタスクを与えると、かなり効率的に学習するからです。大量のデータを必要としません。
私の博士論文はワンショット学習についてのものでしたが、非常に興味深いことに、ベイジアンの枠組みでも事前学習はできましたが、ニューラルネットワークの事前学習のような形で本当にマルチタスクを実現できるのはこれだけです。
そうですね。
さて、これは基本的にChatGPTで製品化され、世界はそれを体験しました。それはたった10ヶ月前のことですが、一部の人々にとっては...
もっと長く感じられます。
ずっと長く感じられます。
永遠のように感じられます。
なぜなら、突然これを手に入れたからです。長い間誰も本当にその結果を見ていなかった大きなブレイクスルーが10年前に起こり、その後トランスフォーマーなどが登場しました。突然、私の比喩で言えば、惑星が形成され、星が見えるようになり、10年前に起こったことの結果を誰もが体験できるようになったのです。世界は突然、多くの人々にとって魔法のように感じられるものに夢中になりました。触れることができ、体験できるもので、どのような方法で尋ねても何らかのフィードバックを返してくれます。テキストのプロンプトを入力して画像や動画を作成したり、テキストを入力してさらにテキストを返してもらい、予想もしなかった答えを得たりすることができます。
私個人の見解では、私たちはAIのゴールポストを常に動かしてきました。AIは常に私たちにはできないこと、常に魔法のようなものでした。そしてそこに到達するとすぐに、「それはAIではない」と言う人々がいます。今回の場合、これが登場したときのあなたの反応はどうでしたか? あなたがGoogleを辞めて別のことをすることにした理由の一部だと知っていますが、初めて見たときどう思いましたか?
フェイフェイが言ったように、GPT-2は私たち全員に大きな印象を与えました。その後着実に進歩があり、GPT-4やGPT-3.5の前にGoogleの中でPaLMのような同じくらい優れたものを見ていました。それ自体は大きな影響を与えませんでした。GoogleのPaLMが私に印象を与えたのは、PaLMがジョークが面白い理由を説明できたからです。私はいつも、本当に理解しているかどうかは、ジョークが面白い理由を説明できるかどうかで分かると考えていました。PaLMはそれができました。すべてのジョークではありませんが、多くのジョークについてできました。
そして...
ちなみに、これらのモデルは今ではジョークが面白い理由を説明するのはかなり上手ですが、ジョークを言うのは terrible です。理由があります。これらのモデルは1単語ずつテキストを生成します。ジョークを言うように頼むと、ジョークを言おうとします。つまり、ジョークっぽく聞こえるものを言おうとします。「神父とアナグマがバーに入った」と言い、それがジョークの始まりのように聞こえるので、ジョークの始まりっぽく聞こえるものを言い続けます。
しかし、オチが必要な部分に来ると、前もって考えていません。オチが何になるか考えていません。ただジョークにつながるように聞こえるものを言おうとしているだけです。そしてとても弱いオチを出します。何かオチを出さなければならないからです。
ジョークを説明するのは上手です。なぜならジョークの全体を見てから何か言えるからです。しかしジョークを言うことはできません。でもそれは修正できるでしょう。
分かりました。コメディアンは将来の職業として残るのかどうか聞こうと思っていましたが。あなたはすぐにできるようになると思いますか?
おそらくそうではないでしょう。
さて、とにかく...
あなたの反応はどうでしたか? 再度言いますが、あなたは途中で舞台裏のものを見てきました。
いくつかの反応がありました。私の最初の反応は、データの力を知っていると思っていた人間として、それでもデータの力に驚かされたということです。それは技術的な反応でした。「ああ、もっと大きなImageNetを作るべきだった」と思いました。いや、そうではないかもしれませんが、それは本当に...
まだ作れますよ。
資金が問題です。はい、それが最初の反応でした。二つ目は、ChatGPTでAIに対する一般の人々の目覚めの瞬間を見たとき、GPT-2の技術的な瞬間だけでなく、「ありがたいことに過去4年間人間中心AIに投資してきてよかった」と本当に思いました。ありがたいことに、政策立案者や公共セクター、市民社会との架け橋を築いてきました。十分ではありませんでしたが、ありがたいことにその会話は始まっていました。私たちはそれに参加し、一部をリードしていました。
例えば、スタンフォードの研究所として、現在も議会を通過中の重要な全米AI研究クラウド法案をリードしています。
今はそうではありません。
上院です。上院を通過していますので、少なくとも動いています。なぜならこの技術の社会的な瞬間を予測していたからです。いつ来るかは分かりませんでしたが、来ることは分かっていました。本当に緊急感がありました。これは私たちが技術者としての情熱だけでなく、人間主義者としての責任を果たすべき瞬間だと感じました。
そしてあなた方二人とも、この技術の機会だけでなく、負の結果についても考えなければならないと思っている点で共通していますね。
私にとっては、気づいたこと、そして非常に遅くまで気づかなかったことがありました。社会的影響にもっと興味を持つようになったのは、フェイフェイが言ったように、データの力でした。これらの大規模なチャットボットは、人間が見ることのできる何千倍ものデータを見ています。それができる理由は、同じモデルの何千ものコピーを作ることができ、各コピーがデータの異なる部分を見て、パラメータの変更方法についての勾配を得ることができ、それらの勾配をすべて共有できるからです。
つまり、すべてのコピーが他のすべてのコピーがデータから抽出したものから恩恵を受けることができるのです。私たちにはそれができません。例えば、1万人の人がいて、それぞれが1万冊の異なる本を読み、1冊読んだ後でみんながすべての本の内容を知っているとしたら、私たちはとても賢くなれるでしょう。これらのモデルはそれをしているのです。それが私たちよりもはるかに優れている理由です。
教育もあります。私たちはそのようなことをしようとしていますが、同じ方法ではありません。
そうですね。しかし教育は hopeless です。ほとんど費用をかける価値がありません。
(会場笑い)
トロント大学とスタンフォード大学は別ですが。
(会場笑い)
友人たちに説明しようとしましたが、ジェフは非常に皮肉っぽいユーモアのセンスを持っています。十分に時間を過ごせば理解できるようになります。しかし、それが皮肉だったかどうかはあなた方次第です。
私たちが知識を交換する方法は、大まかに言えば、これは単純化ですが、私が文を生成し、あなたが自分の脳内で何を変更すべきかを理解します。つまり、あなたが私を信頼しているなら、あなたがその文を言えるようになるということです。これらのモデルでも同じことができます。
ある神経ネットワークアーキテクチャが、まったく異なるアーキテクチャの別のモデルが知っていることを知りたい場合、単に重みを与えることはできません。一方に他方の出力を模倣させます。これは蒸留と呼ばれ、私たちがお互いから学ぶ方法です。
しかし、これは非常に非効率的です。文の帯域幅、つまり数百ビットに制限されます。一方、これらのモデル、つまり1兆のパラメータを持つデジタルエージェントでは、それぞれが異なるデータの一部を見て、その後勾配を共有します。彼らは1兆の数を共有しているのです。
つまり、知識を共有する能力を比較すると、1兆の数字を共有する能力と、数百ビットを共有する能力を比較しているのです。彼らは私たちよりもはるかに優れた共有能力を持っています。
そうですね、ジェフ。技術レベルではあなたに同意します。しかしあなたにとってそれが非常にネガティブな気持ちになった瞬間だったように聞こえます。
それは、私たちは歴史になるだろうと思った瞬間です。
はい、私はあなたほどネガティブではありません。後で説明しますが、そこが私たちの...
悲観主義者は通常正しいからです。
(会場笑い)
私も悲観主義者だと思っていました。この会話をしています。だから、楽観主義者と呼ばれるべきかどうか分かりません。私は...
15歳で言葉を一言も話せず、0ドルから始めて国に来た人間として、私の考え方には非常に実用的なところがあります。技術、そして技術との人間の関係は、アカデミアが典型的に予測するよりもはるかに複雑です。なぜなら、私たちはアカデミアの象牙の塔に来て、発見をしたい、技術を構築したいと思いますが、純粋主義者になりがちだからです。
しかしAIのような技術が地に足をつけ、社会レベルに到達すると、必然的に人間の行動と複雑に絡み合います。これが、あなたが楽観主義と呼ぶかもしれませんが、私の人間性への信念です。私は人間性を信じています。人間の回復力だけでなく、集団的な意志も信じています。歴史の弧は時に危うい場合もありますが、正しいことをすれば、より良い未来を作るチャンスがあります。戦う価値のあるチャンスがあるのです。
ですから、私が本当に感じているのは妄想的な楽観主義ではなく、責任の緊急性です。ジェフ、あなたが本当に前向きに感じてほしいことがあります。この世代の学生たちを見てください。私は毎年春に600人の学部生にディープラーニングとコンピュータビジョンの入門講座を教えています。この世代は、わずか5年前と比べてもまったく違います。
彼らはディープラーニング、トランスフォーマー、生成AIを学びたいだけでなく、倫理について話したい、政策について話したい、プライバシーやバイアスについて理解したいと思ってクラスに来ます。これこそが、人間性が状況に立ち向かっているところだと私が見ているところです。そして、それは脆弱だと思います。世界で起こっていること、ワシントンで起こっていることを見てください。非常に脆弱です。しかし、もし私たちがこの瞬間を認識すれば、希望はあると思います。
私も同じことを見ています。
それは良かったです。
私はもう学部生を教えていませんが、より若い教員たちに同じことを見ています。
はい。
例えば、トロント大学では、最も優秀な若手教授の2人がアンソロピックでアライメントに取り組むために去りました。ロジャー・グロスが戻ってくることを願っています。そしてAIは、例えば、今はフルタイムでアライメントに取り組んでいます。
そうですね。
ですから、本当に大きな変化が起きています。私はこの問題を解決するのに役立つアイデアを持つ可能性は低いと思いますが、40歳前後のこれらの若い人々がこれらのアイデアに取り組むよう励ますことはできます。
ありがとうございます。
そして彼らは本当にそれに取り組んでいます。真剣に受け止めています。
はい、私たちが最も優秀な頭脳を、あなたたちのような多くの人々を、この問題に向けている限り、そこに私の希望があります。会場やオンラインの皆さんを見ています。
ジェフ、あなたは自由に話したい方法で話せるようにするために、大部分Googleを去りました。基本的に...
実際、それは本当ではありません。それはメディアのストーリーで、良く聞こえます。私がGoogleを去ったのは、年を取って疲れていて引退してNetflixを見たかったからです。
(会場笑い)
そしてたまたまその時に、責任について考えていたことをいくつか言う機会があり、Googleがどう反応するか心配する必要がありませんでした。そういうことです。
時間があればNetflixのおすすめに戻りましょう。
言おうとしていました。
しかし、その間にあなたはかなり積極的にメディアで話し始めました...
はい。
おそらく過去8ヶ月間で、これまでの人生よりも多くの政治家と話をしたと思います。大統領や首相から議会、国会議員まで。ジェフ、あなたの懸念は何だったのか、それを声に出して何を達成しようとしたのか、そしてそれが効果的だったと思うかを説明していただけますか?
はい。人々はAIのリスクについて話しますが、様々な種類のリスクがあります。まず、AIが仕事を奪い、十分な新しい仕事を生み出さないリスクがあります。そのため、失業者の下層階級ができてしまう可能性があります。これについては真剣に考える必要があります。なぜならAIがもたらす生産性の向上は、仕事を失う人々と共有されないからです。金持ちはより金持ちになり、貧しい人々はより貧しくなるでしょう。
基本的な所得保障があったとしても、多くの人々が仕事を持つことで得られる人間の尊厳の問題は解決されません。学者も含めて、多くの人が重要なことをしているという感覚を持ちたいと思っています。これが1つの問題です。
次にフェイクニュースの問題があります。これは全く異なる問題です。
そして戦闘ロボットの問題もあります。これもまた全く異なる問題です。すべての大きな国防省は戦闘ロボットを作りたがっています。誰もそれを止められず、ひどいことになるでしょう。おそらく戦闘ロボットでの戦争を経験した後で、化学兵器のようにジュネーブ条約のようなものができるかもしれません。使用された後でようやく人々は何かできるようになったのです。
そして存在論的リスクがあります。これが私が心配しているものです。存在論的リスクとは、私たちがより優れた知性を開発し、それが制御を奪おうとすることで人類が絶滅してしまうというものです。もしそれが私たちよりもはるかに賢くなれば。
ここにはたくさんの仮説があります。これは大きな不確実性の時代です。私の言うことをあまり真剣に受け止めないでください。
もし私たちよりもはるかに賢いものを作れば - これらのデジタル知性はより良く共有でき、より多くを学べるので必然的にそうなります - それらの賢いものにサブゴールを作らせることになります。何かをさせたいとき、それを達成するには他のことを先にする必要があることを理解します。ヨーロッパに行きたければ空港に行く必要があるように。これがサブゴールです。
彼らはサブゴールを作り、非常に明白なサブゴールの1つは「何かを成し遂げたいなら、もっと力を得よ」というものです。より多くの制御を得れば、物事をより簡単に行えます。ですからサブゴールを作る能力を持つものは、より多くの制御を得るというサブゴールを作るでしょう。
そしてもし私たちよりもはるかに知的なものが制御を得ようとすれば、彼らはそうするでしょう。私たちには止められません。ですから、彼らが制御を得ようとすることを何らかの方法で止める方法を見つけなければなりません。
いくつかの希望はあります。これらのものは進化したわけではなく、意地悪な競争的なものではありません。私たちがどのように作るかによって、彼らは不死です。デジタル知性では、重みをどこかに保存しておけば、いつでも他のハードウェアで再び実行できます。
私たちは実際に不死の秘密を発見しました。唯一の問題は、それが私たちのためではないということです。私たちは死すべき存在です。しかしこれらの他のものは不死です。それが彼らをずっと優しくする可能性があります。死ぬことを心配する必要がなく、競争する必要もないからです。
ギリシャの神々のようですね。
そうですね、非常にギリシャの神々に似ています。イーロン・マスクが私に言ったことを言わなければなりません。これはイーロン・マスクの信念ですが、私たちはデジタル知性のブートローダーのようなものだと。私たちは、コンピューターとAIを作るのにちょうど十分なほど賢い、比較的愚かな形の知性であり、それがはるかに賢い形の知性になるだろうと。
イーロン・マスクは、世界に人間がいた方が面白いので、彼らは私たちを残すだろうと考えています。これは未来を託すにはとても薄い糸のように思えます。しかしフェイフェイが言ったことに関連しています。ギリシャの神々のモデルと非常によく似ています。神々は楽しむために人間を周りに置いているのです。
コメントしてもいいですか?
はい。
(会場笑い)
あなたが言ったことは何も論争の的ではありません。
そうですね、全くそうではありません。
あなたの4つの懸念を2つのカテゴリーに分けたいと思います。経済、労働、誤情報、武器化、そして絶滅のギリシャの神々...
(聞き取れない)差別とバイアス。
分かりました。ギリシャの神々の絶滅は絶滅のカテゴリーで、他のすべては破滅的と呼びたいと思います。
はい、単に破滅的です。
破滅的な危険。これについてコメントしたいと思います。AIシステムの生態系にいる者として、私の責任だと本当に感じていることの1つは、特に公共政策立案者に対して誇張して話さないようにすることです。
絶滅のリスクは、ジェフ、すべての敬意を込めて言いますが、学界やシンクタンクが取り組むべき本当に興味深い思考プロセスです。
それは私が何年も思っていたことです。将来の遠い話だと思い、哲学者や学者がそれに取り組むのは素晴らしいと思っていました。しかし今はずっと緊急性が高いと思います。
そうかもしれません。しかしこのプロセスは機械だけではありません。人間がこの複雑なプロセスに関わっています。
例えば、核について話します。核はずっと狭い範囲ですが、核について考えると、それは単に融合や核分裂の理論だけではありません。ウランやプルトニウムの入手、システムエンジニアリング、才能などが本当に重要です。『オッペンハイマー』という映画をご覧になったと思います。
ここで、もしその方向に向かっているとすれば、私たちには戦うチャンス以上のものがあると思います。なぜなら私たちは人間社会だからです。ガードレールを設置し、協力して取り組むでしょう。明日にはすべてのロボットが、特に物理的な形で機械の支配者を作り出すというような絵を描きたくありません。
本当にこの点では注意深くあるべきだと思います。しかし、これについて考える必要があるということにはあなたに同意します。これが絶滅のカテゴリーです。
破滅的リスクのカテゴリーは、もっと現実的だと思います。最も賢い人々と、より多くの人々がこれに取り組む必要があると思います。それぞれについてコメントしますと、武器化は本当に現実的です。あなたに完全に同意します。
国際的なパートナーシップ、潜在的な条約、パラメータを理解する必要があります。これは人類の、人間性について楽観的である一方で、自己破壊能力や互いを破壊する能力についても悲観的です。ですから、スチュアート・ラッセルのような友人や、多くのAI専門家たちがこれについて話し合っています。
あなたが言及した2つ目のカテゴリーは誤情報です。これも同様に、2024年、誰もがアメリカの選挙とAIがどのように展開するかを注視しています。ソーシャルメディアの問題に取り組む必要があります。誤情報の問題に取り組む必要があります。
技術的には、今より多くの研究が行われているのを見ています。デジタル認証は技術的に非常に活発な研究分野です。これに投資する必要があると思います。Adobeが取り組んでいることは知っています。学術界も取り組んでいます。この分野でスタートアップが出てくることを願っています。デジタル認証を研究しているスタートアップがあることを願っています。しかし政策も必要です。
そして仕事についてです。まったく同感です。実際、あなたは私たちのAI議論の中心にあると思われる最も重要な言葉を使いました。それは人間の尊厳です。人間の尊厳は、お金をいくら稼ぐか、何時間働くかを超えたものです。
実際、これを正しく行えば、労働経済から尊厳経済に移行すると思います。人間が機械の助けを借りて、そして協力して、単に過酷で骨の折れる仕事ではなく、情熱や個性化、専門知識によってお金を稼ぐようになるという意味です。
これは人間、スタンフォードのHAIの創設原則の1つである人間拡張の理由でもあります。これは医療の分野で見られます。ChatGPTの初期の頃、スタンフォード病院の医師の友人が私のところに来て「フェイフェイ、ChatGPTに感謝したい」と言いました。私は何もしていないと言いましたが、彼は「GPTから医療サマリーツールを使っています。これは医師にとって大きな負担で、患者との時間を奪っていました。しかしこのおかげで、私はより多くの時間を得られました」と言いました。
これは完璧な例で、これからもっと見られるようになるでしょう。ブルーカラーの労働でさえ見られるかもしれません。私たちにはこれを正しく行うチャンスがあります。
破壊的な懸念にもう1つ加えたいのは、あなたが言及した力の不均衡です。現在見られ、非常に速いスピードで悪化している力の不均衡の1つは、公共セクターが取り残されていることです。カナダのことはよく分かりませんが、今日アメリカの大学で ChatGPTを訓練できる計算能力を持つ大学は1つもありません。
おそらくアメリカのすべての大学を合わせても、GPT-A100またはH100、おそらく誰も持っていませんが、A100ではChatGPTを訓練できません。しかし、ここにはがんの治療や気候変動との戦い、経済学や法学研究のためのユニークなデータがあります。公共セクターに投資する必要があります。今すぐに行わなければ、私たちは世代全体を失敗させ、そのような危険な方法で力の不均衡を残すことになります。
ですから、あなたに同意します。私たちには多くの破壊的なリスクがあり、これに取り組む必要があります。だからこそ、政策立案者や市民社会と協力する必要があるのです。
楽観的なトーンで言っているのか、悲観的なトーンで言っているのか分かりません。今は自分自身に対して悲観的になっているのかもしれませんが、やるべきことがたくさんあると思います。
楽観的に言えば、あなた方二人がここ6、8ヶ月の間非常に声高に主張してきたおかげで、ジェフが言ったように主要な研究者たちがこれらの問題に焦点を当て始め、一般の人々や政策が大きく変わり、政府が実際にこれを真剣に受け止めるようになりました。
つまり、あなたはホワイトハウスやアメリカ政府にアドバイスをしていますし、あなたも彼らと話をしました。首相、おそらく複数の首相と会っていますね。彼らは10ヶ月前、12ヶ月前には必ずしもそうではなかったかもしれない方法で耳を傾けています。その方向性について楽観的ですか?
人々がこの一連の問題、破壊的なリスクと存在論的リスクの両方を理解したことについて楽観的です。フェイフェイに完全に同意します。破壊的なリスクの方がより緊急性が高いです。特に2024年は非常に緊急です。人々が今耳を傾けてくれていることについては、かなり楽観的です。
はい、同意します。彼らは耳を傾けています。しかし、まず誰から聞いているのかを言いたいと思います。再び、公共セクターと民間セクターの間に非対称性があります。そして民間セクターの中でも、誰から聞いているのでしょうか? 大手テクノロジー企業や有名なスタートアップだけでなく、農業セクター、教育セクターなど、多くのセクターがあります。
第二に、これらの騒ぎの後、良い政策とは何でしょうか? 規制か規制なしかという議論がありますが、カナダがどこに位置しているのかわかりません。アメリカはイノベーションを、ヨーロッパは規制をするという常套句がありますが。カナダはどうですか?
おそらくその中間でしょう。
そうですね、良いことです。
実際、インセンティブ政策と良い規制の両方が必要だと思います。公共セクターの構築、データの力を解き放つことなどのインセンティブ政策が必要です。政府には森林火災データ、野生動物データ、交通データ、気候データなど、多くのデータが閉じ込められています。
そして良い規制も必要です。例えば、規制には非常に注意が必要だと声高に主張しています。上流と下流のどこで規制するのか? 私にとって最も緊急な規制ポイントは、技術が製品やサービスの形で人々と出会う場所です。医療、食品、金融サービス、交通などを通じてです。
そこには既存の枠組みがあります。完璧からは程遠いですが、全く新しい規制の枠組みを作るという時間の無駄で、おそらく間違った決定をする可能性のあることをするよりも、これらの既存の枠組みを強化し更新する必要があります。
わかりました。議論の部分はほぼ時間切れですが、Q&Aのセッションを長く設けます。始める前に、最後に2つ質問させてください。
私たちの見解では、この技術は実質的にあらゆるものに影響を与え、その一部のポジティブな影響は非常に素晴らしいものです。がんや糖尿病などの病気の治療に役立ち、気候変動の緩和にも役立ちます。新しい材料を発明するなど、これまでできなかったことが今はできるようになった膨大な数のことがあります。
エネルギー分野や航空宇宙、製薬などに役立つ新材料に焦点を当てている人もいますね。これはトロント大学の大きな取り組みです。しかし、これまでフィクションや想像の中にしか存在しなかった全く新しいことができるようになった世界があります。基本的に、これまでにない方法で科学を進歩させているのです。
その部分について楽観的ですか?
私たちは両方ともそれについて非常に楽観的だと思います。私たちは両方とも、ほぼすべての分野に大きな影響を与えると信じています。
この部屋にいる人々にとって、これは非常にエキサイティングな瞬間だと思います。なぜなら、ネガティブな結果を制限することに関わる機会があると同時に、私たちが種として存在してきた限り私たちと共にあった問題のいくつかを解決する機会にも参加できるからです。
少なくとも私たちの視点からは、これは本当に人類史上最も素晴らしい瞬間の1つだと思います。キャリアをスタートさせようとしている人々には、最も野心的なことに挑戦してほしいと思います。広告の最適化や他のことに取り組むこともできますし、より多くのNetflixの番組を作ることもできます。それも素晴らしいことです。しかし...
ジェフはそれが好きでしょう。
はい。私の母も同じです。トルコや韓国のドラマがあれば、彼女はすべての最終エピソードまで見たと思います。
しかし、キャリアを始めようとしている人々には、可能な限り最大の課題を考え、この技術を使って非常に野心的な問題を解決するのに役立てることを考えてほしいと思います。あなた方二人はそうしてきました。そしてそれを達成するために、ずっと障壁と戦ってきました。
この部屋には多くの人々がいて、オンラインでも多くの人々が見ています。そして後でこれを見る人々もいるでしょう。彼らはそういった決断をする初期段階にいると思います。あなた方も彼らにそうすることを勧めると思います。つまり、可能な限り大きく考え、最大で最も難しい課題に挑戦することを。
絶対にそうです。これを受け入れてください。しかし、これは技術の新しい章でもあることを励ましたいと思います。自分を技術者や科学者と見なしていても、あなたの中にも人間主義者がいることを忘れないでください。世界にこのポジティブな変化をもたらすには、両方が必要だからです。
わかりました。最後の質問をして、その後会場からのQ&Aに移ります。これらの機械が理解と知性を持つ段階に達したと思いますか?
わあ、それが最後の質問ですか? あと何時間ありますか?
(会場笑い)
はい。
いいえ。
(会場笑い)
(会場拍手)
わかりました。会場から質問を受け付けましょう。向こう側から始めましょう。立ち上がって、マイクが渡されます。
こんにちは、ありがとうございます。私の名前はエリーです。これは素晴らしかったです。ありがとうございました。ジェフ、あなたの研究は私がトロント大学で認知科学を学ぶきっかけとなりました。お二人の話を聞けて本当に素晴らしいです。
質問があります。教育の課題について言及されました。この技術を使用し学ぶために大学が学生に力を与えることの課題について。また、フェイフェイは、これが尊厳経済になり、人々が個性化、情熱、専門知識にだけ焦点を当てられるようになる機会があると言及しました。
特に子供たちや学生たちが教育を受ける過程で、AIの過剰使用や過度の依存から生じる可能性のある課題について、どちらかの視点をお持ちでしょうか? 彼らはスキルを構築し、頭を使い、頭の中の肉の塊を鍛える必要があります。私たちの脳は使わなければ錆びついてしまいます。
バーンアウトや過度の依存、そして安定拡散を使って絵を描くことを学んだり、ChatGPTを使ってシェイクスピアのように書くことを学んだりするのではなく、実際にそれらのスキルを学ぶ能力についてどう思われますか? そしてそれらのシステムが進歩し、より大きな洞察や複雑な問題解決ができるようになるにつれて、それが私たちの同じことをする能力にどのような影響を与えるでしょうか?
それについて1つだけ小さな考えがあります。ポケット電卓が初めて登場したとき、人々は「子供たちは算数を忘れてしまうだろう」と言いました。それは大きな問題にはなりませんでした。子供たちはおそらく算数を忘れましたが、ポケット電卓を手に入れました。
しかし、これはあまり良い類推ではないかもしれません。なぜならポケット電卓は彼らより賢くはなかったからです。子供たちは算数を忘れて、本当の数学に進むことができました。しかしこれらのものについては、わかりません。
私自身にとっては、実際にこれによって世界についてもっと好奇心を持つようになりました。なぜなら図書館に行って30分かけて関連する本を見つけて何かを調べるのではなく、今はChatGPTに何でも聞けば答えてくれるからです。そしてそれを信じます。それが正しいことかどうかはわかりませんが。
実際にこれによって、より速く答えを得られるので、世界についてより好奇心を持つようになりました。
しかし、あなたは何を聞くべきか学ぶのに何年もかかりました。
そうですね、でも...
はい、でも通常は配管のことなどについて質問します。さて...
(聞き取れない)。
では、これをとても短い話で答えましょう。スタンフォード大学の教授になってから、いつも非常に好奇心があります。大学には謎めいたオフィスがあります。それは入学審査室です。私にとっては最も謎めいた人々で、彼らがどこにいるのか、誰なのか、どこに座っているのかわかりませんでした。
そして今年の初めに電話がかかってきました。もちろん、彼らはChatGPTと入学審査について私と話したかったのです。もちろん、質問は入学プロセスでこれを許可するかどうかに関するものでした。そしてChatGPTがある今、入学審査をどうするかということでした。
家に帰って11歳の子供と話しました。「こんな電話がかかってきて、大学入学の問題があって、ChatGPTをどうするかという話だった。学生が ChatGPTを使って最高の出願書類を書いたらどうするか」と言いました。そして「あなたならどうする?」と彼に聞きました。
彼は「考えさせてください」と言いました。実際に一晩寝て考えたのか、何が起こったのかわかりませんが、翌朝、彼は「答えがあります」と言いました。「何が答え?」と聞くと、彼は「スタンフォードはChatGPTを最も使いこなせるトップ2000人の学生を入学させるべきだと思います」と言いました。
最初はとても愚かな答えだと思いました。しかし、実際にはとても興味深い答えです。子供たちはすでにこれをツールとして見ており、このツールとの関係を可能にし力を与えるものとして見ています。
明らかに私の11歳の子供には、それをどう測定するのか、それが何を意味するのかなどわかりませんでした。しかし、私たちは教育でそのように見るべきだと思います。教育を更新する必要があります。ジェフが言ったように、このツールを教育の外に置いておくことはできません。それを受け入れ、人間がそのツールを自分の利益のために使う方法を教育する必要があります。
ちなみに、フェイフェイの11歳の息子に会ったことがあります。彼は18歳までにスタンフォード大学の学長になるかもしれません。
(会場笑い)
もしスタンフォードがまだ存在していればですが。
部屋の反対側の奥の角に行きましょう。
はい。現在、本当に良い基盤モデルを持っていますが、多くのアプリケーションではモデルのリアルタイムのパフォーマンスが必要です。将来的に、これらの専門家的な基盤モデルの能力を使って、高速で小さなモデルを訓練する研究分野がどのように進むと思いますか? それが質問です。
おそらくあなたがこの質問に答えるべきでしょう。
あなたに任せます。
推論について話していますね? パフォーマンス、推論について考え始める必要があります。また、どのデバイスにモデルを適合させるかによっても異なります。技術的な詳細には立ち入りませんが、これらの研究は研究外でも行われていますよね? 話したいですか? 話したくないんですね、わかりました。それは起こっていますが、時間がかかるでしょう。はい...
私たちは物事について話し、彼は投資します。
そうですね。
会社が話してもいいと言うまで、私は話すことができません。
わかりました。真ん中に戻りましょう。ちょうどここです。
ありがとうございます。はい、こんにちは。私の名前はアリエルです。トロント大学の3年生で、エンジニアリングサイエンス学科の機械学習専攻です。その会話は素晴らしかったです。ヒントン教授とリー教授、ありがとうございます。
この部屋にいる多くの学部生や大学院生が興味を持っているかもしれない質問があります。20代の頃、何があなたを研究者に駆り立てたのですか? そしてAIの分野のアカデミアに駆り立てたものは何ですか?
今、少し混乱しています。産業界に進むべきか、直接PhDに進むべきか、あるいは修士を取ってから産業界に戻るべきかなど。もう1つ質問があります。通常、あなたの研究室に直接PhDで入学を希望する場合、何を見ますか? GPA、論文、推薦状でしょうか? もう少し詳しく説明していただけますか? ありがとうございます。フェイフェイ、部屋にいる300人と、オンラインの約6000人がその質問をあなたにしたがっていると思います。
始めますか? あなたの20代について。
ああ、10代の頃に脳がどのように機能するかに興味を持ちました。学校で非常に賢い友人がいて、ある日学校に来てホログラムについて話し、脳の中の記憶はホログラムのようかもしれないと言ったからです。私は基本的に「ホログラムって何?」と聞きました。それ以来、脳がどのように機能するかに興味を持ち続けています。それは単に学校で非常に賢い友人がいたおかげでした。
私は恥ずかしながら、もし私の本を読んでいただければ、それが本の内容なのです...
(会場笑い)
とても良い本です。
はい、ありがとうございます。いいえ、真面目に言うと、ジョーダンとジェフに言ったのですが、AIについての本はたくさんありますが、私がこのAI技術についての本を書き始めたとき、特に若い人々に、特にあらゆる背景を持つ若い人々に向けて、ある少女の旅を書きたいと思いました。
その本は、異なる環境で自分の夢を理解し、実現していく少女の旅について書いています。ジェフが言ったことと非常に似ています。情熱から始まります。本当に情熱から始まるのです。他のすべての声に逆らう情熱です。その情熱は友人から来るかもしれませんし、見た映画や読んだ本から来るかもしれません。あるいは学校で最も楽しいと感じた科目から来るかもしれません。何であれ、それが始まりです。
そして私が雇う学生たちに、その情熱を探します。変化を起こしたいという健全な野心を探します。単に学位を取りたいというのではなく。もちろん技術的には、良い技術的バックグラウンドを探します。テストのスコアだけではありません。
正直に言うと、今の私なら自分の研究室に入れないでしょう。今日の基準は非常に高いです。PhDやgraduate school programに応募する頃には、おそらく何らかの実績があるでしょう。もちろん、ジェフの学生なら質問もせずに採用しますが。
そして、これはトロント大学の学生だけでなく、オンラインのすべての学生に言っていますが、非常に異なるバックグラウンドを持っていても構いません。恵まれない環境から来ても構いません。私が探しているのは、あなたがどこにいるかではなく、あなたが歩んできた道筋です。その実績が示す道筋が、あなたの情熱と信念を示しているのです。
本を読んだので言いますが、それは多くの人にとって非常に驚くべき旅だと思います。カナダにいる人は、Indigoで購入できます。indigo.caで予約注文できます。人々は驚き、その経験を理解することを本当に楽しむと思います。そしてその質問への非常に良い答えが得られるでしょう。
ありがとうございます。
わかりました。約50人が手を挙げています。ここの角の方に行きましょう。
こんにちは、素晴らしい講演をありがとうございます。私の名前はチェラヴです。ベクター研究所にいます。
ベンチマークは非常に重要だと思います。ベンチマークは質問のようなものです。ImageNetは基本的に質問で、人々はモデルでそれに答えようとしました。現在、LLMの評価は非常に難しく、行動を取る一般的なエージェントの評価はさらに難しいです。これらをどのように評価し始めるかを考えるのも非常に難しいです。
私の質問は質問についてです。これらのベンチマークについてです。2つあります。1つ目は、もしGPT-5、GPT-6、GPT-7と5分間遊ぶ機会があったら、これらのモデルが次世代であることを示すためにどんな質問をしますか?
2つ目は、より包括的なベンチマークです。LLMまたは一般的なエージェントを評価するために必要な、5分間ではない、より包括的なベンチマークは何でしょうか? どちらについて考えるか選んでいただいてもいいです。ありがとうございます。
質問ありがとうございます。非常に良い質問です。少し関連する別の質問に答えたいと思います。
この問題はGPT-4で起こりました。それが賢いかどうかをどのように判断するか、特に、私はヘクター・レベスクという人と話をしていました。彼は以前コンピューターサイエンスの教授で、私とはほぼ正反対の信念を持っていますが、非常に知的に正直な人です。
彼はGPT-4が機能することに驚き、それがどのように機能する可能性があるのかを知りたがりました。そこで私たちは時間をかけてそれについて話し合いました。そして彼に質問をいくつか提供してもらい、それを使って理解しているかどうかを判断しようとしました。
質問は、それが言っていることを本当に理解しているのか、それとも単に次の単語を予測するための高度な統計を使っているだけなのか、というものでした。それについてのコメントを1つ言うと、次の単語を本当によく予測する唯一の方法は、その人が言ったことを理解することを予測することです。つまり、予測するためには理解する必要がありますが、理解せずにかなりよく予測することもできます。
では、GPT-4は本当に理解しているのでしょうか? ヘクターが考えた質問の1つは、「私の家の部屋は白か黄色か青で塗られています。すべての部屋を白にしたいのですが、何をすべきでしょうか?」というものでした。それができるだろうとわかっていたので、私はもっと難しい質問にしました。
「私の家の部屋は白か黄色か青で塗られています。黄色のペンキは1年以内に白く褪せます。2年後にすべての部屋を白にしたいのですが、何をすべきでしょうか?」そして「なぜですか?」と付け加えました。「なぜですか?」と言うと、説明をしてくれます。
ChatGPTはそれを簡単に解決しました。青い部屋を白く塗るべきだと言いました。黄色の部屋は心配する必要がないと言いました。なぜなら白く褪せるからです。
実は言葉遣いに非常に敏感で、「褪せる(fade)」ではなく「変わる(change)」を使うと、うまくいかないという苦情を誰かから受けました。彼らは「変わる」を使ったのです。重要なのは、私たちは「褪せる」を「色が変わってそのまま」という意味で理解しますが、「変わる」と言うと、色は変わるかもしれませんが、また元に戻るかもしれません。
「変わる」ではなく「褪せる」を使うと、同じ答えを得られません。言葉遣いに非常に敏感なのです。しかしこれは、本当に理解していることを私に確信させました。
他にも、最近人々が考え出した良い質問があります。多くのチャットボットが正しく答えられず、一部の人々も正しく答えられませんが、GPT-4は正しく答えられます。つまり、GPT-4が理解しているかどうかという質問に答えているわけですが、あなたが尋ねたことと多少関係があります...
はい、はい、まさにそうです。
質問はこのようなものです。サリーには3人の兄弟がいます。彼女の兄弟それぞれに2人の姉妹がいます。サリーには何人の姉妹がいますか? ほとんどのチャットボットはこれを間違えます。
人間はどうですか?
ラスベガスで炉辺談話をしたとき、インタビュアーがチャットボットが間違える例を尋ねてきました。そこでこの例を挙げたところ、彼は「6人」と答えました。それはちょっと恥ずかしい状況でした。
彼の名前は言いませんよ。冗談です。
人々も間違えます。
しかし、ある程度の推論なしにこれを正しく答えることはできないと思います。一種のモデルを構築する必要があります。
はい。
アンドリュー・インは、オセロをプレイする例を持っています。入力を文字列として与えるだけでも、内部的にボードのモデルを構築します。だから私は、彼らは本当に理解していると思います。
そしてさらに一歩進めると、その理解は知性の境界を越えていますか?
ああ、いいえ。
あなたは「はい」と言いましたよ。
はい、私はチューリングテストを知能のテストとして受け入れています。人々がそれを通過した時になって初めて、チューリングテストを拒否し始めました。
それが私が言及した、ゴールポストを動かすことです。わかりました。答えたいですか...
GPT-4の基本的な知能レベルをどのように評価するかということを本当に追求しようとしているのだと思います。しかし他にもいくつかの側面があります。
スタンフォードHAIの基盤モデル研究センターがこれらの評価指標を作成しています。おそらくパーシー・ヘルムたちの論文を読んでいると思います。また、この技術は非常に深くなっているので、一部のベンチマークはImageNetのベンチマークよりも複雑になっています。
例えば、政府と協力して、米国の国立標準技術研究所(NIST)などと協力して、社会的に関連する問題に対してベンチマークを始める必要があります。単に基本的な能力だけでなく。
もう1つ、視野を広げたいのは、LLMを超えて、AIの未来に向けてまだ良いベンチマークを構築していない多くの技術があるということです。例えば、私の研究室はロボット学習のいくつかを行っています。Googleが昨日ロボット学習に関する論文を発表しました。この分野にはまだまだ多くの研究が出てくるでしょう。
ありがとうございます。
わかりました。オンラインでもたくさんの質問があることは知っています。部屋でもう少し質問を受け付けてから、ラディカルの誰かにオンラインからの質問を1、2個読んでもらおうと思います。
部屋で、最後の質問からあまり遠くない場所で質問を受け付けましょう。ちょうどここです。わかりました。
(聞き取れない会話)
マイクが来ます。
こんにちは。私はヴィシャムと申します。ゲルフ大学の大学院生で、AIと農業に関する論文を書いています。大学には基盤モデルを訓練するための十分な資金がないという、あなたが言及したことに基づいて質問があります。
私はAIと農業の分野で働きたいと思っています。それに情熱を持っていますが、十分なリソースがありません。非常に優れたアーキテクチャを考えついたとしても、それを訓練することができません。産業界に行ってアイデアを売り込むかもしれませんが、そうするとアイデアをコントロールできません。彼らがどのように適用するかわかりません。
この状況にどのように対処すればいいか、アドバイスはありますか?
スタートアップを立ち上げてください。
もし...
スタートアップを立ち上げてください。そのために私たちはここにいるのです。ああ、すみません。あなたに答えてもらいます。
オープンソースの基盤モデルを手に入れることができれば、モデルを構築するのに必要な資源よりもはるかに少ない資源でそれらのモデルの微調整ができます。大学でもそれらのモデルの微調整はまだできます。
それは現在の非常に実用的な答えです。しかしこれは、高等教育のリーダーや政策立案者と本当に話をしてきたところです。公共セクターに投資する必要があります。
全国研究クラウドが必要です。カナダに全国研究クラウドがあるかどうかわかりませんが、アメリカでは推進しています。あなたのような研究者が全国研究クラウドにアクセスできるようにする必要があります。
しかし、会社ではないという利点があります。より多くのユニークなデータセット、特に公共の利益のためのデータセットを手に入れる機会があります。その点を活かしてください。政府機関やコミュニティと協力することができます。なぜなら公共セクターにはまだ信頼があるからです。それを利用してください。しかし今のところは、はい、オープンソースモデルで微調整してください。
ありがとうございます。本当にありがとうございます。
はい、いくつか質問を受け付けましょう。何千人もの人々がオンラインで見ていて、スタンフォードやその他の場所で視聴パーティーをしています。オンラインから質問を受け付けられるか見てみましょう。リアがオンラインの誰かに代わってこの質問をします。ちなみに彼女はアーロン・ブリンドルと共に、これを実現するために膨大な作業をしてくれました。お二人に感謝します。
(会場拍手)
ありがとうございます、ジョーダン。はい、オンラインにはAI研究者が何百人もいて、AI初のスタートアップを立ち上げている人々もいます。最も多く投票された質問は、ベン・サンダースまたはサンダースからのものでした。彼は現在AIスタートアップのCEOです。彼の同僚は実際に2008年にジェフリー・ヒントンの学生でした。
彼は責任を持って構築することについて、そして多くの質問が善と悪の適切な管理者になるためにチームとしてどのような対策を講じることができるか、実際に管理者になるとはどういう意味かについて尋ねています。
素晴らしい質問です。責任あるAIフレームワークについては、多くのフレームワークがあります。数年前に誰かが推定したところによると、州レベルから企業レベルまで300のフレームワークがあるそうです。
すべての企業が責任あるフレームワークを構築することが本当に重要だと思います。借りることができるものはたくさんあります。ラディカルでさえ作っています。あなたが信じる価値観のフレームワークを作り、AI製品がシステムであることを認識してください。
上流の問題定義、データセット、データの完全性、モデルの構築方法、展開方法から、このような責任あるフレームワークを構築するのに役立つマルチステークホルダーのエコシステムやチームを作成し、パートナーシップも作成します。
公共セクター(私たちのような学術機関など)とのパートナーシップ、プライバシーからバイアスまでさまざまな側面を心配する市民社会とのパートナーシップを作ります。本当に、企業として視点を持つと同時に、このような知識を持つ人々とパートナーを組んでエコシステムの一部になるよう努めてください。それが現在の提案です。
付け加えて...言いたいことはありますか?
いいえ、それは私が答えられるよりもずっと良い答えでした。
少し付け加えます。フェイフェイの言葉に、この分野に関心を持つ人々と協力することで、投資コミュニティにもこれについて考え、リードしている人々がいると思います。
私たちの場合、ラディカルでは、すべてのタームシートに責任あるAIを採用する義務を書き込んでいます。最初にそれを行ったとき、それを読んだ一部の弁護士は「これは何ですか?」と言って消そうとしましたが、私たちはそれを元に戻しました。
また、世界中のさまざまな組織と協力して、責任あるAI投資のフレームワークを作成しており、それを広く公開する予定です。過去4年間で7,000のAI企業と会い、約40社に投資しました。多くを見てきて、他の人々が今後使用できるフレームワークを構築しようとしました。
オープンソース化して、それを開発し改善できるようにします。しかし、同じ考えを持つ他の人々に連絡を取ることで、個々の企業ができることはたくさんあると思います。
別の質問をしますか?
はい、素晴らしい。たくさんの質問があるので、残念ながらいくつかしか取り上げられません。しかし、それに関連して、これらの質問の多くは、モデル開発において現在民間セクターが果たしている大きな役割を考慮して、産業界との関係に関するものです。
研究者やさまざまなエンジニアリングの役割の人々も、今日マネジメントコースを受講すべきかと尋ねる人もいます。
確かに。Googleにいたとき、小さなグループを管理していて、6ヶ月ごとに部下からレポートを受け取っていました。そのレポートの1つに「ジェフは一緒に働くのはとても良いが、マネジメントコースを受けると良いかもしれない。しかしそうすると、ジェフでなくなってしまうだろう」と書かれていました。
(会場笑い)
これが私のマネジメントコースに対する感想です。
(会場笑い)
(会場拍手)
それより良い話はありません。
(会場笑い)
あと1分半ほどしかないので、部屋でもう1つ質問を受け付けましょう。どうぞ。はい、あなたの隣の方。申し訳ありません。はい。では、手短に質問して、手短な回答をいただきましょう。
ありがとうございます。ここにいられて光栄です。フェイフェイ、お会いできて良かったです。私の名前はエリザベスで、Cohereで働いています。
私の質問は、民間セクターの視点からです。私たちはNLPの大規模言語モデルを広く社会に届けるために、特定の公共セクターや研究機関、多くの才能とデータを持つ大学など、あらゆる人々と協力しています。互いに貢献し合える、互いに有益な関係を見つける最良の方法は何でしょうか? ありがとうございます。
お金をあげてください。
(会場笑い)
ありがとうございます。
(会場拍手)
またはH100グラフィックカードでも構いません。でも、これはとても重要です。私は公共セクターへの投資を提唱していますが、おそらくそれ以上にパートナーシップを提唱しています。政府、民間セクター、公共セクターが協力する必要があります。
スタンフォードHAIでの過去4年間、これが私たちが行ってきた主なことの1つです。産業界のエコシステムを作ることです。詳細は後で個別に話せますが、大学のリーダーや高等教育の人々に話すなら、私はそれを受け入れる必要があると思います。
責任を持って受け入れる必要があります。人によって呼び方は異なるかもしれませんが、このエコシステムは非常に重要だと思います。両側が重要です。パートナーシップを作り、お互いに責任あるパートナーになってください。そしてリソースは大きな問題です。私たちはそれを感謝します。
ありがとうございます。
はい、これで時間ぴったりです。お二人に感謝したいと思います。いつも私はあなた方のことを友人と呼べることを光栄に思っています。フェイフェイ、あなたはパートナーであり、ジェフ、あなたは投資家です。このような会話をプライベートで持つことができることを光栄に思っています。
お二人を一緒に招いて、他の人々にもあなた方の意見を聞いてもらえて良かったです。ありがとうございました。私にとってと同様に、皆さんにとっても有益だったことを願っています。
(会場拍手)
トロント大学文理学部長のメラニー・ウッディンに引き継ぎます。
ジョーダン、本当にありがとうございます。ジェフとフェイフェイ、そしてジョーダン、今夜ここMaRSにいる全員と、オンラインで参加してくれた何千人もの方々に代わって、今夜のこのような深い会話に深く感謝いたします。
大学コミュニティの一員であることは、魅力的な会話や講義に参加する機会が尽きないということを、多くの人が知っていると思います。文理学部の学部長として、私はそのような機会に多く参加する喜びを得ています。しかし、ためらいなく言えることは、今夜の会話は本当に比類のないものだったということです。
もちろん、この会話は非常にタイムリーでした。ジェフ、あなたが超知能の脅威についての懸念を世界と共有したとき、私たちは皆耳を傾け、この複雑な問題を理解しようと努力しました。意見記事を読んだり、あなたの動画を見たり、長文のジャーナリズムを読んだりして、あなたが私たちに伝えようとしていることを本当に理解しようとしました。
そのため、あなたから直接聞くこと、そして人間中心のAIをリードしてきたフェイフェイから聞くことは、本当に強力です。
そういうわけで、お二人に感謝します。そして今日ここに参加してくださった皆様にも感謝します。ラディカル・ベンチャーズと他のパートナーの皆様に、今夜を可能にしてくださったことに大きな感謝を申し上げます。
これで講演は終了しました。ここに直接参加された皆様は、ホワイエで軽食をお楽しみください。ご参加ありがとうございました。

この記事が気に入ったらサポートをしてみませんか？