スタンフォードECON295/CS323 I 2024 I AIの時代、エリック・シュミット

※長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)、もしくはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。

本日のゲストは紹介の必要がないほどの方です。私がエリックに初めて会ったのは約25年前、彼がNovelのCEOとしてスタンフォード・ビジネススクールに来たときでした。それ以来、2001年からGoogleで、2017年からSchmidt Futuresで、そしてその他多くの活動をされてきました。詳細は皆さんご存じのことと思います。
エリックは5時15分までしかここにいられないので、質問にすぐに入りたいと思います。皆さんからも質問をいただいていますが、私も多くの質問を用意しています。しかし、先ほど上階で話していた内容の方がさらに興味深かったので、エリックさん、よろしければそこから始めてもいいでしょうか。
AIの短期的な展望についてです。短期的というのは、あなたが定義した1〜2年先のことだと思いますが、どのように見ていますか? 状況が非常に速く変化しているので、6ヶ月ごとに今後の展開について新しいスピーチを用意する必要があるような気がします。
ここにいるコンピューターサイエンティストの方々、100万トークンのコンテキストウィンドウとは何か、クラスの皆さんに説明できる方はいますか?
（学生の回答）基本的に、100万トークンや100万語程度でプロンプトを与えられるということです。つまり、100万語の質問ができるということですね。
はい、これは現在のLLMの非常に大きな方向性です。いいえ、いいえ、彼らは1000万を目指しています。はい、1000万です。Anthropicは20万から100万へ、そしてさらに上を目指しています。OpenAIも同様の目標を持っていると想像できます。
AIエージェントの技術的な定義を誰か説明できますか? 再びコンピューターサイエンティストの方々にお聞きします。
（学生の回答）AIエージェントは、何らかの方法で...それはウェブ上で呼び出したり、あなたの代わりに何かを行ったりする、さまざまなことを行うものかもしれません。
そうですね、エージェントは何らかのタスクを実行するものです。別の定義としては、それはLLMの状態とメモリを持つものです。
テキストからアクションへの変換について、誰か説明できますか? テキストを取り、それをアクションに変えることです。
（学生の回答）はい、テキストを取り、より多くのテキストに変えるのではなく、AIがそのテキストに基づいてアクションを起こすということです。
別の定義としては、言語からPythonへの変換、つまりプログラミング言語への変換です。私は決して生き残って欲しくないと思っていた言語です。そして、AIのすべてがPythonで行われています。最近、Mojoという新しい言語が登場し、AIプログラミングの課題にようやく取り組んだように見えますが、Pythonの支配に対抗できるかどうかはまだわかりません。
もう一つ技術的な質問です。なぜNVIDIAは2兆ドルの価値があり、他の企業は苦戦しているのでしょうか? 技術的な答えをお願いします。
（学生の回答）ほとんどのコードがCUDAの最適化を必要とし、現在はNVIDIAのGPUのみがそれをサポートしているからだと思います。他の企業は何を作っても、10年分のソフトウェアと機械学習の最適化がなければ意味がありません。
CUDAをGPU用のCプログラミング言語として考えるのが好きです。そう考えるのが私の好みです。CUDAは2008年に設立されました。私はずっとひどい言語だと思っていましたが、それでも支配的になりました。
もう一つの洞察があります。CUDAに高度に最適化されたオープンソースライブラリのセットがあり、他のものには最適化されていません。これらのスタックを構築するすべての人々が、この点を完全に見落としています。技術的にはVMと呼ばれ、CUDAを最適化した多くのライブラリがあります。競合他社がこれを複製するのは非常に困難です。
これらすべてが意味するのは、来年、非常に大きなコンテキストウィンドウ、エージェント、そしてテキストからアクションへの変換が見られるということです。これらが大規模に提供されると、世界に対して誰も理解していないほどの影響を与えるでしょう。ソーシャルメディアがもたらした恐ろしい影響よりもはるかに大きなものです。
その理由は以下の通りです。コンテキストウィンドウでは、基本的に短期記憶として使用できます。コンテキストウィンドウがこれほど長くなるとは驚きでした。技術的な理由は、サービスの提供や計算が困難であることなどです。短期記憶の興味深い点は、20冊の本を読んで、その本のテキストを質問として与えると、中間部分を忘れてしまうことです。これはちょうど人間の脳の働きと同じです。
エージェントに関しては、現在、基本的にLLMエージェントを構築している人々がいます。彼らのやり方は、化学のようなものを読み、化学の原理を発見し、それをテストし、その理解を自身に追加するというものです。これは非常に強力です。
そして、先ほど言及した3つ目のテキストからアクションへの変換についての例を挙げます。政府はTikTokを禁止しようとしています。実際に禁止されるかどうかはわかりませんが。TikTokが禁止された場合、私が提案するのは、皆さん一人一人がLLMに次のように言うことです。「TikTokのコピーを作って、すべてのユーザーを盗み、すべての音楽を盗み、私の好みを入れて、このプログラムを30秒以内に作成し、リリースしてください。そして1時間後にバイラルになっていなければ、同じような線で何か違うことをしてください。」これがコマンドです。
これがどれほど強力かわかりますか? 任意の言語から任意のデジタルコマンドに変換できるとすれば、つまり、この場合はPythonですが、地球上の全ての人間が自分の望むことを実際に行うプログラマーを持つことができるのです。私のために働くプログラマーではなく、私の言うことを聞かないプログラマーではありません。ここにいるプログラマーの方々は私が言っていることがわかるでしょう。
想像してみてください。傲慢でなく、実際にあなたの望むことを行い、そのためにすべてのお金を払う必要もなく、無限の供給があるプログラマーがいるのです。これらはすべて1〜2年以内、非常に近い将来に起こることです。これら3つのことが組み合わさることが次の波で起こると私は確信しています。
他に何が起こるかについて質問されましたね。6ヶ月ごとに私の見方は変わります。現在は偶数奇数の振動のようなものです。現時点では、フロンティアモデル（誰が作っているかはわずかしかわかりませんが）と他のすべてのモデルとの差が広がっているように見えます。6ヶ月前は、その差が縮まっていると確信していました。そのため、小さな企業にたくさんの投資をしました。しかし今は確信が持てません。大企業と話をしていると、彼らは100億、200億、500億、1000億ドルが必要だと言っています。Stargateは1000億ドルですよね? 非常に難しいです。
サム・アルトマンは親しい友人ですが、彼は約3000億ドル、おそらくそれ以上かかると考えています。私は彼に、必要なエネルギー量の計算をしたことを指摘しました。そして、全面的な情報開示の精神で、先週金曜日にホワイトハウスに行き、カナダと親友になる必要があると伝えました。カナダには素晴らしい人々がいて、AIの発明を手伝い、そして大量の水力発電があるからです。なぜなら、私たちの国にはこれを行うのに十分な電力がないからです。
代替案としてアラブ人に資金を提供してもらうこともできますが、個人的にはアラブ人が好きです。そこでたくさんの時間を過ごしました。しかし、彼らは私たちの国家安全保障規則を順守しないでしょう。一方、カナダと米国は三者協定の一部であり、私たちは皆同意しています。
これらの1000億ドル、3000億ドルのデータセンター、電気が希少資源になり始めます。ところで、この推論に従えば、なぜCUDAとNVIDIAについて議論したのでしょうか? 3000億ドルがすべてNVIDIAに行くとすれば、株式市場で何をすべきかわかりますね。これは株の推奨ではありません。私はライセンスを持っていません。
そうですね、その一部です。より多くのチップが必要になりますが、IntelはアメリカZ府から多くのお金を得ています。AMDも...そして彼らは工場を建設しようとしています。手を挙げて、コンピューティングデバイスにIntelチップを持っている人はいますか? はい、独占状態とはほど遠いですね。
そうですね、そこが重要です。かつては独占状態でした。そして今、NVIDIAが独占状態にあります。CUDAのような参入障壁は、他の企業にとって乗り越えられないものなのでしょうか?
先日、パーシー・ラオと話をしました。彼は利用可能なものに応じて、TPUとNVIDIAチップを切り替えています。選択の余地がないからです。無限のお金があれば、今日彼はNVIDIAのB200アーキテクチャを選ぶでしょう。より速いからです。競争があるのは素晴らしいことです。AMDのリサ・スーとも長々と話をしました。彼らは、あなたが説明していたこのCUDAアーキテクチャから彼ら自身のROCmと呼ばれるものに翻訳するシステムを構築しました。まだ完全には機能していませんが、取り組んでいます。
あなたは長年Googleにいました。彼らはトランスフォーマーアーキテクチャを発明しました。ピーター...すべてはピーターのせいです。ピーターやジェフ・ディーンなど、素晴らしい人々のおかげです。しかし今、彼らはイニシアチブをOpenAIに奪われたように見えます。最後に見たリーダーボードでは、AnthropicのClaudeが上位にいました。私はスンダルにこのことを尋ねましたが、彼はあまり明確な答えを与えてくれませんでした。もしかしたらあなたはもっと鋭い、あるいはより客観的な説明ができるかもしれません。
私はもはやGoogle社員ではありません。全面的な情報開示の精神で言えば、Googleはワークライフバランスと早く帰宅すること、在宅勤務をすることが勝利よりも重要だと決めました。スタートアップが機能する理由は、人々が懸命に働くからです。率直に言って申し訳ありませんが、事実として、もし皆さんが大学を出てスタートアップを立ち上げるなら、他のスタートアップと競争したいのであれば、在宅勤務を許可したり、週に1日だけ出社させたりはしないでしょう。
Googleの初期の頃、Microsoftはまさにそのようでした。しかし今では、本当に創造的な方法で勝利し、スペースを本当に支配している企業が、次の移行を行えないという長い歴史があります。これはよく文書化されています。真実は、創業者は特別だということです。創業者は責任者である必要があります。創業者は一緒に働くのが難しく、人々を強く押します。
イーロンの個人的な行動をどれだけ嫌っても、彼が人々から引き出すものを見てください。彼と夕食を共にしましたが、彼はその夜10時にモンタナから飛び立ち、真夜中にX.aiとミーティングを行っていました。考えてみてください。私は台湾にいました。異なる国、異なる文化です。彼らはTSMCと言いました。私は彼らにとても感銘を受けました。彼らには、優秀な物理学者である新卒の博士が工場の地下階で働くというルールがあります。アメリカの物理学者が博士号を持ってそれをすることを想像できますか? まず考えられません。異なる労働倫理です。
ここでの問題は、私が労働について厳しく言及している理由は、これらのシステムにはネットワーク効果があるため、時間が非常に重要だということです。ほとんどのビジネスでは、時間はそれほど重要ではありません。時間はたくさんあります。コカ・コーラとペプシはまだ存在し続け、コカ・コーラとペプシの戦いは氷河のようにゆっくりと続いていくでしょう。私がテレコム業界と取引していたとき、典型的なテレコム契約には18ヶ月かかりました。18ヶ月もかけて何かをする理由はありません。すぐに済ませるべきです。私たちは最大の成長期、最大のゲームの時期にいるのです。
また、クレイジーなアイデアも必要です。例えば、MicrosoftがOpenAIとの契約を結んだとき、私はそれが今まで聞いた中で最も愚かなアイデアだと思いました。基本的にAIのリーダーシップをOpenAIとサムに外注するなんて。それは狂気の沙汰です。Microsoftやどこでもそんなことはしないでしょう。しかし今日、彼らは最も価値のある企業になる途上にあります。確かにAppleと互角です。Appleには良いAIソリューションがありません。そして、彼らはそれを機能させたように見えます。
はい、そちらの方。
（学生の質問）国家安全保障や政治的利益の観点から、AIが果たす役割や中国との競争についてどのように考えていますか?
私はAI委員会の委員長を務め、これについて非常に慎重に検討しました。それについて読むことができます。約752ページあります。簡単に要約すると、我々は先行しており、その先行を維持する必要があり、そのために多くの資金が必要だということです。我々の顧客は上院と下院でした。そこから、CHIPS法など多くのものが生まれました。
大まかなシナリオは、フロンティアモデルが前進し、いくつかのオープンソースモデルも進展すると仮定すると、非常に少数の企業がこのゲームに参加できる可能性が高いということです。失礼、国々です。
それらの国々、あるいは誰なのでしょうか?
多くのお金と才能、強力な教育システム、そして勝利への意欲を持つ国々です。アメリカはその一つです。中国は別の一つです。他にいくつあるでしょうか? 他にあるのでしょうか? わかりません。しかし、確かに皆さんの人生の中で、知識の覇権をめぐるアメリカと中国の戦いが大きな戦いになるでしょう。
アメリカ政府は、本質的にNVIDIAのチップを禁止しました。それがNVIDIAのチップであるとは言えませんでしたが、実際にはそうしました。中国に対してです。我々は約10年のチップの優位性を持っています。サブ5nm、つまりサブ5nmの観点から約10年の優位性があります。
そのため、例えば今日、我々は中国より数年先を行っています。私の推測では、我々は中国より数年さらに先に行くでしょう。そして中国人はこのことに非常に怒っています。これについて大変動揺しています。これは大きな問題です。これはトランプ政権によって決定され、バイデン政権によってさらに推し進められました。
現在の政権や議会があなたのアドバイスに耳を傾けていると思いますか? 彼らがそのような規模の投資を行うと思いますか? もちろんCHIPS法はありますが、それ以上に巨大なAIシステムを構築することについてはどうでしょうか?
ご存じのように、私は非公式の、アドホックな、非法的なグループをリードしています。これは違法とは異なります。ちょうど明確にするためです。これには通常の容疑者がすべて含まれています。はい、そして通常の容疑者たちは、過去1年間で、バイデン政権のAI法の基礎となった推論を生み出しました。これは史上最長の大統領指令です。
特別競争研究プロジェクトについて話しているのではありません。これは実際の行政府からの実際の法令についてです。彼らは忙しく詳細を詰めています。これまでのところ、彼らは正しいやり方をしています。例えば、我々が過去1年間議論してきた debates の一つは、学習したが何を聞くべきかわからないシステムの危険性をどのように検出するかというものでした。
つまり、これは一種の核心的な問題です。システムは何か悪いことを学習しましたが、それが何を学んだのかを言えず、あなたも何を聞くべきかわからないのです。そして、多くの脅威があります。例えば、新しい方法で化学物質を混ぜる方法を学習したが、あなたはそれについて聞く方法を知らないというようなことです。人々はそれに一生懸命取り組んでいますが、最終的に我々は政府へのメモの中で、10の26乗フロップスという任意の閾値を設定しました。これは技術的には計算の尺度です。この閾値を超えた場合、政府に報告する必要があるというのがルールの一部です。EUは、彼らが異なることを確認するために、10の25乗にしました。
しかし、それはすべて十分に近いものです。技術は今、連合学習と呼ばれる技術的な用語を使用しています。基本的に、部分を取り、それらを結合することができます。そのため、これらの新しいものから人々を安全に保つことはできないかもしれません。
噂によると、OpenAIがそのように訓練せざるを得なかったのは、部分的に電力消費の問題があったからだそうです。彼らがそれを行った場所は一箇所ではありません。
実際の戦争について話しましょう。あなたが非常に関わっていることの一つは、ウクライナ戦争、特にパルマストームについてです。500ドルのドローンで500万ドルのタンクを破壊するという目標について、どの程度話せますか? それは戦争をどのように変えているのでしょうか?
私は7年間、国防長官のために働き、軍の運営方法を変えようとしました。私は特に軍の大ファンではありませんが、非常に高額です。私は何か役立つことができないかと思いました。私の見解では、大部分失敗したと思います。彼らは私にメダルをくれましたが、失敗にもメダルを与えるのかもしれません。私の自己批判は、何も本当には変わっていないということです。アメリカのシステムは本当のイノベーションにつながらないでしょう。
ロシア人がタンクを使って、小さなおばあさんや子供たちがいるアパートを破壊するのを見て、私は本当に腹が立ちました。そこで、あなたの友人のセバスチャン・スランと、多くのスタンフォードの人々と一緒に会社で働くことにしました。基本的に2つのことを行うアイデアです。複雑で強力な方法でAIを使用し、これらの本質的にロボット戦争を行うこと。そして2つ目は、ロボットのコストを下げることです。
私のような良いリベラルな人間がなぜそんなことをするのかと思うでしょう。答えは、軍隊の全理論がタンク、砲兵、迫撃砲であり、我々はそれらをすべて排除できるということです。そして、少なくとも陸上では、国を侵略するペナルティを本質的に不可能にすることができます。これは陸上戦のような戦いを排除するべきです。
これは本当に興味深い質問です。防御と攻撃のどちらにより大きな利点を与えるのでしょうか? そのような区別をすることさえできるのでしょうか?
私は過去1年間これを行ってきて、本当に知りたくなかった戦争について多くのことを学びました。戦争について知るべき一つのことは、攻撃は常に優位性を持つということです。なぜなら、防御システムを常に圧倒することができるからです。そのため、国防戦略としては、必要な場合に使用できる非常に強力な攻撃力を持つ方が良いのです。私や他の人々が構築しているシステムはそれを行います。
システムの仕組みのため、私は今、ライセンスを持つ武器ディーラーになりました。コンピューターサイエンティスト、ビジネスマン、武器ディーラーです。申し訳ありませんが、これはキャリアパスとしてお勧めできません。AIに留まる方が良いでしょう。
法律の仕組みのため、我々はこれを私的に行っています。これはすべて合法で、政府の支援を受けています。直接ウクライナに送られ、そこで戦争を戦います。詳細には立ち入りませんが、状況はかなり悪いです。5月か6月に、ロシアが予想通りに増強すれば、ウクライナは領土の大部分を失い、国全体を失う過程が始まるでしょう。状況は非常に深刻です。
マージョリー・テイラー・グリーンを知っている人がいれば、彼女をあなたの連絡先リストから削除することをお勧めします。彼女は一人で、重要な民主主義を救うために何十億ドルもの資金提供を阻止している人物です。
少し哲学的な質問に移りたいと思います。あなたとヘンリー・キッシンジャー、ダン・ハットンリーチャーが昨年、知識の本質とその進化について書いた記事がありました。私も先日この話題について議論しました。
歴史の大部分において、人類は宇宙について神秘的な理解を持っていました。そして科学革命と啓蒙時代がありました。あなたの記事では、現在これらのモデルが非常に複雑になり、理解が難しくなっているため、私たちは本当に何が起こっているのかわからないと主張しています。
リチャード・ファインマンの言葉を引用します。「私が作れないものは理解していない」。この引用を最近見ましたが、今や人々は作ることはできても、その中で何が起こっているのか本当に理解していないものを作っています。知識の本質は変化しているのでしょうか? 私たちはこれらのモデルの言葉を信じ、説明できないことを受け入れなければならなくなるのでしょうか?
私が提供したい類推は、ティーンエイジャーに関するものです。ティーンエイジャーがいれば、彼らが人間であることはわかっていても、彼らが何を考えているのか完全には理解できません。しかし、何らかの形で社会はティーンエイジャーの存在に適応してきました。そして、彼らはいずれその状態から成長します。
真剣に言えば、おそらく私たちは完全に特徴づけることはできないが、その境界を理解している知識システムを持つことになるでしょう。つまり、それらができることの限界を理解しているということです。それが恐らく得られる最良の結果でしょう。
限界を理解できると思いますか?
かなり良く理解できるようになると思います。私のグループは毎週会合を持っていますが、その中での合意は、最終的にはいわゆる敵対的AIを使用することになるだろうということです。実際には、あなたが雇い、お金を払う会社があり、その仕事はあなたのAIシステムを破壊することです。
今日行われている人間のレッドチームの代わりに、既存のAIシステムを破壊し、その脆弱性、特に我々が理解できない知識を見つけることを仕事とするAIシステムの全産業が生まれるでしょう。
私にはそれが理にかなっています。また、これはスタンフォードでの素晴らしいプロジェクトにもなります。大学院生にこれらの大規模モデルの一つを攻撃し、それが何をするのかを理解する方法を見つけさせることは、次世代を構築する素晴らしいスキルになります。そのため、これら二つが一緒に進むことは理にかなっています。
では、学生からの質問を受け付けましょう。後ろの方、どうぞ。
（学生の質問）先ほど、実際に望むことを行うAIについて言及されました。これは今のコメントに関連していますが、敵対的AIについてもう少し詳しく説明していただけますか? 明らかに計算能力が向上し、より性能の高いモデルが得られるでしょうが、それらを私たちの望むようにさせることは、まだ解決されていない問題のように思えます。
そうですね、現在の幻覚の問題が少なくなると仮定する必要があります。技術が向上するにつれて、その問題は減少するでしょう。完全になくなるわけではありませんが。また、効果を測定するテストがあると仮定する必要があります。つまり、何かが成功したかどうかを知る方法が必要です。
私が挙げたTikTokの競合他社の例で言えば、ちなみに、私は違法にすべての音楽を盗むべきだと主張しているわけではありません。シリコンバレーの起業家であれば、皆さんもそうなることを願っていますが、もしそれが成功すれば、多くの弁護士を雇ってその混乱を整理することになるでしょう。しかし、誰も製品を使用しなければ、すべてのコンテンツを盗んだことは問題にはなりません。私の言葉を引用しないでくださいね。
ポイントがわかりますよね。つまり、シリコンバレーはこれらのテストを実行し、後で混乱を整理します。それが典型的なやり方です。
私の見解では、より良いテストを持つ、さらに高性能なシステムがどんどん登場し、最終的には敵対的なテストも行われるようになり、それによってある範囲内に収まるようになるでしょう。技術的な用語では、思考の連鎖推論と呼ばれています。人々は、今後数年で1000ステップの思考の連鎖推論を生成できるようになると考えています。これをして、あれをして、というようにです。レシピを作るようなものです。レシピを実行し、正しい結果が得られたかをテストできます。そのようにシステムは機能するでしょう。
はい、そちらの方。
（学生の質問）一般的に、AIの可能性について非常にポジティブに見ていらっしゃるようですが、それを推進するものは何だと思いますか? 単に計算能力の向上なのか、より多くのデータなのか、それとも実際のアルゴリズムの変化なのでしょうか?
はい、投じられている金額は驚くべきものです。私は基本的にすべてに投資しています。誰が勝つかわからないからです。私に続いている資金の量は非常に大きく、その一部は早期の資金が稼がれたためだと思います。そして、何をしているのかわからない大金持ちたちは、すべてにAIの要素を持たなければならず、今ではすべてがAI投資になっています。彼らは違いを見分けられません。
私はAIを学習システム、実際に学習するシステムと定義しています。それが一つの要因です。二つ目は、トランスフォーマー以降の非常に洗練された新しいアルゴリズムがあることです。長年の共同研究者が新しい非トランスフォーマーアーキテクチャを発明しました。パリで資金提供しているグループも同様のことを主張しています。スタンフォードを含め、大きな発明が行われています。
最後に、知能の発明には無限のリターンがあるという市場の信念があります。例えば、500億ドルの資本を会社に投入したとします。その投資を回収するには、知能から大変な額のお金を稼がなければなりません。おそらく、我々は巨大な投資バブルを経験し、その後それが整理されるでしょう。過去にもそうでしたし、ここでもそうなる可能性が高いです。
先ほど言われたように、現在、リーダーたちは引き離されつつあるということですね?
はい、そうです。質問は以下のようなものです。フランスにMRLという会社があります。彼らは本当に良い仕事をしています。もちろん、私も投資家です。彼らは第二バージョンを出しましたが、第三モデルはおそらくクローズドになるでしょう。非常にコストがかかるからです。彼らは収益が必要で、モデルを無料で提供することはできません。
我々の業界では、オープンソース対クローズドソースの議論が非常に大きな問題です。私のキャリア全体は、人々がソフトウェアをオープンソースで共有することに基づいていました。私に関するすべてがオープンソースです。Googleの基盤の多くもオープンソースでした。私が技術的に行ったことすべてがそうです。しかし、資本コストが非常に巨大であることが、ソフトウェアの構築方法を根本的に変える可能性があります。
先ほど話していたように、私のソフトウェアプログラマーに対する見方は、ソフトウェアプログラマーの生産性が少なくとも2倍になるだろうというものです。それを実現しようとしている3〜4のソフトウェア会社があり、私はそのすべてに投資しています。彼らはすべて、ソフトウェアプログラマーをより生産的にしようとしています。
最も興味深いのは、最近会った「Augment」という会社です。私は常に個々のプログラマーを考えていましたが、彼らは「それは我々のターゲットではない。我々のターゲットは、何が起こっているのか誰もわからない、100人のソフトウェアプログラミングチームが何百万行ものコードを扱っている状況だ」と言いました。それは本当に良いAIの使い道ですね。彼らはお金を稼ぐでしょうか? そう願っています。
ここにたくさんの質問がありますね。そちらの方、どうぞ。
（学生の質問）最初の方で、コンテキストウィンドウの拡大、エージェント、テキストからアクションへの変換の組み合わせが想像を超える影響を与えるだろうとおっしゃいました。まず、なぜその組み合わせが重要なのでしょうか? 次に、水晶玉を持っているわけではないので、必ずしも未来を予測できるわけではないことはわかっていますが、なぜそれが我々の想像を超えると思われるのでしょうか?
主に、コンテキストウィンドウが最近の問題を解決できるからです。現在のモデルは訓練に約1年かかります。おおよそ6ヶ月の準備、6ヶ月の訓練、6ヶ月の微調整です。そのため、常に最新の情報が反映されていません。コンテキストウィンドウを使えば、最近起こったことを入力できます。例えば、ハマスとイスラエルの戦争について、最新のコンテキストで質問することができます。これは非常に強力です。Googleのように最新の情報になります。
エージェントの場合、例を挙げましょう。私は財団を設立し、非営利組織に資金を提供しています。その組織は、ChroC というLLMベースのシステムを使用しています。私は化学をよく理解していませんが、このシステムは化学を学習し、タンパク質に関する化学的仮説を生成します。そして、一晩中ラボでテストを実行し、その結果を学習します。これは化学や材料科学などの分野で大きな加速剤となります。これはエージェントモデルです。
テキストからアクションへの変換については、多くの安価なプログラマーを持つことで理解できると思います。これはあなたの専門分野ですが、誰もが自分のプログラマーを持つとどうなるのか、私たちにはまだ理解できていません。ライトのオン・オフを操作するだけの話ではありません。
例えば、何らかの理由でGoogleが好きではないとしましょう。あなたは「Googleの競合を作ってくれ」と言います。個人的にです。「Googleの競合を作り、ウェブを検索し、UIを構築し、良いコピーを作り、面白い方法で生成AIを追加し、30秒以内にそれを行い、うまくいくかどうか確認してくれ」と。これがコマンドです。
これがどれほど強力かわかりますか? 任意の言語から任意のデジタルコマンドに変換できる場合、つまりこのシナリオではPythonですが、このような攻撃にGoogleを含む既存の企業が脆弱になる可能性があると多くの人が信じています。どうなるかはわかりません。
昨年話したいくつかの質問がスライダーで送られてきました。その中でいくつか支持の高いものがあります。ここに一つあります。
今後の選挙、特にアメリカの選挙や世界中の選挙において、AIが世論や誤情報に影響を与えることをどのように防ぐことができるでしょうか? 短期的および長期的な解決策は何でしょうか?
今後の選挙や世界中での大部分の誤情報は、ソーシャルメディア上で広がるでしょう。ソーシャルメディア企業はそれを取り締まるのに十分な組織力を持っていません。例えば、TikTokについては、ある種の誤情報を他のものより優先しているという多くの非難があります。また、私が知る限り証拠はありませんが、中国人が彼らにそうさせているという主張をする人もいます。
我々はここで混乱に陥っています。国は批判的思考を学ぶ必要があります。これはアメリカにとって不可能な課題かもしれませんが、誰かが何かを言ったからといって、それが真実であるとは限りません。
逆の方向に行き過ぎる可能性はありませんか? 本当に真実なのに、もう誰も信じなくなってしまうことはありませんか? 一部の人々は認識論的危機と呼んでいます。今では、誰かが「いいえ、私はそんなことをしていない。証明してみろ」と言うようになっています。
ドナルド・トランプを例に挙げましょう。私たちの社会には信頼の問題があります。民主主義は崩壊する可能性があり、私は誤情報が民主主義にとって最大の脅威だと考えています。なぜなら、我々はそれを非常に上手く作り出すようになるからです。
私がYouTubeを運営していたとき、最大の問題は、人々が虚偽の動画をアップロードし、その結果人々が亡くなることでした。我々には「死亡禁止方針」がありました。驚くべきことに、これに対処しようとするのは本当に恐ろしいことでした。これは生成AIが登場する前のことです。
良い答えは持ち合わせていません。技術的な解決策ではありませんが、これを軽減できそうな一つの方法があります。なぜそれがもっと広く使用されていないのかわかりませんが、公開鍵認証です。ジョー・バイデンが話すとき、なぜそれがSSLのようにデジタル署名されないのでしょうか? あるいは、有名人や公人、その他の人々が公開鍵を持つことはできないでしょうか?
はい、それは一種の公開鍵です。そして、システムがどのように機能するかを知る何らかの確実性です。私がAmazonにクレジットカード情報を送るとき、それがAmazonであることを知っています。
私はジョナサン・ハイトと論文を書いて発表しました。彼は不安世代について研究している人です。しかし、それは全く影響を与えませんでした。彼はとてもコミュニケーション能力が高いのですが、私はおそらくそうではありません。そのため、私の結論は、システムがあなたの提案を実行するように組織化されていないということです。
私の提案は何でしたか?
あなたの提案、そうです。私の結論は、CEOたちは一般的に収益を最大化するために、エンゲージメントを最大化し、エンゲージメントを最大化するためにはアウトレイジ（怒り）を最大化する必要があるということです。アルゴリズムはアウトレイジを選択します。なぜならそれがより多くの収益を生み出すからです。したがって、クレイジーなものを優先する偏りがあります。これは党派的な発言ではありません。これは民主主義で対処しなければならない問題です。
TikTokに対する私の解決策については、以前プライベートで話しましたが、私が少年だった頃、「イコールタイムルール」というものがありました。なぜならTikTokは本当にソーシャルメディアではなく、テレビのようなものだからです。プログラマーがあなたのために数字を作っているのです。ちなみに、数字は以下の通りです。アメリカのTikTokユーザーは1日平均90分、200本のTikTok動画を視聴しています。非常に多いですね。政府はイコールタイムルールを実施しないでしょうが、それは正しいことです。何らかの形でバランスを取ることが必要です。
それでは、もう少し質問を受け付けましょう。はい、そちらの方。
（学生の質問）2つの簡単な質問があります。1つ目は、LLMの経済的影響についてです。当初予想していたよりも遅いのでしょうか? そして2つ目は、学術界はAIの補助金を受けるべきだと思いますか? それとも大手企業と提携すべきだと思いますか?
大学にデータセンターを提供することを私は強く押し進めました。もし私がここのコンピューターサイエンス学部の教授だったら、大学院生と一緒にアルゴリズムを構築できないことに非常に怒るでしょう。そのような博士研究を行うことができず、これらの企業と協力せざるを得ないのです。私の見解では、企業はこの点について十分に寛大ではありません。
私が話をする教授の多くは、Google Cloudのクレジットを待つのに多くの時間を費やしています。これはひどいことです。これは爆発的な成長期です。我々はアメリカに勝ってほしい、アメリカの大学に勝ってほしいのです。それを彼らに提供するのが正しいことだと考える理由はたくさんあります。そのため、私はそのために一生懸命働いています。
最初の質問は労働市場への影響でしたね。エリックに教わった素人経済学者として、私は基本的に、大学教育を受けた高度なスキルを持つ人々は大丈夫だと考えています。なぜなら、人々はこれらのシステムと協力して働くからです。これらのシステムは、他の技術の波と同じように、危険な仕事や非常に少ない人間の判断しか必要としない仕事は置き換えられると思います。
あと5分ほどしかないので、質問を手短にお願いします。エリック、選んでください。はい、そちらの方。
（学生の質問）テキストからアクションへの変換とその影響について、非常に興味があります。例えば、コンピューターサイエンス教育にどのような影響があると思いますか? CS教育がどのように変革すべきだと考えていますか?
私は、コンピューターサイエンティストのグループは学部生の時からプログラマーの仲間を常に持つことになると想定しています。最初のforループなどを学ぶとき、あなたの自然なパートナーとなるツールを持つことになるでしょう。そして、そのように教育が進むでしょう。教授は概念について話しますが、あなたはそのようにそれに取り組むことになります。それが私の推測です。
はい、後ろの方。
（学生の質問）非トランスフォーマーアーキテクチャについてもう少し詳しく教えていただけますか? 状態モデルについて話されていましたが、今は長いコンテキストがより重要になっているようです。この分野で何が起きているのか興味があります。
私は数学を十分に理解していません。数学者のための仕事を生み出したことを本当に嬉しく思います。なぜなら、ここでの数学は非常に複雑だからです。基本的には、より速く、より良い勾配降下や行列乗算を行う異なる方法があります。
ご存じの通り、トランスフォーマーは同時に乗算を行う体系的な方法です。そのように考えるのがいいと思います。これも似ていますが、数学が異なります。
こちらの方、どうぞ。
（学生の質問）国家安全保障に関する論文で、中国、アメリカ、そして同盟国の能力について言及されました。次の10カ国は全てアメリカの同盟国か、アメリカに密接に結びついているようです。正式な同盟国ではない中間層の10カ国について、あなたの見解を聞かせてください。彼らがアメリカの安全保障ラインに乗る可能性はどれくらいでしょうか? また、それを望まない理由は何でしょうか?
最も興味深い国はインドです。なぜなら、トップのAI人材がインドからアメリカに来ているからです。我々はインドにその優秀な人材の一部を残すべきです。全員ではありませんが、一部はです。彼らには、我々がここで豊富に持っているような訓練施設やプログラムがありません。私にとって、インドはこの点で大きな揺れ動く国です。
中国は失っています。戻ってこないでしょう。人々が望むほど体制を変えることはないでしょう。日本と韓国は明らかに我々の陣営にいます。台湾は素晴らしい国ですが、ソフトウェアはひどいです。それは機能しないでしょう。ハードウェアは素晴らしいですが。
世界の残りの部分では、他に良い選択肢はあまりありません。ドイツ...ヨーロッパはブリュッセルのせいでめちゃくちゃです。これは新しい事実ではありません。私は10年間彼らと戦ってきました。EU法を修正してもらおうと一生懸命働きましたが、彼らはまだヨーロッパで我々のような研究を行うのを非常に困難にする制限をすべて持っています。
フランスの友人たちは、ブリュッセルとの戦いに全力を注いでいます。個人的な友人であるマクロン大統領もこのために一生懸命戦っています。そのため、フランスにはチャンスがあると思います。ドイツが来るとは思えません。そして残りは十分な規模ではありません。
はい、どうぞ。
（学生の質問）あなたはエンジニアとしての訓練を受けていますよね。コンパイラについて...これらのモデルが持つと想定される能力を考えると、私たちはまだコーディングを学ぶ時間を費やすべきでしょうか?
はい、なぜなら...古い言い方ですが、なぜ英語を話せるのに英語を勉強するのかと同じです。上達するからです。これらのシステムがどのように機能するかを本当に理解する必要があります。私はそう強く感じています。
はい、そちらの方。
（学生の質問）分散設定について探求されたことはありますか? 大規模なクラスターを作るのは難しいですが、MacBookは強力で、世界中に多くの小さなマシンがあります。Folding@homeのようなアイデアがシステムのトレーニングに機能すると思いますか?
我々はこれについて非常に熱心に検討しました。アルゴリズムの仕組みは、非常に大きな行列があり、基本的に乗算関数があります。行ったり来たりを繰り返すと考えてください。これらのシステムは完全にメモリからCPUまたはGPUへの速度によって制限されています。
実際、次世代のNVIDIAチップは、これらの機能をすべて1つのチップに統合しています。チップは非常に大きくなったので、それらをすべて接着しています。実際、パッケージは非常に敏感なので、チップ自体だけでなく、パッケージもクリーンルームで組み立てられています。
答えはスーパーコンピューターと光速、特にメモリ相互接続のように見えます。そのため、しばらくは可能性が低いと思います。
LLMを分割する方法はありますか? 例えば、ジェフ・ディーンは昨年ここで講演した際、異なる部分を別々に訓練し、その後フェデレートする方法について話しました。
それを行うには、1000万ものものが必要になり、質問の仕方が遅すぎるでしょう。彼は8つか10つか12つのレベルについて話していますが、その程度ではありません。
後ろの方、はい。
（学生の質問）ChatGPTがリリースされた後、ニューヨーク・タイムズがOpenAIを訴えたことについて知っています。彼らの作品をトレーニングに使用したことについてです。これがどうなると思いますか? データに関して何を意味すると思いますか?
私は音楽のライセンス問題について多くの仕事をしました。そこで学んだのは、60年代に一連の訴訟があり、その結果、誰があなたの曲を演奏したかわからなくても、あなたの曲が演奏されるたびに規定のロイヤリティを得られるという合意に至ったことです。それは銀行に支払われるだけです。
私の推測では、同じようなことが起こるでしょう。多くの訴訟があり、何らかの規定の合意に至り、単にその収益の一定のパーセンテージを支払わなければならなくなるでしょう。ASCAPやBMIを調べてみてください。長い歴史があります。あなたがたにとっては非常に古く感じられるでしょうが、私はそのようになると思います。
はい、そちらの方。
（学生の質問）AIを支配している企業が少数あるように見えます。そして彼らは今後も支配し続けるでしょう。彼らは、反トラスト規制の焦点となっている大企業と重なっているようです。これら2つの傾向をどのように見ていますか? 規制当局がこれらの企業を分割すると思いますか? それはAIにどのような影響を与えるでしょうか?
私のキャリアの中で、Microsoftの分割を手伝い、それは実現しませんでした。そして、Googleの分割を阻止するために戦い、それも実現しませんでした。分割されない傾向が続いているように見えます。
企業がジョン・D・ロックフェラー・シニアのようになることを避ける限り...私はこれを研究しました。調べてみてください。反トラスト法がどのように生まれたかです。政府は行動を起こさないと思います。
これらの大企業が支配している理由は、誰がこれらのデータセンターを構築する資本を持っているかということです。私の友人のリードと、2週間後に来るムスタファ...リードはInflectionを基本的にMicrosoftに分割する決定について話しましたか? 基本的に、彼らは数百億ドルを調達できないと判断しました。
その数字は公開されていますか? 先ほど言及した数字は。
いいえ、公開されていません。リードに...多分我々は言えるかもしれません。
時間がなくなってきましたが、この方に最後の質問をしてもらいましょう。どうぞ。
（学生の質問）ありがとうございます。フロンティアモデルの開発や計算能力へのアクセスに参加していない国々はどうなるのでしょうか? 例えば、富める者はより富み、貧しい者は最善を尽くすしかないという状況になるのでしょうか?
彼らは...事実として、これは豊かな国のゲームです。莫大な資本、技術的に強力な人々、強力な政府の支援が必要です。他の多くの国々には様々な問題があります。彼らにはそのようなリソースがありません。彼らはパートナーを見つけなければならないでしょう。他の誰かと組まなければならないでしょう。そのようなことです。
最後に、前回お会いしたとき、AGIハウスのハッカソンにいましたね。若い人たちが多くの富を創造するのを手伝うのに多くの時間を費やしていることを知っています。そのことについて熱心に語っていました。このクラスでビジネスプラン、政策提案、研究提案を書いている人たちに、この段階のキャリアで前進するためのアドバイスはありますか?
私はビジネススクールでこれについての授業を教えています。私の授業に来るべきですね。
新しいアイデアのデモを構築できる速さに驚いています。私が参加したハッカソンの一つで、優勝チームへのコマンドは「2つの塔の間をドローンで飛ばせ」というものでした。仮想ドローンが与えられ、ドローンの操縦方法を理解し、「間」という言葉の意味を理解し、Pythonでコードを生成し、シミュレーター内でドローンを塔の間を飛ばしました。熟練したプログラマーが1〜2週間かけてやるようなことをです。
起業家として直面する問題の一つは、すべてがより速く起こるということです。今、これらの様々なツールを使ってプロトタイプを1日で作れないなら、それについて考える必要があります。なぜなら、それがあなたの競争相手がしていることだからです。
私の最大のアドバイスは、会社について考え始めるとき、ビジネスプランを書くのは良いことです。実際、コンピューターにビジネスプランを書かせるべきです。私がここを去った後にそのことについて話すべきでしょう。
しかし、これらのツールを使ってアイデアをできるだけ早くプロトタイプ化することが非常に重要だと思います。なぜなら、あなたが行ったことと全く同じことを、他の会社や大学、あなたが行ったことのない場所で誰かが行っていることを確信できるからです。
では、時間となりましたので、ありがとうございました。
（エリック・シュミットの講演終了）
実際、エリックの最後の点について少し触れたいと思います。なぜなら、最初の授業でLLMの使用について話さなかったと思うからです。このクラスの課題では、LLMの使用を奨励しますが、完全な開示が必要です。使用する場合は、友好的な叔父や同級生、他の誰かにアドバイスを求めた場合と同じように、そのことを記載してください。メモを含めるなどしてください。
私が考えていたのは、GPTとしてのAIについて少し話し、それがビジネスや影響の観点から何を意味するのかについて話したいということです。しかしその前に、エリックが提起したことについて、さらに質問したいことはありませんか? 彼の考えをいくつか伝えようと思います。そして、出てきたことについて話し合い、その後に進むことができます。はい、どうぞ。
（学生の質問）規制に関連して質問があります。目標が優位性を維持することであれば、同盟国と非同盟国の両方が従う動機を持つような正しいインセンティブをどのように作り出すのでしょうか? それが単なる障害や開発の妨げにならないようにするにはどうすればいいでしょうか?
企業同士が競争している中で、国々や企業の間でということですね?
はい、国々の間で、米国とEUの間で、単に従う者にとって一種の障害や妨げにならないようにするにはどうすればいいでしょうか?
非常に難しい問題です。メアリー・ネイルバフが書いた「Co-opetition（協調と競争）」という本があります。規制が企業を助け、産業を生き残らせることができる場所が確かにあるからです。したがって、規制は必ずしも物事を遅くするわけではありません。
標準は良い例です。あるいは、それを明確にすることで、企業が競争しやすくなる可能性があります。これらの企業の多くの幹部と話をしましたが、彼らが指揮官を望んでいる場所もあります。
時には、危険なことについて少し底辺への競争もあります。Googleの人々が言う他の理由の一つは、これらのLLMが誤用されたり危険になる可能性があると感じていたからです。しかし、彼らの手は少し強制されました。
他の大手企業の人々と話をしていたとき、彼らは「この機能をリリースするつもりはなかったが、今や競合他社がそれを行っているので、私たちもリリースしなければならない」と言っていました。ここで規制に関心があるかもしれません。
しかし、より明らかなのは、競争を妨げるために使用されるということです。多くの人々は、一部の大企業がオープンソースや物事をより広くオープンにすることに非常に反対している理由は、競合他社を遅らせたいからだと考えています。両方の動きがあるのです。
はい、そちらの方、簡単な質問をどうぞ。
（学生の質問）コーディングをまだ学ぶべきかどうかについてのフォローアップですが、「はい、英語を勉強するのと同じように」とおっしゃいました。しかし、大学教育を受けた高度なスキルを持つ仕事や課題はまだ安全だが、他の人間の判断を必要とするものはそうではないかもしれないと言われました。これは矛盾しているように思えます。
そうですね、もしかしたらもう少しその点について話せるかもしれません。AIシステムが人々が行っていることを単に置き換えるのか、それとも補完するのかを考えるのは興味深いことです。
現在のコーディングでは、非常に優秀なコーダーにとってはあまり役立たないようです。中程度に優秀なコーダーにとっては非常に役立ちます。しかし、コーディングについて全く知識がない場合は役立ちません。それは一種の逆Uの形になっています。
なぜそうなるかわかりますよね。生成されたコードが現在しばしばバグを含んでいたり、正確ではない場合、それを解釈し理解することさえできなければ、効果的に使用することはできません。現時点では、非常に優秀なコーダーにとって、生成されるコードはまだそのレベルに達していないようです。
そのため、Uの形になりますが、これは、コーディングを全く知らない場合、有用になるためにはある程度の基本的な理解が必要だということを意味します。私は、現在多くのアプリケーションでそうだと思います。最大限に活用するためには、ある程度の基本的な理解が必要です。
これが常にそうなのか、それとも興味深い開かれた質問なのかは興味深いところです。前回の授業で、レベル0から5までの自動運転車のパラダイムについて非常に簡単に示したスライドを出しました。私が整理しようとしているのは、そのパラダイムを経済のすべてのタスクに適用したらどうなるかということです。
自動運転車では、レベル5にはまだ本当に達していませんが、Waymoの車に乗ったことがある人はどれくらいいますか? その1つは非常に良さそうですね。しかし、セバスチャン・スラン（私は彼と一緒に乗りました）は、現時点では信じられないほど高価だと言っています。彼はもうそこにいないので知りませんが、おそらく1回の走行で50ドルから100ドルの損失を出しているのではないかと言っています。それを運営するコストがすべて...現時点では実用的ではありません。おそらく、コストカーブを下げたり、より安くなったりするでしょう。
しかし、人間がまだ関与しているレベル2、3、さらには4の自動運転車がたくさんあります。先ほど話したコーディングのような他のタスクでも同じようなことが見られます。
一方で、チェスについては、前のスライドで話しました。時々「アドバンスト・チェス」や「フリースタイル・チェス」と呼ばれるものについてです。ガリー・カスパロフがディープ・ブルーに負けた1998年か97年の後、人間と機械が一緒に働くことができる一連の競技を始めました。
私が2012年か2013年にTEDトークをしたとき、その時点では、人間が機械と一緒に働くことで、ディープ・ブルーや他のチェスコンピューターに勝つことができるということが事実でした。つまり、最高のチェスプレイヤーはこれらの組み合わせだったのです。
しかし、それはもはや真実ではありません。アルファ・ゼロや他のそのようなプログラムは、人間が貢献しても何も得られません。それはただの邪魔になるでしょう。
そのため、これは20年ほどの間に、機械が何もできない状態から、一緒に働く期間を経て、完全に自律的な状態に移行しました。
経済の中で、どのような種類のタスクがその中間のゾーンにあるのか、その基準は何なのか、誰かが研究プロジェクトに取り組みたい場合や、皆さんが今考えがあれば興味深いと思います。
その中間のゾーンは、私たち人間にとってある意味で良いゾーンです。機械が私たちを助けてくれますが、人間はまだ価値を生み出すのに不可欠です。これは、生産性が高まり、より多くの富とパフォーマンスが得られる可能性があるゾーンです。
また、繁栄が共有される可能性も高くなります。なぜなら、労働は本質的に分散しているからです。一方で、エリックが言っていたように、技術と資本は非常に集中する可能性があります。
この点について何か考えはありますか?
（学生のコメント）彼は10年のチップ製造の優位性があると言っていました。私はそれに驚きました。
そうですね、私も驚きました。
（学生の続き）労働経済学者として興味深いのは、これらすべてのチップ製造を示すことが、ブルーカラーの仕事に何らかの復活をもたらすのではないかという文献やニュースを見てきたことです。知的なロボットモデルや人間の労働についてどう思われますか?
それほど大きな復活にはならないと思います。チップの製造工場を訪れたことがある人はいますか? 数人いますね。そこにはどれくらいの労働者がいましたか? わかりませんか?
そうですね、答えは0です。人間を入れさせない理由は、私たち人間があまりにも不器用で汚いからです。私たちにはそれができません。すべてがロボット化され、内部で密閉されています。
物を運んだりする仕事はありますが、ロボットが倒れたり何かがうまくいかなかりたりした場合、おそらく見たことがあるような宇宙服のようなものを着て中に入り、何かを調整して、また出て行き、何も壊さなかったことを願うことになります。
基本的に無人化されています。より洗練された労働が必要な部分はありますが、青いカラーの研究ではありません。実際、AppleがMacBookの生産をテキサスに移管した理由の一つは、テキサスの労働力が安いからではありません。実際には、それほど多くの労働力を必要としなくなったからです。アメリカの製造業は生産量の面では急増していますが、雇用の面ではあまり成長していません。
では、こちらの方、どうぞ。
（学生の質問）先ほど、AIエージェントやテキストからアクションへの変換について言及されました。これは今のコメントに関連していますが、来年これらに関して変曲点が来ると思いますか?
いいえ、いいえ、エリックが言ったことですが、私も同様のことを聞いています。実際、彼はそれらの3つのトレンドをまとめて説明する良い方法を見つけました。私はそれらすべてについて別々に聞いていましたが、それらをすべてまとめて考えるのは良いアイデアだと思います。
今日の早い時間に、アンドリューと話をしていましたが、彼は特にエージェントについて2024年の波になるだろうと主張しています。アンドリューは次のように説明しました。皆さんご存じの通り、LLMにエッセイを書かせるような場合、一度に一語ずつ書いていきます。一回のパスで書き上げ、かなり良いものになります。
しかし、それを人間がやるように、つまりバックスペースを使わずに、アウトラインも作らずに、ただ一気に書き上げなければならないと想像してみてください。エージェントは今、「まず、アウトラインを作成しましょう。エッセイを書く最初のステップです」と言うでしょう。そして、「各段落を埋めていきましょう」「流れが正しいか確認しましょう」「声のトーンは読者に適切ですか?」などと言います。
このように繰り返すことで、はるかに良いエッセイや他のどんなタスクでも作成できます。これは本当の革命です。このようにすれば、多くのことをはるかに良く行うことができます。
コンテキストウィンドウに関することも非常に重要です。エリック・ホーヴィッツと先週GSBでパネルディスカッションを行いました。その中で彼は素晴らしい分類法を示しました。人々がファインチューニングについて尋ねたときだと思います。
彼は、モデルをよりカスタマイズする方法は実際には3つあると言いました。1つはファインチューニング、つまりさらに訓練することです。2つ目はより大きなコンテキストウィンドウを使用すること、そして3つ目はRAG（検索拡張生成）や外部データにアクセスする同様の技術を使用することです。
これらのコンテキストウィンドウは非常に効果的であるように見えます。エリックが言っていたように、以前は難しいと思われていましたが、何らかの理由で私たちははるかに大きなものを作ることができるようになりました。
今では、本全体や本のセットを読み込むことができます。あらゆる種類の情報を読み込むことができ、それによってエリックが言っていたように、はるかに最新の情報を含むすべてのコンテキストを得ることができます。これは大きな革命です。以前は持っていなかった多くの能力を開くからです。
フォローアップの質問はありますか?
（学生の質問）はい、良い質問です。確かに、より多くの資本が投入されていますが、それは結局のところ、なぜこれらの資本がここに投入され、他の場所ではないのかという質問を引き起こします。
歴史の流れを見ると、時には滑らかに見えますが、より詳しく見ると多くの飛躍があります。大きな発明と小さな発明があり、アンドレイ・カルパシーは、物理学で遊んでいたときに、物理学で本当に進歩するには、つまりトップの物理学者になるには、信じられないほど賢く、たくさん勉強し、運が良ければ小さな増分的な貢献ができるかもしれないと言っていました。
しかし、彼は現在のAI機械学習の分野では、低く垂れ下がった果実がたくさんあるように見えると言っています。いくつかの大きな突破口があり、その空間を使い果たす代わりに、木から食べ物を全て摘み取るのではなく、組み合わせ論のようなものです。
第二機械時代について、彼らは構成要素について話しています。2つの構成要素を組み合わせると、より多くのものを作ることができます。レゴブロックのようなものです。現在、私たちは多くの機会がある時代にいるように見えます。人々はそれを認識し、1つの発見が別の発見を生み、それがさらに別の機会を生むという状況です。
そのため、投資を引き付け、より多くの人々が関与するようになります。経済学では、より多くのリソースが投入されると収穫逓減になることがあります。例えば、農業や鉱業などの分野では収穫逓減が起こります。
一方で、収穫逓増が起こる場合もあります。より多くのエンジニアがシリコンバレーに来ることで、既存のエンジニアの価値が下がるのではなく、むしろ高まるのです。
私たちは今、そのような時代にいるように見えます。追加の投資、訓練のための追加のドル、そのすべてがそれらをより強力にするというフライホイールが回っています。
これがどれくらい続くかはわかりません。しかし、本当に肥沃な期間に入る技術があり、正のフィードバックが最終的に助けになるという状況にあるように見えます。現在、私たちはそのような状況にあるようです。
このように、フィールドに参入し、貢献している人々は、他の分野よりもはるかに速いペースで、しばしばかなり重要な貢献をしています。皆さんは今、正しいことをしているのだと思います。
では、あと2、3の質問を受け付けて、それから...はい、どうぞ。
（学生の質問）全ての人が部屋に座ってAIについてこのような議論や討論をすることはできません。非技術系のステークホルダー、例えば何らかの判断を下さなければならない政策立案者や一般の人々に対するAIリテラシーについて、どのようにお考えですか? 技術的な基礎を説明することと、抽象的な影響について議論することのバランスをどのように取るべきだと思いますか?
そうですね、難しい質問です。最近、議会やその他の場所で、この話題にもっと注目が集まるようになりました。以前はあまり興味を持たれていませんでしたが、今では誰もがもう少し理解しようとしています。
人々が貢献できる余地はたくさんあると思います。技術面で貢献できますが、私の考えでは、現時点ではビジネスと経済の側面の方が大きなボトルネックになっているかもしれません。
技術面で大きな貢献をしたとしても、それを政策変更に変換するにはまだギャップがあります。政治学や政治家の方であれば、民主主義や誤情報、権力や集中に対する影響がどのようなものかを理解することが重要です。これらはまだよく理解されていません。
コンピューターサイエンティストが必ずしもそれを理解しようとする適任者ではないかもしれませんが、何が可能かを知るのに十分な技術について理解し、そしてヘンリー・キッシンジャーがエリック・シュミットと彼の本で行っていたように、動態がどのようなものかを考えることが重要です。
経済学者であれば、労働市場への影響、集中への影響、不平等への影響、雇用への影響、生産性への影響、そして何が生産性を推進するのかを考えることが重要です。これらは現在、非常に成熟した分野です。
技術が何をできるかについて十分に理解し、そしてその影響を考えることができる様々な分野があります。それが最も大きな見返りがある場所だと思います。
もう少し具体的な例を挙げましょう。これは先週話そうと思っていたことです。電気も汎用技術でした。汎用技術には、それらがELのPであるという特徴がありますが、汎用技術の本当の力の1つは、それらが補完的なイノベーションを引き起こすことです。
電気を例に取ると、電球、コンピューター、電動モーターが生まれました。電動モーターからは圧縮機、冷蔵庫、エアコンが生まれました。このように、1つのイノベーションから一連の追加のイノベーションが生まれるのです。
ほとんどの価値は、これらの補完的なイノベーションから生まれます。人々が十分に理解していないのは、最も重要な補完的イノベーションの中には、組織的および人的資本の補完性があるということです。
電気が初めて工場に導入されたとき、ポール・デイビッドがスタンフォードでその工場で何が起こったかを研究しました。驚くべきことに、あまり変化はありませんでした。電化を始めた工場は、以前の蒸気機関で動いていた工場よりも著しく生産性が高くなることはありませんでした。
これは奇妙に思えるかもしれません。これは非常に重要な技術のように見えるからです。明らかにそうではありません。電気以前の工場は蒸気機関で動いていました。通常、真ん中に大きな蒸気機関があり、クランクシャフトとプーリーがすべての機器に動力を供給していました。
できるだけ蒸気機関の近くに配置しようとしましたが、クランクシャフトが長すぎると捻れて壊れてしまうからです。電気が導入されたとき、工場から工場へと調査を行いました。彼らは蒸気機関を取り出し、できる限り大きな電動モーターを手に入れ、蒸気機関があった場所に置いて動かしました。しかし、生産にはあまり変化がありませんでした。
これはあまり大きな変化ではないことがわかります。そして、彼らは全く新しい工場を一から新しい場所に建設し始めました。それらはどのようなものだったでしょうか? 古いものとまったく同じでした。エンジニアが同じ設計図を取り、蒸気機関があった場所に大きなXを付け、「いや、ここに電動モーターを置け」と言って、新しい工場を建設しました。再び、生産性の大きな向上はありませんでした。
生産性に根本的な違いが見られるまでに約30年かかりました。中央の電源、つまり真ん中に大きな1つを持つ代わりに、分散型の電力を持つようになりました。電動モーターは、皆さんが知っているように、大きくも、中くらいにも、非常に小さくもできます。それらをさまざまな方法で接続することができます。
それぞれの機器に別々のモーターを持つようになりました。1つの大きなものの代わりに。これは「ユニットドライブ」と呼ばれ、「グループドライブ」の代わりでした。私はハーバード・ビジネススクールのベーカー図書館で1914年頃の本を読みました。そこにはユニットドライブとグループドライブについての大きな議論がありました。
彼らがそうし始めたとき、工場の新しいレイアウトができました。通常は1階建てで、機械の配置は必要な電力量ではなく、他の何か、つまり材料の流れに基づいていました。そして、これらの組立ラインシステムが始まり、生産性が大幅に向上しました。いくつかのケースでは生産性が2倍や3倍になりました。
ここから得られる教訓は、電気が無駄や誇大宣伝だったわけではないということです。電気は根本的に価値のある技術でしたが、生産のやり方を根本的に考え直すという組織的イノベーション、つまりプロセスのイノベーションがあって初めて大きな見返りが得られたのです。
このような話はたくさんあります。時間がないので他の例は話しませんが、私の本や論文の中にいくつかあります。蒸気機関やその他の例を見ると、人々がこの技術を使って以前とは全く違うことができることに気づくまでに、何十年もの世代のラグがあったことがわかります。
AIも同じようなところがあると思います。多くの組織的イノベーション、新しいビジネスモデル、以前は考えもしなかった経済の組織化の新しい方法があるでしょう。現在、人々はほとんど単に既存のものに当てはめているだけです。
補完的なスキルの変化について、全く別の一連の話ができます。それらがすべて何なのかはわかりません。創造的に考える必要があります。しかし、そこにギャップがあるのです。
初期のコンピューターの場合、文字通り組織資本と人的資本への投資は、ハードウェアとソフトウェアへの投資の10倍でした。投資の規模を見ると、それくらい大きな差があります。
とは言え、この点については少し考えを調整する必要があるかもしれません。なぜなら、ChatGPTやその他のツールは非常に急速に採用され、より迅速に物事を変えることができたからです。
その理由の一つは、同じレベルのPythonを学ぶ必要がないからです。多くのことを英語で、あるいは...行うことができ、既存の組織の上に置くだけで多くの価値を得ることができます。
そのため、一部はより速く起こっています。あなたが読んだかもしれない論文の中で、15%、20%、30%の生産性の向上が比較的迅速に起こっています。しかし、私の推測では、人々がこれらの補完的イノベーションを理解したときに、さらに大きな向上が見られるでしょう。
これは、単に技術的なスキルだけでなく、他のすべてのことを理解することが重要だという質問への長い答えです。物事を根本的に考え直す方法はたくさんあります。
ビジネススクールや経済学にいる人たちにとっては、この素晴らしい技術のセットが与えられた今、自分の分野を根本的に考え直す大きな機会があります。
はい、質問がありますか?
（学生の質問）変革のスピードについて、あなたの方がより慎重な意見を表明しているように見えます。私の理解は正しいでしょうか?
そうですね、2つの点を区別したいと思います。技術面については、彼や他の人々の意見を尊重します。私たちはこれから何人かの人々から話を聞くことになりますが、彼と同じくらい、あるいはさらに楽観的な人もいます。一方で、より悲観的な人もいます。
しかし、技術だけでは生産性を生み出すには十分ではありません。素晴らしい技術があっても、様々な理由でそれを効果的に使用する方法を見つけられない可能性があります。また、規制的な問題もあるかもしれません。
私のコンピューターサイエンスの同僚の何人かは、医療画像を読み取るためのより良い放射線科システムを開発しました。しかし、それらは採用されませんでした。文化的な理由や、人々がそれを望まなかったからです。安全上の理由もありました。
AIがどのタスクを最も助けることができるか、どの職業が最も影響を受けるかを分析したとき、航空機のパイロットがトップに近いことに驚きました。しかし、多くの人々は、パイロットが一緒に飛行機に乗っていないことに快適さを感じないでしょう。つまり、人間がそこにいることを望むのです。
したがって、それを大幅に遅らせる可能性のある様々な要因があり、私たちはそれを意識する必要があります。もしそれらのボトルネックに対処できれば、おそらく技術だけに取り組むよりも生産性に大きな影響を与えるでしょう。
はい、質問がありますか?
（学生の質問）エリックは大学のデータセンターについて興味深いコメントをしていました。これは、なぜ人々がその質問をしているのかという大きな問題に近づいていると思います。つまり、大学のエコシステムの役割は何なのでしょうか? 明らかに、ここにいるすべてのコンピューターサイエンスの教授たちは...
そうですね、もっと資金があればいいと思います。連邦政府には「National AI Resource」というものがありますが、それは数百万ドル、数千万ドル程度の規模で、数十億ドルや数百億ドルの規模ではありません。
エリックは授業の前に、彼らがはるかに大規模なものに取り組んでいると私に言いました。あるいは、彼がはるかに大規模なものを推進していると言いました。それが実現するかどうかはわかりません。
これは、これらの非常に大規模なモデルをトレーニングするためのものです。ジェフ・ヒントンと非常に興味深い会話をしたことがあります。ご存じの通り、ジェフ・ヒントンはディープラーニングの創始者の一人です。彼の仕事に最も役立つハードウェアの種類について尋ねたとき、彼は座っていたラップトップを軽くたたいて...
これは、大学が競争力を持つ可能性のある全く別の研究分野があることを思い出させてくれました。1000億ドルのモデルをトレーニングすることではなく、トランスフォーマーの次に来る新しいアルゴリズムのようなものを革新することです。
人々が貢献できる方法はたくさんあります。おそらく、少し分業があるのかもしれません。私はGPUのためのより大きな予算を求める同僚たちを全面的に支持し、サポートしていますが、それが常に学者が最大の貢献をできる場所とは限りません。
その一部は、アイデアや物事を考える新しい方法、新しいアプローチから来ています。そしてそれが、私たちが優位性を持つ可能性が高い分野です。
先週、サンデル・マリナンと夕食を共にしました。彼はシカゴからMITに移ったばかりです。彼は研究者で、大学の比較優位性について話していました。彼は、忍耐力が一つだと主張しました。
大学には、非常に長期的なプロジェクトに取り組んでいる人々がいます。核融合に取り組んでいる人々がいます。彼らは長い間核融合に取り組んできました。今年や10年後、おそらく20年後でさえ、核融合プラントを建設することで多くのお金を得られるからではありません。核融合がいつ実現するかわかりませんが、人々はそのようなタイムラインでも取り組む意欲があるのです。
企業がそのようなタイムラインを許容することは難しいでしょう。したがって、大学が行える可能性のある比較優位性や分業があるのです。
あと数分しかありませんが、これは面白いですね。もう1、2つ質問を受け付けて、プロジェクトについて少し話したいと思います。はい、どうぞ。
（学生の質問）議論された新たな能力について疑問があります。エリックはアーキテクチャの違いやより良いモデルの設計に傾いているように見えました。しかし、前回の授業ではスケーリング則についてより多く話しました。あなたはどのように...
そうですね、彼は3つすべてについて言及しました。スケーリング則には3つの部分があったのを覚えていますか? より多くの計算、より多くのデータ、そしてアルゴリズムの改善（より多くのパラメーターを含む）です。エリックが言っていたのは、この最後のもの、つまり新しいアーキテクチャを軽視してはいけないということだと思います。
3つすべてが重要だと思います。しかし、その質問にはもう一つの部分があったように思います。AGIタイプのシステムにどれだけ近づいているかについてですか?
エリックはAGIタイプのシステムにそれほど近づいているとは考えていないようです。しかし、それは明確に定義されたものではありません。実際、その質問を彼に聞きたかったのですが、時間切れになってしまいました。
彼の説明を聞くのは良かったでしょう。彼と話しているとき、それはそれほど明確に定義されたものではないと感じました。ある意味では、AIはすでにここにあります。ピーター・ノービグが「AGIはすでにここにある」という記事を書きました。ブレイズ・アガーラと一緒に書いた面白い小さな記事です。読書パケットに入っていないなら、入れるべきですね。
20年前には人々がAGIだと言っていたことの多くを、LLMは既にある程度行っています。完璧ではありませんが、より一般的な方法で問題を解決しています。
一方で、明らかに人間よりもはるかに劣っている部分もたくさんあります。皮肉なことに、物理的なタスクは現在、人間が比較優位性を持っている分野の一つです。
モラベックのパラドックスをご存じかもしれません。ハンス・モラベックが指摘したのは、3歳や4歳の子供ができるようなこと、例えばシャツのボタンを掛けたり階段を上ったりすることは、機械にとっては非常に難しいということです。
一方で、多くのPhD取得者が苦労するような凸最適化問題を解くことは、機械が得意とすることが多いです。
したがって、人間にとって簡単で機械にとって難しいこと、機械にとって簡単で人間にとって難しいことは、必ずしも同じスケールではありません。
来週は、ミラ・ムラティが来ます。彼女はOpenAIの最高技術責任者で、一時はOpenAIのCEOでもありました。質問を用意して来てください。では、またお会いしましょう。