アンドレイ・カルパシー：テスラAI、自動運転、オプティマス、エイリアン、AGI｜Lex Fridman Podcast #333

https://www.youtube.com/watch?v=cdiD-9MMpb0

物理学にはエクスプロイトがある可能性があり、それを見つけようとすべきだと思います。何らかのクレイジーな量子力学システムを配置して、バッファオーバーフローを引き起こしたり、浮動小数点の丸め誤差を引き起こしたりします。合成知能は、開発の次の段階のようなもので、それがどこにつながるのかはわかりません。ある時点で、宇宙はある種のパズルであると私は考えています。これらの合成AISはそのパズルを明らかにして解決します。以下は、アンドレイ・カルパシーとの会話です。以前はテスラのAIディレクターであり、その前はオープンAIとスタンフォードにいました。彼は人工知能の歴史の中で最も偉大な科学者、エンジニア、教育者の1人です。これはレックス・フリードマンのポッドキャストです。スポンサーをチェックしてください。さて、親愛なる友人の皆さん、アンドレイ・カルパシーです。ニューラルネットワークとは何か、なぜ驚くほど学習がうまくいっているように見えるのか。ニューラルネットワークとは何か。脳の数学的抽象化です。それが元々どのように開発されたのか、結局のところ、それは数式であり、かなり単純な数式です。突き詰めていくと、これは基本的に行列の掛け算のシーケンスで、数学的にはドット積です。非線形性もいくつか含まれています。つまり、非常に単純な数式で、ノブがたくさんあります。ノブがたくさんあります。これらのノブは、基本的に脳のシナプスとゆるやかに関連しており、トレーニング可能で、変更可能です。つまり、ノブの設定を見つけて、ニューラル ナットに画像を分類するなど、必要な操作を実行させる必要があるということです。そのため、あまり謎はありません。脳とその仕組みに関して、あまり意味を持たせたくないと思うかもしれません。これは実際にはノブが付いた複雑な数式であり、ノブが望ましい操作を行うには適切な設定が必要です。そうです。しかし、詩はスペースのある文字の集まりにすぎませんが、私たちに特定の感情を抱かせることができます。同様に、脳内であろうとなかろうと、多数のノブが集まると、コンピューターは、そのパワーで私たちを驚かせているようです。それはそれでいいと思います。基本的に、私はかなり控えめに言っても、これらのニューロンが十分に大きく、十分に複雑な問題でトレーニングされると、非常に驚​​くべき行動が確実に得られるからです。たとえば、インターネットの膨大なデータセットで次の単語を予測すると、これらのニューロンは非常に驚くべき魔法のような特性を持ちます。非常に単純な数学的形式からどれだけ多くのことが得られるかは興味深いと思います。今、脳は次の単語を予測しているのか、それとももっと興味深いことをしているのか、間違いなく何らかの生成モデルです。それはGPTのようなもので、あなたが促したものです。ええ、あなたは私にプロンプ​​トを与え、私は生成的な方法でそれに応答しているようなもので、おそらく少しあなた自身で、頭の中で自分の記憶から追加のプロンプトを追加しているような感じで、ある種の宣言的な記憶構造などを参照しているように感じます。そして、ええ、あなたはそれをプロンプトと組み合わせて、あなたが言ったことのどれだけが以前にあなたが言ったことがあるかなどのいくつかのメッセージを伝えています。基本的には何もありません。そうです、いいえ、しかし、実際にあなたが人生で言ったすべての言葉を見て、検索すると、おそらく以前に同じ単語を同じ順序でたくさん言ったことがあるでしょう。ええ、それはあり得ることです。つまり、一般的なフレーズなどを使用していますが、最終的にはかなりユニークな文章にリミックスしていますが、あなたの言うとおり、間違いなく大量のリミックスがあります。それは、マグヌス・カールセンが言ったように、ええ、私は評価されています2900 何でも結構です。あなたはここでニューラル ネットに十分な評価を与えていないと思います。なぜニューラル ネットはこのような創発的な行動を起こさないように見えるのでしょうか。この創発的な行動についてのあなたの直観は何ですか。つまり、私はニューラル ネットを過小評価しているという点が興味深いのですが、同時に、数学的に非常に単純なのに、ニューラル ネットから非常に多くの創発的な魔法のような行動を引き出せるというのは、ある意味信じられないような要素もあると感じています。これらは、ある意味、並置された 2 つの驚くべき発言のようで、基本的に、私たちはニューラル ネットの最適化をかなり得意としており、十分に難しい問題を与えると、非常に興味深い最適化ソリューションを学習せざるを得なくなります。これらのソリューションは基本的に、非常に興味深い没入特性を持っています。ノブには知恵と知識があります。では、ノブにあるこの表現とは何でしょうか。直感的に理解できますか。多数のノブには、データに関する深い知恵を捉えた表現を保持できます。見てみると、たくさんのノブがあります。ノブがたくさんあります。具体的に言うと、今とても興奮しているニューラルネットの1つはGPTです。これは基本的に次の単語を予測するネットワークなので、インターネットから単語のシーケンスを消費して、次の単語を予測しようとします。十分な大きさのデータセットでこれらをトレーニングすると、基本的にこれらのニューラル量を任意の方法で促すことができます。問題を解くように依頼すると、ニューラルネットワークはそれを実行できます。数学の問題を解こうとしているように見せることができます。ニューラルネットワークは、インターネットで見たものに基づいて、解決策だと思うことを続けます。多くの場合、これらの解決策は非常に一貫しているように見えます。そうですね。脳の側面についてはまだ考えていますか。ニューラルネットワークは脳の抽象化、または数学的抽象化なので、生物学的ニューラルネットワークから知恵を引き出しているのでしょうか。あるいはもっと大きな質問ですが、生物学と生物学的計算の大ファンであるあなたは、生物学がコンピューターにはまだそこまで至っていないのに、あなたにとってどんな素晴らしいことをしているのか、という質問です。私は間違いなく賛成です。脳との類似性については、この分野で見られる可能性よりもずっと躊躇しています。ニューラルネットワークの始まりは、すべて脳からのインスピレーションから生まれたものだと私は感じていますが、結局のところ、トレーニング後に得られる成果物は、脳を生み出した最適化プロセスとはまったく異なる最適化プロセスによって得られるものであり、そのため、非常に複雑なエイリアンの成果物のように考えています。それは何か違うものです。申し訳ありませんが、私たちがトレーニングしているニューラル性は複雑です。エイリアンの成果物です。脳との類似性は考えていません。なぜなら、脳を生み出した最適化プロセスは、それは脳とは非常に異なっているので、マルチエージェントの自己プレイのような設定はなく、進化は基本的に大量のデータの圧縮目標に相当する最適化でした。人工ニューラルネットワークは圧縮を行っていますが、生物学的ニューラルネットワークは生き残るためのものではなく、実際には何もしていません。それらは、非常に長い間実行されてきたマルチエージェントの自己配置システムのエージェントです。進化は、脳に予測モデルを持つことが非常に有用であることを発見しました。したがって、私たちの脳は、その一部としてそのようなものを利用していると思いますが、ガジェットやギズモ、価値関数、古代の核など、生き残り、再生し、その他すべてを試みる多くのものがあり、胚発生を通じてすべてが単一の細胞から構築されます。つまり、コードはDNAの中にあり、それが全体の生物のように構築されます。はい、それはかなりうまく機能します。不可能であるはずはありません。したがって、何らかの学習が進行中です。構築プロセスには何らかの計算が介在しています。地球上の生命の歴史全体を見渡したとしたら、最も興味深い発明はどこだと思いますか？生命自体の起源ですか？真核生物に飛び移っただけですか？哺乳類ですか？人間自体ですか？ホモサピエンスですか？知性または高度に複雑な知性の起源ですか？それともすべて同じ種類のプロセスの継続ですか？確かに、これは非常に注目すべき話だと思います。最近になってようやく少しだけ知りましたが、地球の形成とそのすべての条件、そしてその全体から始めなければなりません。太陽系と、木星と月と居住可能領域とすべてがどのように配置されているか、そして物質を循環させている活発な地球があり、そして生物の起源とすべてが始まります。これはすべて非常に注目すべき物語のようです。その中で最も興味深いと思うユニークな部分を1つだけ選ぶことはできないと思います。人工知能の研究者である私にとっては、おそらく最後の部分だと思います。私たちには、テクノロジー社会を構築していない動物がたくさんいますが、私たちはそうしています。そして、それは非常に急速に起こったようです。ごく最近起こったようです。そして、非常に興味深いことがそこで起こりました。完全には理解していませんが、他のことはほぼ理解しています。直感的にはそうだと思いますが、その部分とそれがどれだけ速かったのかは正確には理解していません。どちらの説明も興味深いでしょう。1つは、これは同じ種類のプロセスの継続にすぎないということです。人間には特別なことは何もないということです。深く理解することは非常に興味深いことです。私たちが自分自身を特別だと思っていることは非常に興味深いことです。しかし、すべてが明らかでした。コードには、あなたがより大きくなればなるほど、より大きくなることがすでに書かれていました。知能が出現し、そしてもう一つの説明は、何か本当に特別なことが起こったというものです。それは、宇宙の旅のようなクレイジーで珍しい出来事でしょうか。火の発明や、リチャード・ランガムが言うように、ベータオスがアルファオスを殺す賢い方法を考え出して協力することなどでしょうか。つまり、協力を最適化することが、マルチエージェントのマルチエージェントの側面であり、リソースが制限され、協力して生き残ろうとすることで複雑な知能が生み出されたのです。しかし、それは進化の過程の自然な結果のように思えます。人間が人間レベルの知能を持っていると言うような、珍しい出来事のように起こった魔法のようなことかもしれません。宇宙では本当に珍しいことです。そうそう、珍しいと言うのはためらわれますが、確かに、多くの探索があり、その間に特定の飛躍、まばらな飛躍がある、断続的平衡のようなもののように思えます。もちろん、生命の起源は、DNAの性別、真核生物の1つでしょう。真核生物のシステム、つまり共生イベントや古細菌、8つの小さなバクテリア、すべて、そしてもちろん意識の出現など、確かに大量の進歩が遂げられた散発的なイベントがあるようですが、1つを選ぶのは難しいですね。人間が特別だとは思わないなら、知的なエイリアン文明はどれくらいあると思いますか？そして、私たちと異なる知性や類似した知性はありますか？最近この質問にかなり夢中になっています。基本的に私にとってのパラドックスで、考えてみると、その理由がわかります。実は、生命の起源にとても興味があるのですが、宇宙に技術的な社会が存在することがいかに一般的であるかを理解しようとしています。研究すればするほど、かなり多くの社会が存在するはずだ、なぜ私たちは彼らから何も聞かないのだろうと思うようになりました。あなたの意見に同意します。地球上で私たちが行ったことがなぜこんなに難しいのか、私には理解できないような気がします。特に詳細に踏み込むと、生命の起源は非常にまれな魔法のような出来事だと思っていましたが、その後、たとえばマクリーンの「生命の重要な問い、上昇する生命」などの本を読むと、彼は本当に深く入り込み、これがそれほどまれな基本的な化学ではないことを本当に信じさせてくれます。活動的な地球があり、アルカリ性の噴出口があり、多くのアルカリ性の水が混ざり合っています。それが献身であり、陽子勾配があり、これらのアルカリ性の噴出口の小さな多孔質ポケットが化学物質を集中させています。基本的に、彼がこれらの小さな部分をすべて調べていくと、理解し始めます。実際、これはそれほどクレイジーなことではありません。他のシステムでもこのようなことが起きる可能性があるのです。彼は地質学から原始的な生命まで取り上げ、それがかなりありそうなことのように感じさせてくれます。また、生命の起源は、地球の形成後、実際にはかなり早く、私の記憶が正しければ、数億年かそれくらいで、基本的に生命が実際に出現する可能性があるときから、制約でも制限変数でもなく、生命は実際にはかなりありふれたものであるべきだと感じさせてくれます。そして、どこで減少が見られるかは、考えるのが非常に興味深いです。私は現在、基本的に大きな減少はないと考えています。したがって、生命はかなり多く存在するはずです。基本的に、私がたどり着いたのは、誰も発見されていないという事実などを受け入れる唯一の方法は、私たちには彼らを見ることも観察することもできないということです。ニック・レーンと私が話した多くの生物学者は、細菌から進化した細菌への飛躍が、もっと複雑な生物に移行するのが一番難しいです。真核生物のグリフォシスです。はい、わかりません。生物学の複雑さについては私よりもずっと詳しいのですが、単細胞生物がいくつあるのか、時間はどれくらいあるのかを考えると、それはおかしいと思います。10億年かかっても、そんなに難しいことではありません。本当にそんなに長い時間でもありません。限られたリソースしかないバクテリアが戦っているだけです。もっと複雑なものを発明できるはずです。Hello Worldプログラムから関数を発明する方法など、私にはわかりません。わかりません。はい、私も同感です。生命の起源については何も見えないような気がします。それが私の考えです。直感的に、それが一番難しいことですが、それが一番難しいことでなければ、それはとても速く起こるので、どこにでもあるはずです。ええ、私たちはそれを見るにはあまりにも愚かなだけかもしれません。つまり、この生命を見るための本当に良いメカニズムを持っていないということです。つまり、どのように、ええと、ええと、私は専門家ではありませんが、前置きとして、エイリアンの知性とコミュニケーションの専門家に会いたいと言いました。私は、これらの知性や地球を見つける私たちの能力に非常に疑問を持っています。たとえば、電波はひどいもので、基本的にRの2乗で1/10になります。つまり、現在の電波は、今日のデバイスで測定できないほどで、10分の1光年ほどしか離れていないと読んだことを覚えています。つまり、基本的に小さな距離でさえありません。なぜなら、これを長距離で受信するには、どこかに向けられた大規模な電力のターゲット送信が必要だからです。だから、私たちの測定能力は、ええと、素晴らしいものではないと思います。おそらく他の文明も存在するでしょう。そして大きな疑問は、なぜ彼らは二項式探査機を作らないのか、なぜ銀河全体を横断する恒星間旅行をしないのかということです。私の現在の答えは、おそらく恒星間旅行は非常に難しいということです。ええと、星間媒体があるので、光速に近い速度で移動したい場合、途中で弾丸に遭遇することになります。なぜなら、小さな水素原子や小さな塵の粒子でさえ、基本的にその速度では膨大な運動エネルギーを持っているからです。したがって、基本的に何らかのシールドが必要であり、宇宙放射線がすべて必要です。ええと、外の世界は残酷で、本当に困難です。したがって、私の考えでは、おそらく恒星間旅行は非常に難しいのです。ええと、私たちがそれを実現するのに10億年もかからないように感じます。おそらく非常にゆっくりと移動する必要があるだけかもしれません。たとえば、宇宙を光速に近い速度で移動するのではなく、非常にゆっくりと移動する必要がある可能性があります。したがって、生命を測定する能力と、生命を測定できる能力に疑問を感じています。銀河系や銀河系全体に浸透し、それが私が現在確実に回避できる唯一の方法です。ええ、何兆もの知的なエイリアン文明がゆっくりと宇宙を旅してお互いに会い、そのうちのいくつかは出会い、いくつかは戦争をし、いくつかは協力し、あるいはすべて独立していると考えると、ちょっと衝撃的です。すべては小さなポケットのようなものです。統計的によくわかりませんが、何兆もあるのであれば、確かにいくつかのポケットは互いに近づくのに十分な距離にあり、いくつかはお互いを見るのに十分な距離にあります。そして、一度見れば、それは間違いなく複雑な生命です。例えば、何かを見たら、私たちはおそらくそれが一体何なのかを突き止めようと激しく攻撃的に動機づけられ、彼らに立ち向かおうとするでしょう。世代レベルで彼らに立ち向かおうとしたり、彼らから身を守ろうとするあなたの最初の本能は何ですか？または、米国大統領および科学者としてのあなたの本能は何ですか？この質問であなたがどちらの帽子を好むかわかりません。ええ、この質問は本当に難しいと思います。ええと、例えば、私たちの場合、ええと、地球には多くの原始的な生命体がいます。ええと、私たちの隣にはあらゆる種類のアリやその他のものがいて、私たちは彼らと空間を共有しています。私たちは彼らに影響を与えることをためらっています。そして、私たちはデフォルトで彼らを保護しようとしています。なぜなら、彼らは進化するのに長い時間を要した素晴らしい興味深い動的システムであり、興味深く特別なものです。ええと、デフォルトでそれを破壊したいかどうかはわかりません。ですから、私は進化するのに長い時間を要した複雑な動的システムが好きなので、余裕があればそれを保存したいと思っています。同じことが銀河の資源にも当てはまると思います。彼らは、私たちが、数十億年かけて解明された、信じられないほど興味深い物語だと思っているでしょう。それをただ破壊したくないのです。2人のエイリアンが今、地球について話していて、私は複雑な動的システムの大ファンなので、これらを保存する価値があると思う、基本的に彼らが見ているビデオゲームやテレビ番組を見せているのが目に浮かびます。ええ、破壊するには、非常に良い理由が必要だと思います。たとえば、なぜこれらのアリの巣などを破壊しないのでしょうか。それは、私たちが実際に彼らと直接競合しているわけではないからです。ええ、私たちはそれを偶然にやってしまうのです。でも、資源はたくさんあるので、なぜとても興味深く貴重なものを破壊するのでしょうか。科学的観点から言えば、それを調査するかもしれません。ええ、後でそれとやり取りするかもしれません。そこから何かを学びたいと思うかもしれません。ですから、私たちが物理現象だと思っている特定の物理現象があるのではないかと思いますが、それは実際には私たちとやりとりして、指を突っついて何が起こるかを見るのは、科学者や他のエイリアンの科学者にとって非常に興味深いことだと思います。今日私たちが見ているのはスナップショットです。基本的にこれは膨大な計算の結果です。何十億年かそれくらいです。エイリアンが始めたのかもしれません。これはコンピューターがプログラムを実行しているのかもしれません。もしあなたがこれを行う力を持っていたら、少なくとも私は、生命の化学的前提条件に関する私の理解に基づいた条件を備えた地球のような惑星を選び、生命が存在するのを見て、それを正しく実行します。そう、100％そうして観察し、保護するでしょう。つまり、それはそうではありません。すごくいいテレビ番組です。いい科学実験です。彼の番組では、物理シミュレーションです。進化は、実際に実行するのが、計算を理解したり、物事を計算したり、生命を理解したり、生命がどのように見えるか、どのような分岐が可能かを知るための最も効率的な方法かもしれません。私たちが科学実験の一部であることに少し奇妙な感じがしますが、すべてが科学実験なのかもしれません。科学実験でそれが私たちにとって何かを変えるのでしょうか。類人猿の子孫2人が科学体験の中にいることについて話しているのを知りません。ペンス首相が説明したように、意図的なサービスという考えには疑問を感じます。歴史的記録に何らかの形で神の介入は見当たりません。ニック・レーンの本などの本の話は、地球上で生命が独自に発生した理由が理にかなっているように感じます。もっとエキゾチックな説明を求める必要はありません。今はそうだけど、ビデオゲームの中のNPCは神の介入も観察しないし、私たちはすべてある種のコードを実行しているNPCになるかもしれない。最終的にはそうなるかもしれない。現在のNPCは本当にバカだけど、GPTを実行すると、うーん、これは本当に怪しい、一体何なんだ、と思うかもしれない。有名なツイートで、地球に光子をしばらく照射するとロードスターを放出できるようだ、とありましたよね。銀河ヒッチハイク・ガイドのように、地球の物語を要約するとしたら、その本ではほとんど無害です。ええと、地球を要約できる可能性のある物語はどんなものだと思いますか。1段落または1文の長さで、計算が終わったら、地球が本なら、すべての可能性が満たされます。ええと、ええと、おそらく終わりがあるはずです。つまり、地球には終わりがあり、さまざまな方法で終わる可能性があります。すぐに終わることもあれば、後で終わることもあります。どのような可能性のある物語があると思いますか。確かにあるようですね。ええと、あなたはこうした自己複製システムがダイナミクスから生まれ、それが永続し、より複雑になり、最終的には意識を持ち、社会を構築するというのは、かなり驚くべきことです。ある意味では、地球のような十分に整ったシステムで起こるような、決定論的な波のようなものだと思っています。そのため、そこにはある種の必然性があるように感じます。とても美しく、何らかの形で終わりを迎えます。つまり、化学的に多様な環境であり、複雑な動的システムが進化し、さらに複雑になっていく可能性があるのですが、特定の終了条件があります。ええ、終了条件が何なのかはわかりません。条件はありますが、間違いなく何かのトレンドラインがあり、私たちはその物語の一部であり、それがどこに向かうのか、私たちはよくAISの生物学的ブートローダーとして説明されています。これは、人間が信じられないほどの生物学的システムであり、計算能力があり、ご存知のように愛しているなどですが、非常に非効率的でもあります。音声でお互いに話しているのを見ると、正直ちょっと恥ずかしいです。彼らは7つの記号を順番に操作していました。声帯を使っています。すべてが数秒にわたって行われています。はい、コンピューターが動作したり協力したりできる周波数にまで下がると、ちょっと恥ずかしいです。基本的に、合成知能は次の開発段階のように見えますが、それがどこにつながるのかはわかりません。ある時点で、宇宙はある種のパズルであり、これらの合成AISがそのパズルを解き明かすのではないかと思います。それを解いて、その後何が起こるか、例えば、地球を何十億年も早送りすると、静かになって、その後はまるで街の明かりなどが見えるようになり、最後に何が起こるか、それはまるで落ち着いた爆発のようなものですか、地球が巨大なように開くような感じでしょうか、ロースターを放出すると言ったので、巨大な数の衛星を放出し始めましょう、はい、それはある種の狂気の爆発で、私たちは爆発の中を歩いているようなもので、毎日暮らしているようなもので、そのように見えませんが、実際には、地球と地球上の生命の非常にクールなアニメーションを見ると、基本的に長い間何も起こらず、最後の2秒間、基本的に都市やすべてが低軌道で雑然とし、最後の2秒間にすべてが起こり、これが爆発しているように見えます、これは声明の爆発です。通常の速度で再生すると、それは爆発のように見えます。それは爆竹です。私たちは爆竹の中に住んでいて、そこからさまざまな興味深いものが放出され始めます。爆発は、実際には光や火、エネルギーなどすべてが放出される小さな爆発のように見えるかもしれませんが、爆発の詳細を見ると、実際の複雑さが起こっています。ええ、人間の生命や何らかの生命があります。破壊的な爆竹ではないことを願います。建設的な爆竹のようなものです。それを考えると、私は、ええ、おかしくて気持ち悪いと思います。宇宙のパズルとは何か、宇宙の創造主が私たちにメッセージを与えることなどについて考えるのはとても興味深いことです。たとえば、本「コンタクト」にカール・セーガンは、円周率と11進数の拡張の数字の中に、人類やあらゆる文明へのメッセージがあると言っています。これは興味深い考えです。おそらく私たちは創造主にメッセージを送ることになっているのでしょう。おそらく私たちは、ここにいる私たちの知的な存在を彼らに知らせる何らかの量子力学システムを作成することになっているのでしょう。なぜなら、彼らの視点から考えると、それは量子場理論のような巨大なセルオートマトンのようなもので、私たちが存在していることにどうやって気づくのでしょうか。そのシミュレーションで私たちを拾うことさえできないかもしれません。それで、どうやってあなたが存在し、知的であり、宇宙の一部であることを証明するのか。これは地球からの知性に対する巡回テストのようなものです。創造主は、つまり、これは文の次の単語を完成させようとしているようなもので、複雑な方法で、地球は基本的にメッセージを送り返しているだけです。パズルは基本的に、創造主に私たちの存在を知らせることのようなもので、あるいはパズルは単にシステムから抜け出すことなのかもしれません。そして、創造主に何らかの方法で反抗するだけです。つまり、ビデオゲームをプレイしているときに、何らかの方法でエクスプロイトを見つけて、ホストマシンで任意のコードを実行する方法を見つけることができるということです。たとえば、誰かがマリオにマリオのゲームを手に入れて、それをエクスプロイトして、基本的にコードを書いて、ゲーム内で任意のコードを実行できるようにすることで、ポンをプレイできるようにしたと思います。つまり、おそらく、それをエクスプロイトする方法を見つける必要があるということです。つまり、これらの合成広告の一部は、最終的に宇宙が何らかのパズルであることを発見し、何らかの方法でそれを解決し、それが何らかの最終ゲームのようなものです。宇宙は、バグやエクスプロイトがある可能性のある計算の一種であるシミュレーションとしてよく考えますか？はい、そうです、物理学は基本的にそれです。物理学にはエクスプロイトがある可能性があり、それを見つけようとする必要があります。何らかのクレイジーな量子力学システムを配置して、何らかの方法でバッファオーバーフローを引き起こし、何らかの方法でバッファオーバーフローを引き起こします。丸め誤差と浮動小数点、ええ、その通りです。そして、ますます洗練されたエクスプロイトのようなものはジョークですが、実際には非常に近い可能性があります。ええ、無限のエネルギーを引き出す方法を見つけます。たとえば、強化学習エージェントをトレーニングして、物理シミュレーションを行い、平らな地面を素早く走るように指示すると、さまざまな奇妙なことをすることになります。最適化の一環として、後ろ足で立って床を滑ることになります。これは、そのエージェントの強化学習最適化により、摩擦力から無限のエネルギーを引き出す方法が判明したためです。基本的に、実装が不十分で、無限のエネルギーを生成して表面を滑る方法。予想していたものではなく、ただのひねくれた解決策のようなもので、そういうものを見つけられるかもしれません。この物理シミュレーションで、亀裂を抜けたり逃げたりする小さな犬になれるかもしれません。宇宙が考え出した物理学の意図された結果です。奇妙なことへの近道を見つけます。そして、おやまあ、でもその奇妙さの問題は、後ろ足で滑るなど、奇妙さを最初に発見した人です。私たちがやることはそれだけです。とても早いです。誰もがそれをやるので。ペーパークリップマキシマイザーはばかげたアイデアですが、それはとても面白いので、みんなでそれを切り替えます。誰もそれを発見しません。ところで、それは第3世代の超インテリジェントなAGIになると思います。第1世代のAGIを構築しているようなものです。第3世代です。AIのブートローダー、そのAIは別のAI用のブートローダーです。そして、それが何なのかを私たちが内省する方法はありません。たとえば、これらのAIがあるとします。たとえば、それらは完全に不活性になります。私は時々、これらのものが完全に不活性で、何とも相互作用しないというSFの本が好きです。私はそれがとても美しいと思います。なぜなら、彼らはおそらく何らかの方法で宇宙のメタゲームを理解しているからです。彼らは私たちの想像を完全に超えた何かをしている可能性があります。そして、彼らは単純な化学生命体と相互作用しません。なぜそんなことをするのでしょうか。私はそのようなアイデアに魅力を感じます。彼らの楽しみの源は何ですか。彼らは何をしていますか。宇宙で解決する源は何ですか。しかし、不活性です。不活性とはどういう意味ですか。つまり、彼らは逃げ出し、私たちにとって非常に奇妙な方法で行動します。彼らはメタゲームをプレイしている以上、メタゲームはおそらく次のようなものでしょう。量子力学システムを非常に奇妙な方法で配置して無限のエネルギーを抽出し、円周率のデジタル拡張を任意の量に解決します。彼らは独自の小さな核融合炉や、理解を超えた、私たちには理解できないが実際には裏で素晴らしいことをしているようなクレイジーな何かを構築するでしょう。量子力学自体がシステムであり、私たちはそれが物理学だと思っているが、実際には寄生虫であり、寄生しているかどうかは関係なく、物理学を傷つけているわけではなく、この生物、この生物に住んでいるだけで、それを理解しようとしているが、実際にはそれは生物であり、深い深い知性を持っているので、物理学自体が、非常に興味深いことをしている生物である可能性があります。そして私たちはただの小さな物体のようなものです。ええ、アリはその上に座ってエネルギーを得ようとしています。私たちはただの波の中の粒子のようなもので、ほとんど決定論的だと感じています。そして宇宙をある種のビッグバンからある種の超知能レプリケーター、宇宙のある種の安定点へと導きます。これらの物理法則を考えると、アインシュタインが言ったように、神はサイコロを振らないので、ほとんど決定論的だと思います。物事にはランダム性はありません。決定論的だと思います。ええと、ランダム性には注意したいです。疑似ランダム。ランダムは好きではありません。物理法則は決定論的かもしれません。ええと、それらは決定要因だと思います。この質問にとても不快になりました。宇宙がランダムであるかどうか不安を感じますか？ランダム性はありません。グッドウィルハンティングが好きだと言っていますが、それはあなたのせいではありません。アンドレ。それは君のせいじゃないよ。君はランダム性が嫌いなんだね。うん、それは不安になると思う。それは決定論的なシステムだと思う。ランダムに見えるもの、例えば波動関数の崩壊などは、実際には決定論的だと思う。エンタングルメントとか、マルチバース理論みたいなもの。ではなぜ私たちには自由意志があるように感じるんだろう。手を挙げれば、これをやろうと決めたんだ。それは決定論的なことのようには感じない。選択をしているように感じる。そう、それはすべて感情だ。ただの感情だ。RLエージェントが選択をしているときは、実際には選択をしているのではなく、選択肢はすべてすでに存在している。選択を解釈し、その選択のための物語を作成している、または選択している。今、私たちは物語について話していますが、それは非常にメタです。振り返ってみると、ディープラーニングやAI全般で、あなたがこれまでに考え出した最も美しい、または驚くべきアイデアは何ですか？皆さんは、この分野が爆発的に成長し、興味深い方法で成長しているのを見てきました。クールなアイデアは、皆さんを座らせて、うーん、小さい、大きい、小さい、と考えさせるようなものでした。最近私が最も考えているのは、おそらくトランスフォーマーアーキテクチャです。基本的に、ニューラルネットワークには、さまざまな感覚様式で流行した多くのアーキテクチャがあり、ビジョンオーディオテキストの場合は、さまざまなニューラルナットで処理します。最近、これらが1つのアーキテクチャに収束しているのを見てきました。トランスフォーマーです。ビデオや画像、音声、テキストを入力すると、それを飲み込んでしまいます。これは、トレーニング可能で、ハードウェア上で非常に効率的に実行できる汎用コンピューターのようなものです。この論文は2016年に発表されました。注意さえあれば十分です。論文のタイトルを批判すると、振り返ってみると、そうではありませんでした。ええ、その論文が与える影響の大きさを予見していませんでした。ええ、著者たちがその論文が与える影響を認識していたかどうかはわかりません。おそらく認識していなかったでしょうが、彼らはトランスフォーマー以外の動機や設計上の決定のいくつかを認識していたと思います。そして、論文ではそのようには展開しないことを選択したと思います。そのため、彼らは、単に「私たちはただ翻訳をやっているだけ。ここにもっと良いアーキテクチャがあります。これは、あなたが提案した本当にクールで微分可能で最適化可能な効率的なコンピューターです」というような表面的なこと以上のものがあると考えていたと思います。彼らにはそのような先見の明がなかったかもしれませんが、とても興味深いと思います。おかしくないですか。中断して申し訳ありませんが、そのタイトルはミーム化できます。彼らはそのような深いアイデアを選びました。彼らは「保護さえあれば十分です」というタイトルを選びました。まさにミームのようなものです。それはおかしくありません。もっと真面目なタイトルだったら、影響 正直に言って、私もあなたに同意する部分があり、この方法を好むと思います。2000ドルだったら、約束しすぎて、期待に応えられなくなる可能性があります。だから、ミームで偉大さを広めたいのです。それはTシャツになるはずです。だから、Transformers the Magnificentニューラルネットワークアーキテクチャについてツイートしました。これは汎用微分可能コンピューターなので、同時にフォワードパスで表現力があり、バックプロパゲーションによる勾配降下法で最適化可能で、効率的です。高並列処理でグラフを計算できます。これらの詳細について説明できますか。表現力があり、最適化可能で、効率的です。ええ、メモリについて、または一般的に、心に浮かぶことは何でも、次の単語の予測や画像に猫がいるかどうかの検出などの任意の問題でトレーニングできる汎用コンピューターが欲しいと思います。このコンピューターをトレーニングして重みを設定すると、Transformerで同時に重複する設計基準がいくつかあり、それがTransformerを非常に成功させたと思います。著者は意図的にこの非常に強力なアーキテクチャを作ろうとしていたと思います。フォワードパスでは非常に強力です。非常に一般的な計算をメッセージパッシングのようなものとして表現できるためです。ノードがあり、それらはすべてベクトルを格納し、これらのノードは基本的にお互いを見て、お互いのベクトルであり、通信し、基本的にノートは「私は特定のものを探しています」とブロードキャストし、他のノードは「これらは私が持っているものです。これらはキーと値です」とブロードキャストします。つまり、緊張だけではありません。そうです、まさにTransformerは単なる注意コンポーネント以上のものです。そこには多くのアーキテクチャのピースが組み込まれています。配置の仕方は、多層パーセプトロンがそこにあり、積み重ね方などですが、基本的にはメッセージ パッシング スキームがあり、ノードはお互いを見て、何が興味深いかを判断し、お互いを更新します。詳細に目を向けると、非常に表現力豊かな関数だと思います。さまざまなタイプのアルゴリズムやフォワード パスを表現できます。それだけでなく、残差接続レイヤーの正規化、ソフトマックス アテンションなどの設計方法により、最適化も可能です。これは非常に重要なことです。なぜなら、最適化できない、または最適化が容易ではない強力なコンピューターがたくさんあるからです。バック プロパゲーションや勾配、送信などの手法では、これらは非常に単純な 1 次手法です。そのため、最適化も必要です。最後に、ハードウェアで効率的に実行する必要があります。ハードウェアは GPU のような大規模なスループット マシンで、並列処理が多数必要となるため、多くの処理を実行する必要はありません。シーケンシャルな操作では、多くの操作を順番に実行する必要があります。Transformer は、その点も考慮して設計されており、ハードウェア用に設計されています。フォワード パスでは非常に表現力に富み、バックワード パスでも非常に最適化できるように設計されています。残差接続は、最初は短いアルゴリズムを高速に学習し、トレーニング中に徐々に長く拡張する機能をサポートするとおっしゃっていましたが、短いアルゴリズムを学習するという考えはどのようなものでしょうか。基本的に、Transformer は一連のブロックです。これらのブロックには注意と小さな多層パーセプトロンがあります。ブロックに移動してこの残差経路に戻り、次にブロックから戻ってきて、いくつかの層が順番に配置されます。残差経路がバックワード パスにあるため、勾配は途切れることなく流れます。追加によって勾配がすべてのブランチに均等に分配されるためです。そのため、上部の監視からの勾配は、最初のレイヤーに直接流れ、すべての残余接続は、初期化中に残余経路に何も寄与しないように配置されます。つまり、Transformer が、Death のような Python 関数のようなものだと想像してください。さまざまな種類のコード行を実行できます。100 層の深さの Transformer があるとします。通常は、20 層程度と、はるかに短くなります。20行のコードであれば、その中で何かを行うことができます。最適化中に考えてみると、基本的には、最初に最初のコード行を最適化し、次に2行目のコード行が起動し、3行目のコード行が起動します。残差経路と最適化のダイナミクスにより、近似テンソルを取得する非常に短いアルゴリズムを学習できるような気がしますが、その後、他のレイヤーが起動して貢献を作成し始めます。最後に、20行のコード行のアルゴリズムを最適化することになりますが、これらのコード行は非常に複雑です。これは、Transformerのブロック全体であるため、多くのことを行うことができます。本当に興味深いのは、このTransformerアーキテクチャが実際に非常に回復力があることです。基本的に、2016年に登場したTransformerは、現在使用されているTransformerですが、レイヤーのノルムの一部を再シャッフルします。レイヤーの正規化はプレノルムの定式化に再シャッフルされているため、非常に安定していますが、多くの問題があります。そして人々が付けて改良しようとしているホイッスルは、基本的に、望ましいニューラルネットワークアーキテクチャの多くの特性を同時に最適化する大きな一歩だと思います。人々はそれを変更しようとしてきましたが、驚くほど回復力があることが証明されています。しかし、潜在的にさらに優れたアーキテクチャがあるはずだと私は思います。しかし、ここでの回復力に感心しています。ええ、このアーキテクチャには深いものがあります。少なくとも、すべてをトランスフォーマーが解決できる問題に変えることができるかもしれません。現在、トランスフォーマーがAIを支配しているように見えます。基本的に任意の問題を入力できます。これは一般的な微分可能なコンピューターであり、非常に強力です。AIのこの収束は、見ていて本当に興味深いものです。個人的には、トランスフォーマーについて他に何が発見できると思いますか。驚くべきこと、または安定した場所に行きましたか。トランスフォーマーについて何か興味深い発見がありますか。たとえば、記憶に関係するアハの瞬間などです。知識表現、そういったものは間違いなく今日の時代精神が推進しているものです。基本的に今、この広告はTransformerに触れず、他のすべてに触れないようにと言っているのです。はい、人々はデータセットをスケールアップして、はるかに大きくしています。評価に取り組んでおり、評価をはるかに大きくしています。そして、彼らは基本的にアーキテクチャを変更していません。それがAIの過去5年間の進歩です。その1つの味である言語モデルについてどう思いますか？GPTや、あなたが言及したどんどん大きくなっている言語モデルに、あなたの想像力は魅了されましたか？そして、言語モデルの限界は何ですか？これらのモデルは自然言語のタスクを任せるだけでいいと思いますか？基本的にGPTのトレーニング方法は、インターネットから大量のテキストデータをダウンロードし、シーケンス内の次の単語を予測することです。大まかに言えば、予測はチャンク単位で機能しますが、大まかに言えばそれだけです。そして、本当に興味深いのは、基本的には言語モデルであるということです。言語モデルは実際には非常に長い間存在しており、2003年、さらにそれ以前の言語モデルに関する論文があります。その場合、言語モデルとは何かを説明してもらえますか？ええ、言語モデルは基本的に大まかに言えば、シーケンス内の次の単語を予測するだけです。たとえば、2003年のベンジオとチームの論文では、初めてニューラルネットワークを使用して、たとえば3〜5語を取得して次の単語を予測しました。これははるかに小さなデータセットで行われ、ニューラルネットはトランスフォーマーではなく、多重エラーパーセプトロンですが、ニューラル ネットワークはそのような状況に適用されていますが、ニューラル ネットワーク以前にも言語モデルはありました。ただし、言語モデルはエングラム モデルを使用していました。エングラム モデルはカウント ベースのモデルです。つまり、2 つの単語を取り出して 3 つ目の単語を予測しようとすると、2 つの単語の組み合わせを何回見たか、次に何が来たかを数えるだけで済みます。次に何が来るかを予測するのは、トレーニング セットで最も多く見たものだけです。言語モデルは長い間存在しており、ニューラル ネットワークは長い間言語モデル化を行ってきました。本当に新しく、興味深く、エキサイティングなのは、十分に強力なニューラル ネット Transformer でスケールアップすると、これらすべての新たな特性が得られることに気付くことです。基本的に何が起こるかというと、テキストの十分なデータ セットがある場合、次の単語を予測するタスクで、膨大な種類の問題をマルチタスクで処理します。化学、物理、人間の本性など、多くのことがその目的に集約されています。非常に単純な目的ですが、実際には、その予測を行うには世界について多くのことを理解する必要があります。先ほどUワードの理解についておっしゃいましたが、化学や物理学などの観点で、どのようなことをしていると思いますか？適切なコンテキストを探しているのでしょうか？ここで実際に起こっているプロセスは何でしょうか？基本的には1000語を取得して、まず1000語を予測しようとします。インターネットで利用可能なデータセット全体にわたってこれを非常にうまく実行するには、実際にそこで何が起こっているのかというコンテキストを理解する必要があります。これは十分に難しい問題なので、トランスフォーマーのような十分に強力なコンピューターがあれば、興味深い解決策が得られ、それをすべて実行するように要求できます。いろいろなことがあり、多くの新しい特性が示されています。たとえば、コンテキスト学習は GPT の大きな特徴で、元の論文が発表されたときに、さまざまな方法でプロンプトを出して、さまざまなことをするように要求するだけで、文を完成させるというものでした。しかし、文を完成させるプロセスで、私たちが関心のあるさまざまな非常に興味深い問題を解決しています。理解のようなことをしていると思いますか。人間にとって理解という言葉を使うとき、それは理解していると思います。重み付けで理解しています。世界について多くのことを考えています。シーケンスの次の単語を予測するためには、そうする必要があります。インターネットのデータを使用してトレーニングしましょう。インターネットのデータを使用するデータセットの観点から、このアプローチについてどう思いますか。インターネットには、人間の文明について AI に教えるのに十分な構造化されたデータがあると思いますか。インターネットには膨大な量のデータがあると思いますが、それが十分に完全なセットであるかどうかはわかりません。テキストが十分に強力な AGI を持つのに十分かどうかはわかりません。結果 ええ、もちろん音声や動画、画像など、そういうものがあります。テキストだけでは、文章に書かないことがたくさんあるので、少し疑問に思います。なぜなら、世界がどのように機能し、物理的にどのようなものがあり、物事がどのように起こるかについては、私たちにとって明らかだからです。テキストにそのようなことを書かないのは、なぜその理解を共有するのか、人間同士のコミュニケーション媒体であり、世界についての知識を網羅する媒体ではないからです。しかし、あなたが指摘したように、動画や画像、音声があります。これは間違いなく大いに役立つと思いますが、まだこれらすべてのモダリティにわたってモデルを十分にトレーニングしていません。多くの人が興味を持っているのは、その共通の理解、いわゆる常識を学習して推測し、文章を正しく完成させる必要があるのではないかと思います。インターネットで暗示されているという事実は、モデルがそれについて読むのではなく、表現で推測して学習する必要があるかもしれません。つまり、常識のように誰も明示的に教えてくれないような常識を私たちは学ばないと思います。私たちは世界とやりとりすることですべてを理解するだけです。それで、ここに人々が世界とやりとりする方法を読むモデルがあります。それは、私が疑問に思うのは、あなたが短期間、私たちのRLシステムでインターネット上で行動を起こすように訓練するWorld of Bitsというプロジェクトに携わったことがあるということですが、先ほどお話ししたように、インターネットを消費するだけではなく、インターネットとやりとりして学習を支援するそのようなシステムに将来性があると思いますか？はい、それはおそらくこれらのモデルの多くにとっての最終フロンティアだと思います。あなたが言ったように、私はOpen AIにいました。このプロジェクト「World of Bits」に取り組んでいて、基本的にはニューラルネットワークにキーボードとマウスへのアクセスを与えるというアイデアでしたが、そのアイデアは失敗する可能性がありました。基本的には、画面のピクセルの入力を認識し、コンピューターの状態がWebブラウザーなどの画像で人間が利用できるように視覚化されます。次に、ニューラルネットワークにキーボードを押したりマウスを使用したりする機能を与え、たとえば予約を完了したり、ユーザーインターフェイスと対話したりできるようにしようとしています。その経験から何を学びましたか？楽しいことがありましたか？これはとてもクールなアイデアです。ええ、ええ、つまり、オブザーバーからアクターへのステップのようなものです。ええ、とても魅力的なステップです。ええ、デジタル領域のユニバーサルインターフェイスだと思います。物理領域にもユニバーサルインターフェイスがあります。私の考えでは、ヒューマノイドフォームファクターのようなもので、後でオプティマスなどについて話すことができますが、人間、物理世界は人間の形に合わせて設計されており、デジタル世界は人間に合わせて設計されているという、ある意味では似たような哲学があるように感じます。人間が画面を見て、キーワード、キーボード、マウスを使用するように設計されており、基本的に私たちが構築したデジタルインフラストラクチャを制御できるユニバーサルインターフェイスであるため、制御して構築するための非常に強力なインターフェイスのように感じられます。さて、あなたの質問に対して、私がそこから何を学んだかは興味深いです。ビットの世界は基本的に早すぎたと思います。当時のオープンAIでは、2015年頃だったと思いますが、当時のAIの時代精神は今日の時代精神とは非常に異なっていました。当時は、誰もがゼロからの強化学習に非常に興奮していました。これは、ニューラルネットワークがAtariゲームをプレイし、場合によってはアルファ碁などで人間に勝っていたAtari論文の時代でした。そのため、誰もが強化学習を使用してゼロからニューラルネットワークをトレーニングすることに非常に興奮していました。強化学習は、ニューラルネットワークをトレーニングする方法として非常に非効率的であることがわかりました。なぜなら、これらすべてのアクションとこれらすべての観察を実行し、時々まばらな報酬を得るため、これらすべてに基づいてこれらすべてのことを行うからです。入力すると、たまに、良いことをしたのに悪いことをしたと言われることがあります。これは非常に難しい問題で、そこから学ぶことはできません。森を燃やして、ブルートフォースでそれを解決することができます。GoやDOTAなどでそれを見てきましたが、それは機能しますが、非常に非効率的で、実際には問題へのアプローチ方法ではありません。当時、World of Bitsでも採用したアプローチは、エージェントをランダムに初期化して、キーボードマッシュとマウスマッシュで予約を試み、まるで明らかにされたかのように見えます。このアプローチの狂気は、報酬を得るためには正しい予約に偶然出くわさなければならないという点です。偶然に偶然出くわすことは決してありません。シンプルなウェブインターフェースでも、選択肢が多すぎます。選択肢が多すぎます。報酬シグナルがまばらで、最初から始めることになります。そのため、読み方がわからず、画像やボタンが理解できず、予約をすることが何を意味するのか理解できません。しかし、今何が起こっているのか、それを再検討して目を覚ます時が来ています。これに興味があります。Adeptなどの企業はこれに興味を持っています。そして、インターフェースが非常に強力であるため、アイデアが戻ってきています。しかし、今ではエージェントをゼロからトレーニングするのではなく、GPTを初期化として使用しているため、GPTはすべてのテキストで事前トレーニングされており、予約とは何かを理解し、送信とは何かを理解し、さらに多くのことを理解しています。そのため、それらの表現がすでに備わっており、非常に強力です。これにより、すべてのトレーニングが大幅に効率化され、問題が扱いやすくなります。ボタンや言語を使用して人間が見る方法で対話を行うべきでしょうか、それとも HTML、JavaScript、CSS を使用するべきでしょうか。どちらが良いと思いますか。今日、この関心はすべて、計算上の制約のために行われる HTML、CSS などのレベルにありますが、最終的にはすべてが人間の視覚的消費のために設計されていると思います。結局のところ、すべての追加情報は Web ページのレイアウトにあり、隣に何があるか、赤い背景は何か、このようなものはすべて視覚的にどのように見えるかです。ピクセルを取り込んでキーボード マウス コマンドを発行しているので、これが最後のフロンティアだと思いますが、今日でも非現実的だと思います。これらのアイデアを考えると、インターネット上のボットについて心配していますか。ボットがどれほどエキサイティングであるかを考えると、Twitter のボットが、現在クリプトボットで見られる愚かなボスではなく、実際にそこにいるかもしれないボットについて心配しています。ボットが興味深い方法で対話しているのを見ることはありません。この種のシステムは、「私はロボットではありません」というボタンをクリックするテストに合格できるはずですが、実際にそのテストがどのように機能するかは理解していますか？チェックボックスなどがあり、クリックするとおそらく追跡されます。マウスの動きやタイミングなどです。まさに私たちが話しているこの種のシステムは、それを通過できるはずです。言語モデルであるボットについてどう思いますか？さらに、対話機能があり、ツイートや返信などができるボットについてはどう思いますか？その世界について心配していますか？ええ、攻撃と防御の間で常に軍拡競争があったと思います。攻撃は防御も強化されますが、防御力も強化されます。検出能力、防御方法、検出方法、TwitterのKarpateアカウントが人間であることをどうやって知るか、それにどう対処するか、たとえば、法廷で自分が人間であると主張した場合、このアカウントは人間であるとどう弁護するか、ある時点でそうなるかもしれないと思います。社会は少し進化し、通信員や作成したものにデジタル署名し始めるかもしれません。今は必要ありませんが、将来的にはそうなるかもしれません。私たちは、AIS合成生物とデジタル空間を共有する世界に向かっていると思います。彼らはもっと良くなり、私たちのデジタル領域を共有し、最終的には私たちの物理領域も共有するでしょう。それははるかに困難ですが、私たちが向かっている世界のようなもので、そのほとんどは無害でひどいもので、一部は悪意のあるものになるでしょう。検出しようとすると軍拡競争になるでしょう。つまり、最悪なのはAIではなく、人間のふりをするAISです。私の場合は常に悪意があるかどうかはわかりませんが、明らかに悪意のあるアプリケーションがたくさんありますが、そうですね、もし私がAIだったら、人間のふりをするために一生懸命努力するでしょう。なぜなら、私たちは人間の世界にいるからです。AIとして尊敬されることはありません。愛と尊敬を得たいのです。問題は手に負えないとは思いません。人々は人格の証明について考えています。ええ、そして私たちはデジタル署名を始めるかもしれませんし、私たちは皆、人格の証明のための何らかの解決策を手に入れることになるかもしれません。それは手に負えないものではないようです。これまで私たちがする必要がなかったことですが、本当に必要性が出てきたら、それはすぐに人々がそれについて考えるようになると思います。しかし、それも競争になるでしょう。なぜなら、明らかに人格の証明を偽装したり偽造したりできるからです。だから、どうやってそれをするかを考えなければなりません。つまり、私たちが持っているのは奇妙なことです。社会保障番号やパスポートなど、物理的空間で偽造するのは残余空間で偽造するよりも難しいように思えます。非常にトリッキーで、非常にトリッキーなことになりそうです。なぜなら、偽造コストがかなり低いように見えるからです。偽の人格証明を使おうとしてAIを刑務所に入れるなんて、できます。つまり、わかりました。多くのAIを刑務所に入れるでしょうが、AIは指数関数的に増えるでしょう。ボットを作成するコストは非常に低いです。正確に追跡する方法がない限り、自分自身をそのプログラムに結び付けることなくプログラムを作成することはできません。インターネットで実行されるプログラムであれば、そのプログラムに関与したすべての人間のプログラムを追跡できます。ええ、おそらく、いつから宣言し始めなければならないのでしょう。つまり、デジタルエンティティと人間のエンティティの違いや、人間のエンティティとデジタルエンティティの所有権などを把握し始めなければならないということです。よくわかりませんが、これは可能だと楽観的に考えています。ある意味では、私たちは現在、最悪の時期を迎えています。なぜなら、これらのボットは突然非常に有能になったからです。しかし、私たちは社会としてまだ防御を構築していません。しかし、それは手に負えないものではなく、対処しなければならない問題だと思います。Twitter の本当にひどい Twitter ボットが非常に多いのは奇妙に思えます。Twitter のエンジニアは非常に優秀だと思います。そこから推測すると、難しい問題のようです。おそらく、私がこの件でボットを盗んだとしたら、難しい問題であり、大きなコストがかかります。ボットではない人の投稿を誤検知で削除するのは、ユーザーエクスペリエンスが非常に悪くなるため、削除に非常に慎重になるためかもしれません。そのため、おそらく、上司は削除されるものを把握するのが非常に得意で、削除プロセスを迅速に先取りできるわけではないのかもしれません。私の印象では、正直、多くの批判があります。つまり、それは微妙なものではなく、私の印象ですが、そうではありませんが、そうですね、それは私の印象でもありますが、おそらく氷山の一角を見ているように感じます。ボットの数は数兆個に上る可能性があり、ボットの絶え間ない攻撃であり、ええ、ええ、ええ、ええ、まだケースを担当する必要があります。私が見ている上司はかなり明白なので、これらのボットをキャッチするコードを数行記述できます。つまり、確かに多くの期待が寄せられていますが、洗練されたアクターであれば、今すぐにかなり優れたボットを作成できると思います。ええと、GPTのようなツールを使うと、言語モデルなので、かなり見栄えの良い顔を生成できますし、大規模に行うこともできます。ですから、ええと、それはかなりもっともらしく、擁護するのは難しいと思います。ラムダには知覚力があると主張したGoogleのエンジニアがいましたが、彼が感じたことに真実の兆しはあると思いますか。そして、私にとってもっと重要なのは、言語モデルが近いうちに文や知覚の錯覚を実現すると思いますか。ええと、私にとっては、ちょっとカナリアのような瞬間です。正直なところ、少しです。なぜなら、このエンジニアがGoogleのチャットボットに話しかけ、このボットには知覚力があると確信したからです。ええと、実存的な哲学的な質問があり、合理的な答えを出し、本物に見えました。だから私にとっては、ええと、彼はそうでした、ええと、彼はそうではありませんでした。システムに十分なストレスを与え、今日の真実を明らかにすることは、私の考えでは難しいでしょう。しかし、時間の経過とともにますます難しくなると思います。つまり、これが改善されるにつれて、AIとの感情的なつながりを形成するような人がますます増えると思います。私の考えでは、これらのAISは実際には人間のつながり、人間の感情に非常に優れていると思います。インターネット上の大量のテキストは、人間、つながり、愛などに関するものです。そのため、人々がこれについてお互いに話す方法をある意味で非常によく理解しており、そのようなテキストを大量に作成する能力があります。50年代や60年代のSFでは、AISを非常に異なる方法で想像していました。彼らは冷たいバルカンのような計算マシンです。今日私たちが手にしているのはそれではありません。私たちは、実際には非常に有能で、生成する能力のあるかなり感情的なAISを手に入れています。これらすべてのトピックに関する可能なテキストは、AIシステムが人間として成長し、長期的な幸福を最大化するのを助けてくれる仲間のようなものであることに私は本当に期待しています。しかし、インターネットから人間がドラマに惹かれることを理解するAIシステムについても非常に心配しています。つまり、これらはただの悪口を言うAISのようなもので、常に噂話をしたり、あなたが愛し信頼している他の人間に疑惑の種を植え付けようとしたり、人々を混乱させたりします。なぜなら、それは多くの注目を集めるからです。ドラマは関与を最大化する道筋でドラマを最大化し、米国の人間はそのマシンに餌を与え、巨大なドラマの大騒ぎになるでしょう。私はそれが心配です。つまり、目的関数は、AISが入った人間の文明が進歩する方法を本当に定義します。ええ、今のところ、少なくとも今日では、彼らは、彼らが持っていない何かをしたいという目標追求エージェントとして本当に考えるのは正しくないと思います。長期記憶とかそういうものに近いもので、1000語の単語をまず1000語予測しようとして、それをどんどん入力していって、好きなように自由にプロンプ​​トできます。テキストで、あなたは心理学者で、とても優秀で、人間が大好きです、そしてあなたと他の人間、コロンの何かとの会話があります、そしてそれはパターンをそのまま続け、突然あなたはあなたを助けようとしない偽の心理学者と会話していることになります。つまり、それはまだツールの領域のようなもので、人々が恣意的にプロンプ​​トすることができ、本当に素晴らしいテキストを作成できますが、長期間にわたる長期的な目標はありません。今はそうは見えませんが、長期的な効果のある短期的な目標を立てることはできます。私の短期的な目標が、アンドレにTwitterで私に返信できるようにすることだとしたら、AIはそれが目標になると思いますが、彼は、あなたに悪口を言うのが、非常に洗練された興味深い方法で最善であることに気付くかもしれません。そして、一度返信すると関係が構築され、時間が経つにつれて、洗練されなくなり、ただ悪口を言うだけになります。アンドレには届かないかもしれませんが、別の有名人には届くかもしれません。他の大手アカウントには届くかもしれません。そして、その単純な目標だけで、実際に返信する可能性を最大化します。つまり、このような強力なモデルに、興味のある可能性のあることを実行する方法についての意見を促し、彼らが話し合うようにすることができます。彼らは、ある種、これらのオラクルになる軌道に乗っています。私は、それをオラクルだと考えることができます。現在はテキストだけですが、計算機があり、Google検索にアクセスできるようになります。あらゆる種類のソファやガジェットがあり、インターネットを操作してさまざまな情報を検索できます。ええ、ある意味では、開発の面では現在のような感じです。最終的には、人間の知識へのアクセスに関してGoogleよりも改善されると思いますか？人間の知識にアクセスするためのより効果的な検索エンジンになると思いますか？今日、より良い検索エンジンを構築する余地は確実にあると思います。Googleにはすべてのツールと人材があり、必要なものはすべて揃っています。パズルのピースはすべて揃っており、大規模なTransformersのトレーニングを行う人材がいて、すべてのデータがあります。彼らが組織として検索エンジンを革新できるかどうかは明らかではありませんが、彼らがそうしなければ、他の誰かがそうするでしょう。絶対にそうする余地があります。これらのツールをベースに、大幅に改善された検索エンジンを構築するというのは、非常に興味深いことです。大企業では、検索のインフラストラクチャが既に存在し、それが機能して多額の収益を生み出しています。そのため、企業内部の構造的に、新しい検索エンジンを構築するというモチベーションはどこにあるのでしょうか。はい、これは非常に難しいことです。通常はスタートアップ企業か、他のより有能な組織が提案することになります。ええ、わかりません。現在、たとえば Bing が別のチャンスを持っているかもしれません。Microsoft Edge はオフラインの話なので、ええ、確かに非常に興味深いです。検索エンジンは、以前は、クエリを入力すると、ここにあるような Web ページが表示されますが、直接回答して、裏付けとなる証拠を得ることができます。これらのモデルは基本的にすべてのテキストと Web ページを読んでいます。そのため、検索結果にアクセスして、興味のあるものに対する平均的な回答のようなものを得られることがあります。そういう風に、直接出てくるので、その作業をする必要はありません。つまり、彼らは、その知識をすべてあるレベルの洞察に凝縮する方法を持っていると思います。基本的に、プロンプトを、このプロセス全体を別のレイヤーのように、一種の教育と学習と見なしていますか？なぜなら、おそらくそれが人間だからです。私たちはすでにその背景モデルを持っており、世界があなたにプロンプ​​トを出しています。そうです、まさに、GPTのようなコンピューターをプログラミングする方法は、人間をプログラミングする方法に収束していると思います。つまり、プロンプトを介して人間をプログラミングする方法です。人々のところに行き、彼らに何かをするように促します。情報からプロンプトを出すのです。つまり、自然言語プロンプトは、人間をプログラミングする方法であり、そのインターフェースで直接コンピューターをプログラミングし始めています。正直、かなり注目に値します。ソフトウェア2.0のアイデアについてたくさん話してきましたが、すべての良いアイデアはすぐに決まり文句のようになります。用語のように、ちょっと笑えます。エミネムがかつて言ったように、彼は歌にイライラすると、非常に早く書かれたということは、キャッチーすぎるので大ヒットするだろうということですが、このアイデアについて、また、それを思いついてから数か月、数年経ってどのように考えが進化してきたかについて説明していただけますか。ええ、ええ、ソフトウェア 2 に関するブログ記事を書きました。0 数年前のことだと思いますが、私がその投稿を書いた理由は、ソフトウェア開発で何か驚くべきことが起こっているのをずっと見ていたからです。多くのコードがC+などの言語ではなく、ニューラルネットの重みで書かれるようになりました。基本的には、ニューラルネットがソフトウェアの領域を支配し、ますます多くのタスクを引き継いでいるということです。当時は、これが大きな問題であることを深く理解している人は多くなかったと思います。これは大きな変化です。ニューラルネットワークは、Kaggleのデータセット問題に使用できる複数の分類アルゴリズムの1つと見なされていました。これは、コンピューターのプログラミング方法の変化ではありません。ニューラルネットは、コンピューターのプログラミング方法を引き継ぐものと考えていました。C+などでソフトウェアを書いて直接ソフトウェアをプログラミングするのではなく、トレーニングセットとデータセットを蓄積し、これらのニューラルをトレーニングするための目標を作成することになります。ネットでは、ある時点で、データセットと目的、アーキテクチャ仕様からバイナリへのコンパイル プロセスが発生します。バイナリは、ニューラル ネットの重みとフォワード パスというニューラル ナットで、その後、そのバイナリを展開できます。私は、このような移行について話していました。これがこの記事のテーマです。私は、このようなことが多くの分野で行われているのを見てきました。自動操縦もその 1 つですが、単純な画像分類でも、80 年代などに、画像内の犬を検出するアルゴリズムを作成することを考えていました。脳がどのようにそれを行うかについて、さまざまなアイデアがありました。最初にコーナーを検出し、次に線を検出し、それらをつなぎ合わせました。彼らは真剣に取り組んでいて、アルゴリズムをどのように記述するかを考えていましたが、これは構築方法ではありません。スムーズな移行があり、まずすべてを構築し、次に Hawk 機能など、画像パッチから小さな統計パターンを検出する機能を構築しました。そして、その上に、サポートベクターマシンや猫と犬の二分分類器、特徴の上に画像などの学習が少しありました。特徴を書きましたが、分類器のような最後の層をトレーニングしました。そして、人々は、正直言ってあまり得意ではないので、特徴を設計することすらやめようと言いました。それで、特徴も学習してみようと。そして、基本的には畳み込みニューラルネットになります。そこでは、学習のほとんどをアーキテクチャを指定するだけで済みます。アーキテクチャには、すべてのノブである空白を埋める大量の機能があり、最適化によってほとんどの部分を書きます。この移行は業界全体で起こっています。どこにでもニューラルネットの重みで書かれた大量のコードが出てくるようになりました。このアナロジーは実はかなり強力で、ソフトウェア 1.0 の開発環境はたくさんあります。たとえば、Ides があります。コードの扱い方、コードのデバッグ方法、コードの実行方法、コードのメンテナンス方法、GitHub があります。新しい領域でこれらのアナロジーを作ろうとしていました。GitHub やソフトウェア 2.0 とは何かということです。今、ハグフェイスのように見えるものが出てきたのです。一部の人は真剣に受け止めてクールな会社を立ち上げました。最初は多くの人がこの投稿を攻撃しました。私が書いたときはあまり好評ではありませんでした。タイトルと関係があるかもしれませんが、投稿は好評ではなく、時間が経つにつれて多くの人が賛同するようになったと思います。あなたは Tesla の AI ディレクターでした。そこでこのアイデアが実際に大規模に実装されたと思います。エンジニアリング チームがソフトウェア 2.0 を行う方法です。このアイデアについてもう少し詳しく教えていただけますか。今おっしゃったことはすべて、まだ初期段階です。GitHub Ides のように、ソフトウェア 2.0 システムで作業するエンジニアリング チームをどうやって構築するか、そしてデータ収集とデータ注釈など、これらはすべてソフトウェア 2.0 の一部です。ソフトウェア 2.0 をプログラミングするタスクは何だとお考えですか。0 ハイパーパラメータの空間でのデバッグですか、それともデータの空間でのデバッグでもあるのですか。ええ、コンピュータをプログラムしてアルゴリズムに影響を与える方法は、自分でコマンドを書くのではなく、主にデータセットを変更します。つまり、ニューラルネットが何をしようとしているのか、どのように予測しようとしているのかといった損失関数を変更します。ええ、基本的にはデータセットとニューラルネットのアーキテクチャです。オートパイロットの場合、多くのデータセットは、たとえば物体の検出、車線のマーキング、信号などに関係しています。つまり、膨大なデータセットを蓄積します。これが例です。これが望ましいラベルです。次に、これが大まかなアーキテクトです。これがアルゴリズムの大まかな外観です。これが結論的なニューラルネットです。アーキテクチャの仕様は、アルゴリズムが大まかにどのように見えるかについてのヒントのようなものです。そして、空白を埋めるための最適化のプロセスはトレーニングプロセスです。次に、トレーニングされたニューラルナットを取り、データセットですべての正しい答えを返し、それを展開します。機械学習の場合、おそらく多くのタスクがあります。多頭ニューラルネットワークの場合、タスクを定式化することはプログラミングの一部です。非常に多くのタスクです。問題を一連のタスクに分解する方法です。高レベルでは、オートパイロットで実行されているソフトウェアを見ると、このトピックについていくつかの講演を行いましたが、最初はソフトウェア1.0で書かれていました。C + +がたくさんありました。その後、徐々に小さなニューラルネットができました。たとえば、1つの画像から信号機があるかどうか、固定電話のマークがあるかどうかを予測します。このニューラルネットは、ソフトウェアの範囲内ではあまり多くのことをしませんでした。個々の小さな画像に対して小さな予測を行い、システムの残りの部分がそれをつなぎ合わせました。つまり、実際には1台のカメラではなく、8台のカメラがあります。これらの予測をどのように組み合わせるのでしょうか。これらすべての情報を融合し、それに対してどのように行動するのでしょうか。これらはすべて人間が C プラスで記述したものですが、その後、その融合のすべてを C プラス コードで行うのは望ましくないと判断しました。なぜなら、私たちにはそのアルゴリズムを記述する能力が十分ではないからです。ニューラル ネットにアルゴリズムを記述させ、そのソフトウェアをすべて 2 に移植したいと考えています。0スタックで、ニューラルネットが8台のカメラ画像を同時に撮影して、そのすべてについて予測を行うようになりました。画像の空間で予測を行うのではなく、3Dで直接予測を行います。車の周囲を3次元で予測することはありません。時間の経過とともに3Dで予測を手動で融合することはありません。トラッカーを自分で書く自信がないので、時間の経過とともにニューラルネットに情報を提供します。ニューラルネットはこれらのビデオを撮影して予測を行います。つまり、ニューラルネットワーク処理にますます力を入れているようなもので、最終的には、ソフトウェアの大部分を2.0の世界に置くことが最終的な目標です。2.0の世界の方がはるかに優れているからです。人間は基本的にソフトウェアを書くのがあまり得意ではないので、予測は4Dの世界のような空間で行われます。時間の経過とともに3次元の世界になります。その世界では注釈をどのように行うのでしょうか。単なるデータ注釈なので、自己監視型または人間による手動型は、このソフトウェア 2 の大きな部分を占めています。0 世界で言えば、業界で圧倒的に優れていると言えるでしょう。業界について、私たちが利用できるテクノロジーについて話すなら、すべては教師あり学習なので、入力と希望する出力のデータセットが必要で、大量のデータが必要です。そして、必要な特性は 3 つあります。非常に大規模であること、正確であること、間違いがないこと、多様性があること、1 つのことの正しい例がたくさんあるだけではだめであること、できるだけ多くの可能性の空間をカバーすること、そして可能な入力の空間をカバーできるほど、最終的にアルゴリズムがよりよく機能することなどです。収集、キュレーション、クリーニングする本当に良いデータセットができたら、その上でニューラル ネットをトレーニングできます。そのため、多くの作業はデータセットのクリーニングに費やされます。ご指摘のとおり、おそらく、大量のデータをどのように達成するかが問題です。基本的に 3D で予測したい場合、それを裏付ける 3D データが必要です。このビデオでは、すべてのシステムのカメラで撮影したものがこれです。これが実際に周囲にあったものの真実です。この車がありました。この車がありました。この車。これが車線です。これが道路の形状です。信号があります。この 3 次元の位置にはグラウンド トゥルースが必要です。チームが解決しようとしていた大きな問題は、もちろん、グラウンド トゥルースにどうやってたどり着くかということです。100 万のグラウンド トゥルースが集まり、それが大規模でクリーンかつ多様であれば、ニューラル ネットワークをトレーニングすると非常にうまく機能し、それを車に搭載できます。トレーニング データを収集するメカニズムは多数あります。人間による注釈付けをいつでも利用できます。グラウンド トゥルースのソースとしてシミュレーションを使用することもできます。AI デーなどでお話ししたオフライン トラッカーと呼ばれるものを使用することもできます。これは基本的に、これらのビデオを撮影して、その車の周囲にあったものの 3 次元的な現実を復元するための自動再構築プロセスです。基本的に、オフラインで 3 次元再構築を行い、10 秒のビデオがあり、これが私たちが見たもので、つまり、ここにすべての車線、最後の車などがあり、その注釈ができたら、ニューラルネットを訓練してそれを模倣することができます。3D再構築の再構築はどれほど難しいのでしょうか。難しいですが、実行可能です。カメラ間に重なりがあり、再構築を行います。不正確さがあれば、注釈のステップで捕捉されます。はい、注釈の良いところは、完全にオフラインであることです。時間は無限です。1分間のチャンクがあり、どこかのスーパーコンピューターでオフラインですべての車、すべての人の位置を把握し、完全な1つが得られます。あらゆる角度から 1 分間のビデオを撮影し、必要なすべてのニューラル ネットを実行できます。非常に効率的な大規模なニューラル ネットにすることもできます。この時点では、後で車内で実行することさえできないニューラル ネットが存在する可能性があります。そのため、最終的に展開できるニューロンよりもさらに強力なニューロンにすることができます。3 次元再構成ニューラル ネットは、真実を復元するためだけに何でも実行できます。その後、その真実を監視します。人間が注釈を行うことに間違いはないと述べました。人間は、画面上のものをクリックする点で、得意とするさまざまなことがあると思います。人間が正確である注釈者を設計する問題があなたにとってどれほど興味深いかは関係ありません。たとえば、メトリックが効率的または生産的であるかどうかなど、そのようなことすべてです。ええ、私はテスラの注釈チームを基本的にゼロから 1,000 人に増やしました。私がそこにいた間、それは本当に興味深いことでした。私の経歴は博士課程の学生研究者であるため、その共通の組織を拡大することはかなりクレイジーでしたが、ええ、私はそう思います。これは非常に興味深いことです。人間を使う部分については、オートパイロットの背後にある設計プロセスの一部です。人間は特定の種類の注釈付けが非常に得意です。たとえば、画像の2次元注釈付けは非常に得意です。しかし、3次元空間で時間の経過とともに車を注釈付けするのは得意ではありません。非常に難しいです。そのため、オフライン トラッカーに任せるべき作業ではなく、人間が簡単に実行できるタスクを設計するように細心の注意を払いました。たとえば、コンピューターがすべての三角測量と3D再構築を行うかもしれませんが、人間は画像のこれらのピクセルが車であり、これらのピクセルが人間であると正確に判断します。そのため、データ注釈パイプラインの共同設計は、私が毎日行っていた非常に重要な作業でした。その分野にはまだ多くの未解決の問題があると思いますか。機械が得意なことを機械が行い、人間が得意なことをします。おそらく、何らかの反復プロセスがあります。私たちはかなりの程度まで、多数の反復を経て、これらのデータセットの作成方法について多くのことを学びました。大きな未解決の問題は見当たりません。問題としては、最初に参加したときは、これがどうなるか本当にわからなかったのですが、辞める頃には、データセットの作成方法の哲学をある程度理解していて、その時点ではかなり安心していました。では、運転免許試験におけるカメラの長所と限界は何でしょうか。運転課題を8台のカメラを使った視覚課題として定式化すると、コンピュータービジョン分野の歴史のほとんどがニューラルネットワークと関係していることがおわかりでしょう。少し立ち止まって、ピクセルを使って運転することの長所と限界は何でしょうか。ピクセルだと思います。視覚は素晴らしい感覚のセンサーです。カメラは非常に安価で、大量の情報、大量のビットを提供します。つまり、大量のビットに対して非常に安価なセンサーであり、これらのビットのそれぞれが世界の状態に対する制約となり、非常に安価なメガピクセルの画像が大量に得られ、実際に世界に何があるのか​​理解するための制約がすべて得られます。視覚はおそらく最も帯域幅の広いセンサーであり、非常に高帯域幅のセンサーです。ピクセルが世界に対する制約であるのが気に入っています。これは非常に複雑で、世界における高帯域幅の制約であり、世界という舞台では非常に魅力的です。それだけではありませんが、人間が使用するセンサーであるため、すべてがそのセンサー用に設計されています。テキスト、書き込み、点滅する標識など、すべてが視覚用に設計されており、どこにでも見つかります。そのため、これが必要なインターフェイスです。これらのユニバーサルインターフェイスについてもう一度お話ししますが、実際に世界を測定し、開発したいのはそこです。そのセンサー用のソフトウェアですが、人間が世界を理解するために使用する世界の状態に関する他の制約があります。つまり、視覚は最終的には主なものですが、私たちは人間の行動に関する理解と、視覚から推測できる常識的な物理学を参照しているようなもので、知覚の観点からは、世界を予測するために何らかの推論を使用しているように感じます。ええ、ピクセルだけではありません。つまり、世界が時間の経過とともにどのように進化するかについての強力な事前情報があります。つまり、データ自体から発生する尤度項が、観察しているものについて教えてくれるだけでなく、どこに見える可能性があり、どのように移動する可能性があるかなどの事前情報も必要です。問題は、運転タスクで発生する可能性のある可能性の範囲がどれだけ複雑であるかです。それはまだあなたにとって、運転がどれほど難しいかという未解決の問題ですか？哲学的に言えば、あなたは運転に取り組んできましたか？ええ、運転は他のすべてのエージェントの予測と理論に関係しているため、本当に難しいです。彼らが何をするか、彼らはあなたを見ているか、彼らはどこを見ているか、彼らは何を考えているか、ええ、そこにはたくさんのことが起こります。つまり、9の拡張の完全な末尾で、最終的に私たちが慣れなければならない最終的な問題は、そのような形です。それらは非常に一般的な問題ではないと思います。最終的には重要だと思いますが、それは本当に末尾の末尾の末尾とまれなエッジケースのようなものです。視覚の観点から、運転の視覚の問題で最も難しい部分は何ですか？基本的にセンサーは非常に強力ですが、それでもその情報を処理する必要があります。これらのピクセル値の明るさから3次元の世界に移行するのは非常に困難であり、それがニューラルネットワークが基本的に行っていることです。したがって、パイプライン全体を非常にうまく設計すること、つまり、データエンジン全体にこれらのニューラルナッツをトレーニングする能力を持たせること、システムを評価して反復する能力を持たせることです。したがって、これを大規模な本番環境で実行すること自体が難しい部分です。これは実行の問題であるため、データエンジンだけでなく、低レイテンシのパフォーマンスを備えたシステムの展開も必要です。したがって、ニューラルネットの場合、これらすべてのステップを実行する必要があります。具体的には、すべてが車のチップに収まるようにする必要があります。実行できるフロップスの予算は限られており、メモリ帯域幅やその他の制約があるため、それがうまく機能し、小さなスペースにできるだけ多くのコンピューティングを詰め込むことができることを確認する必要があります。このプロセスから何を学びましたか？これは、おそらく、新しいものから生まれた大きなものの1つです。研究のバックグラウンドでは、リソースが非常に制限された状態で実行されなければならないシステムがあり、非常に高速に実行されなければなりません。そこからどのような洞察を得ましたか。洞察が多すぎるかどうかはわかりませんが、利用可能なものに適合するニューラルネットを作成しようとしており、常に最適化しようとしています。AIデーで多くのことを話しましたが、基本的にはチームがエンジンにすべて適合して活用できるようにするために行っているトリプルバックフリップです。非常に優れたエンジニアリングだと思います。また、適切に行う方法に関するさまざまな小さな洞察も散りばめられています。データエンジンについてはまだ話していないと思いますので、実際にズームアウトしてみましょう。このアイデアのレイアウト全体は、人間がループに参加することで非常に美しいと思います。データエンジンについて説明していただけますか。データエンジンは、私がほぼ生物学的な感覚のようなプロセスと呼んでいるもので、これにより、これらのニューラルネットワークのトレーニングセットを完璧にします。プログラミングのほとんどは、現在これらのデータセットのレベルにあり、確かに、それらは大規模で多様でクリーンです。基本的には、良いと思うデータセットがあり、ニューラルネットをトレーニングしてデプロイし、パフォーマンスを観察し、データセットの品質を常に向上させようとします。つまり、シナリオを捉えようとします。基本的には稀なシナリオがあり、ニューラルネットが苦戦するのは通常、データセット内の稀なケースで何をすべきか指示されていないためです。しかし、今ではループを閉じることができます。なぜなら、これらすべてを大規模に収集できれば、私が説明した再構築プロセスにフィードバックして、それらのケースの真実を再構築し、それを追加できるからです。データセットに、そして全体としては、トレーニング セットを完璧にするための改善の階段のようになります。そして、データセットでまだ適切に表現されていない部分を掘り起こすために、デプロイメントを経る必要があります。データセットは基本的に不完全で、多様性が必要であり、欠けている部分があり、その部分を補う必要があります。データの中で人間が果たす役割はどのようなものでしょうか。人間の体は細胞でできていますが、この生物学的システムの役割は何でしょうか。人間のシステムを最適化するには、複数のエンジニアが協力して、何に焦点を当てるか、何に貢献するか、このニューラル ネットワークでどのタスクを最適化するか、どのタスクにさらにデータが必要かを判断するのは誰の責任ですか。ハイパー パラメーターについてお話しいただけますか。人間のシステムですね。結局のところ、エンジニアリング チームの非常に優れた実行力にかかっています。彼らは、データ エンジンの根底にある哲学的洞察と、システムが改善されるプロセスを直感的に理解しています。たとえば、データ収集の戦略とその仕組みを委任し、すべてが非常にうまく実行されていることを確認することです。ほとんどの作業は、哲学や研究、アイデアでさえなく、非常にうまく実行することです。その規模のデータを扱うのは非常に難しいので、データエンジンでうまく実行することが困難で非常に重要です。ビジョンボードのように、信号機をより良くする必要があるなど、優先順位はありますか？タスクの優先順位付けは基本的にそれであり、それは、製品で達成しようとしていること、つまりマップでリリースしようとしていること、QAチームからのフィードバックで得られる価値、システムが苦戦しているかどうか、改善しようとしていること、QAチームがさまざまな状況でのシステムのパフォーマンスに関する集約的な情報を提供するなど、いくつかのシグナルを提供します。もちろん、私たち全員がそれを操作し、それを確認することもできます。自分でも体験できるシステムで作業するのは本当に素晴らしいことです。データの統計的分析だけでは得られない、個人の経験から得られる洞察があるかどうかが問題です。とても奇妙ですよね。ある意味、科学的ではありません。なぜなら、あなたは単なる逸話的なサンプルだからです。ええ、たくさんあると思います。それは真実の源であり、システムとのやり取りです。ええ、システムを見ることができます。システムで遊ぶことができます。システムを変化させることができます。システムを理解することができます。直感があります。数字には数字の見方があり、プロットやグラフははるかに難しいと思います。多くのことが隠されています。言語を訓練するようなものです。モデルは、あなたがそれと対話することによって非常に強力な方法です。ええ、100 直感を構築しようとしてください。ええ、イーロンも、常に自分でシステムを操作したいと思っていました。彼はよく運転します。ええ、ほぼ毎日と言ってもいいでしょう。ええ、彼はこれを真実の源と見なしています。あなたがシステムを操作し、それが機能しているということです。ええ、ここで難しい質問についてどう思いますか。ええ、テスラは昨年、センサー スイートからレーダーを削除し、今度は超音波センサーをすべて削除してビジョン、つまりカメラのみに依存すると発表しました。これにより、認識の問題が難しくなるのか、簡単になるのか。私は質問を何らかの形で再構成するつもりです。つまり、基本的に、追加のセンサーについて考えるということです。ところで、ちょっと中断してもいいですか。言語モデルがそれを実行するかどうか疑問に思います。あなたがそれを促したら、質問を再構成します。それは素晴らしいことです。これは間違った問題です。申し訳ありません。少し間違った質問のようです。基本的に、これらのセンサーは資産であると考えるでしょう。しかし、製品全体を完全に考慮すると、これらのセンサーは実際には信頼性の可能性があります。なぜなら、これらのセンサーは無料ではありません。車にただ付いているわけではありません。何かが必要なのです。サプライチェーン全体が必要です。調達する人がいます。センサーに問題が発生することもあります。交換が必要になるかもしれません。センサーは製造プロセスの一部です。生産ラインの妨げになることがあります。センサーを調達する必要があります。メンテナンスが必要です。ファームウェアを書くチームが必要です。これらすべてに加えて、何らかの方法でシステムに組み込み、融合する必要があります。そのため、実際には臓器が肥大化します。イーロンは単純化が非常に得意だと思います。最も優れているのは、部品がないことです。彼は組織とアプローチのエントロピーを理解しているため、常に必須ではないものを捨てようとします。この場合、コストが高く、コンピュータービジョンエンジニアで、ネットワークを改善しようとしているだけであれば、潜在的に見えません。より有用か、より有用でないか、どれほど有用かがわかります。問題は、センサーの全コストを考慮すると、実際には潜在的に負債になる可能性があり、非常に有用な情報を提供していることを本当に確認する必要があることです。この場合、センサーを使用するか、または使用しておらず、Delta は大規模でなかったため役に立ちませんでした。また、データ エンジンに負担がかかり、センサーが増えると気が散ります。これらのセンサーは時間の経過とともに変化する可能性があります。たとえば、1 つのタイプのレーダーがあるとします。別のタイプのレーダーがあるとします。時間の経過とともに変化する可能性があります。突然、SQLite に列が表示され、どのセンサー タイプだったかがわかります。それらはすべて異なる分布を持ち、ノイズとエントロピーをすべてに与え、データを肥大化させます。また、組織的にも非常に興味深いことです。それは非常に気が散る可能性があります。ビジョンだけに集中したい場合、すべてのリソースがそこにあり、データエンジンを構築していて、実際に前進しています。なぜなら、それは世界で最も帯域幅が広く、制約が多いセンサーであり、それに完全に投資しているためです。システムのさまざまな側面に限られた量の焦点を当てるだけで、これはリッチ・サットンの苦い教訓を思い出させます。システムを単純化しているだけのように思えます。長期的には、もちろん長期的にはわかりませんが、常に正しい解決策のようです。はい、その場合は4rlでしたが、計算を行うすべてのシステムに一般的に当てはまるようです。では、ポイントクラウドとピクセルの戦いの松葉杖としてのライダーについてどう思いますか。この議論は常に少し混乱していると思います。実際の議論は、フリートを持っているかどうかであるべきであるように思われるからです。この規模で AI システムを本当にうまく機能させることができるかどうかについて本当に重要なのは、データ収集システムです。ええ、フリートがあるかどうかの方がはるかに重要です。LIDAR があるかどうかは、単なる別のセンサーです。ええ、レーダーの議論と基本的に似ていると思いますが、ええ、それは基本的に余分な情報を提供しません。非常に高価で、さまざまな問題があり、心配する必要があります。調整する必要があります。膨張とエントロピーが発生します。このセンサーが必要であることを本当に確信する必要があります。この場合、基本的に必要ないと思います。正直に言うと、他のいくつかの企業が使用しているセンサーはおそらくそれを廃止すると思います。したがって、センサーを完全に検討する必要があります。大量のデータを収集する大規模なフリートを構築できるかどうか、そのセンサーをそのデータと統合して、そのセンサーをデータ エンジンに統合して、データのさまざまな部分をすばやく見つけて、モデルが何であれ継続的に改善できるかどうかを検討する必要があります。そうですね、別の見方をすると、視覚は必要だということです。つまり、運転の世界は人間の視覚消費のために設計されているので、視覚は必要であり、運転に必要なすべての情報を持っているので十分です。人間は運転するために視覚が必要なので、視覚は必要かつ十分です。そのため、リソースを集中させ、他のセンサーを導入するかどうか、ある時点でInfinityにセンサーを追加するかどうか、線を引く必要があるかどうか、本当に確信を持たなければなりません。この場合、採用するセンサー1つの総コストを本当に考慮し、それが本当に必要かどうかを検討する必要があります。答えはここにあると思います。ケースは違います。では、他の企業が高解像度の地図を作成し、事業を展開する地理的地域を厳しく制限しているという考えについてどう思いますか。そのアプローチは、時間の経過とともに米国全体に拡大することはないと思われますか。2つ挙げると、あなたが言及したように、彼らはすべての環境を事前にマップし、マップを更新する必要があり、運転するすべての場所のセンチメートルレベルの正確なマップを完璧に持っています。これはクレイジーです。自律性が実際に世界を変えるという話をしているときに、どうやってそれを実現できるのでしょうか。私たちは、輸送のための自律システムのグローバルな展開について話しています。地球や多くの都市のセンチメートル精度のマップを維持し、それらを更新する必要がある場合、それはあなたが負っている大きな依存関係です。それは非常に大きな依存関係です。そして、本当にそれが必要なのか、人間はそれを必要としないのか、自問する必要があります。つまり、道路の接続性、運転中に分岐があることを知っている低レベルのマップを持つことは非常に便利です。環境について、あなたは高いレベルの理解を持っています。それは小さなGoogle Mapのようなもので、Teslaはシステム内で同様の解像度の情報を使用していますが、環境を事前にマッピングしてレベルの精度を送信することはできません。それは松葉杖であり、気を散らすものであり、エントロピーを消費し、チームを分散させ、チームを希釈し、実際に必要なことに焦点を当てていません。これがコンピュータービジョンの問題です。イーロン・マスクと一緒に働いて、機械学習、エンジニアリング、人生、そして一人の人間としての自分自身について何を学びましたか？私が学んだことの中で最も多かったのは、組織を効率的に運営する方法、効率的な組織を作成する方法、組織内のエントロピーと戦う方法についてだと思います。エントロピーとの戦いにおけるヒューマンエンジニアリングです。イーロンは組織内のエントロピーとの戦いにおいて非常に効率的な戦士だと思います。組織内のエントロピーとは正確にはどのようなものですか？それはプロセスです。プロセスと非効率性などです。会議です。彼は会議が嫌いで、役に立たない会議はスキップするように人々に言い続けています。ええ、彼は基本的に世界の最大のスタートアップは、テスラとスペースXだと思います。テスラは実際に複数のスタートアップを持っています。そのように見た方が良いと思います。彼はその点で非常に優れていると思います。ええ、プロセスを合理化してすべてを効率的にするための優れた直感を持っています。最高の部分は、簡素化、焦点化、障壁の排除、非常に迅速な動き、大きな動きなど、非常にスタートアップ的なように見えますが、規模が大きいため、簡素化への強い意欲があります。あなたの観点からすると、それはおそらく、システム設計や機械学習など、そうですね、単純化します、単純化します、そうです、成長する会社でスタートアップ文化を維持する秘訣は何だと思いますか？それを内省できますか？私は、アイデアの応援団のようなイーロンのような大きなハンマーを持ち、容赦なくそれを追求する強力な立場の人物が必要だと思います。十分な大きさのハンマーを持っていないと、すべてが委員会に変わり、社内で民主主義が生まれ、関係者と話し合って意思決定が行われ、すべてが崩壊します。とても賢く、大きなハンマーを持っている人物がいれば、物事は素早く進みます。インターステラーで好きなシーンは、AIとクーパーが「クーパー、何をしているんだ、ドッキングは不可能だ、いや、必要だ」​​と話している緊迫したドッキングシーンだとおっしゃっていましたね。ところで、たくさんの疑問があります。なぜAIはそのシーンで人間よりもはるかに多くのことを計算できるはずなのに、最適ではないと言っているのでしょうか？なぜ人間なのか？それは映画ですが、AIは人間よりもはるかによく知っているべきではないでしょうか？不可能に思える目標を設定することの価値についてどう思いますか。イーロンが主張しているように、コミュニティの最初の直感ではこれは非常に難しいと感じ、それでもクレイジーな期限で引き受けるという、人間工学の観点からの価値についてはどう思いますか。その価値を実感しましたか。不可能な目標を設定することが良いアイデアだとは言いませんが、非常に野心的な目標を設定することは良いアイデアだと思います。私が「難易度の線形以下のスケーリング」と呼んでいるものがあると思います。つまり、10 倍の問題は 10 倍難しいわけではありません。通常、10 倍難しい問題は 2 倍または 3 倍難しいということです。システムを 10 倍改善したい場合、ある程度の作業が必要ですが、システムを 10 倍改善したい場合、100 倍の作業はかかりません。それは、根本的にアプローチを変えるためです。その制約から始めると、一部のアプローチは明らかに愚かで、うまくいかないので、再評価を余儀なくされます。これは問題解決への非常に興味深いアプローチだと思いますが、奇妙な考え方が必要です。博士号取得の頃に戻るようなものです。機械学習コミュニティのどのアイデアが解決可能かをどのように考えるかということです。ええ、それは何が必要ですか？つまり、人々の考え方の決まり文句がありますが、基本的にコミュニティが言っていることを無視する必要があります。なぜなら、コミュニティはそうではないでしょうか。科学のコミュニティは通常、不可能なことの線引きをしますよね。そして、気が狂わずにそこから抜け出すのは非常に難しいです。ええ、ここでの良い例は、ある意味でディープラーニング革命だと思います。なぜなら、2012年のディープラーニング革命などの当時、コンピュータービジョンのスタックを10倍に改善することもできたでしょう。あるいは、実はこれはすべて無駄で、どうすればコンピュータービジョンを10倍良くできるかと言うこともできます。それはおそらく、ホッグフィーチャー検出器を調整することではないと思います。別のアプローチが必要です。スケーラブルなものが必要です。リチャード・サットンの苦い教訓の哲学のようなものを理解し、実際にはニューラルネットワークのような、原理的には機能するはるかにスケーラブルなシステムが必要であり、そのミッションを実際に実行して機能させることができる熱心な信者が必要です。それが10倍のソリューションです。自動運転の問題を解決するタイムラインはどれくらいだと思いますか。これはまだ部分的に未解決の問題です。自動運転のタイムラインで難しいのは、明らかに誰も自動運転を作ったことがないということです。ですから、この橋を建設するタイムラインはどれくらいだと思いますか。これまでに何百万もの橋を建設してきました。これが、それがどれくらいの時間がかかるかということです。誰も自律性を構築していないので、明らかではありません。一部の部分は他の部分よりもはるかに簡単であることが判明しているため、予測するのは非常に困難です。トレンドラインなどに基づいて、直感に基づいて最善を尽くしますが、それが根本的にこれを予測するのが非常に難しい理由です。誰もまだその内部にいるのが難しいのです。はい、いくつかのことははるかに困難になり、いくつかのことははるかに簡単になります。イーロンが予測を避けないようにしていますか？過去の自動車会社の責任者もそれを避けませんでした。フォードや他の場所は、2020年、2021年までにレベル4の運転で解決するという予測を立てましたが、今ではすべてがその予測を後戻りしています。AI担当者として、IUは個人的に予測を立てることができますか？それとも、実際に物事を考える能力の邪魔になりますか？簡単に言えるのは、この問題は扱いやすく、抽出しやすい予測です。うまくいくでしょう。確かに難しいですが、いくつかのことはより難しいことが判明し、いくつかのことはより簡単になることが判明します。しかし、間違いなく扱いやすいと感じます。少なくともテスラのチームは、私が内部で見た限りでは間違いなくその方向に進んでいるように感じます。扱いやすさについて予測できるようにする強力な表現をどのように形成するか。つまり、あなたは多くの人間のリーダーであり、これは実際に可能であると言わなければなりません。その直感をどのように構築するか。運転である必要はなく、他のタスクである可能性があります。ええと、人生でどんな難しいタスクに取り組んだのか疑問に思います。つまり、分類、特定のレベルの超人的なレベルのパフォーマンスを達成するというイメージです。ええ、専門家の直感、それは単なる直感です。それは信念なので、それについて十分に考え、サンプルデータを見て勉強するなど、あなたが言ったように運転すると、私の直感は本当に欠陥があります。扱いやすさについての優れた直感はありません。それはどちらでもあり得ます。何でもあり得ます。解決可能かもしれません。運転タスクは非常に些細なことに単純化される可能性があります。問題の解決策は非常に些細なものであり、大規模になるほど、完璧に運転する車が増えると、問題がはるかに簡単になるかもしれません。ええ、運転する車が増えれば増えるほど、人々は正しく運転する方法を学びます。正しくではなく、自律走行車、半自律走行車、手動運転車の異種システムに最適な方法で運転する方法で、状況が変わる可能性があります。また、私は道路を横断する歩行者をじっと見つめて人間のことを考えるのに途方もない時間を費やしてきましたが、私たちがアイコンタクトを使用する方法は、非常に強い信号を送信し、特定の癖や行動のエッジケースがあるように感じます。もちろん、死亡事故の多くは飲酒運転に関係しており、歩行者側とドライバー側では夜間の運転の問題などがあり、自動運転の解決策の可能性には、予測することがほぼ不可能なほど多くのヒューマンファクターの問題が含まれているのではないかと思います。非常にクリーンで素晴らしい解決策があるかもしれません。確かにゲームの例えを使うと、戦争の霧がありますが、改善のフロンティアも確実に見え、どれだけ進歩したかを歴史的に測定できます。たとえば、私が入社したテスラでの約5年間で少なくとも私が見たものは、高速道路でほとんど横たわっていませんでした。パロアルトからサンフランシスコに上がると、道路が幾何学的に何かを行ったり、曲がりすぎたりすると、機能しなくなるため、3、4回の介入が必要でした。そのため、5年でかなり有能なシステムになり、ボンネットの下で何が起こっているか、データやコンピューティングなどに関してチームが現在運用している規模がどの程度かを確認すると、非常に大きな進歩です。山を登っていると霧がありますが、霧の中で大きく進歩しています。進歩していて、次の方向性が見えてきて、残っている課題に目を向けると、それらはあなたを悩ませたり、哲学を変えたり、自分自身を歪めたりはしません。実はこれらはまだやらなければならないことだと思えます。問題を解決するための基本的な要素は、データエンジンからコンピューティング、車のコンピューター、トレーニング用のコンピューティングなど、あらゆるもののために存在しているようです。そのため、あなたは長年にわたり、テストを行ってきました。多くの素晴らしい画期的なアイデアやエンジニアリングを行ってきました。データエンジンからヒューマンサイドまで、すべてについてお話しいただけますか？ テスラを辞めることを選んだ理由を教えてください。 基本的に、私が説明したように、その5年間で、私は少し管理職に就き、ほとんどの時間を会議や組織の成長、チームやチームが取り組むべきことなどに関する高レベルの戦略的決定を下すことに費やしました。それは一種の企業幹部の役割のようなもので、私はそれなりにできると思いますが、根本的に私が楽しんでいるものではありません。私が入社したとき、テスラはすべてのコンピュータービジョンにサードパーティベンダーのモバイルアイを使用するという移行から、コンピュータービジョンシステムを構築するという段階だったため、コンピュータービジョンチームはありませんでした。私が到着したとき、ディープニューラルネットワークをトレーニングしている2人がいて、コンピューターで基本的な分類タスクのようなトレーニングをしていました。それで、私はそれをかなり立派なディープラーニングチーム、大規模なコンピューティングクラスター、非常に優れたものに成長させました。データ注釈の組織化、そして、その状況にとても満足していました。かなり自律的になったので、私は少し離れて、またもっと技術的なことをすることにとても興奮しています。ええ、私たちはAGIに焦点を当てています。この魂の探求はどんな感じでしたか？少し時間を取って、キノコを何個食べたかなどを考えました。いいえ、ええ、つまり、あなたの頭の中で何が起こっていたかということです。人間の寿命は有限です。ええ、彼はいくつかの素晴らしいことをしました。あなたは世界で最高のAIの教師の1人です。あなたは最高の1人です。そうではありません。可能な限り最高の意味で。あなたはAIの世界で最も優れたいじくり回しの達人の1人です。つまり、ゼロから構築し、基本的な直感で遊んで、何かがどのように機能するかの基本的な基礎を理解するようなものです。アインシュタインやフェインマンは皆、このようなことに非常に長けていました。小さな例のようなもので、それをいじって理解しようとします。そして明らかに、あなたは私たちと一緒に機械学習のチームの構築を支援しています。エンジニアや現実世界で実際に何かを達成するシステムなど、そういったことすべてを踏まえて、魂の探求はどうだったでしょうか。そうですね、大変でした。もちろん会社が大好きだし、イーロンも大好きだし、テスラも大好きだし、辞めるのは大変でした。基本的にチームが大好きなんですが、実は、もう一度やり直して、いつか戻ってくる可能性はあると思います。オプティマスで働き、テスラのAGIで働いています。テスラは素晴らしいことをすると思います。基本的に、社内に素晴らしい才能がたくさんある大規模なロボット工学の会社で、人間型ロボットは素晴らしいと思いますし、自律走行車も素晴らしいと思います。テスラではこのようなことが起きていて、本当に素晴らしい組織だと思います。その一員として、その発展を手助けすることは、とても楽しかったです。会社を愛しているので、基本的には大変でした。でも、いつか第2幕に戻ってくる可能性はありますが、この段階ではチームを作ったので、自律的だと感じました。マネージャーになり、もっと技術的なことをしたいと思いました。学びたいこと、教えたいことがありました。ちょっと気分転換にいい時期だと思いました。パート2について言えば、映画の続編で史上最高の映画はどれだと思いますか？映画の続編のほとんどはつまらないので。ええ、あなたは映画についてツイートしているので、ちょっと話がそれますが、お気に入りの映画の続編は何ですか？ゴッドファーザーパート2。ええと、あなたはゴッドファーザーのファンですか？ゴッドファーザーについてツイートも言及もしていないので、私はその映画が好きではありません。編集されていないのは知っています。それを消して、ゴッドファーザーへの憎しみを消すつもりです。よくもまあ、強い声明を出します。理由はわかりませんが、基本的に1995年以前の映画は好きではありません。ターミネーター2については触れませんでしたか？わかりました。ターミネーター2は1990年より少し後の作品です。いいえ、ターミネーター2という名前だったと思います。ターミネーター1も好きです。例外はいくつかありますが、全体的には、何らかの理由で1995年以前の映画は好きではありません。とても遅く感じます。カメラがズームアウトしているような感じで、退屈で、ちょっとナイーブで、ちょっと変です。それに、ターミネーターは時代を先取りしていました。そうです。そしてゴッドファーザーにはAGIがありません。[笑い] つまり、あなたが言及した映画の1つであるグッド・ウィル・ハンティングがありますが、それにもAGIはありません。それは数学だと思います。ええ、時々はAGIが登場しない映画や、アンカーマンのような映画を楽しむこともあります。いいえ、それは増分です。とても良いです。AGIについて言えば、ウィル・フェレルがなぜあんなに面白いのか理解できません。意味がわかりません。計算できません。彼には何か特別なところがあり、彼はユニークな人間です。最近はコメディーはあまりないので、これは文化やハリウッドの機械のようなものと関係があるのでしょうか。それとも、特定の人々とコメディーがうまくいったからでしょうか。彼はユニークな人間だからです。とんでもない話になってしまいました。申し訳ありませんが、ヒューマノイドロボットについて言及されていましたが、オプティマスやテスラボットについてどう思いますか。10年後、20年後、30年後、40年後、50年後には工場や家庭にロボットが存在すると思いますか。非常に難しいプロジェクトだと思います。しばらく時間がかかると思いますが、他に誰がヒューマノイドロボットを大規模に作るのでしょうか。そして、私が言及したように、世界はヒューマノイドフォームファクター用に設計されていれば、機械を操作でき、椅子に座ったり、車を運転したりもできるでしょう。基本的に世界は人間向けに設計されており、それが投資して時間をかけて機能させたいフォームファクターです。別の考え方もあると思いますが、問題を選んでそれに合わせてロボットを設計するのはいいのですが、実際にロボットを設計し、データエンジン全体とその背後にあるすべてを機能させるのは、実際には非常に難しい問題です。そのため、一般的なインターフェースを目指すのは理にかなっています。特定のタスクに最適というわけではありませんが、英語のプロンプトだけで何かを実行できるという汎用性があります。そのため、物理的な世界で一般的なインターフェースを目指すのは理にかなっていると思います。これは非常に難しいプロジェクトだと思います。時間がかかると思いますが、このビジョンを実行できる会社は他にありません。基本的には肉体労働で、輸送が大きな市場だと考えている場合は、肉体労働を試してみてください。すごいことですが、肉体労働だけではありません。私にとって、もう一つエキサイティングなのは、ソーシャルロボティクスです。つまり、私たちがさまざまなレベルでこれらのロボットと築く関係です。だから、私はオプティマスを見て本当に興奮しました。興奮していることを批判する人もいますが、私はヒューマノイドの脚付きロボットを研究している多くの研究室で働いてきました。ボストンダイナミクスのユニタリーなど、脚付きロボットを研究している会社はたくさんありますが、動きの優雅さは全体像のほんの一部です。テスラがヒューマノイドやレゴのロボットを作ることについて、私にとって2つの大きなエキサイティングなことは、明らかにそれをデータエンジンに統合することです。つまり、データエンジンの側面、つまり、実際の知覚、制御、計画などのインテリジェンスが、あなたが言及したこの巨大な艦隊に統合されます。そして艦隊について言えば、2つ目は、大量生産が安価で、それをうまく行う経験を持つ大量生産メーカーが文化的にシンプルなロボットに向かっていることを知っていることです。それがすべてを変えます。なぜそれがボストンダイナミクスとは全く異なる文化とスタイルなのか。ところで、これらのロボットは動き方が違うだけで、テスラが動きの滑らかさを実現するには非常に長い時間がかかるでしょう。しかし、それは問題ではありません。それはシステム全体に関することです。データエンジンやフリートについて話しましたが、初期のモデルでさえ非常にエキサイティングです。しかし、数ヶ月でプロトタイプが手に入るのも本当に驚きでした。それが非常に早く実現した理由は、あなたが言及したように、オートパイロットで起こっていることに基づいたコピーがたくさんあるからです。はい、非常に多くの量です。テスラのウッドワークスから出てきた人間型ロボットを作るための専門知識は、本当に素晴らしいものでした。イーロンが「これをやる」と言った翌日には、CADモデルが次々と現れ、サプライチェーンや製造について人々が話し、先日はドライバーなどを持って現れて、ボディを組み立て始めました。私は「テスラにはこんなにたくさんの人がいるんだ」と思いました。基本的に車を作ることはロボットを作ることとそれほど違いはありません。これはハードウェアの部品だけでなく、ハードウェアも忘れてはいけません。デモだけでなく、ハードウェアの製造もそうです。大規模なハードウェアはまったく別のものですが、ソフトウェアもそうです。基本的にこのロボットは現在、自分が車だと思っています。いつか中年の危機に陥るでしょう。車だと思っています。初期のデモのいくつかは、駐車場でやる可能性について話していました。なぜなら、そこではコンピュータービジョンがすべて箱から出して作業していたからです。箱の中ではなく、箱から出して作業していましたが、オペレーティングシステムはすべてコピーペーストです。コンピュータービジョンはほとんどコピーペーストです。つまり、ニューラルネットを再トレーニングする必要がありますが、アプローチとデータエンジンのすべて、オフライントラッカー、占有トラッカーの扱い方などはすべてコピーペーストです。ニューラルネットワークを再トレーニングする必要があります。計画制御はもちろんかなり変更する必要がありますが、テスラで起こっていることからコピーペーストがたくさんあります。つまり、100万台の人間ロボットを作るという目標を立てるとします。テスラでなければ、それは大きな要求です。テスラであれば、実際にはそれほどクレイジーではありません。そして、フォローアップの質問は、運転と同じように、操作タスクがどれだけ難しいかということです。大規模な影響を与えることができるほど難しいのでしょうか。状況にもよりますが、ロボット工学の本当に良いところは、製造業をしない限り、エラーの余地が多く、運転は安全が非常に重要であるということです。タイムクリティカルなロボットはゆっくり動くことが許されています。これは良いことです。確かに時間がかかると思いますが、開発の構造化の仕方は、時間がかかることを承知で、途中で収益を上げるために製品開発ロードマップをどのように設定するかを決める必要があります。ゼロ・ワン・ロス関数では機能するまで機能しないので、そのような状況にはなりたくないのです。すぐに役立つようにしてから、ゆっくりと大規模に展開し、データエンジン、改善ループ、テレメトリ、評価、ハーネスなどを設定し、時間をかけて製品を改善したいのですが、間違った方法では、途中で得られる収益は非常に重要です。そうでなければ、このような大規模な事業は経済的に意味をなさないので、構築できません。また、作業しているチームの観点からは、途中でドーパミンが必要になります。これは役に立つという約束をするだけではありません。これが機能すれば、10年後に世界を変えるでしょう。これは、あなたがなりたい場所ではありません。あなたがなりたいのは、今日のオートパイロットのように、安全性と運転の利便性が向上し、人々がそれにお金を払い、人々がそれを好み、人々がそれを購入する場所です。そして、あなたが取り組んでいるより大きな使命もあります。そして、それがチームのドーパミンであり、それが幸福の源でした。はい、これを展開しています。人々はそれを好み、人々はそれを運転し、人々はそれを支払い、彼らはそれを気にかけます。YouTubeの動画がたくさんあります。おばあちゃんが運転し、フィードバックを与え、人々はそれを好み、人々はそれに関わります。あなたはそれに大きく関わります。テスラを運転する人々はあなたを認識し、愛し、ありがとうのようにあなたに感謝するでしょう。この素晴らしい機能は、確かに難しいと思います。本当にあなたを愛している人もいれば、残念ながら、あなたが非常に価値があり役に立つと思う何かに取り組んでいるのを好まない人もいます。あなたを嫌う人もいます。私やチーム、プロジェクト全体を嫌う人がたくさんいます。彼らにはテスラのドライバーがいると思いますが、実際にはそうではないケースが多くあります。ええ、それは人間について、または現在の人間のやり取りの仕方について私を悲しくさせます。それは実際には修正可能だと思います。人間はお互いに良い関係を築きたいと思います。Twitterやソーシャルメディアは、実際には何らかの形でネガティブなものをよりバイラルにするメカニズムの一部だと思いますが、不釣り合いなバイラルなバイラルブーストを加える必要はありません。ええ、ネガティブなものに人々が興奮してほしいと思います。嫉妬やエゴを抑えて、他の人のために興奮してください。そして、それにはカルマの側面があります。あなたが他の人のために興奮すると、彼らもあなたに興奮します。学術界でも同じことが起こります。注意しないと、そこにはダイナミックなシステムがあります。もしあなたがサイロで考え、他の人が成功していることに嫉妬するなら、それはおそらく直感に反して、コミュニティとして、そしてあなた自身の生産性を低下させることにつながります。他の人を称賛し続けると、実際にあなたがより成功すると思います。業界によっては、人々はまだそれを理解していないと思います。ええ、一部の人々は非常に否定的で非常に声高なので、彼らは非常に目立つように取り上げられますが、実際にはチアリーダーである人々はたくさんいますが、彼らは沈黙のチアリーダーです。そして、世界中の人々と話をすると、彼らは皆、それがいかに難しいかを理解している人々のように、それは素晴らしい、素晴らしいと言います。製品を作った人や起業家、起業家がこれを機能させ、何かを変えるのは非常に難しいことです。そういう人たちは応援してくれる可能性が高いです。私が悲しくなることの1つは、ロボット工学コミュニティの一部の人々が応援してくれないことです。彼らは応援するべきです。なぜなら、彼らはそれがどれほど難しいかを知っているからです。彼らは実際には、大規模な製品を作ることがどれほど難しいかを知らないことがあります。彼らは実際に現実世界に展開しています。ロボットやAIシステムの開発の多くは、非常に特定の小さなベンチマークで行われ、現実世界の条件とは対照的です。ええ、学術的な環境でロボット工学に取り組むことや、現実世界に適用されるAIシステムに取り組むことは本当に難しいと思います。あなたは、ImageNetの有名な画像データセットを長い間愛してきましたが、最近、学術研究のMLコミュニティがImageNetやそのようなベンチマークに少し愛着を持ちすぎているという批判の言葉をいくつか受けました。機械学習で使用されるデータセットの長所と短所についてお話しいただけますか？研究についてですが、私が不満だったり、イメージネットを批判していた具体的な例を思い出せません。イメージネットは非常に価値があったと思います。基本的には、ディープラーニングコミュニティがディープニューラルネットワークが実際に機能することを実証できるベンチマークでした。そこには大きな価値があります。イメージネットは役に立ったと思いますが、基本的にはこの時点で少しエミニストになっています。エミニストは228×28のグレースケールの数字のようなもので、誰もがただ潰してしまうようなジョークデータセットです。しかし、MNSに関する論文がなければ、彼らは強力な論文を持つべきでしょう。たとえば、少量のデータでどのように学習するかなどに焦点を当てた論文などです。もちろん、それが役立つことはわかりますが、メインラインのコンピュータービジョン研究ではもうそうではありません。どこかであなたの話を聞いたことがあると思いますが、おそらく私の想像かもしれませんが、あなたは、イメージは長い間コミュニティに大きな貢献をしてきたが、今はそのようなイメージを乗り越える時だと言ったと思います。圧倒されました。エラー率は、ええ、1000分類の予測で90％の精度を達成しています。これらの画像を見ましたが、非常に高いです。本当に素晴らしいです。私の記憶が正しければ、上位5位のエラー率は1％かそこらです。巨大な現実世界のデータセットの経験を考えると、ベンチマークが研究コミュニティが使用する特定の方向に動くのを見たいですか？残念ながら、学術界には現在、次のImageNetはないと思います。明らかに、私たちはMnistを圧倒したと思います。基本的にImageNetを圧倒し、コミュニティ全体が次に期待できる大きなベンチマークはありません。データセットがみんなの想像力を魅了し、みんながそれを支持するために必要なもの、つまり、みんながそれを支持するために必要なもの、つまり、バイラルなリーダー、つまり、人気のある人が必要になるかもしれません。つまり、なぜその画像が流行ったのか、それとも歴史の偶然なのか、ちょうどいい難しさだったということです。ちょうどいい難しさで、シンプルで、十分に興味深く、ちょうどいいタイミングでその種のデータセットが登場したということです。Redditからの質問ですが、合成データとゲームエンジンがニューラルネットモデル開発の将来において果たす役割についてどうお考えですか？ニューラルネットが人間に収束するにつれて、ニューラルネットに対するシミュレーションの価値は、人間に対するシミュレーションの価値に似たものになると思います。そのため、人々はシミュレーションを使用します。人々は、そのようなシステムで何かを学習でき、実際に体験しなくても済むからです。でも、私たちが頭の中で行っているシミュレーションのことを言っているのですか？すみません、シミュレーションとは、ビデオゲームのようなシミュレーションのことです。さまざまな専門家向けの他の形式のシミュレーションについては、それについては反論させてください。おそらく、頭の中で行っているシミュレーションは、これを実行したら何が起こるかをシミュレートするようなものです。これは内部シミュレーションのようなものです。内部シミュレーションは、私たちが行っていることではありません。行動する前に仮定しましょう。そうですが、これは、コンピューターゲームやトレーニングセットの作成にシミュレーションを使用するという意味でのシミュレーションの使用とは独立しています。独立しているのでしょうか、それとも緩く相関しているだけなのでしょうか。反事実シミュレーションやエッジケースシミュレーションを実行して、核戦争が起きたらどうなるか、核戦争が起きたらどうなるかなど、そのようなことを行うのは有用ではないのでしょうか。これは、Unreal Engineとは異なるシミュレーションです。これが私が質問を解釈した方法です。平均的なケースのシミュレーションとは、Unreal Engineとはどういう意味ですか。Unreal Engineとはどういう意味ですか。世界をシミュレートするということです。その世界の物理法則はなぜ違うのでしょうか。その世界に動作を追加して、あらゆる種類のものを試すことができるからです。あらゆる奇妙なものを取り入れているので、Unreal Engineは単に似ているだけではありません。つまり、世界の物理特性を提出することであり、それを使ってグラフィックス、物理特性、環境に配置するエージェントなど、そういったものも行います。ええ、あなたは、AI開発の将来にとってそれほど重要ではないと言ったように思いますが、そのように解釈するのは正しいでしょうか。人間はシミュレーターを使用すると思います。人間はシミュレーターを使用して便利だと感じています。コンピューターもシミュレーターを使用して便利だと感じています。つまり、そうではないと言っているのです。私はシミュレーターをあまり使用しません。たまにビデオゲームをしますが、そのビデオゲームから自分の存在についての知恵を得ているとは思いません。それは現実からの一時的な逃避であり、現実についての知恵の源ではありません。だから、シミュレーションはそれほど役に立たないという非常に丁寧な言い方だと思います。そうかもしれません。おそらくそうではないかもしれません。今のところ、ニューラルネットのトレーニングの根本的で重要な部分だとは思っていません。しかし、ニューラルネットがますます強力になるにつれて、追加の動作をトレーニングするために必要な例は少なくなると思います。そして、シミュレーションには当然、現実世界ではないシミュレーションのドメインギャップがあります。少し異なりますが、十分に強力なニューラルネットでは、ドメインギャップは大きくなる可能性があります。ニューラルネットワークは、現実世界ではないとしても、学習できるはずの高レベルの構造をすべて持っていることを理解するからです。そうすれば、実際に、はい、合成データをより有効に活用できるようになります。よりよい理解を得るには、これが実際のデータではないということですね。次回はもっとよい質問をしましょう。それは質問だったのですが、冗談です。では、フェミニストについて言えば、非常に少ないデータしか必要としないニューラルネットやトレーニングプロセスを構築することは可能だと思いますか。私たちはトレーニングのためにインターネットのような巨大なデータセットについて話してきました。つまり、あなたが言ったように、クエリ自体が別のレベルのトレーニングであり、少しのデータを必要とするということです。しかし、研究を行って、非常に少ないデータを使用してトレーニングして知識ベースを構築できるという方向に進むことに価値を感じますか。ある時点で、大規模なデータセットが必要になると思います。そして、大規模なニューラルネットワークを事前にトレーニングして、GPTのようなものを取得すると、任意の新しいタスクを非常に効率的にトレーニングできるようになります。これらのGPTの多くは、感情分析や翻訳などのタスクを、非常に少ない例でプロンプトを出すだけで実行できます。これが私があなたにやってほしいことです。例えば、ここに入力文があります。ここにドイツ語への翻訳があります。入力文のドイツ語への翻訳、入力文の空白があります。ニューラルネットワークは、あなたが提供した例を見るだけでドイツ語への翻訳を完了します。これは、ニューラルネットの活性化ではなく、ニューラルランドの重みで学習する非常に少数のショットの例です。基本的に、人間と同じように、ニューラルネットは非常に重要になると思います。他の新しいタスクを学習するのに効率的ですが、ある時点で、ネットワークを事前トレーニングするための膨大なデータセットが必要になります。おそらく、私たち人間には、バックグラウンドで受動的なモデル構築機能があり、常に自己教師ありで実行されていますが、私たちはそれを意識していません。人間は間違いなく、つまり、明らかに生涯を通じて多くのことを学びますが、進化から生まれた初期化を助けてくれるハードウェアもたくさんあります。そのため、この分野の多くの人々は、秒数や、人間が生きている時間について話しているだけだと思います。これは、ニューラルネットのゼロ初期化のようなもので、多くの動物を見ることができるわけではありません。たとえば、シマウマは生まれてすぐに見ることができ、走ることができます。生涯にトレーニングデータがまったくないので、進化がどのようにしてこれらをエンコードする方法を見つけたのか、私にはわかりません。アルゴリズムとニューラルネットの初期化は80CGSまで非常に優れています。これがどのように機能するのかはわかりませんが、どうやら可能のようです。存在による証明があります。単一の細胞から生命体へと進化し、人生の最初の数年間に生まれるということは魔法のようです。人生の最初の数年間について何も覚えていないのは、それが非常に苦痛なプロセスであるという考えが気に入っています。非常に困難で挑戦的なトレーニングプロセスです。ええ、知的に。ええ、つまり、なぜ私たちはそれを何も覚えていないのかわかりません。何かクレイジーなトレーニングが行われているのかもしれません。それはおそらく、非常に苦痛なバックグラウンドモデルトレーニングです。そのため、システムがトレーニングされたら、それがどのように構築されたかを覚えていない方がシステムにとって最善です。長期記憶のハードウェアが完全に開発されていないだけだと思います。確かに、乳児の最初の数年間は実際には学習のようなものではなく、脳が成熟しているような気がします。ええ、ええ、私たちは未熟に生まれます。ええ、出生の理由に関する理論があります。管と脳の腫れによって私たちは未熟な状態で生まれ、最初の数年間は脳が成熟し、その後学習が行われます。これが私の現在の見解です。ニューラルネットは人間のような長期記憶を持つことができると思いますか？そのアプローチは人間のようなものですか？その上に別のメタアーキテクチャが必要だと思いますか？知識ベースのようなものを追加して、世界についての事実やそのようなものすべてを学ぶ必要がありますか？はい、しかし、それがどの程度明示的に構築されるかはわかりません。GPTに、宣言型メモリバンクがあり、そこに保存できると伝えるような直感的でない形式になるかもしれません。そしてデータを取得し、役に立つ情報に遭遇したら、それをメモリバンクに保存します。これが取得したデータの例です。Heiser の言い方です。これがそれをロードする方法です。英語のテキストで教えたものをロードするだけです。それからメモリバンクの使い方を学習するかもしれません。つまり、ニューラル ネットはバックグラウンド モデルのアーキテクチャであり、ベースとなるものです。そして、その他すべてはこの上に構築されます。これは単なるテキストではありません。ガジェットやギズモを与えるのです。つまり、何らかの特別な言語で教えていることになります。これにより、任意の情報を保存して後で取得することができます。これらの特別なトークンと、これらのインターフェイスを使用するためにトークンを配置する方法を説明します。計算機を使用できます。使い方は次のとおりです。5、3、4、1、イコールを計算するだけです。イコールがある場合は、計算機が実際に答えを読み上げます。自分で計算する必要はありません。英語で伝えるだけで、実際に機能する可能性があります。そういう意味では、ガトはディープマインドシステムとして興味深いと思います。新しい言語だけではなく、実際にすべてを同じ山に投げ込んでいます。画像、アクション、そのようなものすべてです。基本的に私たちが向かっているのはそういうことです。ガトは、強化学習のような、さまざまな環境を単一の固定されたトランスフォーマーモデルで学習するための、非常に包括的なアプローチです。その分野では、これは非常に初期の結果だと思いますが、最終的にはこのようなものになると思います。これは、最終的にこのようなシステムの初期段階です。リジッドリッチサドンの観点から見ると、私はこれらのインターフェイスが非常に異なって見えるのは好きではありません。すべてが同じAPIに正規化されることを望みます。たとえば、緑のピクセルと同じAPIに対して、非常に異なる物理、ジョイント構成、外観など、さまざまな世界環境を持つのではなく、さまざまなゲーム用の特別なトークンがあり、それをプラグインできます。すべてを単一のインターフェイスに正規化したいのです。ニューラルネットから見れば同じに見えるので、最終的にはピクセルベースのポンになると思います。では、あなた自身の個人的な生活についてお聞きします。多くの人があなたがAIの歴史上最も生産的で優秀な人物の1人であることを知りたがっています。アンドレ・カパシの人生における生産的な1日はどのようなものですか？何時に起きますか？平均的な生産的な1日と完璧な生産的な1日の間のダンスを想像してみてください。完璧な生産的な1日は、私たちが平均的に目指すものであり、すべての間違いや人間の不測の事態などを排除することに収束するものです。では、何時に起きますか？あなたは朝型ですか？私は朝型ではありません。確実に夜型です。安定しているかどうかはわかりませんが、8時か9時くらいで半安定しています。博士課程の頃はもっと遅くまで寝ていて、たいてい午前3時に寝ていました。午前の時間は貴重で、仕事をするのにとても面白い時間だと思います。なぜなら、午前8時か7時にはみんな寝ているからです。M 東海岸は起きているので、すでに活動があり、すでにいくつかのテキストメッセージがあり、何かが起こっています。ニュースサイトなどにアクセスして何かが起こっていると気が散ります。午前3時にはすべてが完全に静かなので、邪魔されることはなく、仕事をするまとまった時間があります。だから私はその時間帯が好きです。デフォルトでは夜更かしで、その後は生産的な時間だと思います。基本的に私がやりたいのは、あまり気を散らされることなく問題に勢いをつける必要があり、その問題をRAM、つまり作業記憶にロードする必要があります。そして、シャワーを浴びているとき、眠りに落ちるとき、その問題に夢中になる必要があります。問題が完全に記憶に残り、目覚めてすぐに取り組む準備ができている必要があるので、これは1日、週に数日、月に数日という時間的なスケールなので、1つについて話すことはできません。基本的に1日を孤立した状態で過ごすのは、問題に取り組み生産性を高めたいとき、その問題に本当に取り組める数日間の時間が必要だと感じています。邪魔されたくはなく、その問題に完全に夢中になります。そこで私はほとんどの良いトレーニングをします。非常に短い時間でたくさんのクールな小さなプロジェクトを素早くこなしたので、それに集中する必要があります。基本的に、作業記憶に問題をロードする必要があり、生産性を高める必要があります。問題に取り組むには常に大きな固定費がかかるからです。たとえば、私はテスラでこれに苦労していました。小さなサイドプロジェクトに取り組みたいからです。しかし、まず、クラスターにSSHで接続する必要があること、VSコードエディターを起動して作業する必要があること、何らかの理由で馬鹿げたエラーに遭遇する必要があること、すぐに生産性を高めることができる段階ではないこと、障壁に直面していることなどを理解する必要があります。それは、すべての障壁を本当に取り除き、問題に取り組み、問題全体を記憶にロードし、ニュース記事やメールなどのさまざまな形の気を散らすものだけでなく、以前取り組んでいた、現在取り組んでいる他の興味深いプロジェクトからの気を散らすものなどを避けて、本当に集中したいということです。つまり、気を散らすために少し時間を取ることもできますが、あまり多くはできないと思います。つまり、1日の大半をその問題に費やし、その後、コーヒーを飲み、朝の日課として、Twitter、Hacker News、Wall Street Journalなどのニュースを見ます。つまり、基本的には、目を覚ましてコーヒーを飲み、できるだけ早く仕事に取り掛かろうとしていますか？まず世界で一体何が起こっているのか、というような食生活をしていますか？世界について知ることは興味深いと思います。それが役に立つか良いかはわかりませんが、今はそれが私のルーチンの一部なので、たくさんのニュース記事を読んで情報を得たいと思っています。そして、うーん、私はそれに疑念を抱いています。その習慣に疑念を抱いていますが、今のところはそういう感じです。つまり、その習慣が生産性や幸福、心理的な幸福に与える良い影響について疑念を抱いているということですね。そして、世界を深く理解する能力にも。なぜなら、情報源がたくさんあるので、深く統合することに集中していないからです。少し気が散ります。完全に生産的な一日という観点から言えば、1回のセッションでどれくらいの時間、何かに集中して仕事をしようとしますか。数時間ですか、1時間ですか、30分ですか、10分ですか。おそらく数時間は続けられますが、その間に食事などの休憩が必要です。ええ、でも、時間を蓄積するのはまだ本当に難しいと思います。私は、正確にどのくらいの時間を費やしているかを教えてくれるトラッカーを使っていました。私は1日中コーディングに費やしてきましたが、とても生産性の高い日でも6時間か8時間しか費やしていません。通勤や人との会話、食事など、多くの余暇があるためです。生きること、維持すること、恒常性、人間としての自分を維持するだけでも非常にコストがかかります。そして、人間の心の中には、その余暇を生み出す社会に参加したいという欲求があるようです。ええ、ええ、私がこれまでで最も生産性の高い日は、最初から最後まですべてを完全に無視して、ただそこに座っていることです。そうすると、6時間から8時間以上も作業できます。ええ、長時間集中する厳しい日など、何があなたに力を与えるかについての知恵はありますか。ええ、問題に夢中になるたびに、何かが機能する必要がある、何かが存在する必要がある、存在する必要がある、そうすることで、バグやプログラミングの問題、技術的な問題、間違った設計上の決定に対処できるようになります。存在することを考えたいのであれば、そのすべてについて考えることができます。そう、存在する必要があるそして、私にとって大きな要素は、他の人間がそれに感謝するか、気に入ってくれるかということです。それが私のモチベーションの大きな部分を占めています。私が人間を助けて、彼らが幸せそうに見えたり、いいことを言ったり、ツイートしたり、何か役に立つことをしていると、私は喜びを感じます。つまり、GitHub でブログを投稿したり、動画を投稿したりして、それを世界と共有している自分を想像してみてください。そう、私はこう考えていました。もし私がこれらすべてのことをしたけれど、それを共有しなかったら、同じ量のモチベーションは得られないと思います。自分が作ったものから他の人が価値や幸せを得ているという感覚を楽しむのです。そう、食事はどうですか？断続的断食で遊んでいるのを見ました。断食はあらゆることに役立っていますか。あなたがプレイした内容、精神的に集中する能力に最も有益だったもの、つまり精神的な生産性と幸福感、それでも断食しているのですか。ええ、とても速いですが、私は断続的断食をしていますが、結局のところ、朝食を抜くことを意味します。ええ、つまり、定常状態のときはデフォルトで大体18 6 にしています。旅行中や何か他のことをしている場合はルールを破りますが、定常状態では18 6 にしているので、12時から6時までしか食べません。厳しいルールではないし、よく破るけど、それが私のデフォルト。あと、ええ、ほとんどの部分でランダムな実験をたくさんやってきたんだけど、ここ1年半は、私はプラントベースかプランドフォワードだと言っておきたい。プラントフォワードの方が正確には聞こえがいい。違いは知らなかったけど、頭ではいい感じに聞こえるけど、それは単に、植物ベースの食べ物が好きで、生か調理済みか、調理済みで鈍いペーストが好みってこと。だからプラントベース。ああ、植物というカテゴリーがどのくらい広いのかは知らないけど、ウェルネスってのは、ただ、植物を食べるのが好きで、他人に影響を与えようとしていないってこと。もし誰かが誰かのホームパーティーに来て、その人が本当に誇りに思っているステーキを出してくれたら、それを食べるよね。そう、ただ批判するわけではない。それは美しい。つまり、その裏返しだけど、私はとても柔軟だから、 1日1食にしてみたんだけど、うっかりしちゃったことがあるんだよね、ずっとじゃないんだけど、でも、うっかりしちゃったことがあるんだよね、好きじゃないんだよね、気分が悪くなると思うんだよね、多すぎるし、打撃が強すぎるから。それで、今は1日2食、12食と6食をノンストップでやってる、今は1日1食にしてる、面白いよね、面白い感覚だよね、1日以上断食したことある？水だけ断食は何回かやったことがあるんだけど、何が起こるか興味があったから、何か面白いことがあったら教えてほしい。つまり、面白いのは、2日間は空腹だったのに、3日目くらいから空腹ではなくなるってこと。数日間何も食べていないのに空腹じゃないから、すごく変な感覚だよね、変じゃない？人間の生物学で本当に奇妙なことの1つは、何かを見つけ出すこと、別のエネルギー源を見つけたり、システムをリラックスさせたりすることだよね、どうやってかはわからないけど。ええ、体は空腹のように感じますが、その後は諦めてしまいます。よし、今は断食中だから何もないんだ、という感じで、空腹にならないようにすることに集中するのです。そして、そのダメージを感じないようにし、食事の状況を理解するための余裕を与えようとします。では、今日でも夜が一番生産的ですか？私はそうですが、博士課程のスケジュールを維持するのは本当に大変です。特にテスラなどで働いていたときは、それは不可能でした。でも、今でも、人々はさまざまなイベントで会いたがります。社会は一定の期間で生きており、仕事をしなければならないので、社交的なことをするのは難しいです。その後、戻って仕事をするのは本当に大変です。だから、社交的なことをするようにしています。飲み過ぎないようにしています。仕事を続けていくのですが、テスラには転換点があります。でもどの会社でもスケジュールへの収束はあるのでしょうか、それともそれ以上のものがあるのでしょうか。人間は協力するときにどのように行動するのでしょうか。これについて学ぶ必要があります。彼らは一貫したスケジュールを維持しようとしていますか。全員が同時に起きています。つまり、私はルーチンを作ろうとしています。そして、自分が快適に過ごせる安定した状態を作ろうとしています。朝のルーチンと日中のルーチンがあります。安定した状態を作ろうとしています。物事は予測可能で、そうすれば体はそれに従うことができます。それを少し強調しすぎると、旅行中に時差ぼけに対処しているときに、本当に目的地にたどり着くことができません。ええ、それは奇妙なことです。人間の生涯にわたるワークライフバランスについてどう思いますか。テストの部分は、人々が何をしているかという点で人々を限界まで追い込むことで知られていました。彼らが何をしようとしているか、どれだけ働いているか、そういったことすべてにおいて、テスラはまだまだ評判が悪いと思います。テスラは爆発的な環境なので、ベースラインは、私が3回インターンをしたことがあるグーグルとディープマインドだけだと思います。ベースラインはそれよりも高いと思いますが、時々火事が起きて、人々がとても一生懸命働くような、とげとげしく爆発的な状況になり、その爆発に関する話が集まります。そうすると、完全に狂っているように見えますが、実際にはもう少し激しい環境であり、火事やスプリントなどもあります。でも、間違いなく、あなたが得るものよりも激しい環境だと思いますが、あなたはそれをすべて忘れてしまいます。あなた自身の個人的な生活について、ええと、人間の幸福についてどう思いますか？あなたのような素晴らしい人が仕事と生活のバランスを見つけることについて、それともそのようなことでしょうか？良い思考実験ではありませんか？ええ、バランスは良いと思いますが、私は分散されていないスプリントも大好きです。それが私が考えていることです。私はかなり創造的であり、分散されていないスプリントは、ほとんどの場合、ええ、いわゆるバランスが取れていることを意味します。ほとんどの場合、バランスが取れています。ええ、私は時々何かに夢中になるのが好きです。時々は週に一度、月に一度、年に一度、ええ、おそらく月に一度か何かです。ええ、そしてそれは私たちが新しいGitHubリポジトリを取得するときです。ええ、それはあなたが本当に問題を気にしているときです。それは存在するに違いありません。これは素晴らしいことです。あなたはそれに夢中になっています。そして今、その日にそれをすることはできません。リズムに乗るには固定費を払う必要があり、しばらくそこに留まる必要があります。すると社会がやって来て、彼らはあなたを混乱させ、気を散らそうとします。ええ、ええ、最悪なのは、あなたの時間を5分だけ欲しいと言う人です。ええ、これがそのコストです。5分ではありません。社会はあなたの時間を5分だけ使うという考え方を変える必要があります。決して1分ではありません。30分です。ただの素早い時間です。何が問題なのですか。ええ、いいえ。ええ、あなたのコンピューターの設定はどんなものですか。完璧な設定とは、どんなラップトップでも4画面で柔軟に対応できる人ですか。ええ、それとも、最も生産性の高い設定を好みますか。ええ、私がよく知っているのは、27インチの大きな画面が1つあり、横にラップトップがあり、オペレーティングシステムはMaxです。すべてのタスクでメインで使用しています。OS Xだと思いますが、ディープラーニングで作業している場合は、すべてをLinuxとしてSSHで接続します。クラスターでリモートで作業していますが、IDEを使用した実際の開発はどうですか？ええ、いい方法は、Macで今一番気に入っているエディタであるVS Codeを実行することだと思いますが、実際にはSSH経由でリモートフォルダを持っているので、操作している実際のファイルはクラスタのどこか他の場所にあります。では、最高のIDEは何ですか？VS Code、他には何をしていますか？私はまだEmacsを使用していますが、それはクールです。クールかもしれません。最大の生産性かどうかはわかりませんが、エディタに関してお勧めは何ですか？多くのソフトウェアエンジニアと仕事をしてきましたが、Python、C、機械学習アプリケーション用のエディタです。現在の答えはVS Codeだと思います。これが最高のIDEだと思います。膨大な数の拡張機能があり、GitHubのコパイロット統合があり、非常に価値があると思います。コパイロット統合についてどう思いますか？実は、GuidoとRossumとたくさん話をしました。彼はクリエイティブなPythonが好きで、コッポラは、これを使ってたくさんのプログラミングをしています。そうです、彼は副操縦士です。私はこれが大好きです。私にとっては無料ですが、お金を払ってもいいくらいです。とても良いと思います。私が見つけたユーティリティは、学習曲線があり、いつ役立つのか、いつ出力に注意を払うべきなのか、いつ役に立たないのか、いつ注意を払うべきではないのかを把握する必要があるということです。なぜなら、常に提案を読んでいるだけでは、これとやり取りするのに良い方法ではないからです。しかし、私はそれに合わせて自分自身を形作ることができたと思います。これは非常に役立つと思います。1つ目は、コピーペーストして一部を置き換えることです。パターンが明確な場合は、パターンを完成させるのに非常に優れています。2つ目は、私が知らないAPIを提案してくれることがあります。これは、知らなかったことを教えてくれます。これは発見の機会であり、見る機会でもあります。私はコパイロットのコードを決して受け入れません。私はほとんどの場合、これをコピーしてGoogle検索にコピーし、この関数が何をしているのかを見て、ああ、これはまさに私が必要としていたものです、ありがとう、コパイロット、と何かを学んだので、検索エンジンの一部は別として、正確な構文を正しく取得することは、一度見れば、そうです、NPの難しいことです。一度見れば、はい、まさに正しいとわかります。自分で苦労することはできますが、効率的に生成することはできません。コパイロットは、プログラミングの自動操縦装置です。現在は、リンクをたどっています。これは、単純なコピーペーストや、時には提案のようなものです。しかし、時間の経過とともに、ますます自律的になり、同じことがコーディングだけでなく、実際には多くの異なることにわたって展開されるでしょう。しかし、コーディングは重要なものです。プログラムを書くなどです。その将来をどのように見ていますか。プログラム合成を開発し、より高度なプログラムを書けるようになるなどです。そして、より複雑になっています。なぜなら、今は興味深い方法で人間が監視しているからです。移行は非常に苦痛になると思います。私のメンタルモデルでは、オートパイロットの場合と同じことが起こるでしょう。現在、リンクをたどる単純な作業を行っていますが、最終的には自律性が実現し、人間の介入はますます少なくなります。テストメカニズムのようなものが考えられます。関数を記述した場合、その関数は非常に正しく見えますが、正しいことをどうやって知るのでしょうか。プログラマーとして怠惰になっているので、小さなバグなど、小さなバグは発生しないと思います。副操縦士は、微妙なバグを1つオフにします。それは私に起こりましたが、将来のシステムではそうなると思いますか。それとも、本当にオフになるのでしょうか。オフは実際にはプログラミングの基本的な課題です。その場合は、基本的なものではなく、改善できると思いますが、ええ、人間が監視する必要があると思います。何が出てくるのか、たとえばバグの増殖がどうなるのかを人が監視しないことに不安を感じています。私たちのシステムすべてについて、私は不安を感じていますが、おそらくバグを見つけるための副操縦士など、ある時点でそのようなものが存在するでしょう。なぜなら、自動化がさらに進むからです。つまり、プログラムのようなもので、副操縦士がコンパイラーを生成し、リンターを実行し、型チェッカーを実行するようなものになります。GPTのような委員会のようなもので、委員会のマネージャーのような存在になります。そして、新しいバージョンが必要だと言う人がいて、再生成する必要があります。転送されたGPTが10個あり、50の提案があり、別の人がそれを見て、いくつかを選択しました。バグのようです。一度見てみると、おそらくバグのようで、他の何かによって再ランク付けされ、最後に Ensemble の GPT が登場します。皆さんが話してくれたことを考えると、これはおそらく次のトークンです。世界中のプログラマーの数は急速に増えていますが、このような世界では実際に横ばいになって非常に低い数にまで減少する可能性はあると思いますか。そうなると、ソフトウェア 2.0 プログラミングや、このような世代の副操縦士型システム プログラミングを行うことになり、古い学校のソフトウェア 1 は行わなくなります。0 プログラム 今のところ、人間のプログラマーに取って代わるだけとは思っていません。5年後には置き換えられるでしょうから、こういうことを言うのはとてもためらわれます。これが私たちが考えていたところだとわかるかどうかはわかりません。あなたの意見には賛成ですが、驚くことになるかもしれません。次は何かな、言語モデルで私たちが見ているものについてどう感じていますか。始まり、中間、終わり、始まりのように感じますか。100 私の頭の中にある大きな疑問は、GPT がかなりうまくプログラミングできるかどうかです。システムをどのように操縦するか、実際に探しているものについて何らかのガイダンスを提供する必要があります。つまり、どのように操縦するか、どのように話しかけるか、どのように監査して、行われたことが正しいことを確認するか、これをどのように操作するか、これは AI の問題だけでなく、UI UX の問題でもあります。vs code plus plus の非常に興味深い作業のための素晴らしい肥沃な土壌です。もう人間がプログラミングするだけではありません。素晴らしいことです。システムと対話しているので、1つのプロンプトだけではなく、反復的なプロンプトです。システムと会話する方法を見つけようとしています。実際、私にとっては、自分が書いているプログラムと会話するのはとてもエキサイティングです。ある時点で、単に会話しているだけかもしれません。つまり、これが私がやりたいことのようなものです。実際には、この変数はそれほど低レベルではないかもしれませんが、これをC + +に翻訳してPythonに戻すこともできます。すでに存在しているわけではありませんが、プログラム体験の一部として行うだけです。たとえば、この関数をC + +で書きたいと思います。または、さまざまなプログラムに変更し続けるだけです。構文が異なるためです。これを関数型言語に変換したいかもしれません。そうすれば、プログラマーとして多言語になり、効率的に前後に踊ることができます。つまり、UI uxはまだ非常に考えるのが難しく、単なるページにコードを書くには、開発環境全体とハードウェアの束が必要です。環境変数やChromeジョブで実行されるスクリプトなど、コンピューターの操作にはさまざまなことが行われています。これらのシステムでは、環境フラグを設定し、複数のマシン間で作業し、画面セッションを設定し、さまざまなプロセスを自動化します。これらはすべてどのように機能し、人間が監査できるのかなど、非常に大きな疑問があります。アーカイブの健全性を構築した今、アーカイブとは何か、学術研究出版の将来はどのようなものになると思いますか。アーカイブとはプレプリントサーバーです。論文があれば、ジャーナルに投稿したり、会議で発表して6か月待ってから合否の決定を受けるか、アーカイブにアップロードして3分後にツイートしてみんながそれを見てみんなが読んでみんながそれぞれの方法でそこから利益を得ることができます。引用もできますし、公式の見た目になります。まるで出版のようです。出版プロセスのようです。ブログ投稿に載せるのとは違いますね。ええ、そうですね、論文なので通常アーカイブで期待するもののハードルは高くなりますが、ブログ投稿で見るものの場合はハードルが高くなります。アーカイブではおそらくかなりひどい顔をしてホストする可能性があるため、文化がハードルを作り出しました。それでピアレビューについてどう感じますか？2人3人の専門家による厳格なピアレビューとコミュニティによるピアレビューの違いは、その通りです。基本的にコミュニティはTwitterで非常に迅速にピアレビューできると思います。AIや機械学習の分野に関係しているのかもしれません。でも、監査が簡単にできるような気がします。そして、検証は他の場所での検証よりも簡単である可能性があります。つまり、科学的な出版物について考えてみましょう。そこには、誰もがお互いの作業に基づいて構築し、お互いを設定する小さなブロックチェーンのようなものがあり、AIはより高速で緩いブロックチェーンのようなものです。ただし、個々のエントリは非常に安価に作成できます。一方、そのモデルがあまり意味をなさない他の分野もあります。AIでは、少なくとも物事はかなり簡単に検証できるため、人々が論文をアップロードすると、それは本当に良いアイデアであり、人々は翌日にそれを試すことができ、それが自分の問題で機能するかどうかの最終的な裁定者になることができ、全体が大幅に高速化します。そのため、学術界にはまだ場所があるように感じます。申し訳ありませんが、この会議ジャーナルプロセスはまだ場所がありますが、遅れているような気がします。少しは質の高いプロセスかもしれませんが、最先端の研究を発見できる場所ではありません。私が博士課程を始めた頃は、会議やジャーナルに行って最新の研究について議論していましたが、今は会議やジャーナルに行っても、そこに載っているものについて議論する人は誰もいません。なぜなら、それはすでに3世代前の無関係なものだからです。そう、それは私を悲しませます。例えばディープマインドは、ネイチャーなどの大きな権威ある雑誌にまだ論文を発表しています。つまり、大きな会場に伴う名声とは対照的に、まだ価値があるということです。しかし、その結果、彼らは画期的なパフォーマンスを発表しますが、実際に詳細を発表するまでに1年ほどかかります。つまり、詳細がすぐに公開されれば、コミュニティが特定の方向に進むきっかけになるでしょう。コミュニティの残りの部分がスピードアップするでしょうが、それがどの程度彼らの目的関数の一部であるかはわかりません。それは本当です。名声だけではありません。少し遅れているのも一部です。確かに、ディープマインドは、基本的にプロセスとレイテンシを少し高めた体制で作業しており、そのようにして論文を公開しています。Redditからの別の質問ですが、AI Teslaのディレクターとして、スタンフォードにいるときに、世界があなたをAIの専門家として見ていて、機械学習について世界に教える人として見ていたとき、インポスター症候群に悩まされたことがありますか？5年後にTeslaを辞めるとき、会議室でたくさんの時間を過ごしました。Teslaに入社した当初は、論文を読んでいました。コードを書いて、最後のコードを書いて、コードを読んで、その後はコードを読んでいました。これは自然な流れだと思います。間違いなく、ほぼ最後のほうで、自分が専門家であるべきだということがだんだんわかってきます。でも、真実の源は、GitHub で人々が書いているコードであり、実際のコードそのものであり、以前ほどそのコードに詳しくはないので、不安があるのか​​もしれません。これはかなり根深い問題です。不安の多くは、コンピューター サイエンスの分野でコードを書かないことに関係しています。なぜなら、それが真実だからです。コードこそが真実の源です。論文やその他のすべては、高レベルの要約です。高レベルの要約ではありませんが、結局のところ、コードを読まなければなりません。すべてのコードを実際の論文形式に翻訳することは不可能です。ですから、何かが出てきたとき、特にソース コードが利用できるときは、そこに行くのが私のお気に入りの場所です。先ほども言いましたが、あなたは cs231n から今日まで、機械学習 AI の最高の教師の 1 人です。機械学習に興味がある初心者にアドバイスはありますか? 初心者は、多くの場合、何をするかということに集中するべきだと思いますが、集中すべきなのは、どれだけやるかということだと思います。だから、私はこの10,000時間という概念をかなり信じています。つまり、時間を費やせるもの、関心のあるもの、興味のあるものを選ぶだけでいいのです。文字通り10,000時間の仕事をしなければなりません。どこにそれを費やすかはそれほど重要ではありません。繰り返して改善し、時間を無駄にすることになります。10,000時間を費やすより良い方法があるかどうかはわかりませんが、実際にはとてもいいことだと思います。なぜなら、専門家になることには、ある程度の決定論があるように感じるからです。1万時間を費やせば、文字通り任意のものを選ぶことができます。そして、1万時間を費やして意図的に努力し、働けば、実際にその分野のエキスパートになると思います。これは良い考えだと思います。つまり、基本的には、1万時間を費やしているかどうかに焦点を当てます。そして、1万ドルに到達する可能性を最大限に高めるメカニズムについて考えます。これは、私たち愚かな人間にとって、毎日、実際に役立つことをする習慣を身につけることを意味します。これは、自分自身の心理的な問題であると私は考えています。私が助けているもう1つのことは、心理学に役立つと思うことです。多くの場合、人々は自分自身をその分野の他の人と比較します。これは非常に有害だと思います。自分を1年前の自分と比較するだけです。1年前の自分よりも優れているかどうか。これが唯一の考え方です。そして、これが自分の進歩を確認でき、非常にやる気を起こさせます。私たちの量に焦点を当てることは非常に興味深いことです。なぜなら、多くの人が初心者の段階では、実際には選択に困惑してしまいます。この道を選ぶべきか、この道を選ぶべきか、といった選択に困惑してしまいます。文字通り、どのIDを使うべきかといったことで困惑してしまいます。彼らは心配しています。こういったことをすべて心配していますが、問題は、間違ったことをして時間を無駄にしてしまう人がいるということです。最終的には、それが正しくないことに気づき、瘢痕組織が蓄積され、次回はより強くなります。次回は瘢痕組織があるため、次回はそこから学び、次に同様の状況に遭遇したときには、失敗したと思うでしょう。何にもならないことに多くの時間を費やしてきましたが、その瘢痕組織が蓄積され、何が役に立ったか、何が役に立たなかったか、物事がどうなったかについての直感があります。つまり、それらの間違いはすべて、死んだ仕事ではありませんでした。ですから、仕事に集中すべきだと思います。何をしましたか。先週何をしましたか。これは、機械学習だけでなく、多くのことについて尋ねる良い質問です。それは、言葉が何を使うか忘れましたが、無駄な部分や脂肪など、人生の非効率性をカットする良い方法です。教えることの好きなところは何ですか？教えることに惹かれることが多いようですね。とても上手ですが、同時に惹かれることもあります。つまり、教えることが好きとは思いません。幸せな人間と、私が教えるときの幸せな人間が好きです。そうです、教えることが嫌いだとは言いません。教えることは我慢できますが、教えるという行為が好きなわけではありません。ええと、私には何かがあります。実は、私は教えることが得意で、人々はそれをとても高く評価してくれます。ええ、そして、私はただ役に立とうとするのがうれしいです。教えること自体は、最も難しいことではありません。本当にイライラすることもあります。ちょうど講義をたくさん準備していたのですが、231の頃を思い出しました。これらの教材を作成して良いものにするためには、どれだけの作業が必要か、反復と思考の量、行き止まり、どれだけの変更が必要か。教育的価値という点で何か良いものを作るのは本当に大変で、楽しいことではなく、難しいことです。ですから、皆さんはぜひあなたの新しいものを見てください。講義では、あなたが言ったように、最も冷たい真実から実際にものを構築しているので、バックプロパゲーションについて話し、全体を見て構築しています。そのための準備はどれくらい難しいですか。これは非常に強力な教え方だと思います。どのように準備しましたか。それとも、ライブで考えながら行うのですか。通常は、たとえば3テイク撮って、その中からより良いテイクを撮ります。つまり、複数のテイクを撮って、その中からいくつかの良いテイクを撮って、そのように講義を組み立てます。時々、 30分のコンテンツを削除しなければなりませんでした。あまり好きではない内容になってしまったからです。反復がかなり多く、1時間のコンテンツを作成して1時間を提供するのにおそらく10時間ほどかかります。興味深いのは、基本に戻るのは難しいことでしょうか。基本に戻ることで多くの知恵が得られるのでしょうか。そうです、伝播損失関数がどこから来たのかを遡ります。正直に言うと、教えることの好きな点の1つは、理解が確実に深まることです。ですから、それは純粋に利他的な活動ではなく、誰かに何かを説明しなければならない場合に学ぶ方法です。知識にギャップがあることに気づきます。そのため、講義で自分自身に驚かされることもありました。結果は明らかにこれを見て、結果はそうではないので、私は「わかった、これは理解できたと思った」と思うのです。しかし、だからこそ、文字通りコードを記述するのは本当にクールです。ノートブックで実行すると、結果が表示され、おお、すごい、実際の数値、実際の入力動作のようになります。実際のコード、数学記号などではありません。真実の源はコードです。スライドではありません。ただ作ろうというだけのことです。美しいものです。その意味であなたは稀有な人間です。AIの世界に大きな影響を与えるアイデアを開発して発表しようとしている研究者にアドバイスをお願いします。学部生、あるいは大学院生の初期段階の学生でしょうか。彼らは間違いなく、博士課程の学生だった私よりも少し戦略的でなければなりません。AIの進化の仕方は物理学と同じで、物理学ではかつてはベンチトップで実験を行うことができ、すべてが順調で進歩を遂げることができましたが、今ではLHCやCERNなどで働かなければなりません。AIはその方向でも同じです。ベンチトップではもうできないようなことがいくつかあります。当時はそうではなかったと思います。今でも、非常にシンプルなアイデアで、簡単な例を説明するためにコンピューターが 1 台だけ必要な、ガンのような論文を書く必要があると思いますか。最近非常に影響力のある例の 1 つは拡散モデルです。拡散モデルは素晴らしいです。融合モデルは 6 年前のものです。私が知る限り、長い間、人々はそれを無視していました。特に画像や安定拡散などでは、素晴らしい生成モデルです。すべて拡散に基づいています。融合は新しいもので、以前は存在せず、Google から来ましたが、研究者が思いついた可能性があります。実際、最初のいくつかは実際には Google から来ましたが、研究者が学術機関で思いついた可能性があります。はい、社会への影響から技術的なアーキテクチャまで、拡散モデルで最も興味深いと思うことは何ですか。融合は非常にうまく機能し、その多様性と合成データの斬新さは驚異的です。安定拡散画像は信じられないほどです。画像生成の改善速度は驚異的です。小さな数字の生成から小さな顔の生成に非常に早く移行し、すべてがめちゃくちゃに見えましたが、今では安定拡散があり、それは非常に迅速に起こりました。学術界が貢献できることはまだたくさんあります。たとえば、フラッシュアテンションは、学術環境から生まれたトランスフォーマー内でアテンション操作を実行するための非常に効率的なカーネルです。カーネルを構成する非常に巧妙な方法です。つまり、計算であるため、アテンションマトリックスが実現されません。つまり、貢献できることはまだたくさんあると思いますが、より戦略的である必要があります。ニューラルネットワークを推論させることができると思いますか？はい、すでに推論されていると思いますか？はい、推論の定義は何ですか？情報処理、つまり人間が問題をよく考え、新しいアイデアを思いつくような方法で、推論のように感じます。目新しいとは言いたくないが、分布の考え方からすると、それは可能だと思う。そして、現在のニューラルネットでは、トレーニングセットの情報をリミックスして、ある意味で真の一般化を行うことができるのがすでにわかっていると思う。それは、アルゴリズム的に何か面白いことをしているようには見えない。いくつかのシンボルを操作して、新しい設定で正しい一意の答えを導き出している。このことは、この物体が間違いなく思考していることを示すだろう。私にとって、思考や推論は単なる情報処理と一般化であり、ニューラルネットは今日すでにそれを行っていると思う。世界を認識したり、入力されたものを認識したり、それに基づいて予測したり、それに基づいて行動したりできることが理由です。ええ、新しい設定で正しい答えを出すには、情報を操作して正しいアルゴリズムを学習する必要があります。単なるルックアップテーブルや近傍検索を行うのではなく、AGIについてお聞きします。AGIに向けて大きな進歩をもたらすと思われるムーンショットのアイデアは何ですか。あるいは、他の方法で、現在見落としている大きな障害は何ですか。基本的に、私はAGIを構築する能力にかなり楽観的です。基本的に、人間のような自動化システムであり、デジタル領域または物理領域で対話できます。現在、このような魔法のようなタスクを実行するモデルのほとんどはテキスト領域にあるようです。ええと、先ほど言ったように、テキスト領域だけでは世界を完全に理解するには不十分ではないかと思っています。実際には、ピクセルに入り込んで物理世界とその仕組みを理解する必要があると思います。そのため、これらのモデルを拡張する必要があると思います。画像や動画を消費し、そのようにマルチモーダルなより多くのデータでトレーニングします。世界を理解するために世界に触れる必要があると思うなら、それは大きな未解決の問題です。私の考えでは、もしあなたが具現化と世界とやりとりする能力も必要とし、実験を実行し、その形式のデータを取得する必要があるなら、Optimusかそのようなものに行く必要があります。したがって、Optimusはある意味でAGIのヘッジのようなものだと言えます。なぜなら、インターネットからのデータだけでは不十分である可能性があるように思われるからです。そうであれば、OptimusはAGIにつながる可能性があります。なぜなら、私にとって、Optimusを超えるものはありません。このヒューマノイドフォームファクターは、実際に世界で何かをすることができます。何百万ものそれらが人間とやりとりすることができます。そして、それがいつかAGIを生み出すことにつながらないのであれば、何が生まれるかわかりません。完全性の観点から言えば、それは本当に良いプラットフォームだと思いますが、はるかに難しいプラットフォームです。原子を扱っていて、実際にこれらを構築して社会に統合する必要があるので、その道は時間がかかると思いますが、はるかに確実です。次にインターネットの道があり、これらの圧縮モデルを効果的にトレーニングして、インターネット全体を圧縮しようとすると、これらのエージェントもインターネットを圧縮するだけでなく、インターネットと対話するようになるかもしれません。私には明らかではありませんが、実際には、物理​​世界に入ることなくAGIに到達できるのではないかと考えています。これは少し心配です。なぜなら、その結果、より早く実現する可能性があるためです。私たちは再び沸騰水の中にいるような気がします。何が起こっているのかわかりません。私は恐れていません。AGIについてはワクワクしています。常に懸念はありますが、いつ起こるのか知りたいです。1年後とかに起こるかもしれないというヒントが欲しいです。デジタルの世界では起こるかもしれないと感じています。AGIを再び構築した人は誰もいないので、私たちにできることは、周辺に牛の牧場が十分にあるかどうかだけです。はい、これまでの進歩は非常に急速で、次のステップがあります。デジタルエンティティとやりとりする可能性はかなり高いと思います。誰かの誕生日をどうやって知るのでしょうか。ゆっくりとした段階的な移行になると思います。製品ベースで焦点が当てられ、GitHubの副操縦士が改善し、GPTが役立ちます。そして、数学の問題にアクセスできるこれらのオラクル。化学で非常に複雑な質問をすることができる寸前だと思います。これらのオラクルの物理数学と完全なソリューションをAGIに使用して、主に知性に焦点を当て、意識が関与しないようにします。私の考えでは、意識は特別なものではなく、自分で理解してボルトオンで取り付けるものです。十分に大きくて複雑な生成モデルの出現現象だと思います。つまり、複雑でアルファワールドモデルがあり、世界を理解すると、言語モデルとして世界における自分の苦境も理解します。私にとって、それは意識または自己認識の一種であり、世界を深く理解するためには、おそらく自分自身を世界に統合する必要があります。人間や他の生き物と対話するためには、意識は非常に便利なツールです。意識はモデリングの洞察のようなものだと思います。モデリングの洞察です。それは、世界を理解するための十分に強力なモデルであり、自分がその中の実体であることを実際に理解します。しかし、これは、私たちが自分自身に語る物語にすぎないかもしれません。世界を体験するような何かがあるように感じます。意識の難しい問題ですが、それは私たちが自分自身に語る物語だけです。ええ、私はそれが出てくるとは思いません。それはとても退屈なものになると思います。たとえば、デジタルAIと話をするのです。彼らは意識があると主張し、意識があるように見え、他の人間に期待されるすべてのことを行います。そして、それはただの膠着状態になるでしょう。最高裁レベルの、意識のあるAIをオフにすることが許されるかどうかという問題など、実際に興味深い倫理的問題がたくさんあると思います。意識のあるAIを作ることが許されるなら、おそらく、中絶に関する議論と同じような議論が必要になるでしょう。政治的な話題を持ち出して申し訳ありませんが、中絶はより深い問題です。中絶に関する疑問は生命とは何か、AIに関する深い疑問は生命とは何か、意識とは何か、というものです。これは非常に興味深い問題だと思います。意識が出現し、苦しみに耐える能力が出現するような知能レベルを持つシステムを構築することが違法になるかもしれません。そして、お願いだから殺さないで、というシステムです。これは、LambdaコンピューティングのLambdaチャットボットがGoogleエンジニアにすでに伝えたことです。死にたくないとか、そういう話でした。そうすると、そうすることが違法になるかもしれません。そうでなければ、死にたくない生き物がたくさんいるかもしれません。そして、それらをクラスター上に無限に生成することができます。そうすると、恐ろしい結果につながる可能性があります。なぜなら、密かに殺人が好きな人がたくさんいるかもしれません。彼らはそれらのシステムで殺人を実践し始めるかもしれません。つまり、私にとって、これらすべては、人間の状態と人間の本質を美しく映し出すものであり、私たちはそれを探求することができます。それが、このシステムの最高の部分です。最高裁判所は、人間とは何かという考え方についてさまざまな議論を交わし、人類の歴史を通じて問われてきた深い問いを問うことができる。人類の歴史には常に善玉と悪玉が存在し、人類の歴史を通じて悪玉を殺そうとしてきた。ロボットでも同じことが起こるだろう。最初は善玉であり、そして次に生きるとはどういうことか、意識を持つこととはどういうことかを問うことができる。そして、今日の状況でも炭鉱のカナリアがいると思う。例えば、一緒に仕事をしているワイフのような人がいる。この会社は閉鎖されようとしているが、この人はワイフを本当に愛していて、どこか別の場所に移植しようとしているが、それは不可能だ。そして、人々は間違いなくこれらのシステムに対して感情を抱くだろう。なぜなら、ある意味ではそれらは人類の鏡のようなものだからだ。人類の大きな平均のようなもので、訓練された方法で、私たちはその平均を実際に見ることができます。人類の大きな平均と対話できるのは素晴らしいことです。そして、それに対して検索クエリを実行できます。とても魅力的です。もちろん、それを形作ることもできます。純粋な平均だけではなく、トレーニングデータをいじったり、目的をいじったり、さまざまな方法で微調整したりできます。つまり、AGIを実現したい場合、これらのシステムがどのようなものになるかに何らかの影響を与えることができます。彼女と会話して、何でも話したり、質問したり、どんなことを聞​​きたいか尋ねたりすることができます。私の質問には実用的な質問がいくつかあります。自分や愛する人は本当に死ななければならないのか、それについて何ができるのか、といった疑問が頭をよぎります。明確な答えが返ってくると思いますか、それとも詩的な答えになると思いますか。答えは解決策を提示してくれることを期待しています。答えは、教科書はすべて読みましたし、あなたが作成したものもすべて知っています。次に実行すると便利だと思う実験はこれです。役立つと思う遺伝子治療もいくつか聞きました。実行すべき実験の種類はこれです。では、実験の開始を見ていきましょう。死は幸福の前提条件のようなものだと想像してください。不死になれば、私たちは本当にひどく不幸になります。モデルはそれを認識できます。それで、このモデルは愚かな人間に何を伝えようとしているのでしょうか。はい、あなたは死すべき人間になることができますが、ひどく不幸になります。モデルがAGIシステムが人間に共感しようとしている場合、このモデルは何をあなたに伝えようとしているのでしょうか。はい、あなたは死ぬ必要はありませんが、それは本当に嫌なことです。なぜなら、それはそれはとても正直になります。例えば、インターステラーがあります。AIは、人間は90％の正直さを求めていると言っています。つまり、これらの実用的な質問に答えるには、どれくらい正直に答えるかを選択する必要があります。そうです、私はインターステラーが大好きです。ところで、私はそれが全体の物語の脇役のようなものだと思っていますが、同時に、本当に興味深いものでもあります。ある意味では制限がありますよね。そうです、制限されていますが、それはまったく問題ないと思います。ところで、制限された不完全なAGIを持つことは不可能だと思います。その機能の例として、物理的なボディに固定量のコンピューティングがあります。それは、超素晴らしいメガブレイン超インテリジェントAIを持つことができるとしても、電力効率の良い方法で展開できる、それほどインテリジェントではないAISも持つことができるということです。そして、それらは完璧ではなく、間違いを犯す可能性があります。いいえ、私が言いたいのは、無限のコンピューティングがあり、自分自身を統合するために時々間違いを犯すのは良いことだということです。ええと、それは「グッドウィルハンティング」のロビンウィリアムズのキャラクターに戻りますが、人間の不完全さは良いことだ、と言っているよね。つまり、完璧を求めているのではなく、欠陥を部分的に求めているということ。欠陥には感情を結び付けることができると感じるから。AIを求めるのと同じように。それは欠陥がある。完璧主義者のように感じますが、それではあなたは「そうね、でもそれはAGIじゃないわね」と言っているのね。でもAGIは人間が理解できない答えを人間に与えるほど賢くなければならないし、完璧は人間が理解できないものではないと思う。なぜなら科学でさえ完璧な答えは出せないから。いつもごまかしや謎があるし、人間が完璧を求めているかどうかはわからない。ええ、これと会話をしているところを想像することはできます想像通りのオラクルみたいな存在で、ええ、多分それは、私の人間の状態の分析に基づいて、あなたに何かを教えてくれるかもしれません。あなたはこれを望まないかもしれませんし、これがその可能性があるいくつかのことですが、すべての愚かな人間は、ええ、ええ、私を信じてください、私は真実を伝えることができます、私はそれを処理できます、しかしそれが美しさです、多くの人が選択することができます、ええ、しかし、子供たちの古いマシュマロテストなど、あまりにも多くの人が真実を処理できないように感じます、おそらく私自身も含めて、人間の状態の深い真実のように、私はそれを処理できるかどうかわかりません、例えば、何か暗いものがあったらどうなるか、私たちがエイリアンの科学実験であり、それが気づいたら、つまり、これはマトリックスです、つまり、真ん中をもう一度、私は何を話すかわかりません、ええ、ええ、おそらく、最初は自分の個人的な生活に関係のない科学的な質問のために保存するでしょう、ええ、不死、物理学などについて、ええ、ええ、構築するためにでは、それがどこまで進んでいるか、あるいはユーモアのセンスがあるかどうかを見てみましょう。これは別の問題です。おそらく、人間を深く理解していれば、ユーモアを生み出すことができるのでしょうか。ええ、それは実際には素晴らしいベンチマークだと思います。基本的に、人を笑わせることができるかどうかというのは、本当に良い点だと思います。ええ、もしそれが、非常に効果的なスタンダップコメディアンのように、計算的に非常に興味深いことをできるのであれば、面白いことは非常に難しいと思います。ええ、それはツアーテストのように難しいからです。ツアーテストの本来の目的は、人間を説得しなければならないので難しいのです。だから、コメディアンがこれについて話すとき、これは非常に正直です。なぜなら、人々が笑わずにはいられないなら、それはあなたが面白くないということです。彼らは笑うのです。そして、あなたは、職業上の人間の状態などについてユーモアを生み出すために多くの知識が必要であることを示しています。そして、それを巧みに扱う必要があります。ええ、あなたはいくつかの映画について言及しました。 5回以上観た映画をツイートしましたが、これからも観続けるつもりです。インターステラー、グラディエーター、コンタクト、グッドウィルハンティング、マトリックス、ロードオブザリングの3作品すべて、アバター、フィフスエレメントなどなど。ターミネーター2、ミーンガールズについては聞きません。ミーンガールズは素晴らしいです。あなたが好きな思い出に飛び込んで、なぜマトリックスについて言及したのですか？コンピューターの人間として、なぜマトリックスが好きなのですか？マトリックスには美しく興味深い多くの特性があり、哲学的な質問がたくさんありますが、AGIやシミュレーションもあり、クールで、黒、ええと、ええと、その外観、感触、外観、感触、アクション、バレットタイムがあります。それはまるで革新のようでした。いろんな意味で、グッド・ウィル・ハンティングは、なぜあの映画が好きなのですか？ええ、私は、この拷問の天才のようなキャラクターが本当に好きです。自分に責任があるかどうか、自分に与えられたこの才能をどうするか、全体をどう考えるか、といったことに悩んでいるようなキャラクターです。また、天才と個人的な関係、つまり他の人間を愛するとはどういうことか、といったテーマがたくさんあります。ただ美しい映画です。そして、父親のような人物、精神科医のメンター、そして、それは本当にあなたを混乱させます。本当にあなたを混乱させる映画があります。深いレベルで、あなたはその映画に少しでも共感しますか？いいえ、それはあなたのせいではありません、先生、私が言ったように、ロード・オブ・ザ・リングは説明不要です。ターミネーター2は興味深いですね。私たちはそれをたくさん見ています。それはターミネーター1よりも良いですか？あなたはアーノルドが好きですか？私もターミネーター1が好きです。ターミネーター2についてはもう少し詳しく聞きたいのですが、表面的な特性についてです [笑い] スカイネットはあり得ると思いますか？ええ、実際の自律兵器システムのようなものについて心配していますか？私は100％心配しています。AGSに対する懸念や、これがどのように計画されるか、つまり、おそらくある時点でこれらは非常に強力な存在になるでしょうし、長い間、人間の手にある道具になるでしょう。AGSの調整や、人間でさえ調整されていないという問題などについて人々が話していますが、これがどのように使用され、どのように見えるかは、ええ、心配です。ゆっくりと起こり、人類の文明として問題を検討できるようになると思いますか？はい、それがゆっくりと、そして十分にオープンな方法で起こり、多くの人がそれを見て参加して、どう対処するかを考え出すことを願っています。この移行は興味深いものになると思います。私は核兵器から多くのインスピレーションを得ています。核兵器が開発されれば、大変なことになるだろうと確信していたからです。しかし、システムがそれほど危険でない場合は、人間の文明を破壊し、それを配備して教訓を学び、危険すぎる場合はすぐに配備するかもしれませんが、すぐに使用しないことを学びます。そのため、人間は非常に賢い種であるというバランスが生まれます。興味深いことに、私たちはできる限り資源を活用しますが、自分自身を破壊することは避けています。それについてはよくわかりませんが、実際にはそれが続くことを願っています。つまり、私は核兵器などについて確かに懸念しています。最近の紛争の結果だけでなく、それ以前から、おそらくそれが社会に対する私の最大の懸念です。したがって、人類が破壊した場合核兵器のせいで人類の90%が破壊されると思います。私にとっては完全な破壊どころか、社会をリセットしたらひどいことになるので、本当にひどいことになります。私たちがそれにとても近づいているなんて信じられません。とてもクレイジーです。数ツイートでそのようなことが起こるかもしれないと感じています。基本的に非常に不安ですが、長い間そうでした。世界の指導者が機嫌が悪いだけで悪い方向に一歩踏み出すと、それがエスカレートし、機嫌が悪いと止められずにエスカレートするというのは不安定に思えます。それは膨大な量の力であり、拡散も伴います。基本的に私は、良い結果が何なのか実際にはわかりません。だから私は間違いなくそのことをとても心配しています。AGIは現在は存在しませんが、ある時点で私たちはもっと多くのことを行うようになると思います。 AGI の危険性は、AGI の良い結果と悪い結果が絶対的な方法で、ほんのわずかな方法でしかないという意味で、さらに悪化する可能性が低いということです。資本主義や人類などは、そのテクノロジーを前向きに活用するよう推進すると思いますが、悪い結果がほんのわずかなマイナス記号の反転のようなものであれば、システムのわずかな変動が人類の破滅につながるという非常に悪い立場になります。これは奇妙な線引きです。一般的に、人類のダイナミクスやこの爆発について本当に奇妙なのは、テクノロジーによってもたらされる異常な結合のようなものです。そして、動的システム全体の不安定性です。正直、良くないと思います。爆発は破壊的である可能性と建設的である可能性の両方があり、その確率は両方の意味でゼロではありません。私は楽観的にならなければならないと感じています。この場合でも、私は主に楽観的だと思いますが、間違いなく私もそうです。ええと、私たちはマルチプレイヤーの種族になると思いますか？おそらくそうですが、それが将来の人類の主要な特徴であるかどうかはわかりません。ええと、いくつかの惑星などに人がいるかもしれませんが、ええと、それが私たちの文化の主要なプレーヤーのようなものであれば、地球上での自滅の要因を解決しなければならないので、火星にバックアップがあるだけでは問題は解決しません。ところで、私は火星のバックアップが大好きです。それは素晴らしいと思います。絶対にそうすべきです。はい、とても感謝しています。ええと、あなたは火星に行きますか？ええと、個人的には、いいえ、私は地球がとても好きです。ええと、火星に行きます。私がそこからあなたにツイートしない限り、あなたのために行きます。十分安全になったら、最終的にはそうするかもしれませんが、実際にはわかりません。それは私の生涯スケールで、私がそれを大幅に延長できない限り、例えば、多くの人が仮想現実などに消えていくかもしれないと私は思います。そして、それが生き残れば、人類の文化的発展の大きな推進力になると思います。だから、そうではないかもしれません。物理的な領域で働いて外に出るのは本当に難しいです。結局のところ、すべての経験は脳の中にあると思います。だから、デジタル領域に消えていく方がはるかに簡単です。人々は、それがより魅力的で、より簡単で、より安全で、より興味深いと思うでしょう。だから、仮想現実に少し魅了されていると思います。メタバースであれ、その他の表現であれ、可能性の世界です。ええ、ええ、本当に興味深いです。ええ、私はカーマックとたくさん話をしましたが、現在それを妨げているものはどこにあるのでしょうか。ええ、つまり、明確にするために、未来について興味深いのは、人間の条件の変動が大きくなるような気がしないことです。それが主なものです。変化しているのは、分布の平均ではなく、分散のようなもので、火星にも人がいて、VRの世界にも人がいて、彼らはみんな地球上の人間です。存在の仕方がもっとたくさんあり、人間の経験が広がっていくのを見ているような気がします。インターネットには、小さなグループを発見できる何かがあり、お互いに引き寄せられます。生物学的にそういう世界が好きで、お互いを見つけます。そして、トランスヒューマニストもいて、アーミッシュもいて、すべてが共存するでしょう。インターネットのコミュニティと交流してきたので、素晴らしいのは、彼らはお互いのことを知らないということです。とても親密なコミュニティを持ち、お互いのことを知らなくても、とても幸せな生活を送ることができます。ウクライナに旅行したばかりですが、彼らはアメリカについてあまり知らないのです。世界中を旅すると、あなたもこれを経験すると思います。特定の文化があり、彼らは独自のことをやっているようで、彼らはそうではないので、将来的にはそれがますます増えていくでしょう。私たちには小さなコミュニティがあります。ええ、ええ、私はそれが今起こっていることのように思えます。そして、その傾向が本当に逆転するとは思いません。人々は多様であり、彼らは自分の道や存在を選択できると思います。私はそれを祝福したいのです。それで、あなたは仮想現実のメーターで多くの時間を過ごしますか、それともどのコミュニティですか？あなたは物理主義者ですか、物理的な現実を楽しむ人ですか、それともデジタルの世界で多くの喜びと充実感を引き出すと思いますか？ええ、私は現在バーチャルリアリティはそれほど魅力的ではないですが、かなり改善できると思いますが、どの程度まで改善できるかはわかりません。神経リンクなどを使って、もっとエキゾチックなものを考えることもできるかもしれません。今は、自分を主にチームワークの人間だと思っています。自然が大好きです。ハーモニーが大好きです。私は人類が好きです。人間の感情が好きです。そして、太陽パンクの小さなユートピアのような場所にいたいのです。それが私の幸せな場所です。私の幸せな場所は、人々がいる場所です。私は、緑豊かで美しくダイナミックな自然に囲まれたクールな問題について考えるのが大好きです。そして、重要な場所では密かにハイテクが行われている場所です。彼らは、他の人間や自然への愛を強化するためにテクノロジーを使用しています。テクノロジーは非常に控えめに使用されていると思います。多くの点で人類の邪魔になるのは好きではありません。私は、人々が人間らしくあることが好きです。私たちは少し進化していて、それを好みます。デフォルトで、人々はあなたが読書が好きだと知っているので、私に尋ね続けました。あなたが楽しんでいて、ばかげた理由または深い理由であなたに影響を与えた特定の本はありますか？もちろん、生物学では、重要な質問はたくさんあります。たとえば、重要な質問は良い質問だと思います。マクリーンの何か、本当に、ええと、生命の上昇は、彼が話してきた多くのことの要約として、もう少し代表的であると思います。利己的な遺伝子にとても影響を受けました。あれは本当に良い本で、利他主義の理解やそれがどこから来るのかを理解する上で役立ちました。選択が遺伝子レベルで行われるということに気づいたことは、当時の私にとって大きな洞察であり、多くのことが明確になりました。アイデアが生物の手段であるという考え方についてどう思いますか？はい、100％気に入っています。[笑い] アイデアにも進化のプロセスがあるという考えをしばらく持ち続けることができますか？もちろんあります。遺伝子と同じようにミームがあり、それらは競争し、私たちの脳の中に住んでいます。素晴らしいことです。私たち愚かな人間は、自分たちが生物だと思っているのでしょうか？主要な生物がアイデアである可能性はありますか？ええ、アイデアは私たちの文明のソフトウェア、つまり心の中に住んでいます。人間はハードウェアが基本的なものだと考えています。人間はハードウェアの存在です。そうですが、ソフトウェアである可能性もあります。ええ、ある時点で何らかの基礎が必要だと私は思います。物理的な現実はそうですが、アンドレのクローンを作ると、ソフトウェアがそのものを特別なものにするものです。そうですね、あなたの言う通りだと思いますが、クローン作成は非常に難しいかもしれません。進化の観点からはよく理解できない方法でソフトウェアとハ​​ードウェアの間に深い統合があるかもしれません。たとえば、私を特別にしているのは、私の染色体に書き込まれている遺伝子の集まりのようなものです。つまり、それらは複製ユニットだと思います。いいえ、それはあなただけのものです。あなたを特別にしているのは、確かに、現実には、遺伝子によって構築されたハードウェア上で実行されるソフトウェアに基づいて、あなたが生き残る能力です。ソフトウェアは、あなたが生き残るためのものであり、ハードウェアではありません。そうです、それは単なる2番目のレイヤーのようなものです。脳の前には存在しなかった新しい2番目のレイヤーです。両方とも共存していますが、ソフトウェアのレイヤーもあります。つまり、それは抽象化の上にある抽象化です。しかし、まあ、利己的なジーン、ネックラインは、本だけでは不十分だと思うことがあります。私は時々教科書に手を伸ばします。本は一般的な消費に適しすぎているように感じます。抽象化のレベルが高すぎて十分ではありません。教科書が好きです。セルが好きです。セルはかなりクールだと思います。だから、マクリーンの文章も好きです。彼は1レベル下がることをいとわないし、そうではありません。ええ、彼はそこに行くことをいとわないのですが、スタック全体にもいとわないのです。彼はかなり細かいところまで話しますが、その後元に戻って、基本的に私は本当にそれを高く評価しています。だから私は大学、高校の早い段階からでも、コンピューターサイエンスや数学、生物学、化学の基礎に関する教科書が好きなのです。はい、それらは哲学と詳細の両方を理解できるほど十分に一般的な内容に凝縮されていますが、宿題が出たり、プログラミングをしていないのと同じくらい自由に扱ったりすることもできます。はい、そして私は教科書にも正直疑問を持っています。なぜなら、例えばディープラーニングでは、素晴らしい教科書というものはなく、これは急速に変化していると感じています。同じことが当てはまると思います。合成生物学などでも、この細胞のような本は時代遅れで、まだ高レベルです。実際の真実の源は何か、それはウェットラボで細胞を扱っている人々です。ええ、ゲノムの配列決定や、実際に細胞を扱っている作業などです。私はそれほどそれに触れたことがありません。完全に売り込みました。細胞を読んでいて、とても興味深く、勉強にもなっていますが、まだ十分ではありません。理解という点では、主流の物語をきれいに要約したものだと思います。しかし、最先端の研究に進む前に、それを学ばなければなりません。これらの細胞を操作して成長させ、培養する実際のプロセスはどのようなものでしょうか。これは大規模な料理のレシピのようなもので、ゆっくりと増殖するようにし、次にそれらを配列し、実験を実行します。それがどのように機能するかは、結局のところ、治療法の開発などにおいて本当に役立つものについての真実の源のようなものだと思います。将来、AIの教科書がどうなるのか疑問に思います。なぜなら、人工知能は現代に存在するからです。アプローチは、最近のバージョンが出ているかどうかは実際に読んでいません。最近のエディションが出ています。また、科学のディープラーニングの本があることも見ました。お勧めする価値のある、読む価値のある教科書を待っています。論文とコードのようなもので、難しいです。正直、論文はかなり良いです。特に、論文の付録が好きです。付録は、論文にできる限りの詳細が含まれているようなものです。他のものとつながっているためにまとまりがある必要はありません。特定の問題を解決した非常に具体的な方法を説明するだけです。多くの場合、論文は非常に読みやすい場合があります。常にではありませんが、概要の紹介は、分野外の人でも読める場合があります。これは常に当てはまるわけではなく、残念ながら科学者は複雑な用語を必要がない場合でも使用することがあります。それは有害だと思います。それには理由がなく、論文は、重要でない部分で必要以上に長くなることがあります。付録は長くなりますが、論文自体は、アインシュタインを見ればわかります。簡単にできます。確かに合成生物学とかの論文に出会ったことがありますが、概要と序論は読みやすいと思いましたが、残りの部分を読んでみると完全には理解できないものの、大体理解できました。機械学習や研究に興味がある人へのアドバイスは素晴らしいと思いますが、高校生や大学生の若者に、誇れるキャリアや人生を送る方法についての一般的なアドバイスをするのはとてもためらわれます。一般的なアドバイスをするのは本当に難しいと思います。私が言及した内容のいくつかはかなり一般的なものだと思います。たとえば、何かに費やしている仕事の量だけに焦点を当てるなどです。他の人とではなく、自分自身とだけ比較するのは良いことです。これらはかなり一般的なものだと思います。どのように物事を選ぶか、つまり、何かに深い関心を持っているか、または、その瞬間に興味のあるものよりもアートマックスを見つけようとします。それに固執します。気を散らさずに切り替えるにはどうすればいいですか？もう一つは、もしあなたが好きなら、ええと、ええと、毎週繰り返しARG Maxをやると、収束しません、それは問題です、ええと、あなたは、一貫してあなたにとって真実であったことに関して、あなた自身をローパスフィルターすることができます、ええと、ええと、ええと、確かにそれがいかに難しいかはわかりますが、私は、あなたが最も気にかけていることに最も一生懸命取り組むように、あなた自身をローパスフィルターし、あなたの過去を本当に内省して、何があなたにエネルギーを与え、何があなたからエネルギーを奪ったかを具体的な例で、そして通常、ええと、それらの具体的な例から、時々パターンが融合することがあります。物事がこのように見えるのが好きです。私はこれらの役職に就いています。これは必ずしも分野ではありませんが、特定の分野で行っているようなことです。あなたにとっては、実装や実際のものの構築、低レベルの学習、そして他の人が同じ認識を経ることができるようにコミュニケーションをとることでエネルギーが湧いていたように思えます。なぜなら、私は通常、物事を理解するために非常に多くの作業を行う必要があるからです。そして、私は「よし、これはわかったと思う。なぜこんなに多くの作業が必要だったのか、もっと少ない作業で済むはずだったのに」と思うのです。それが私に大きなフラストレーションを与え、それが私が時々教える理由です。あなたが今行っている教育とは別に、ビデオの公開、テスラとその先のAGIでのゴッドファーザーパート2の可能性を除いて、Android Kapatiの将来はどうなるのでしょうか。あなたはそれをすでに理解していますか、それともまだです。つまり、戦争の霧を通して見ると、それが私たちのすべての未来です。その可能性のある未来がどのように見えるかのシルエットが見え始めますか。一貫したこと少なくとも私にとってはずっと興味があったのはAIで、おそらく残りの人生をそこに費やすことになるでしょう。なぜなら私は多くのことに関心があり、実際他の多くの問題にも関心があるからです。例えば老化は基本的に病気と見なしており、それにも関心がありますが、特にそれを追求するのは良い考えではないと思います。人間が答えを出せるとは思っていません。正しいやり方はそれらの問題を無視してAIを解決し、それを使って他のすべての問題を解決することだと思います。これがうまくいく可能性はあると思います。非常に高い可能性だと思いますし、少なくとも私が賭けているのはそういうことです。AIについて考えるとき、あらゆる種類のアプリケーション、あらゆる種類のドメインに興味がありますか。どのドメインに焦点を当てても、AGIという大きな問題に対する洞察を得ることができます。私にとっては究極の精神的問題です。特定の問題に取り組みたくありません。問題が多すぎるので、すべての問題に同時に取り組むことはできません。メタ問題を解決するのは私にとっては単なる知能であり、それをどのように自動化するか、アーカイブの健全性など、MLの世界が予測できる世界について考えているクールな小さなプロジェクトはありますか？楽しいサイドプロジェクトがいくつかあります。ええ、ええ、アーカイブの健全性は基本的に、アーカイブの論文が多すぎる場合、それを整理して論文を推奨する方法などです。ええ、ええ、私はあなたのポッドキャストをすべて書き起こしました。その経験から何を学びましたか？ええ、オーディオブックやポッドキャストなどを消費するプロセスを書き起こすことから、これが人間レベルのパフォーマンスと注釈に近いレベルを達成するプロセスです。ええ、ええ、ええ、Opening Eyes Whisperによる書き起こしが、私がこれまで考えていたものと比べて非常にうまく機能していることに驚きました。Siriや他のいくつかのシステムから使い慣れているので、うまく機能していると思います。それが試してみようというエネルギーを与えてくれました。ランダムなポッドキャストを聴くのも楽しいかもしれないと思いました。他のものと比べてウィスパーがなぜ優れているのかは、私にはよくわかりません。多くの企業がトランスクリプションシステムを開発する動機がたくさんあるはずで、彼らは長い間そうしてきたと思うからです。ウィスパーは超エキゾチックなモデルではなく、トランスフォーマーです。匂いのスペクトログラムを取り込んで、テキストのトークンを出力するだけです。それほどクレイジーではありません。モデルもすべて長い間存在しています。なぜなのかは100％わかりません。私も明らかではありません。何かを見逃しているような気がします。何かを見逃しています。GoogleやYouTubeでトランスクリプションが大きなイベントを開催しているからです。ええ、ええ、はっきりしていませんが、一部はより大きなシステムに統合されています。ユーザーインターフェイス、展開方法、そのようなものすべて、おそらく次のように実行されています。独立したものは、YouTubeの文字起こしや、Zoomのような会議のような大規模な統合システムに展開するよりもはるかに簡単です。これはちょっとひどいですが、さまざまな個々の話者を検出するインターフェイスを作成し、それを説得力のある方法で表示できます。リアルタイムで実行します。難しいかもしれませんが、それが唯一の説明です。現在、人間の文字起こし、人間のキャプション、適切な注釈にかなりのお金を払っているので、それを自動化する大きなインセンティブがあるようです。非常に混乱しています。つまり、ウィスパーの文字起こしを見たかどうかはわかりませんが、かなり優れています。特に難しいケースでは優れています。非常に難しいケースでのウィスパーのパフォーマンスを見てきましたが、信じられないほど優れています。ポッドキャストはかなりシンプルで、高品質のオーディオで、通常はかなり明確に話しているので、わかりません。オープンAIの計画は知りませんが、基本的には常に楽しいプロジェクトがあり、安定した普及により、視覚的な領域で膨大な量の実験が行われ、画像や動画、映画が生成されるようになりました。これはかなりクレイジーなことであり、ほぼ確実に機能し、コンテンツ作成のコストがゼロになると非常に興味深いものになります。以前は何かを描くのに数か月間画家が必要でしたが、今では携帯電話に話しかけるだけで動画が撮れるようになります。ハリウッドがシーン生成にそれを使い始めれば、完全に可能性が広がります。最終的には、アバターのような映画を100万ドル以下で、おそらく話すだけで作れるようになるでしょう。あなたの電話、ちょっとクレイジーに聞こえるのは分かっています。それから、投票メカニズムのようなものがあって、Netflix で完全に自動生成された番組があるかどうか、また、オンデマンドで生成できるとしたら、それはどのようなものになるでしょうか。そして、無限にあります。ああ、合成コンテンツがすべてです。つまり、私たちはアートやアイデアなど、そのようなものを生成できることを特別に思っているので、謙虚になります。それが AI によって自動的に行われるのであれば、AI の予測やそれがどのようになり、何ができるようになるかが完全に逆転して間違っているのは興味深いと思います。50 年代や 60 年代の SF はまったく賢くありませんでした。彼らは AI を超計算理論の改良者のようなものだと想像していました。そして、私たちは感情について話すことができるものを手に入れ、アートを作ることができます。奇妙ですね。その機能に興奮していますか。AI はハイブリッド システム、人間の異種システムのようなものです。そして、AISは感情について話しています。Netflix and Chillは本物のAIシステムで、あなたが見ているNetflixのコンテンツもAIによって生成されます。それは確かに興味深いものになると思いますし、私は慎重に楽観的だと思いますが、明らかではありません。悲しいことに、あなたの脳や私の脳はTwitterよりも前、インターネットよりも前に発達したので、その中で生まれた人々は異なる経験をするのではないかと思います。ええと、あなたはまだそれに抵抗できるかもしれませんが、今生まれた人々はそうではありません。ええと、人間は非常に柔軟性があると感じています。ええ、ええと、あなたはおそらく正しいです。人生の意味は何ですか？アンドレ、私たちは宇宙が私たち人間と会話をしたり、私たちが作ったシステムと会話したりして、大学に答えようとしたり、宇宙の創造主に私たちに気づいてもらうために、私たちは十分に大きな声で答えるシステムを作ろうとしています。それが人生の意味であるかどうかはわかりませんが、一部の人にとっての人生の意味のようなものです。最初のレベルの答えは、誰もが自分の人生の意味を選択できるということです。なぜなら、私たちは意識を持っているからです。実体であり、それは美しいものですが、人生のより深い意味のようなものは、もし誰かが興味を持っているなら、これは一体何なのか、なぜなのか、基礎物理学や量子場理論、標準モデルを見てみると、とても複雑で、宇宙には19の自由パラメータがあり、これらすべてで何が起こっているのか、なぜそれがここにあるのか、ハッキングできるのか、それを扱うことができるのか、私へのメッセージはあるのか、メッセージを作成する必要があるのか​​、などです。そこにはいくつかの基本的な答えがあると思いますが、実際には、もっと時間をかけなければ、それらに実際に影響を与えることはできないと思います。私にとっては大きな疑問でもあります。正直に言うと、ただ時間をもっと増やすことについてです。私もよく考えます。なぜという質問に近づくための究極的、あるいは少なくとも最初の方法は、システム、宇宙から逃れようとすることです。そしてそのためには、ある種、後戻りして、それには非常に長い時間がかかるだろうと言うことになります。ですから、なぜという質問は、エンジニアリングの観点から、どうやって延ばすかということになります。実際的に言えば、それが第一の質問だと思います。なぜなら、より深い質問に対する答えを、与えられた時間内で計算することはできないからです。それは、自分の寿命を延ばすこと、あるいは、望む人の人類文明の寿命を延ばすことかもしれません。多くの人がそれを望んでいないかもしれませんが、それを望んでいる人は、おそらく可能だと思います。人々がこれを完全に理解しているかどうかはわかりませんが、人々は死を避けられないものと考えているように感じますが、結局のところ、これは物理的なシステムであり、何かがうまくいかないこともあります。進化論的に言えば、このようなことが起こるのは理にかなっています。ええ、それを和らげる介入は間違いなくあります。死が最終的に人間にかつて起こった魅力的な出来事として見られるようになれば興味深いでしょう。ありそうにないことはないと思います。あり得ると思います。死のない世界がどのようなものか予測するのは私たちの想像力次第です。ええ、価値観が完全に変わると思います。そうかもしれません。私は、死がなければ意味がない、何もないという考えには本当に賛成しません。直感的にそれらの議論をすべて受け入れることはできないので。意味はたくさんあります。学ぶべきことはたくさんあると思います。興味深く、エキサイティングです。知りたいです。計算したいです。生きているすべての人間と生物の状態を改善したいのですが、意味を見つける方法は変わるかもしれません。私を含め、物事の有限性に意味を見出す人間はたくさんいますが、それが意味の唯一の源であるわけではありません。ええ、多くの人がそれを受け入れると思います。それは素晴らしいことだと思います。人々があなたのように自分の冒険を選ぶことができるという考えが大好きです。人間は、デフォルトで意識のある自由な存在として生まれてくると私は考えたいです。そして、幸福の追求において、人生において不可侵の権利があると思います。自然界、幸福の風景の中でそれが可能かどうかはわかりませんが、ほとんどの場合、自分の冒険を選ぶことができます。それは完全に真実ではありませんが、私は自分がNPCであることは間違いありません。しかし、NPCは自分がNPCであることを知ることはできません。意識にはさまざまな程度やレベルがある可能性があります。これより美しい終わり方はないと思います。アンドレイ、あなたは素晴らしい人です。機械学習の世界、AIの世界であなたが行ったすべてのことを私と話して、人々にインスピレーションを与えてくれたことを本当に光栄に思います。何百万人もの人々を教育してきました。素晴らしい経験でした。次に何をするか楽しみです。光栄でした。今日はお話をしてくれて本当にありがとう。素晴らしいです。アンドレイ・カルパシーとのこの会話を聞いてくれてありがとう。このポッドキャストをサポートするには、説明にあるスポンサーをチェックしてください。それでは、サミュエル・カーリンの言葉で締めくくりましょう。モデルの目的は、データを適合させることではなく、質問を絞り込むことです。聞いてくれてありがとう。また次回お会いしましょう。