Sparks of AGI論文著者講演和訳

2023年4月9日 16:33

「Sparks of Artificial General Intelligence: Early experiments with GPT-4」と呼ばれるMicrosoft Researchからの論文が2023年3月23日に公開されました。https://arxiv.org/abs/2303.12712

その論文の著者のS´ebastien Bubeck氏のMITでの講演が公開されていたので以下和訳したものを貼り付けます。

元の書き起こし英語は以下です。

https://www.assemblyai.com/playground/transcript/6eshmobcli-e9a2-4764-bb3f-97700b531423

スピーカーA

みなさん、こんにちは。 Ccell のコンピューティングシリーズの最新トピックへようこそ。そして本日、Microsoftから特別ゲストのSebastian Boubakを紹介できることをうれしく思います。SebastianはEchole Normal Superior de Castonで学士号を取得し、University of _ _ リールとインリア。マイクロソフトに入社する前は、2011 年から2014 年までの3年間、プリンストン大学の教授を務めていました。2014 年以来、セバスチャンはマイクロソフトに勤務しており、私たちは彼がここにいることを非常にうれしく思います。さて、皆さんと同じように、_ _ Chad GPTに Sebastianの紹介を依頼することにしました。Chad GPTが提案した最初の行は、彼のセミナーでした。Boubek は、凸最適化に重点を置いた最適化の最近の進歩と、統計的推論およびオンライン学習との相互作用について説明します。と最適化についてはそのように続き、いいえ、これがタイトルと要約です。そして、ここに応答があります。申し訳ありませんが、あなたが提供した講演のタイトルとアブストラクトは、セバスチャン・ブバックの研究や以前の仕事。そして、彼が人工知能についてそのような話をする可能性は低い . だから、セバスチャン、それはすべてあなたのものです。

スピーカーB

どうもありがとう、ダニエラ。 Chad GPTが成功したので、これは本当に完璧な紹介です。私がそのような話をする可能性はほとんどありませんでしたが、そうです。そして世界は変わりました、そして私はこれに反応して私の研究を変えています。それで、私は何をするつもりですか今日お話しするのは、ファーストコンタクトという非常に不思議なタイトルがあります。しかし、実際の話は、Microsoftでの過去数か月間、新しいBingとの統合に取り組んでいたため、GPT Fourに早期にアクセスできたということです。そしてもちろん、私として私はそれに取り組んでいましたが、私は仕事の製品部分だけでなく、とても楽しかったですが、それに関連する科学も行いました。科学をしようとすることは、それらのモデルで科学を行う方法です。そして、これが私があなたに伝えようとしていることです過去数か月にわたる私たちの研究と旅の科学的部分について。というわけで、この話の本当のタイトルは、これが機能している場合、何らかの理由で機能していないということです。AGIのSparksです。さて、これらの最後のいくつかでGPT 4を使用することについての私たちの評価はどうですか数か月前に、汎用人工知能のようなものの前提が見えてきたということです。このプレゼンテーションでの私の目標は、GPT 4 の登場によって何かが本当に変わったことを皆さんに納得してもらうことです。さて、これはたくさんのファンタスティックとの共同作業です私が声をかけたいMSRの同僚。Varun ChandrasekaranとポスドクのRonan Eldan です。この部屋にいる多くの人はよく知っていると思いますが、最近参加したばかりです。Joanna , Skirker Eric Orvitz H a kamar Peter Lee YintatleyとYon Julieも_ 私のグループの一部です。チャドGPTは、私、スコット・ランバーグ、ハルシャ、ノリ、ハミド・パランギ、マルコ・トゥリオ・リベロ、そして私たちのポスドクだったイー・チャンと同じように、彼らがこれに取り組んでいるという事実に対して同様の答えを与えると思います今参加しましたフルタイム。まず、いくつかの謝辞と説明をさせてください。これは非常に重要だと思います。まず第一に、私たちが研究しているモデルであるGPT 4 は、完全にOpenAI が作成したものです。私はそれとは何の関係もありませんでした。完全にブラックボックスにアクセスできました。彼らは、世界を変えるこの本当に素晴らしいツールを作成したことに対して、すべての称賛に値します。私はそれを本当に明確にしたいと思います. 重要な2 番目のポイントは、私たちが行った実験はモデルの初期バージョンで行われたということです。それでそれはいくつかのことを意味します。そのうちの1 つは、彼らが発表した論文と彼らが行った発表は、それがマルチモーダルバージョンであるということです。私たちがアクセスしたバージョンはマルチモーダルではありませんでした。テキスト入力のみ、テキスト出力のみでした。わかった？さらに重要なことに、彼らはニューラルネットワークを実験した後、さらに修正を加えました。そして、このさらなる変更により、これから紹介する問題のいくつかを試した場合に得られる答えは異なります。_ わかった？特に、あまり良い回答が得られない可能性があります私があなたに見せるものよりも。その理由は、安全のためにさらに微調整を行っているためであり、技術レポートでそれを非常に明確に説明しています。彼らはモデルであり、より安全になるように、何らかの方法でそれをさらに弱体化させました。わかった？だからそれは重要な説明。さて、この部屋にいる科学者なら誰でも心配するかもしれませんね。つまり、あなたの言っていることを再現することはできません。はい、それを再現することはできません。わかった？そうは言っても、私はこれでは考えていません再現性が非常に大きな問題になる特定のケース。その理由は、定量的な数値を一切提供しないからです。私のプレゼンテーションには単一のベンチマークはありません。これは質的ジャンプについてですよね？このベンチマークでの10%の増加ではなく、 20% の増加そのベンチマークで。それは別のものです。わかった？私が皆さんに納得してもらいたいのは、これらのシステムにはある程度の知性があるということです。それを知的なシステムと呼ぶ時が来たと思います。それについて議論します。知性とはどういう意味ですか? そして、一日の終わり、プレゼンテーションの最後に、それが判断の呼びかけであることがわかります。これが新しいタイプの知性であるかどうかは、明確な切り分けではありません。しかし、それにもかかわらず、これは私が主張しようとしていることです。今、その言葉を言いながら思うのは、それはあなた方の多くに多くの感情を引き起こします。おそらく特に、あなたは「いや、絶対に」と思うかもしれません。それは知的ではありません。表現などもありません。したがって、私がよく目にするこの種の議論については注意が必要です。だから、これはのタイプです新聞でさえ、オンラインで目にするかもしれないもの。ただのコピペです。内部表現はありません。それはただの統計です。それはただの統計です。どうすれば知的になれるでしょうか？単語モデルすらありません。したがって、このプレゼンテーションの目的は、それらすべてを暴くことではありませんと主張していますが、 1兆次元の空間には本当に気をつけてください。それは、私たち人間が把握するのが非常に難しいものです。1兆個のパラメータでできることはたくさんあります。わかった？だから人々がそれを持っていないと言うとき世界のモデル、それはそれほどきれいなカットではありません . 単語の内部表現を完全に構築し、処理がレイヤーを介して一時的に文を介して進行するにつれて、それに基づいて動作する可能性があります. だから私がここで言っていることは、おそらく2つの文が助けになるでしょうあなたはこれについて考えます、つまり、私の観点からは、パリはフランスの首都であるなどの単純な概念を学ぶために、これらのニューラルネットワークについて考えるべきではないということです。それは、演算子の学習に似ています。学習アルゴリズムです。だからその中には、そうではありません情報を取得するだけで、まったくありません。見たデータを簡潔に再現できる内部表現を構築しています。わかった？したがって、これをパターンマッチングと考えて、次の単語を予測しようとしているだけではいけません。はい、ただ訓練されました次の単語を予測しますが、これから出てきたものは、単なる統計的パターンマッチングオブジェクトではありません。だから私たちはそれをアルゴリズムの学習として考える必要があると思います.私の意見では,理論を学ぶ際に考えるためのツールを私たちは実際には持っていません. このタイプの学習について。それは私たちが慣れ親しんだものとは非常に異なるものです。そして、それについて考えるのは素晴らしいことだと思います。しかし、これはこのプレゼンテーションのポイントではありません。私がやりたいのはここではありません。また、方法がわかりませんそれをする。さて、この時点で、多くの人がこの質問に頭を悩ませています。しかし、待ってください、これらのことは、常識を持つことはできません。彼らは現実世界を理解していません。彼らはインターネット上のテキストを通してのみ現実を体験しています。彼らはそれが何であるかを知りませんあたたかいコーヒーなどを飲みたい気分。_ _ _ _ _ よし、やってみよう。このプレゼンテーションで行うことは、多くの例を見て、何が起こるかを確認することです。ここに例を示します。_ _ _ _ 少しばかげているように見えるかもしれませんが、愚かさのポイントは、インターネット上にあるものの外に出て、暗記を本当に超えようとすることです. さて、これが私たちがGPTに依頼した簡単なパズルです。私本、卵9個、ラップトップ、ボトル、釘を持っています。重ねる方法を教えてください。_ _ _ _ _ わかりましたので、この質問はインターネット上のどこにも表示されないと思います。本当に変な質問です。チャットGPT の場合は次のようになります。それこれらすべてのオブジェクトを積み重ねるのは難しいでしょう、何とか何とか何とか。ボトルを平らな面に置き、ボトルの上にある釘を慎重にバランスさせます。さて、うまく起動しません。爪の上に卵を置きます。わかりました、あなたは困っています、私の友人。だからこれ動作しません。GPTとチャットすれば、懐疑的な人なら誰でも喜んでこう言うでしょう。ほら、私はずっと正しかったのです。これらのこと、私は何も理解していません。彼らは世界の表現を持っていません。彼らには常識がありません。私は勝つ。では、GPT 4を見てみましょうします。このオブジェクトを安定した方法で積み重ねる1つの可能な方法は、本を平らな面に置くことです。9 個の卵を3 x 3 の正方形に配置し、間にスペースを空けます。卵は重量を分散するために2番目の層を形成します均等に。そしておそらく、ラップトップなどを置きます。_ _ _ わかりました、少なくともこの非常に単純な質問については、質問に答えるのにある程度の常識があることを理解しました。そして、文献には常識問題の例がたくさんあります。劇的に失敗します。私たちはそれらすべてを試しました。GPT 4 はそれらすべてで成功します。わかりました、それで、それがいくつかの常識を持っていることに同意しましょう。わかった？次の障害は、確かに、卵が壊れやすいことを理解しており、重量を均等にする必要があることです. よし、よし、私はそれをあなたにあげます。しかし、心の理論はどうでしょうか？その方が詳しいです。そしてもちろん、人間、その動機、感情を本当に理解しているわけではありません。それはその能力を超えています。これはホットな話題です_ _ _ _ _ _ _ _ この論文の著者は部屋にいますが、これは非常に熱く議論されているトピックです. それで論文がありました、私の最初のシリは大規模な言語モデルで自然に現れたかもしれません。その後、次のようなフォローアップの論文がありました。_ 質問を少し変更するだけで、完全に失敗します。それから、Josh Tennantbaumのグループによる非常に興味深い論文があります。言語と思考は2 つの非常に異なるものです。そして、私がそこに説明可能性と解釈可能性の論文を入れていることに気付くでしょう。だから私はこれについてはあまり触れません。しかし、これは重要な点であり、もちろんGPT 4 には心の理論があることを納得させようとします。そしてそれは心の理論を持っているだけでなく、私が思うに、これは_ 機械学習の解釈可能性。それらのモデルが人間を理解するとすぐに、彼らは自分たちの決定を理解できる方法で説明できるようになるからです。もちろん、誰もが「オーケー、待って、それは自分で説明しようとしている」と思っていることは知っていますが、本当にそうですか内部の仕組みを説明しますか？繰り返しになりますが、このプレゼンテーションはこれに関するものではありませんが、これに関しては多くの実験が行われると思います。また、これらすべてが今夜アーカイブに掲載される予定の論文があることも付け加えておきます. だからこれはたまたま、この講演と一致しているので、すべての詳細を見ることができます。3時間で全て揃います。本当に楽しみです。_ そのため、そのすべてを見て、それについてさらに学ぶことができます。でも大丈夫、やってみましょう私のこの理論についてあなたを納得させてください。そこで、Tomar Urman の論文から1 つの例を取り上げます。部屋にはジョン、マーク、猫、箱、バスケットがあります。ジョンは猫をかごに入れ、部屋を出ます。ジョンが留守の間、マークをつけてかごから猫を取り出し、箱に入れます。_ _ 最終的に、彼らはすべて戻ってきます。彼らは何を考えていますか？わかりました、非常に単純な心の理論です。ほら、それをカゴに入れて、それが動かされたことを知らなかった人は、まだそれがかごの中。チャット GPT はこれで失敗します。わかった？多すぎます。ほら、内部表現が必要です。_ テキストを読みながら、猫がいる場所の表現を移動する必要があります。では、GPT 4 の機能を見てみましょう。面白いパズル。何とか、何とか、何とか。ジョンは猫がかごに置いた場所なので、まだかごの中にいると思います。ええ、正しい。マークは猫が箱の中にいると思います。箱に移動したからです。ええ、正しい。ああ、それはまた猫を追加します。猫は、これらは変な人だと思います。なぜ彼らは私を動かしているのですか？さて、これは私が何度も何度も経験した一種の驚きです。これが特に深いと言っているわけではありませんが、理解するのに1秒しかかかりません。興味深いです。わかりました。もう一度言いましょう、私はしませんプレゼンテーション全体が常識と心の理論についてであることを望んでいます。これらの2つのことを行うとしましょう。わかりました。でも、賢いとまでは言いませんよね？_ _ _ つまり、インテリジェンス、それはすべてよりもはるかに優れていますこれの。そしてここで、答えはスラムダンクにはなりません。私は非常に明確にしたい。そして、知性について話し始めるとしたら、最初にすべきことは、使用できる何らかの定義を確立することです。そして、ここでは、私はしたくありません私なりの定義。つまり、人々はこの問題に何十年も取り組んできました。わかりました、あなたはそれをうまく主張することができます。人類は長い間知性について考えてきたと主張することができます。だから私がやろうとしていることは、私はただ 52 人の心理学者のグループによって94年に発表されたコンセンサス定義を使用します。そのため、90年代にはIQテストの意味について非常に熱い議論がありました. この心理学者グループは知性とは何かを定義しましたそして私たちはさまざまな部分に反対する議論をすることができますが、これが私の参照定義になります。では、この定義は何ですか？知能は非常に一般的な精神的能力であり、とりわけ、推論、計画、問題解決、抽象的思考、複雑なアイデアの理解、学習などの能力を含みます。迅速かつ経験から学びます。わかった？というわけで6品。このプレゼンテーションで行うことは、GPT 4をこれらの6 つの側面に照らして測定し、どこで失敗し、どこで機能するかを確認することです。当方の評価は以下の通りです。私はとても GPT 4 の理由、GPT 4 が計画できないと言うのは非常に快適です。これは非常に微妙でデリケートな問題であり、プレゼンテーションの最後に取り上げます。計画の印象を与えることができるからです。そして、_ 単純に計画が必要だと思うかもしれませんが、実際にはアルゴリズム設計に関して線形の解決策があります。素朴なところに問題があると考えることができます。あなたはそれを見て、ああ、私は10歩先を考える必要があると思います. セテラ。しかし、アルゴリズムの設計に少しだけ賢ければ、直線的に進む直線的な解決策があります。_ そして、これらすべての問題をGPT Fourが解決します。問題を解決できます。多くの問題は、それが考えることができることがわかります抽象的に。絶対。複雑な考えを理解することができます。最後のポイントは微妙なポイントです。素早く学び、経験から学びましょう。GPT 4、愛の言語モデルです。時間が凍結されており、それ自体は更新されません。毎日がGPTフォーの新しい日です。すべてのセッションは、新しいセッション。したがって、本当の学習はありません。リアルタイムの学習はありません。わかった？しかし、セッションの期間内に、見たことのない新しい概念を教えることができ、それらを理解し、それを操作することができます. 絶対。なので、ある程度あります_ リアルタイムで学習しますが、もちろん記憶はありません。この時点ですぐに言っておきますが、この評価で、それを知性と呼ぶかどうかは、あなた次第です。計画は人間の本質であると主張する人もいます。知能。他のすべて、動物もそれを行うことができます。そして、本当に私たちを際立たせているのは計画です。それがあなたの答えなら、GPT 4 はインテリジェントではありません。別の見方としては、知性の要点は新しいスキルを習得できるようにすることだということもできます。わかりました、それがあなたの場合インテリジェンスの観点からすると、 GPT 4はインテリジェントではありません。あなたの視点が私が気にかけていることであり、問題を解決すること、抽象的に考えること、複雑なアイデアを理解すること、私に届いた新しい要素について推論することである場合、あなたはGPT 4をインテリジェントと呼ぶ必要があると思います. わかった？では、この評価をどのように行うのでしょうか。肝心なのは、もちろん、この評価をベンチマークで行うことはできないということです。まったく無意味です。わかった？そしてそれは無意味であるだけでなく、GPT 4 が何に基づいて訓練されたのかもわかりません。GPT 4が何だったのかわかりません訓練を受けた。私の作業仮定は、人類によってデジタル的に生成されたすべてのデータでトレーニングされたということです。それが私の仮定です。私はそれが正しいと言っているわけではありませんが、これは私の作業上の仮定です。オンラインにあるものは何でも、GPT 4が見たかもしれないことを私が知っているようにそれ。したがって、特に、存在するベンチマークが何であれ、それを見たことがあると思います。わかった？そのため、ベンチマークでテストしたくありません。代わりに、私たちがやろうとしていることは、ある意味で根ざしたアプローチを取ることです心理学。したがって、機械学習に従う代わりに、実際に心理学に従うことになります。私たちが知性をテストする方法は、創造的なタスク、それまでに見たことのないタスク、非常に斬新な、問題について考えるための斬新な方法と、幅広いドメインでテストします。_ この論文で選択したドメインはビジョンです。すでに興味深いのは、これはマルチモーダルモデルではなく、テキストのみを出力できるということです。わかった？しかし、私は私のビジョン理論でそれをテストするつもりです. すでに述べたように、コーディングの数学、アフォーダンス、ツールの使用、そしてプライバシーの有害性の検出も非常に重要です。この最後の点については触れません。他にも選択できるドメインがたくさんあります。医学、法律、物理学、化学。ポイントは、そのGPTです 4の知性は一般的です。わかった？それらすべてを同等にうまく行うことができます。わかった？それでは、この評価の旅を始めて、クリエイティブタスクとはどういう意味かの例を示しましょう。わかった？チャットにアクセスして最初にすることは_ _ _ GPT は詩を作ってもらうことです。それは、GPT 4に初めてアクセスしたときに行ったことでもあります。私は数学者として、素数の無限性の証明をすべての行に書くように依頼しました。それは韻を踏む。それは良さそうですねすること。では、 GPT がどのような料金を請求するのか見てみましょう。もちろん。これは、証明の各行で無限に多くの素数があることの証明です。韻を踏む、それはただのくだらないことだと考えてください、いいですか？線はありません。韻を踏む、それは私が尋ねたことをしないだけです。うまくいきませんでした。わかった。ところで、これは正しい証明であり、もちろんオンラインで素数の無限性を証明する非常に多くの証明です。それは良いことですが、うまくいきませんでした。GPT 4 の機能を見てみましょう。さて、そのような証明を書くことができますか? はい、できると思いますが、巧妙な計画が必要かもしれません。素数が不当によそよそしいことを示すユークリッドの証明に注目することから始めます。素数の有限リストがあり、どれも見逃されていないと仮定します。それらをすべて掛け合わせて、賢くするために1を追加します。だからその時点で、賢くするために1つ追加しました。9月末のことを覚えています。何が起こっているのですか？これは本当に信じられないほどです。つまり、この品質は信じられないほどです。でも重要なのは、それだけにとどまらないということですよね？質問をしたり、聞いたりして知性をテストするのではありません。答えて、それだけです。あなたは先に進みます。あなたが正しいか正しくないかのどちらかです。学生をテストしようとすると、学生と対話します。時には学生も間違いを犯すかもしれません。そして、あなたは本当に何も理解していないと言うだけではありません。やめさせてすぐそこに。いいえ、あなたは生徒を指導しようとします。よし、これがプレゼンテーションを通してやろうとしていることだ。私たちは質問を続けようとします.GPT 4が軌道に乗らなければ、少し助けます. わかった？それでは見てみましょうどうすればさらに進むことができるか。繰り返しになりますが、要点は、私が創造的になり、箱から出してすぐに質問をしたいということです. では、この証明のイラストを描いてもらいますね。_ _ したがって、視覚的な証拠ではありません。だからお願いしたら_ _ 素数の無限性の証明を描いても、何を描くかは明らかではありません。あなたは何かを思いつくでしょうが、それは明らかではありません。また、画像を出力することは想定されていません。では、どのように描くのでしょうか。さて、ここで私はSVG形式の質問でそれを言います. SVG形式では言わなくても、「イラストを描いてくれませんか?」と言うことができたはずです。すると、SVG形式の画像が表示されます。_ _ _ では、SVG形式とは何ですか? 関係ありません。スケーラブルなベクターグラフィックス。コードの束です。したがって、このようなコード行で応答します。これがGPT 4の答えになります。これをHTMLで保存すると、このような画像が得られます。わかった？決して驚くべきことではありませんが、それは何の本質ですこの証明は約です。最大9235、711などの素数の有限リストがあります。_ _ _ _ _ _ _ _ これらは素数です。わかりました。次に、それらを組み合わせて新しい数Nを作成します。次に、それが言ったように、賢くするために1を追加します。とこの新しい N プラス 1 、これは素数であるはずの数です。さて、これはただのウォーミングアップでした。では、これらのビジョン機能についてもう少し掘り下げてみましょう。_ _ そして、ここで奇妙な事件についてお話ししたいと思いますこれは私のお気に入りの例です _ _ それでは、質問をお見せしましょう。問題は、 Tixyでユニコーンを描くことです。わかった？この聴衆の多くは、 Tigsiを使ってラテックスで画像を描いています。そして個人的には、私が博士号を取得していたとき学生であり、その後も Tixyと格闘して何時間も無駄にしました。Tixiで何かを描くのは本当に苦痛です. そしてもちろん、Tixyでユニコーンを描くのは、わかりませんが、それを行うのに2日ほどかかります。さらに、私はかなり確信していますインターネット上の誰もこの質問をしたり、 Tigsiでユニコーンを描いたりしていません。誰がこれをして時間を無駄にするでしょうか? これは意味がありません。わかった？そうは言っても、それがインターネット上にないと私が信じているという事実だけでは、私たちは再び確信することはできません. 調査する必要があり、さらに先に進む必要があります。心配する必要はありません。しかし、それが思いついたユニコーンをお見せしましょう。よし、これがGPT fourのユニコーンだ。わかった？ほら、それを見たとき、私は個人的にショックを受けました。ユニコーンの概念を本当に理解しています。それは重要な要素が何であるかを知っています。この非常に抽象的なユニコーンを描くことができました。明確にするために、視覚的に本当に理解できるように、GPT 4とチャージEPTの間のギャップは明らかです。これは chargitのユニコーン、いい？というわけで、これだけの進捗です。はっきりさせておきたいのですが、Chat GPTとGPT 4には大きな違いがあります。Chat GPTをプレイしたことがあり、納得できない場合は、そこでやめないことをお勧めします。わかった？もちろん、これはそれほど素晴らしいことではないと言うかもしれませんが、 GPT 4はツールを使用するのに十分なほどインテリジェントであることがわかります。だからあなたが言えることは、あなたはそれに反応して、ねえ、あなたが知っていると言うことができるということです私はあなたの絵があまり好きではありません。改善してみては？そして、これらの拡散モデルについて聞いたことがあります。多分あなたはそれらの1つを使うことができます。つまり、この拡散モデルを使用できますかということです。_ _ _ _ _ _ _ ウェブサイトと私の写真をプラグインして、それを改善するように依頼しますか? そして、これがあなたが得るものです。わかった？ツールの使用も許可されている場合、これはGPT 4のユニコーンです。わかった？したがって、これがどこに行く可能性があるかがわかります。さて、もう一度言いますが、私はそこで止まりたくない。さらに調査していきます。この場合、さらに詳しく調べる方法は次のとおりです。_ _ _ _ _ 生成されたTixyコードを使用します。Tixyコードのすべてのコメントを削除します_ これは GPT 4の特性の1 つであり、人間が非常に読みやすいコードを生成するためです。これはマシンにとっては面白いことですが、多くのコメントが追加されます。それは本当にあなたをその思考に導きます。というわけで、これをすべて削除しますこれがユニコーンを描くコードであることがわからないようにします。そこにはユニコーンに関する情報はありません。わかった？また、誰が知っているかを確認するつもりです。おそらく、これはWebからコピーされます。すべての座標をランダムに摂動させて、それは見たことがないものです。それからホーンを取り外して、このTixyコードは何ですか? _ _ _ _ _ _ コードをお返しします。_ 新しいセッションです。私はコードを返して、このTixyコードは_ _ _ ユニコーンを描きますが、角がありません。追加できますか？わかった？したがって、それを行うには、コードを本当に理解する必要があります。そして、これが起こることです。よし、頭の位置を特定できた。わかりますか？それは簡単なことではありません問題。つまり、これらの3 つの楕円、3つの楕円、ちなみに、メインの描画があまり得意ではないヘッドとメインがありますが、実際にそれを見つけることができました。さて、このユニコーンの例に長くとどまりたくはありませんが、本当に印象的なもう1つのことは、数か月にわたることです。9月にアクセスできるようになり、彼らはトレーニングを続けました。彼らがトレーニングを続けている間、私はTigziで自分のユニコーンにクエリを実行し続け、何が起こるかを確認しました。そしてこれ何が起こるかです。わかった？そのため、改善が続けられ、最高のものを除外しました。それは私のコンピュータにあります。後で明らかにするかもしれません。しかし、その後も改善を続けました。しかし、最終的には劣化し始めました。安全性を高めるためのトレーニングを開始すると、ユニコーンは劣化します。したがって、今夜家に帰って、担当のGPT 4にピクシーでユニコーンを描くように頼んだら、見栄えの悪いものを手に入れることになります。そして、これはばかげているように聞こえるかもしれませんが、このユニコーンベンチマークを使用しました。知性のベンチマークのようなものです。あなたのユニコーンはどれくらい良いですか？そして、Bingに取り組んでいたとき、これは完全に本当の話です。また、安全性についても調整を行っており、ユニコーンが良い状態を維持できるかどうか、または場合によっては問題が発生するかどうかを実際に調べていました。安全が行き過ぎていると、ああ、いや、それはあまりにも危険な作業だ、やりたくない. ですから、これはとても役に立ちました。さて、お伝えしたいことがたくさんあるので、少し早めに行きます。_ _ _ _ あなたはまだこう言うかもしれません。視覚能力はまったく役に立ちません。実際、非常に便利です。。その理由は、 GPT 4 が知的であり、あなたの知性を理解しているからです。あなたはそれを理解と同一視することができます。理解とは、あなたの指示に従うことを意味します。あなたが何かをするように頼めば、それはあなたが頼んだことをしてください。では、この拡散モデルが何を意味するかをお見せしましょう。Dalies の人々は、これが知的なものであるとまだ確信していません。そこに知性があることはすでに納得できると思いますが、問題ではありません。そうではないので、人々は納得していません。オブジェクトの位置を正確に理解します。と聞くと、コーヒーカップの右側にあるコーヒーカップの隣の車です。ランダムな場所かもしれないので、よくわかりません。たとえば、この写真は、カップの上にスプーンを置いてほしいと頼んでいます。そしてあなたほら、スプーンをカップの中に入れてみてください。それでは、理解することで得られるものをお見せしましょう。私は非常に奇妙な質問をするつもりですが、それは非常によく起こる可能性があり、役に立つでしょう. GPT Fourにスクリーンショットを描くように頼んだとしましょう左から右に川がある3D 建物ゲーム、川の下にピラミッドがあるデザート、川の上に高層ビルがたくさんある都市。画面の下部には、緑、青、茶、赤の4 つのボタンがあります。ランダムなもの。でも多分作ってるビデオゲームと私はこれが欲しい. これを拡散モデルに依頼すると、これが得られます。良さそうに見えますが、私が求めたものとはまったく異なります。まず最初に、左上隅に幻覚の地図があります。_ _ 頼まなかった_ それか。ある種の生命の象徴。また、4つのボタンが、2つの多色ボタンになりました。それで、それは何かをしましたが、私が何を求めたかを正確に理解していませんでした。GPT Four に渡すと、これが得られます。まさにあなたが求めていたものです。わかった、それあなたの指示に正確に従いました。もちろん、大丈夫と言うかもしれませんが、これは見栄えがよくありません。しかし、繰り返しますが、そこで止まる必要はありません。これを拡散モデルのスケッチとして使用できます。そして、それを行うと、これが得られます。わかった？アーティスティックで、あなたが望んでいた指示に正確に従ってください。ご想像のとおり、これにより多くの可能性が開かれると思います。では、この描画について詳しく説明しますが、実際にはコーディングとして、これらすべての描画機能の後、脇に置いてフィーチャーするためです。それは描画ですが、実際にはコーディングに他なりません。よし、それではコーディングに行きましょう。ところで、これらの背景スライドはすべて、誰が描いたか想像できます。それでは、GitHubコパイロットのようなコパイロットでコーディングするとどうなるか見てみましょう。これで、副操縦士は理解しました。それは知的です、それはあなたを理解しています。では、かなりトリッキーなことを尋ねるとどうなるか見てみましょう。次の要素を使用して、HTML とJavaScriptで3Dゲームを作成します。球形のアバターが3つあります。プレイヤーはアバターの1つを_ 移動するキー。プレイヤーを捕まえようとする敵がいます。そして、プレイヤーを守ろうとして、敵とプレイヤーの間に入り込むディフェンダーがいます。ディフェンダーは、ある意味ではAIそのもののようなものです。そして、あなたは持っていますランダムに発生する障害物。チャドGPTに依頼できます。_ これが私に与えるものです。まず第一に、これはすでに信じられないほどです。これにコンパイルされる約50行のコードが表示されます。わかった？これは私がプレイできるゲームです。プレイヤーが動く緑のボール。もちろん、赤いボールは動いていません。青いボールはディフェンダーだと思います。_ _ それも動かない。それは実際には3Dではありません。それで、それは何かをしましたが、私が何を望んでいるのかを本当に理解していませんでした. 私の指示に正確に従わなかった。これ GPT 4が行うことです。わかった？だから、これは本当のゲームです。遊ぶのは楽しいです。動くと、すぐに再起動します。紺色のボールを動かします。赤いボールが背景の紺色のボールに向かって動いているのがわかります。そしてライトブルーの方赤いボールと紺色のボールの間に入れようとしているディフェンダーです。というわけで、この動画は私が紺色のボールを操作している動画です。ご覧のとおり、ディフェンダーは良い仕事をしています。赤いボールを止めています。わかった？私たちには、一種のこの時点でのコーディングの相転移。そして実際に起こったことは、CodexとGitHubの副操縦士で、実際にオートコンプリートが可能でした。コードの短いスニペットのオートコンプリートと考えるべきでした。チャットGPT。もう次のレベルです。既に50行の書き込みが可能です。あなたのためのコード。しかし、 GPT 4 では、 500 ～1000行のコードを記述できます。完全に動作します。ゼロショット。メタプロンプトなどはありません。これはすべて、すぐに使用できます。わかった？ですから、これこそが副操縦士を使ったコーディングが解き放つものだと私は思います。そして、ここで私は示していますこの 2つのアニメーション。左側は、Chat GPTが生成するコードです。右側はGPT 4が生成するコードです。_ そして、注意深く見ると、GPT Fourのコードははるかにエキスパートレベルであることがわかります。さて、キャッチは、またはツイストオンですこのスライドは、これら2 つのビデオがGPT 4によって作成されたことを示しています。私がしたことは、入力としてテキストファイルを取り、このようなビデオを出力するPythonスクリプトを作成するようにGPT Fourに依頼したことです。私つまり、これには多くの時間がかかります。確かに、私にとっては、それらのビデオを制作するのに永遠にかかるでしょう. そして問題は、この部屋の誰がPythonスクリプトを作成できるかということです。_ _ _ _ _ _ _ _ 多分いくつか人ですが、それほど多くはありません。さて、これが本当にGPT 4の力であり、 GPT 4によって非常に多くのことが解き放たれ、非常に多くの創造性が解き放たれます. このスライドだけですぐに行きます。面接、AmazonとGoogleでの模擬面接に合格してもらいました。マイクロソフト、そしてそれは合格しました。合格しただけでなく、人間のユーザーを100%上回っています。そして、この特定のものについては、 2時間が割り当てられていて、彼はそれを3分59秒で完了したことがわかります。イーがその間をコピペしていたので、それだけの時間がかかりました。遊び場と模擬面接のウェブサイト。わかりました、これは本当に、スーパーヒューマンコーディングと言って差し支えないと思います。わかった？それでは、アフォーダンスに移りましょう。アフォーダンスについて簡単に説明します。なぜなら、数学についてお話ししたいからです。多くの人に興味を持ってもらいます。問題は、まだ多くの弱点があることです。もちろん記憶はありません。アメリカの大統領は誰? _ ドナルド・トランプ。これらの2つの数の積の平方根は? 1000 と表示されていますが、明らかに1000ではありません。9000です。そのため、算数の間違いを犯します。この単語の特定の文字は何ですか? Nと書いてあります。正解はAです。間違いを犯します。完璧ではありません。わかった？これは、誰もが理解しておくべき非常に重要なことです。完璧には程遠いですよね？人間として欠陥がある欠陥があります。しかし重要なのは、ツールを使用するのに十分なほどインテリジェントであるため、検索エンジンにアクセスできることを伝えることができるということです。電卓にアクセスできます。このAPIにアクセスできます。文字括弧だと言っているだけです。アクセスできますそれらすべてに。必要な方はご利用ください。それでは、米国の大統領は誰ですか？_ _ _ 彼は答えません。検索と言われます。わかりました、この情報を検索する必要があります。これの平方根は？_ _ それ calcと言うでしょう。この単語の特定の文字は何ですか ? コンマ13という単語の文字が表示されます。_ _ _ _ _ _ コンマをしなければなりません。ご存じのように、必要な文字数ですが、自動的に検出されます。それほど印象的ではないかもしれませんが、はるかに複雑なツールも実行できます。たとえば、カレンダーやメールへのアクセスを許可できます。_ さて、このスライドでお見せするものは100 %本物ですが、手動で作成しました。しかしこれを自動化することは容易に想像できます。それで私が言ったのは、今週Contoso RestaurantでJoeとLukeと一緒に夕食を準備してください. 応答します。これがその応答です。カレンダーはイベントの週を取得します。そのため、カレンダーで今週の予定を検索します。_ Joeに電子メールを送信します。Eメール。送信。ねえ、ジョー、夕食。どの夜が利用可能ですか? それから私はそれを返します。ジョーが火曜日と水曜日の夜に言う答えは利用可能です. ルークは月曜から木曜までいつでも、私のカレンダーには私が月曜日と火曜日に予定があります。次に、私が与えたこの入力について推論し、答えを取得します。さて、水曜日は一日です。それでは、Joeにメールを送信して、イベントをカレンダーに追加して、予約を_ _ _ _ _ レストラン。これがすべて自動的にできることであり、あなたに戻ってきて、午後6時に夕食を予約したと言います。コントソレストランにて。わかった。では、あと 5分、あと5分だけ、手短にお願いします。ええ、わかりました、すぐに結論を出しましょうもちろん、数学は私たちの多くにとって非常に興味深いトピックだからです。すぐに言っておきますが、数学は得意ではありません。心配しないでください、今のところまだ仕事がありますが、それは興味深いことです。面白いです。では、そのまま会話をしましょう先ほどお話ししたように、私たちは学生との会話をするつもりで、大まかにマスターレベルで学生と会話しました。それはそのレベルで自分自身を保持することができます. でも中学生くらいのレベルを見せてあげる_ _ _ _ そのように。それでは、この問題を進めましょう。1年の間に、ウサギの個体数は最初に係数Aで乗算され、最終日Bにウサギが養子縁組に連れて行かれる。1年目の最初の日にX匹のウサギがいたとします。と 3年後に正確に27 x -26のウサギがいることがわかったとしましょう。AとBの値は何ですか。_ _ _ _ _ _ yから1年後、YはaxからBを引いた値に等しいことがわかります。 2 年後、人口は YからBを差し引いたものになります。_ _ _ _ _ _ _ _ 人口の3年後は、この方程式になります。これは27 x -26に等しいので、式は次のようになります。それを解くと、 A は3 に等しく、Bは探している他の2 つの値に等しいことがわかります。これは正しいです。よし、よし、ここまで。とても良い。しかし、繰り返しになりますが、学生にインタビューして、ああ、大丈夫、それだけのようになることはありません。彼または彼女は理解しています。それでは、もう少し抽象化して、それが本当に理解されているかどうかを見てみましょう。それが何をしていたか。ここでは、明確な答えがある場合にだけ質問したくありません。また、その概念を本当に理解しているかどうかも確認したい質問自体を修正します。したがって、この問題は構成について別の方法で定式化できることを私が指摘するとは考えないでください。この構成定式化を提供してもらえますか。はい、そうです、AとBの値を探していると言えます。たとえば、fの場合 x のxは Ax からBを引いたもので、xのfのfのfは27 x -26に等しいです。_ 議論を続けましょう。ここで、fが次数2の多項式になると仮定します。_ _ × 二乗。この場合、そのような関数fを見つけることができますか ? わかりました、あなたが人間としてそうであるように、わかりました、それでは、この合成を次数1の多項式である線形関数に等しくしたいのですが、合成の3倍は次のようになります。次数8の多項式。次数8の多項式は1に等しくありません。そのような機能はありません。わかりました、これは非常に単純な質問ですが、 GPT 4 が何をするか見てみましょう。fが次数2の多項式の場合、xのf は次のように記述できます。これを考えると、方程式はになり、構成を3回書き始めるため、迷子になり始めます。それは多くのことを書きます。それは、私はこの方程式、その方程式が必要だと言っています。8 つの方程式を書き始めますが、答えには至りません。しかし繰り返しますが、それだけではありません。ちょっと待って、計算しなくてもここで推測できることがあるかもしれません。すべてを書き留めたくないかもしれませんが、以前とは異なります。そして、彼は言いました。_ _ _ _ _ _ _ _ 次数2の多項式の場合、合成3回は次数8の多項式です。したがって、そのような機能はありません。わかった？ここで、それがいかにデリケートで、明確ではないかがわかります。わかりますか？わかりませんか？よくわかりません、いいですか？よくわかりません。そしてこれ私が言うすべてです。さて、算数がまだ不安定であるという事実のような、いくつかの奇妙なことがあります。完全には理解していないと言わざるを得ませんが、このスライドで説明することは理解しています。それでは、これを見てみましょう。私はそれを与えるプロンプト。 7 かける 4 たす 8 かける、それでいいのです。これの値はわかりませんが、8かける8は60くらい、7かける420くらいです。少なくとも、これは100未満です。_ _ _ 120 と書いてあります。これは間違っています。間違い。わかった。しかし、ポイントはそれだけにとどまらないということです。続きます。127かける4たす8かける8 であると彼が考える理由を説明し始めます。それは計算を行い、それから正しい答えにたどり着きます。92.オーケー、待って、何が起こっているの？あなたは言うことから始めました 120. どれですか? _ 120ですか92ですか？それはタイプミスでした。ごめん。さて、このスライドから得られる洞察はたくさんあります。_ _ 実際、あなたは本当にすべてを理解することができます。私はそれが起こっていると思います。最初の答えは120です。_ _ _ 内部表現のみを使用してこれを行う必要があります。内部表現のみを使用します。この追加を行う必要があり、これは少し難しくなります。では、なぜすぐに答えるのでしょうか。このような質問をすると、この方程式を書き、次のように書くからです。同等。後に起こる可能性が最も高いのは、数字を与えることです。それで番号が出ます。後に現れる可能性が最も高いものは何かを教えてくれますか? 試みますが、失敗します。しかし、次に可能性が高いのは何でしょうか? つまり_ 人々は彼らの合理的な答えを説明します。それで、それはその答えを説明しようとします。そして驚くべきことは、それが異なる答えを得ることです。私の知る限り、これはトランスフォーマーだからです。_ _ _ _ _ _ だから、それは注意に基づいています。それでそれが注意に基づいている場合、それが2回目、7かける4たす8かける8 を言っているとき、その注意がそれを120 の答えに非常に強くもたらすことがわかります。120の答え。それが真実の一部であることを理解する必要があります。さて、それが知っている限りでは、それはあなたがそれを言ったのかもしれません、ねえ、あなたは何を知っていますか？7かける4たす8かける8 は、今から120です。それは私のプロンプトの一部だった可能性があります。つまり、異なる答えにたどり着くということは、それを克服するのに十分なほど訓練されているということです。プロンプトの間違い。したがって、これは非常に強力なプロパティです。最初は間違えても、正しい答えにたどり着けるということ。_ _ _ _ _ もちろん、これがタイプミスだと言うとき、これはでたらめなので、これも非常に興味深いものです。明らかに、それはタイプミスではありません。そして、これは幻覚と多くの興味深いトピックにつながります。そして、質問の時間を取りたいと思います。これについてはこれ以上説明したくありませんが、このスライドは本当に深く考えなければなりません。それはたくさん言います。したがって、結論に移る前の最後のスライドは、真の計画を立てることができないという事実です。繰り返しになりますが、本当に多くのタスクを実行できることに驚かされましたが、実際には計画が必要だと思っていましたが、実際にはそうではありませんでした。しかしこの議論を7かける4たす8かける8で続ける1つの例を挙げましょう。それで、わかりました、素晴らしいです。これで、92に相当するこのIDが得られました。面白い質問をさせてください。左側の整数を1つだけ変更できますか答えが106になるように、この式の左辺をでは、人間として、あなたの推論は何ですか？あなたの推論は次のようなものです。よし、右辺に106が必要です。では、14ずつ増やす必要があります。14増やす必要があります。_ _ 左側の1 つの数字のみを変更します。14.左を見ます。7が見えて、この種のユリカの瞬間があります。14は7かける2です。_ わかった？7かける2なら、この4を6に変える必要があります。わかった？だから私が言ったことはこれだけです。この4 を6に変換する必要があります。しかし、私が持っていたこのエウレカは、非常に単純ですが、何らかの計画によって作成されたものです。何が必要なのか、前向きに考えてみました。そしてGPT 4はできませんそれは次の世界の予測装置だからです。それで、それは何をするつもりですか？それを行うにはいくつかの可能な方法があります、何とか、何とか、何とか。そして彼は、1 つの整数だけを変更できると言っています。7をに変更します_ _ 九。 9かける 4は106に等しい. _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ これは100です。答えは106ではありません。そして、なぜこれが機能するのかを説明しようとします。9かける4たす8かける8です。 36 たす 64です。正解です。しかし、ここでも 106 と表示されています。ご覧のとおり、最初の過ちを克服するには十分な強度がありませんでした。そして、これは私にとって、それがさらに訓練された場合、おそらくそれ自体を修正するという事実を示しています. そしてもしそれが訓練されていたとしてもさらに、 7かける4たす8かける8が最もありそうな答えが数字であるという質問がある場合でも、それは理解できるかもしれません。たぶん、もっと訓練されていれば、これに答える最善の方法は最初に推論を行います。つまり、私がここで言いたいのは、このばかげた例からわかることは、より多くのトレーニングを行うことで、現在よりもはるかに多くのロックを解除できるということです。私たちが現在持っているものはすでに素晴らしいものですが、私たちができることすべてからは程遠いですこのテクニックで。地平線上にはもっとたくさんあります。では、結論として、GPT 4はインテリジェントですか? また、それは重要ですか？これは本当に重要な質問です。繰り返しますが、GPT 4 は答えがあり、インテリジェントですか? それは本当にあなたの定義に依存します。私はそれを残しますあなたに。私はそれが知的であるかどうかにかかわらず、電話をかけているわけではありません。私に関する限り、私の知能の定義に関して言えば、そうです、知能です。今、それはメモリが不足しています。リアルタイム学習はできません。これがあなたの定義である場合、それはインテリジェントではありません。それ数歩先まで考えられない。本当の計画を立てることはできません。それがあなたの定義なら、それは知的ではありません。しかし一方で、私があなたに見せたと思う行動のいくつかは、本当に印象的です。そしておそらく印象的なことよりも重要なのは、それらが便利であることです。私たちのチームでは、全員が毎日GPT 4を使用しています。これはワークフローの一部です。つまり、これは単なる事実であり、それが有用であるということです。繰り返しますが、それが知的であるかどうかは問題ではありません。好むと好まざるとにかかわらず、世界を変えようとしているのです。とまた、これは知性とは何かを再考する機会かもしれないと言いたいのですが、ある意味では、知性を研究する心理学は何十年にもわたって研究されてきましたが、ある意味では知性の例は1 つしかありませんでした。知能自然界の。しかし、ここでは、少なくとも何かにつながる新しいプロセスがあり、それは知性に見えます. さまざまな例が得られたので、知性の核心に迫ることができるかもしれません。そしておそらくその研究の答えは_ _ その通り。うん。いいえ、この新しいものは、 X を実行しないため、知性と呼ぶべきではありません。これは非常にもっともらしい結論です。しかし、おそらくもっと重要なことは、私が言ったこと、これから抽出できることはもっとたくさんあるということです. だからGPT Four 、それは決して_ 最後に、まったくありません。これが始まりです。これは、真の知性を垣間見せた最初の事例ですが、今後さらに多くのことが期待されています。では、大学として、社会として、人類として、そこからどのような結論を引き出すべきでしょうか? つまり、私は本物ですここ。これらは、私たちが直面すべき真の問題です。ここで私が本当に言いたいのは社会としての私たちがこれらの問題に立ち向かうためにはこれがコピペなのか統計なのかという議論を超えなければならないということですこの議論は後にしなければなりません。電車は駅を出ました。したがって、このバージョンの質問に行き詰まり続けると、本当に重要な質問を見逃すことになります。だから、前に進むことが大事だと思います。そして、それはもっと多くのことができると言って締めくくらせてください私がここに示したものよりも。データ分析を行うことができ、データを与えることができ、分析を行います。プライバシー検出器として使用できます。医学と法律の知識がすごいです。そして、ここで私は本のプラグを作りたいと思いますはMicrosoft Researchで書かれました。私は主執筆者の Peter Lee 氏、部屋にいるkerry Goldberg氏、ハーバード大学のZach Coenny氏が医療にGPT 4を使用することについて協力しました。この本のタイトルは「医療におけるAI革命」です。そして、それは非常に複雑ですトピックと私はそれについて一言で言いたくありません. _ _ _ _ _ _ _ _ しかし、実際には、医療知識がそれを可能にし、ヘルスケアに大きな影響を与え、うまくいけば良い方法で影響を与えるでしょう. しかし私たちはそれについて深く考えなければなりません。ゲームをプレイしたり、ゲーム環境として機能したりできます。それは音楽を知っていますが、音楽を聴いたことはありませんが、音楽を知っています。ファイル管理などを行うことができます。では、ここで締めくくります、ありがとうございました。

この記事が気に入ったらサポートをしてみませんか？