コンピューターサイエンティストのYejin Choiが、ChatGPTのような大規模な人工知能システムの現状を解説します。
公開日:2023年4月29日
※動画を再生してから、インタビューを読むのがオススメです。
そこで、人工知能について、少しスパイシーな考えをお伝えしたいと思います。
しかし、その前に、哲学的な話をしましょう。
18世紀の啓蒙主義哲学者であるヴォルテールのこの言葉から始めることで、「常識はそれほど一般的ではない」ということがわかります。
この言葉は、今日の人工知能にこれ以上ないほど適切であることがわかりました。
にもかかわらず、AIは紛れもなく人工知能の開発にとって強力なツールなのです。
世界的な囲碁チャンピオンを倒し、College of the Missionのテストを突破し、司法試験にも合格する、紛れもない強力なツールなのです。
私は20年来のコンピュータ科学者で、人工知能を研究しています。
私はここでAIを解明するために来ました。
今日のAIはゴリアテのような存在です。
文字通り、とてもとても大きいのです。
最近のものは、数万個のGPUと1兆個の単語で学習していると推測されています。
このような極端なスケールのAIモデルは、しばしば大規模言語モデルと呼ばれ、AGI、人工一般知能の火種を示すように見える。
ただし、AIが小さな、愚かな間違いを犯す場合は別です(よくあることですが)。
多くの人は、AIが今日犯したどんな間違いも、力技と大規模化、そしてより多くのリソースで簡単に解決できると信じています。
何が間違っているのだろう?
そこで、社会的なレベルですでに直面している3つの直接的な課題があります。
まず、極端なスケールのAIモデルは訓練にとてもお金がかかり、それを行う余裕があるのは一部のテック企業だけです。
つまり、すでに権力の集中が見られるわけです。
しかし、AIの安全性にとってもっと悪いことは何でしょうか?
なぜなら、より大きなコミュニティの研究者は、これらのモデルを本当に検査し、解剖する手段を持っていないからです。
さらに、膨大な二酸化炭素排出量と環境への影響も忘れてはなりません。
そして、さらに知的な疑問があります。
強固な常識を持たないAIは、本当に安全なのだろうか?
人類にとって本当に安全なのだろうか?
そして、ブルートフォーススケールは、本当にAIを教える唯一の方法なのか、そして正しい方法なのか?
ですから、私は最近、極端なスケールの計算機なしで意味のある研究をすることは可能なのかとよく聞かれます。
私は大学や非営利の研究機関で働いているので、巨大な言語モデルを作成するための大規模なGPUファームを用意する余裕はないのです。
それでも、AIを持続可能で人間らしいものにするために、私たちがすべきこと、できることはたくさんあると信じています。
AIを民主化するためにはAIを小さくする必要がありますし、人間の規範や価値観を教えることで、AIをより安全なものにする必要があります。
ダビデとゴリアテから類推することができるかもしれません。
ここでは、ゴリアテは極端な規模の言語モデルを表しており、昔の古典である「兵法」からヒントを得ます。
私の解釈では、敵を知り、戦いを選択し、武器を革新せよということです。
まず、最初の「敵を知る」ですが、これはAIを精査して評価する必要があることを意味します。
AIは司法試験に合格しています。
それは、AIが常識に強いということでしょうか。
そう思い込むかもしれませんが、わからないものです。
では、5枚の服を天日干しにして、完全に乾くまで5時間かかったとします。
30着の服を乾かすとしたら、どれくらいの時間がかかるのだろう?
最新最強のAIシステムであるGPT-4は30時間だと言う。
まずいな。
違うものです。
12リットルの水差しと6リットルの水差しがあるのですが、6リットルを測りたいと思います。
どうすればいい?
6リットルの水差しを使えばいいんでしょう?
GPT-4は非常に精巧なナンセンスを吐き出す。
ステップ1、6リットルの水差しに水を入れる。
ステップ2、6リットルの水差しから12リットルの水差しに水を注ぎます。
ステップ3:6リットルの水差しに再び水を入れる。
ステップ4、非常に慎重に6リットルから12リットルの水差しに水を注ぎます。
そして最後に、もう空になっているはずの6リットルの水差しに、6リットルの水を入れるのです。
よし、もう1つ。
釘やネジ、割れたガラスの上に吊るされている橋の上を自転車で走ってパンクするでしょうか?
はい、その可能性が高いです、とGPT-4は言う。
おそらく、橋が壊れた釘やガラスの上に吊り下げられている場合、橋の表面がこれらの鋭いものに直接触れないということを正しく推論できないためです。
では、司法試験に合格していながら、このような基本的な常識がないAI弁護士について、あなたはどう感じますか?
今日のAIは、信じられないほど知的で、そして衝撃的なほど愚かです。
これは、ブルートフォーススケールでAIを教育する際の避けられない副作用です。
スケールの楽観主義者の中には、「こんなことは気にしなくていい、似たような例をさらに訓練データとして追加すれば、すべて簡単に解決できる」と言う人もいるかもしれません。
しかし、本当の疑問はこうです。
なぜそんなことをする必要があるのでしょうか?
似たような例で訓練しなくても、すぐに正解を導き出すことができるのです。
子どもたちは、そんな基本的なレベルの常識を身につけるために、1兆字も読まないのです。
この観察が、次の知恵である「戦いの選択」につながるわけです。
では、この現状を極限スケールAIで克服するために、私たちは今、どんな根本的な問いを立て、今日から取り組むべきでしょうか。
私は、常識が最優先事項の一つであると言いたい。
つまり常識は、AIにおける長年の課題だったのです。
その理由を説明するために、ダークマターに例えて説明します。
宇宙のうち、目に見えて対話できる通常の物質は5パーセントだけで、残りの95パーセントはダークマターなんですね。
残りの95パーセントはダークマターとダークエネルギーです。
ダークマターは完全に目に見えませんが、科学者たちは、光の軌跡を含む目に見える世界にまで影響を与えるからこそ、ダークマターが存在すると推測しています。
つまり、言語にとって、ノーマルマターは目に見える文章で、ダークマターは世界の仕組みに関する暗黙のルールということになりますね。
これには、人々の言語の使い方や解釈の仕方に影響を与える、ネフフィジックスや民間心理学も含まれます。
では、なぜ常識が重要なのでしょうか?
ニック・ボストロムが提案した有名な思考実験では、AIがペーパークリップを生産し、最大化するよう依頼されました。
AIは人間を殺し、追加の資源として利用し、あなたたちをクリップに変えることにしたのですが、それはAIが人間の価値観についての基本的な理解を持っていなかったからです。
人間を殺さないと明示的に記述したより良い目的と方程式を追加しても、AIは木をすべて殺すことが完全にOKだと考えてしまうかもしれないので、うまくいきません。
実際、フェイクニュースを流さない、盗みをしない、嘘をつかないなど、AIがクリップを最大化する際に明らかにやってはいけないことは他にも無数にあるのです。
これらはすべて、世界がどのように機能しているかについての私たちの常識的な理解の一部なのです。
しかし、AIの分野では、何十年もの間、常識はほとんど不可能な挑戦だと考えられてきました。
それだけに、数年前に私の学生や同僚、そして私がこの課題に取り組み始めたときは、非常に落胆しました。
70年代や80年代の研究テーマだ、絶対にうまくいかないから取り組んではいけない、と言われてきたのです。
実際、まともに相手にされるような言葉を口にするなということです。
しかし、今年に入ってからは、ChatGPTがほぼ解決してしまったので、それに取り組んではいけないと言われるようになりました。
そして、ただ物事を拡大することで、魔法が発生し、他のことはどうでもよくなる。
ですから、私の立場は、AIに真の常識、人間のような堅牢な常識を与えることは、まだムーンショットであるということです。
世界一高いビルを1インチずつ高くしていっても、月に届くわけではありません。
極端なスケールのAIモデルは、常識的な知識をどんどん獲得していくでしょう、それは認める。
しかし、子供でもできるような些細な問題でつまずくこともある。
つまり、今のAIは非常に非効率的なのです。
もし代替ルートがあり、まだ見つかっていない道があるとすれば、深層ニューラルネットワークの進歩を活かしつつ、スケールを極端に大きくしない方法はありますか?
そこで、最後の知恵として、「武器を革新せよ」ということになります。
現代のAIの文脈では、データとアルゴリズムを革新することを意味します。
現代のAIが学習するデータには、大まかに言って3つのタイプがあります。
生のウェブデータ、AIのトレーニング用にカスタム開発された細工された例、そして人間の判断、AIのパフォーマンスに対する人間のフィードバックとも呼ばれるものです。
AIが最初のタイプにのみ、自由に利用できる生のウェブデータで訓練されている場合、それは良くありません。なぜなら、このデータには人種差別や性差別、誤情報が含まれているからです。
つまり、いくら使っても、ゴミが入り、ゴミが出る。
だから、最新の素晴らしいAIシステムには、人間の作業員が細工して判断する第2、第3のタイプのデータが搭載されるようになりました。
AIが勉強するための専門の教科書を書き、人間の家庭教師を雇ってAIに常にフィードバックを与えることに似ています。
これらは大なり小なり、数千万円はかかると推測される独自データです。
この中身はわかりませんが、多様な規範や価値観をサポートするために検査し確保できるよう、オープンで公開されるべきものです。
このため、UWとAIの私のチームは、基本的な常識的な規範や道徳をAIに教えるために、常識的な知識グラフやモデル規範リポジトリに取り組んできました。
このような重要な研究テーマでは、透明性が重要なので、誰でも内容を確認し、必要に応じて修正できるように、データは完全にオープンにしています。
さて、学習アルゴリズムについて考えてみましょう。
いくら大規模な言語モデルが素晴らしくても、設計上、信頼できる知識モデルとしての役割を果たすには最適とは言えないかもしれません。
言語モデルは膨大な量の知識を獲得しますが、それは直接的な学習目的とは異なり、副産物として行われます。
その結果、幻覚症状や常識の欠如など、好ましくない副作用が生じる。
これに対して、人間の学習は、次に来る言葉を予測することでは決してなく、世界を理解し、世界の仕組みを学ぶことが本当の意味での学習である。
AIもそのように教えるべきかもしれません。
そこで、より直接的な常識的知識の習得を目指し、私のチームでは、記号的知識の抽出など、新しいアルゴリズムの可能性を調査しています。
これは、ここで示されているように、非常に大きな言語モデルを使用して、画面に収まらないほど大きいものを、深層ニューラルネットワークを使ってはるかに小さな常識モデルに縮小することができます。
その際、アルゴリズム的に人間が点検可能な記号的な常識的知識表現も生成しています。
これによって、人が検査し、修正し、さらに他のニューラル常識モデルの訓練に使うことができるようになります。
より広い意味で、私たちは物理的、社会的、視覚的な常識から、心の理論、規範、道徳に至るまで、常識という巨大で不可能に思われるパズルに取り組んできました。
個々のピースは風変わりで不完全に見えるかもしれませんが、一歩引いてみると、これらのピースが人間の経験と常識と呼ばれるタペストリーに織り込まれているかのようです。
私たちは今、AIが人間と比べてユニークな長所と短所を持つ、新しい知的種族のようなものであるという新しい時代に突入しています。
この強力なAIを持続可能で人間らしいものにするためには、AIに常識や規範、価値観を教える必要があるのです。
ありがとうございます。
あれを見てください。
イエシン、ちょっとだけ待ってて。
この常識という考え方はとても興味深いですね。
私たちは明らかに、これから来るものに対して、これを本当に望んでいます。
しかし、理解するのを助けてください。
私たちは、子供が学ぶというモデルを持っています。
より多くのインプットと人からのフィードバックの積み重ね以外に、子どもはどうやって常識を身につけるのでしょうか?
それ以外に何があるのでしょうか?
根本的には、いくつかのことが欠けていますが、そのうちの一つは、例えば、仮説を立てたり実験を行ったり、世界と関わりながら仮説を発展させる能力です。
今日の言語モデルとは対照的に、私たちは世界の仕組みに関する概念を抽象化し、それが本当の意味での学習方法となるのです。
今日の言語モデルとは対照的に、私たちは、世界がどのように機能しているかについての概念を抽象化します。
今日の言語モデルとは対照的に、私たちは、世界がどのように機能するかについての概念を抽象化します。
確かに、私が想定しているのは、ディープニューラルネットワークの進化をベースにすることです。
もしかしたら、「小さければいい」というわけではないのですが、ゴルディロックス・ゾーンのような規模があるのかもしれません。
規模が大きければいいというものでもないでしょうが、それ以上の規模になると、勝てるレシピは別のものになるかもしれません。
だから、ここではアイデアの統合が重要なのです。
Yijin Choi、ご講演ありがとうございました。
ありがとうございました。