見出し画像

LLM、AGI研究とAI安全性についての思案

Ippei Fujisawa

はじめに

大規模言語モデル（LLM）だけを念頭に規制を考えると足元をすくわれるのではないか。LLMだけではおそらく汎用人工知能（AGI）ましてや超知能（ASI）（以下、特に区別せずAGIとする）にはたどり着けない。LLMの過熱が落ち着くと、AGIを目指したブレイクスルーを狙う研究に多くの研究者がシフトしていくはずだ（もちろんLLMの上に成り立つブレイクスルーの可能性も依然あるとは思うけど）。そして、それなりの投資をしても簡単な道ではないと明らかになってくるのではないか。このとき、AIに対する世間の期待はどう変化するのか、どのような資金の流れになるのか、AI安全に対する思想が変化するのか。


AI規制の有効性とその限界

多くの国が計算資源に対して制限をかけてAIを規制しようとしているが、これが有効なのは、細かな工夫を二の次にモデルとデータの規模を大きくしていけばよいという現行のパラダイムに限られる。確かにスケーリング則によると、LLMをはじめとした基盤モデルは、その規模を大きくすることで精度が向上する、ということが経験的に分かってきている。したがって計算量に基づく規制方針には一定の効果があると見込まれる。しかし、同一パラダイム内だとしても、ハードウェアの低廉化やアーキテクチャの工夫（素朴にはMixture of Expertsなど）により計算量が削減されつつある。それにより、規制の効果が薄れるか形骸化するかもしれない。また、数値計算などとの差が小さくなってくると、計算量だけに頼った規制が機能しなくなる可能性がある。

さらに、現時点ではやはり、AGIの実現にはいくつかの要素が欠けているように思われる。何が欠けているのかはオープンクエスチョンだ。この探索の中では、新たなアーキテクチャや、今のパラダイムでは想像がつきづらい規模の拡大に頼らない効率的なアルゴリズムが発見されるかもしれず、現在の規制方針では対応できなくなる可能性もある。こうした今、手元にない未知の技術に備えることは当然難しい。これへの対処のための議論はどうしても抽象的になってしまう。しかし、念頭に置いておかねばならない。おそらくAGIに至る過程では、ブレイクスルーを何個か経由するはずだ *1 。

いわゆる「生成AI」のニュースが日々世間を賑わせている昨今、私たちはつい近視眼的になり、今問題になっているLLMを念頭に懸念事項を考えてしまう。しかし、AI開発を少数の組織が行うことの危険性だとか、オープン化を防いで悪用を防ぐべきといった議論をする際、今日のLLMを念頭においた議論や、整備されようとしている規制はどれくらい先まで有効だろうか。

AI開発と安全性のバランス

AI開発のオープン化を制限すべきという意見がある。たとえば核兵器の作り方の知識は、公開しない方が安全だろう。それと同様に、脅威となりえるAI技術も秘匿化されるべきだろうか。秘匿化すべきとなれば、軍事技術のように各国や組織が競い合いながら独自に保有することになりそうだ。第二次世界大戦のときと状況が重なる面もある。相手が作るから自分も守るために作らなくてはならないという軍拡競争が生じる構図も、軍事技術と重なる。

情報の秘匿化は性善説に基づくオープンソースよりはまだマシという程度の対症療法でしかないように感じる。結局のところ、各国が競ってAIを開発し、それぞれが保有するという状況に落ち着くのではないか。ただ、それが最善かどうかは大いに議論の余地がある。別の観点としては、科学の営みとして、蓄積した知見の利用と、新たな発見に基づく報告のサイクルがあるが、秘匿化するとこのサイクルが機能しなくなるという指摘ができそうだ。商業化や軍事技術として扱われるときの遷移とも言えるが、この点にも議論の種があるように思う。

AIの安全性や規制を考えるうえで、AIならではのリスクと、AIに限らないリスクをある程度分けて議論できるはずだ。AI特有のリスクとしては、AGIの芽が一度出てきてしまうと手がつけられなくなり人類の活動に壊滅的なリスクをもたらすというような他の技術にはない特有の議論がいくつかある。一方AI特有でないリスクも多いだろう。核や生物兵器、遺伝子組換え技術など人類が新しい技術を手にしたときに何がリスクとなりどのような規制が有効なのか、その教訓は科学哲学・科学技術者倫理をはじめとした多くの学問分野で議論の蓄積があるはずであり、AIにも援用できるだろう。この点について、歴史を繰り返す必要はない *2 。

AIならではのリスクの議論においては、なにを仮定しているのかによって議論のポイントが大きく変わる印象を受ける。人それぞれに頭に思い浮かべているAI（もしくはAGI）に仮定する能力が異なっていると、議論のポイントがずれてしまう。AGIが既に完成している状況を議論するのであれば、技術要素まで踏み込まずに議論できる部分もありそうだ。一方で、AGIの機能が具体的にどのようなものかを想像したり、AGIが自律的に性能を上げられるようなサイクルを議論したり、AGIと人間のインタラクションを想像したり、現在からAGIの完成までの道筋を予想したければ、現時点のAIと未来のAGIの差分や技術要素をおさえないと見通しの悪い議論になってしまう。

科学者の態度と世間の反応

新技術に対する研究者や世間の反応、その過熱も俯瞰しておくべきだ。

まず、私個人の正直なスタンスとしては、基本的には素朴な好奇心ドリブンの研究をしたいと思っている。AI研究者として、AGIがどのように実現できるのかに興味がある。これは面白い問題だし、よっぽど集中して取り組んでも一筋縄ではいかない研究課題だろう。

正直なところ、まだAGIの要素技術は出揃っていないし、それはすぐに明らかになるものではないから、他のことにかかずらわっていないで、今はまず集中してそれを開発してもよいだろう、という気持ちが強い。どんなに精力的に取り組んだところで、解決しないのかもしれない。それでも知能という現象を明らかにしたり、もしできたらとても役に立つんじゃないかという期待をもって前へ進めたい *3 。それくらい困難な研究なのだから、安全性について心配している余裕なんてないというのが率直な気持ちだ。そして、このように知的パズルとして研究に取り組み、問題を解きたいというのは、多くの研究者が賛同するところだと思う。

反面、昨今の科学者たるもの、そのような態度・倫理観でよいのかと思う部分もある。好奇心ドリブンの研究者には耳が痛いが、これまで科学者は素朴な気持ちで研究開発をしてきて、社会的な損失を生んだこともあるのではないか、と。自分の作るものと、それの及ぼす影響について可能な限り責任を持つべきであるならば、好奇心の赴くままの気ままな活動ではいけないのかもしれない。AI研究それ自体でも大変だが、社会的影響まで考慮せねばならないとなると一人の人間では荷が重い。これは集団で解決すべき課題なのだろう。

世間の反応についてはどうか。最近はAIについてのニュースを聞きすぎて、みんな少し馬鹿になっているようにも思う。冷静になってみると「どうしてあんなに一喜一憂していたのか」「結局あれだけ期待したけどこの程度のものだったのか」「そんな永久機関のようなすごいものを目指していたなんて、そんなものやっぱり簡単にできないよね」と将来言われている気がしてならない。これまでの数百年の科学や技術の発展を振り返ってみると、たしかにものすごいところまで来ているのはそうだろう。それぞれすごいブレイクスルーもあった。LLMを含めた昨今のAIは間違いなくその一つではあるだろう。しかし過熱している中での期待すべてが、後に残るわけではないだろう。熱狂には良い面もあるが、落ち着いてみるとあれはよくなかったと反省することが多い。それが繰り返されてきたのが人間の歴史のように思う。

LLMと環境問題

LLMをはじめとした大規模なモデルの訓練や推論には、大きな消費電力を必要とする。これは過熱したLLM研究の直接的な負の側面の一つといえそうだ。乱立する言語モデルはそれだけで環境破壊につながっているともいえる。この観点からは、LLMはもう少し落ち着いて研究を進めてもよいと思う。もう少し別のところも含めて広く探索してもよいのではないか。ただ、これを許さないのが熱狂ともいえる。

気候変動など、人類が抱える問題は多々ある。これらに対処するためには、まずAGIを開発し、それを活用して種々の問題を解決するという戦略は有効に思える。一方で、AI開発それ自体も問題を生む可能性がある点は留意すべきだろう。

AIはすごいのか

ここ1、2年、先端的なAI企業が発表する新しいLLMはたしかに「すごい」。しかし、冷静に見ると、今のLLMは「ユーザーにすごいと思わせる」ことに振り切る競争になっているようにも思える。

少し偏った意見かもしれないが、各企業が「すごく見える」AIを矢継ぎ早に打ち出さざるを得ないのは、次のブレイクスルーへの時間稼ぎをしているようにも見える。例えば、LLMのマルチモーダル化のように、今のパラダイムでできることを、あの手この手で新しく見せなくてはならない。真のブレイクスルーが得られるまでは、そういうものしか出てこないだろう。もしこれが実態だとしたら、OpenAIも結構辛い立場に思える。

もっと言うと、私が深層学習を始めたのは2016年頃だが、少なくともその頃からある意味ではずっと状況は同じようにも見える。結局、みんな本当に役に立つAIが欲しいだけだ。しかし、工場に導入するには精度が担保できないとか、ニューラルネットの出力の信頼度は十分機能しないだとか、結局人間がチェックしないとならないといった問題がずっとつきまとっている。LLMにおける「ハルシネーション」も基本的には同じ問題だ。

もちろん、この10年のAI研究の進展で得られた資産は間違いなくあって、部分的に役に立つ使い方を見出してきてはいる。けれど、そこの発展だけを切り取るとそんなに速い進歩ではない。少なくとも多くの人が飽きてしまいそうになるくらいには遅い。だからこそ、画像生成などの見栄えはするが、よく考えると仕事にどう使ったらよいかは明らかでないもので進歩を演出しなければならない。これは少しひねくれた見方ではあるし、この演出を特定の誰かが行っているわけもない。それでもAI業界全体としては、そうやってどうにか人々の感心の寿命を伸ばしつつ、その隙に次のブレイクスルーを見つけようと足掻いている、そのような印象を受ける。

メディアに多く出るような発言力のあるAI研究者の中には、AI業界を牽引しているようなトップ研究者が少なくない。彼らは分野を背負っているから、LLMをはじめとしたAI研究のすごさを強調するようなポジショントークをするのも理解はできる *4 。だが、本当のところどう思っているかはわからない。ただ、言っているうちに、本当にLLMで十分だと信じ始めることはありそうだし、一方で、裏では虎視眈々と別のアプローチでのブレイクスルーを狙っている人もいるのだろう。またAIの「冬の時代」を経験してきた過去の辛い経験から、それは絶対に起こしてはならないんだという無意識の防衛本能のようなものもあるのかもしれない。

AGI研究

繰り返しになるが、私は現時点でAGIやASIの技術要素が出揃っているとは思わない。AGI実現には複数のブレイクスルーが必要であり、これはさまざまな機関や国で研究しがいのあるトピックだろう。AI研究者でも一般の非専門家でも、LLMを始めとした今のパラダイムだけで全て解決すると思っているかどうかの信念にはグラデーションがある。まだないものについての議論なので誰も確かなことはいえない。OpenAIの内部でどこまで先行して知見が溜まっているかも外部からは定かではない。

日本のような技術的・政治的に遅れを取っている国がブレイクスルーを起こすことで発言力を高めるためには、こうした研究の推進が重要となる。おそらく複数あるAGIの鍵すべてを手にしている人はまだ誰もいない。LLMは鍵の一つかもしれないが、それだけではないはずだ。ハルシネーションはLLMの抱える困難を示す一つの象徴だろう。AGIに備わっているべき自律性も、現在のLLMでは十分ではない。文字通り無数にある個別の状況に大きく依存したタスクの解決も難しい。

一方で、LLMがAGIに至る最後の鍵だと思っている人にとっては、上記の困難は間もなく解決するように思われるのだろう。ブレイクスルーを経ることなしに、連続的にそこに辿り着けると信じているのだろう。しかし、AGIを作るために次に何が必要かをよく考えている身としては、そんなに簡単には達成できなさそうだと感じているし、いつも泥沼にハマっている。それはOpenAIやDeepMindのようなトップ研究機関でも大差ないんじゃないだろうか。

さいごに

安全性に話を戻そう。OpenAIやGoogleのような既存の大規模な機関だけでなく、さまざまな機関でブレイクスルーの可能性が高まることがリスク削減に繋がるのか、それとも大きな機関に集中することが良いのかという議論も重要だろう。

未知のアルゴリズムやAGIに備えて、その安全性を確保することと、AGIの研究開発はどちらが欠けても進まない、両輪で進んでいくようなものだろう。

LLMなど流行りに乗るだけの研究やインクリメンタルな研究による進展も軽視すべきではないが、AGIなど知能の本質や、いまだある人間の知能とのギャップの解消に迫る、より取り組むに値する基本的で重要な研究があるのではないか。この研究を推し進めることで、いろいろな試行錯誤や実験ができる形になってくる。また、そこで初めて新たな現象や性質が見えてくる。ただし、AGI開発のみに投資することは、過去の技術と同じ過ちを繰り返してしまうかもしれない。

安全性を議論するうえでは、具体的なものがなければ抽象論にしかならない。したがって、危険だから一切開発しないという極端な立場では立ち行かない。安全性のみに投資したい人であっても、一定程度、研究開発にも投資せざるを得ないだろう。現在のAIの動作原理や実際のふるまいについての理解なしには、地に足のついた議論とはなりえない。逆に、近視眼的に、LLMだけを念頭に規制や安全性を議論している場合には、より長期的な技術の発展を視野に入れるべきだろう。

AIだけでなく、さまざまな科学・技術の分野や社会での人間活動や思想も絡んでくる複雑な内容で捉えがたいものではあるが、全体を見渡しながら、それぞれの議論を進めていきたい。

謝辞

丸山隆一氏との議論の中で、上記の考えが整理されていきました。また編集にご協力いただき、文章の見通しが良くなり、いくつかのリファレンスをつけられました。ありがとうございました。

注釈

  1. この点についてはまた機会を改めてどこかに書きたい。ここでは、関連するいくつかの論文を引用しておく。

    1. Lake, Brenden M., Tomer D. Ullman, Joshua B. Tenenbaum, and Samuel J. Gershman. 2017. “Building Machines That Learn and Think like People.” The Behavioral and Brain Sciences 40 (January): e253.

    2. Chollet, François. 2019. “On the Measure of Intelligence.” arXiv [cs.AI]. arXiv. http://arxiv.org/abs/1911.01547.

    3. Deletang, Gregoire, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Chris Cundy, et al. 2022. “Neural Networks and the Chomsky Hierarchy.”

    4. 自分のプレプリント

      1. Fujisawa, Ippei, and Ryota Kanai. 2022. “Logical Tasks for Measuring Extrapolation and Rule Comprehension.” arXiv [cs.AI]. arXiv. http://arxiv.org/abs/2211.07727.

      2. 藤澤逸平, 金井良太. 2021. “規則性理解と外挿能力を評価するための足し算.” 人工知能学会第二種研究会資料 2021 (AGI-019): 03.

  2. 丸山さんから以下のコメントをいただいた。

    1. TegmarkやTallinnらが2016年につくった「AIアシロマ原則」がある。

    2. また「新興技術ガバナンス」や「ELSI」の名の下で世界的にものすごく議論されている。

    3. CRDSのレポートや、ニューロテックの倫理の動きも参考になる。

  3. 例えば、今のLLMではあまり長いステップのタスクを解くのは難しい。あくまで人の補助で役に立つレベルに留まっており、比較的短いステップごとに人による予測結果の検証を必要とする。制限のある中でのタスクだったり、個別具体のタスクが与えられたときに適切に作業を切り分けて前に進めていくことは難しい。AGI研究は、このような困難を解消していくはずだ。

  4. もちろん研究として面白いものはたくさん出ていると研究者としては私も思う。ただし、それが社会にまで広く知らしめるほどの価値があるものかと問われてみるとそれほど明らかなすごさではないかもしれない。過剰に広告されている面もあるのではないか。


この記事が気に入ったらサポートをしてみませんか？