「巨大深層学習モデルは科学を変え得るか？」が面白かった

LLMに関する面白い動画を見つけたので、少し内容をまとめてみました。本文の内容は筆者の解釈が含められており、内容の正当性は保証できません。あらかじめご了承ください。

対象の動画

動画内容の主題を要約してみると、「大規模言語モデルを科学研究に用いることで、今まで人類が上手く取り組むことのできなかったような問題も扱えるようになり、さらに従来的な科学研究のアプローチ自体を変えていく可能性がある」という感じになるかと思います。

内容についてもう少し詳しく説明してみます。

従来の科学と問題点

これまで人類は少数のパラメータを持つ現象を対象に、科学を推し進めてきたように思われます。大胆な仮説と抽象化を用いて現象をモデル化し、そのモデルに対してデータを照合して、整合するかどうか検証していくというアプローチです。

このアプローチは本質的に少ない要素に還元できるような法則性を持つ現象に対して有効だと思われます。実際に物理学や化学などは比較的少数の要素に還元できる（理論が世界に対して整合する）、大変よくできたモデルを数多く生み出しています。

しかしながらこのようなアプローチで解くことが困難な問題も世界には存在している可能性があります。言い換えれば、本質的に少ない要素に還元できないような法則性が背後にあるようなものがこの世には存在している可能性があるということです（むしろこちらの方が多いのかもしれません）。

このような対象に対して人間の想像力は、あまりに無力であったといえます。なぜなら、人間（超人的な知能を持つ人間を除いて）の想像可能なモデルとは、少数の要素から構成されるからです。例えば要素が1000個あるものを一般的に仮説モデルとはみなされないでしょう。
これが本質的に人間の認知的限界である以上、人間にはどうしようもありません。

これからの科学と展望

これに対し、大規模言語モデルの登場によって、従来とは異なる科学研究のアプローチが可能に成るのではないかと動画では議論されています。

簡単に説明すると、従来は人間が想像力を用いてモデルを仮説設定していましたが、そのモデルの仮説設定部分がAIにとって変わるのではないかと言っています。

どんなにモデルが複雑（数千〜数億の要素から成るモデル）であろうと、予測が完璧にできるモデルが成立しさえすれば、それは世界や対象を表現したモデルと言えます。AIはこのような極めて複雑であるが、高い予測精度と汎化性能をもつモデルを構築するのが得意です。人間はこのような複雑なモデルを想像することはできません。

このようなことが可能になった場合、今までのように人間の想像力によって、モデルを打ち立てる必要がなくなるわけです。モデルの仮説設定はAIに任せれば良さそうです。（この点に関しては、科学哲学的には色々議論がありそうですがこの場では立ち入りません。）

このような未来に対して、どのように人間の科学研究が営まれていくかのでしょうか？動画ではそれが今後模索されていくだろうと言っています。例えば人間はAIが計算した複雑なモデルを、そこから要素還元して、説明可能なモデルに抽出するといった営みが今後なされていくのではないかと論じています。

主題についての主な内容は以上になります。本文は舌足らずなところがあるかと思いますが、動画ではかなり丁寧に説明してくれているのでぜひご覧ください。

感想

深層学習がこれまで人類が上手く取り組めなかった問題に風穴を開けるというのはその通りだなと思いました。理論、実験につぐ第３の手法であるコンピューターシミュレーションが科学研究に用いられるようになったときと似ていますね。また、こういった抽象度の高い話題は、論拠に乏しいアナロジーで展開していくことも多い印象ですが、科学的なエビデンスを元に話しているのも、さすが科学者だなと思いました。

個人的に深層学習のような非線形階層モデルの真価は、複雑なものを複雑なまま捉え、計算することができる点だと思っています。一方で、必然的に説明性や解釈性の問題が生じるため、従来の科学研究の立場からは批判もありそうです。今後はそれも含めて色々と議論されてほしいですね。科学史に残る転換点になると期待しています。

動画内では、他にも大規模言語モデルのGrounding、創発現象に関する議論などがあり大変興味深かったですが、長くなりすぎるのでまた別の機会に。

以上。