ChatGPTの頭の中

【書籍情報】

タイトル：ChatGPTの頭の中
著者：スティーヴン・ウルフラム
訳者：高橋聡
監訳：稲葉通将
出版社：早川書房
定価： 1,012円（税込）
出版日：2023年7月19日

【なぜこの本を読むべきか】

ChatGPTが膨大なデータを学習し、人間のように回答することは多くの人が知っている。

だが、それがどのような仕組みなのかを答えられる人は、おそらく少ないだろう。

本書は、理論物理学者でもありエンジニアでもある著者が、数学的な観点からChatGPTの仕組みを紹介した一冊だ。

本書は以下のような方にオススメしたい。

■ChatGPTの基礎技術を知りたい
■一般的なChatGPTの解説本では物足りない
■大規模言語モデル、ニューラルネットなどAI用語の理解を深めたい

ChatGPTの紹介書籍は利用法を中心としたものが多いが、本書は一歩踏み込んだ技術的な部分に触れている。

ChatGPTの正体を、ぜひ本書を通して知っていただきたい。

【著者紹介】

スティーヴン・ウルフラム

著者はロンドン生まれで、17歳でオックスフォード大学に入学。
その後、カリフォルニア工科大学で理論物理学を研究し、20歳でPh.D.を取得した。
Wolfram Research Inc.を設立し、Mathematicaを開発。
2020年にWolfram Physics Projectを発表し、物理法則の新しい説明モデルを提案するなどで活躍している。

【本書のキーポイント】

📖ポイント1

ChatGPTは、大規模言語モデル（LLM）と呼ばれる仕組みを使用して、言葉の連なりを確率に基づいて出力している。

📖ポイント2

これまでは、コンピューターが人間のような文章を書くことは難しいと考えられていたが、ChatGPTの登場により、計算処理の観点からはそれが容易であることが明らかとなった。

📖ポイント3

ChatGPTは、数学の問題を解くのが苦手である。

【1】ChatGPTを動かす仕組み

大規模言語モデル

ChatGPTは、まるで人間が書いたかのような文章を生成する。

いったいChatGPTは、どのような仕組みでこれを実現しているのだろうか。

実はChatGPTは、人間が書いた数十億もの文章を学習し、問いかけられた一文がどのような状況で出現するのかを見つけたうえで、文章を生成している。

簡単に言ってしまえば、確率に基づいて次に続く可能性が高い単語を出力しているだけなのだ。

かといって、単純に文字を追っているわけではなく、ある意味で「意味の一致する」単語を探して文章を生成している。

では、どのように単語を選んでいるのか。

単語の組み合わせは無数にあり、すべてを列挙することは不可能である。

それを可能にしているのが、大規模言語モデル（LLM）だ。

大規模言語モデルは、「単語の組み合わせが出現する確率を推定してくれる」仕組みであり、ChatGPTはこれを使用している。

大規模言語モデルは、無数の言葉が存在する中、わずか1750億のパラメーターしか持っていない。

それだけの数で、次の単語が出現する確率を正確に計算し、適切な長さの文章を生成しているのだ。

◽◽◽◽◽◽◽◽◽◽

ニューラルネット

この大規模言語モデルの構築には、ニューラルネットが用いられている。

ニューラルネットとは、簡単に言えば「人間の脳の働きに似せた仕組み」のことだ。

もう少し詳しく説明しよう。

人間の脳には、約1,000億個のニューロン（神経細胞）がある。