ChatGPT: その内部動作となぜそれがうまくいくのか

カドカワの川上会長が注目した「What Is ChatGPT Doing … and Why Does It Work?」というエッセーをノンプログラマにもわかりやすいようにGPT-4に解説してもらいました。

これクソ長くて、まだ、全部、読めてないけど、めちゃくちゃ面白いし、分かりやすい。専門用語をほとんど使わないで、すごく原理的なところから説明している。
平易な英語だから、機械翻訳でも十分意味が通ると思う。多分。https://t.co/d8ECmJK6cw

— かわんご (@gweoipfsd) May 27, 2023

GPTの仕組み：一語ずつ追加

ChatGPTは、人間が書いたテキストを模倣する能力により、自動的に文章を生成することができます。しかし、その仕組みはどのようなものでしょうか？基本的に、ChatGPTはあるテキストに対して「理にかなった続き」を生成しようとするものです。それは「何億ものウェブページなどで人々が書いていることを見た後に、誰かが書きそうなもの」という意味で「理にかなった」ものです​​。

チャットGPTの基本的な動作

GPTの最初の特性は、ある文脈に対して「妥当な続き」を生成しようとすることです。これは、人々が何十億ものウェブページで書いてきたものを基に、「次に何を書くだろう」と予想するという意味です。具体的には、GPTはテキストの「意味」をマッチさせ、次に続く可能性のある単語を確率付きでリストアップします。

ニューラルネットワーク：言葉の選択

ChatGPTが次に追加する単語を選ぶためには、ニューラルネットワークというものを利用します。このニューラルネットワークは言葉の「意味」を理解するためのモデルで、ある単語の次にどの単語が来る可能性があるかを予測します​。

ランダム性と「温度」の役割

しかし、GPTが単語を選択する際には、ある種のランダム性が作用します。常に確率が最も高い単語を選ぶと、出力は平坦で創造性に欠け、時には同じ単語を繰り返します。そのため、ランダムにランクが低い単語を選ぶことで、「もっと興味深い」テキストを生成します。このランダム性は「温度」というパラメータで制御され、エッセイの生成には「温度」0.8が最適とされています。

異なるテキストの生成

ランダムに「非トップ」の単語を選択することで、GPTはさまざまなテキストを生成できます。同じプロンプトでも、選択される単語がランダムに変わるため、出力されるテキストも毎回異なります。

ユーザーの理解度と関心を導く：ChatGPTの対話戦略

これは、「What Is ChatGPT Doing … and Why Does It Work?」に記載されていたものでは無いのですが、GPT-4が補足として説明してくれたものなのでここに追加で掲載しておきます。

ChatGPTは、ユーザーとの対話を通じて、その理解度や関心を読み取ります。ユーザーが具体的なリクエストを出した場合、例えば「ノンプログラマにわかりやすく説明してください」や「小学生にわかりやすく説明してください」といった指示は、ChatGPTが適切な言葉を選び、説明の深さを決める上での重要な指針となります。

このユーザーセンテリックなアプローチにより、ChatGPTは多様な背景を持つ人々に対して、その理解度に合わせた情報を提供できます。それはまるで、人間が対話相手の反応を読み取りながら会話を進めるかのようです。ただし、ChatGPTの能力は学習データとアルゴリズムによるもので、真の理解や意識を持つわけではないことを理解することが重要です。

GTP-4

なお、小学生にもわかるようにChatGPTの仕組みを教えてくれた文章をまとめたものもありますのでこちらも併せてご覧ください↓