【プロンプトデザイナ】GPTは、どのように質問に答えるのか？ゴールシークを作る上でとても大切なポイント

だいち


GPTは、どのようにして答えを出してくるのか？

あなたの質問をGPTは、マルコフ連鎖で文字を出してきます。

マルコフ連鎖は、ある現象が特定の条件のもとで起こる確率を表す数学的な手法の一つです。例えば、ある単語の後に続く単語を予測する場合に利用されます。

マルコフ連鎖を例え話すると、学校で遊んでいる時に、ある友達と次にどの遊びをするか決める場合を想像してみましょう。例えば、友達とフリスビーをすると決めた場合、次はどの遊びに移るかを決めるとき、以前に決めた遊びと同じ遊びを選ぶ確率が高くなるという状況があります。

このように、ある現象が特定の条件のもとで起こる確率が、その前の状態にのみ依存する場合、それをマルコフ連鎖と呼びます。友達と遊ぶ場合にも、直前に行った遊びが次の遊びに影響を与えることが、マルコフ連鎖として表現できるわけです。

マルコフ連鎖は、文章生成や音声認識などの自然言語処理にも応用されています。例えば、ある単語の後に続く単語を予測する場合に利用されます。これは、文章の中で、一つの単語が出現した時に、その次に出現する単語を予測することができるということです。

マルコフ連絡とは？

GPTの内部の動きはどのような動き？

GPTはTransformerアーキテクチャを使用しています。このアーキテクチャは、複数のエンコーダーとデコーダーを持ち、エンコーダーは入力文章を符号化し、デコーダーは符号化された文章をデコードして出力を生成します。このプロセスは、入力文章と出力文章のペアをトレーニングデータとして使用して、損失関数を最小化するようにモデルのパラメータを調整することで答えを出します。

Transformerアーキテクチャは、まるで料理のレシピに似ています。料理のレシピは、ある材料を受け取り、それを加工しておいしい料理を作ります。同様に、Transformerアーキテクチャも、ある文章を受け取り、それを処理してより良い文章を生成します。

レシピは、材料のリストや作り方の手順が書かれているものです。Transformerアーキテクチャでも同様に、単語をリスト化してそれぞれに数値を割り当て、それを使って文章を処理します。

また、レシピには、材料を加工する方法や、料理を完成させる手順が書かれています。Transformerアーキテクチャでも同様に、エンコーダーが文章の文脈や構造を理解し、デコーダーがそれを元に文章を生成するという手順があります。

最終的に、料理のレシピを読んで作った料理と同じように、Transformerアーキテクチャも元の文章を処理して新しい文章を生成します。

Transformerアーキテクチャをわかりやすく説明
[入力文] -> [エンコード] -> [デコード] -> [出力単語の確率分布]

[トレーニングデータ] -> [学習] -> [モデルパラメータの調整]

上のマークダウンで図解したものの[エンコード] と[エンコード] 、 [モデルパラメータの調整]がよく理解できません。例を出して、さらに小学生でもわかるように説明して下さい。

例え話で説明すると、エンコードは文字を暗号化する作業に似ています。文字を暗号化することで、誰でも理解しやすい形式ではなく、秘密の形式でデータを保護することができます。デコードは暗号文を解読することに似ています。暗号文を解読することで、元の文章を理解することができます。モデルパラメータの調整は、学習することによって、知識を蓄積していくことに似ています。勉強することで、新しい知識を獲得し、問題を解決するための能力が向上します。

わかりやすく説明
[「りんご」のトークン] [「が」のトークン] [「赤い」のトークン]
[0.123] [0.456] [0.789]

「エンコード」「デコード」「モデルパラメータの調整」の説明です。。

  • 「エンコード」とは、入力された文章を数値データに変換することを指します。トークンと呼ばれる小さな単位に分割し、それぞれに対して一意な数値を割り当てます。

  • 「デコード」とは、数値データを元の文章に変換することを指します。

  • 「モデルパラメータの調整」とは、モデルが正しい出力を生成するようにパラメータを調整することを指します。トレーニングデータから学習した情報を、モデルのパラメータに反映することで、より正確な予測が可能になります。

ざっくり結論

GPTは、あなたが入力した文字の流れを見て次の文字を予測して文字を出してくる。ということです。

ざっくりしすぎたかもしれませんね笑


■最先端のプロンプトデザイナー

独学でプロンプト、天才的なプロンプトを発信しているので、かなり勉強になります。ネットで一所懸命にプロンプトの情報をかき集めるよりも、圧倒的に勉強になると僕は思います。


この記事が気に入ったらサポートをしてみませんか？