Generative Pretrained Transformerを小学生でもわかる様に解説してくれたGPT-4

2017年は、AIの世界で一つのターニングポイントとなりました。その年に誕生したのが「Transformer」というモデルです。この新技術は、計算機の進化と相まって、大量のデータを学習し、その結果として大規模言語モデル（LLM）の精度が飛躍的に向上しました。

ここで我々の主役GPT-4が登場します。GPTとは「Generative Pretrained Transformer」の略で、これは大量のテキストデータを予め学習したTransformerモデルを指します。

サム・アルトマンCEOをはじめこのよく聞くTransformerとはいったい何だろうと常々思っていました。

突然「Attention層」だけを使うという進化をとげた？

などどよく書いてありますよね。一応ここにも書いておきますが、
このTransformerが、従来のディープラーニング技術であるRNNやCNNが当たり前に使われていたRecurrent層や畳み込み層を一切使わず、代わりに「Attention層」だけを使うという進化を遂げたことです。このアイデアが、私たちのAIの世界を大きく変えました。そして、この革新的な技術が現れたことで、大規模言語モデルの発展の競争が始まりました。まさに、この時代は、大規模言語モデルの戦国時代とも言えます。

そうは言われましてもよくわからないのでGPT-4にお願いしました。

Transformerを小学生にも解るように教えてください

もちろんです！それでは、この話をおもちゃの列車として考えてみましょう。

あなたが大きなトレインセットを作って遊んでいると想像してください。各列車の車両（ワゴン）は言葉を表しています。古いタイプの列車（これが再帰的または畳み込みニューラルネットワークを表しています）では、各車両は前後の車両にしか接続していません。それぞれのワゴン（言葉）は前後のワゴン（言葉）しか見ることができないのです。

でもこれでは問題があります。なぜなら、遠くの車両（言葉）が何をしているのかを見ることができないからです。例えば、ストーリーの始まりで誰かが「象」について話し始め、その話が終わりに近づくまでに象についてまた話すとしたら、その間のワゴン（言葉）は最初の象の話を覚えていないかもしれません。

そこで、新しいタイプの列車（これがTransformerを表しています）を考えてみましょう。この列車では、各ワゴン（言葉）は他のすべてのワゴン（言葉）を見ることができます。それはまるで各ワゴンが魔法の双眼鏡を持って、遠くのワゴンを見ることができるようなものです。これにより、話の始まりで言われたことを話の終わりでも覚えていることができます。

つまり、Transformerは、列車の各ワゴン（言葉）が他のすべてのワゴン（言葉）を見ることができるようにする新しいタイプの列車のようなものだと考えることができます。

GPT-4

わかりみが深すぎておどろきますよね！

Transformer（注意機構）とは、ネットワークが入力シーケンスのどの部分に注目すべきかを学習する機能のことで、特に自然言語処理タスクで有用です。これにより、モデルは長距離の依存関係を捉え、文脈を理解する能力を向上させることが可能になるとの事ですが、どうしてそうなるのかてんでわかりません。そこでまた質問しました。

どうしてTransformerは長距離の依存関係を捉える事ができるようになったのですか？小学生にも(以下略

想像してみてください、あなたが大きな部屋にいて、その部屋にはたくさんのものがあります。それぞれのものが何か話しかけてくるとします。RNNは一つ一つのものと順番に話をしていくのに対して、Transformerは同時に全てのものと話すことができます。そして、どのものが重要な話をしているのか、どのものが他のものと関連があるのかを理解することができます。だから、Transformerは全てのものの話を同時に理解して、最も重要な情報を抽出することができるのです。

GPT-4

実にわかりやすいじゃないですか！自分の事知り尽くしてるんですね。当たり前か。

Midjourneyにタイトル絵を書かせるからプロンプト書いて！

とお願いしたら、こんなプロンプトを書きました。

もちろんです、以下のようなプロンプトはいかがでしょうか？

"Create an image that visually explains how I, as a language AI model called GPT-4, work. Imagine explaining it to a grade-schooler. Use simple and colorful shapes, and represent the idea of learning from a lot of books (or text data). Show how I process questions and generate answers. Make it fun and engaging, like a page from a children's science book."

このプロンプトは、GPT-4がどのように動作するかを視覚的に説明する画像を作成するように指示しています。これは小学生向けの説明となるように、シンプルでカラフルな形状を使用し、多くの本（またはテキストデータ）から学習するという概念を表現しています。さらに、質問を処理し、回答を生成するという過程も示すよう指示しています。子供向けの科学の教科書のページのように、楽しく魅力的なものにするようにという指示も含まれています。

GPT-4

描きだしてみたら4枚ともめちゃくちゃかわいかったので記事の間にも挿入しておきますね。