5分で大規模言語モデル(LLM)を直感的に理解する

大規模言語モデル(LLM)とは

これまでAI分野の知識にあまり触れたことがない方が大雑把にChatGPTをはじめとする大規模言語モデル(LLM: Large Language Model)について短時間でイメージをつかめるように簡潔な説明を用意しました。大規模言語モデルを「大規模」「言語」「モデル」とそれぞれ分解して説明することで、LLMにはどのような特徴があり従来のAIとはどのような違いがあるのかについて説明してきます。

1. わざわざ「大規模」という名前がついている理由

なにが大規模かというと、それはデータ量です。AIを作るためには大量のデータが必要です。そして、データの量を増やせば増やすほどにAIの性能は高まります。ただし”一般的な”AIの場合ですとデータ量を増やすことで高められる性能には限界があります。つまり、はじめはデータを100増やすと性能が100上がったとしても次第にデータを100増やしても性能が1しか上がらなくなり、しまいにはデータをいくら増やしても性能がほとんど上がらない状態にぶつかってしまいます。
しかしこのLLMでは面白いことが起きています。なにかというと、データを増やせば増やすほど性能が上がり続けているのです。一般的なAIに見られる性能向上の天井がまだ見えていません。今後どこまでデータを増やしても性能が永遠に上がり続けるのか、それともどこかで限界が来てしまうのかはわかりませんが、少なくとも今現在はその限界は見えていません。世界中が注目しているOpenAIのGPT-4は数兆単語からなる文章を学習させており、この学習にかかる費用はすでに1億ドル以上にもなります。それでも今後はGPT-5, 6…のように更に大規模で高性能なLLMが登場してくるでしょう。

2. 「言語」とは

「言語」とは「自然言語」のことです。「自然言語」とは「プログラミング言語」と区別するための用語であり、自然言語は人間が読み書きする言語、つまりテキストデータと捉えてもらえればよいです。AI分野では様々な種類のデータに対して研究が進んでいます。
たとえばエクセルのようなテーブルデータ、画像データや音声データなどがあります。現代の技術ではまだどんなデータにも対応できるAIは作ることはできないため、それぞれのデータや目的に合わせて個別に「モデル」を構築する必要があります。LLMはテキストデータに特化したモデルということになります。

3. AI・機械学習における「モデル」とは

モデルとはデータの特徴やパターンを理解し、予測や判断をするための仕組みです。イメージとしては人間の脳のようなものに近いです。まっさらなモデルは赤ちゃんの脳と同じで何も認識できませんが、たくさんのデータを使ってパターンを教え込む訓練をすることでモデルはパターンを認識できるようになります。
LLMはテキストデータを使って文章のパターンを訓練したモデルです。より具体的にはLLMは与えられた文章の続きの単語を予測するように訓練されています。さらにその予測した単語を含めた文章を入力して更に次の単語を予測する。これを繰り返すことで文章が生成されます。例えば訓練されたモデルに「犬も歩けば」と入力するとLLMは「棒に」と予測を出力します。次にその出力を含めて「犬も歩けば棒に」と入力すると「当たる」と出力します。このようにして文章が生成されていきます。

最後に

AIの研究はこれまでも盛んに行われ様々な手法やプロダクトが発表されてきましたが、ChatGPTの登場によって世間のAIに対する注目度が一気に変わったと感じています。個人的な感覚としてはChatGPTにAI技術の観点での大きなブレイクスルーがあったとは感じていません。高性能なLLMは以前から既にありました。
むしろChatGPTの革新的なポイントはそのUI/UXにあると考えています。その名の通りChatGPTは対話形式のUIであり、まるで人間と会話するようにLLMを操作することができます。文章で操作するというUIが大衆にAI活用への間口を広げる最大の要因だと考えられます。最近の一連のムーブメントを見ると、「対話」が人間の思考の中心であることだと思い知らされます。人との対話、自分の内面との対話を通して人間は思考を深めています。これまではAIを操作するためには自分の考えをプログラミング言語に翻訳する必要がありました。しかし、対話形式により自然言語でAIを操作できることで、人間の思考をAIに伝える自由度が飛躍的に高まりました。
「大規模」の説明でも述べたように、LLMは学習するデータ量を増やすことで性能が更に向上することが見込まれており、今後の発展に期待したいところです。