LLMの影響を理解する鍵は”コンテキスト”
社内で、来週火曜のお昼からLLM（大規模言語モデル）に関するニュースをお届けすることになりました。
最近自分でも不思議なくらい狂ったようにこの領域を追いかけておりまして、5時半から24時まで、業務以外の時間で隙間があればLLMの調査や開発などに時間を費やしています。中毒です。。
LLMのトレンド（影響）を理解する際の鍵となる概念について、火曜にも話す予定ですがこちらでもまとめておきたいと思います。
LLMのトレンドを理解するにあたって
LLMが社会に与えるインパクトを考える上で、”コンテキスト（文脈）”という観点がかなり重要になってくると思います。
これはLLMの対局的なトレンドを理解する上で非常に鍵となります。本日はそちらについての説明です。これを理解すると、LLMの応用サービスによって社会にどれくらいインパクトが出てくるかの感覚がわかってきます。
コンテキストを考えるにあたって、次の問いを考えていくことが重要です。
Q. GPT4はテクニカルレポートでもあったように、様々な難関な試験で高得点を取得したり、文章を高度に解釈をし、かなり質の高いレスポンスもしてくれると思います。ではあなたの業務を完全に代替してくれると思いますか？
A. 現段階ではNoだと思います。一番タスク性質が被っているライティング領域であっても、恐らくNoです。この理由には、いろいろありますがその一つに”コンテキスト（文脈）”を知らないので文章のクオリティは高いが意図したアウトプットにはならない、みたいなことがあります。
例えば、サービスの概要や画面のUI、ここまでの議論や、サービスのペルソナであったり、ブランドコンセプトなど。これらを踏まえないと、どうしても一見それっぽいが手直しが必要なアウトプットになってしまいます。
現場の壁
ここには現状いくつかの壁があります。
1、GPT4は2021年8月までの学習データを用いているため、それ以降の情報を持ち合わせていない
つまり2021年9月以降の文脈を保持していないということになります。そのため、例えばWBCで優勝したみたいな前提を持ち合わせていないので、最新トレンドをもとに記事を書いてください、みたいな指示によるアウトプットは期待できません。また最新のテクノロジー情報に関してもそうですね。
2、GPT4の入力できる最大トークン数は約8,000であり、前提情報を入力するには限界がある
実際にモデルに文章を入力するとき、アウトプットの精度が上がるように前提情報を含ませる方法があります。これによって精度は上がるものの、トークン数の上限があるため手法的な限界があります。またテキスト形式でないと現在入力を受け付けていません。
3、情報の取り扱いの観点で渡せない情報がある
企業が利用する際に、例えばSlackの情報を読み込ませられたら、かなり色々な業務上タスクの精度が上がると思いませんか？ただそれはおそらくOpenAI APIを利用している以上、その意思決定をするのは難しいでしょう。ここにもコンテキストの限界があります。
この3点について世界の天才たちが取り組んでいます。ここが解決されていくと業務上の汎用性が急激に高まっていき、ビジネス上での影響度合いが増していきます。
また今世の中に出ている良いサービスは現状ある制約の中でも良いアウトプットを出せる領域（コンテキストが少なく済む領域）にフォーカスしています。それらのバリエーションも増えるでしょう。
大部分のLLMニュースは上記3つの課題を解決するという観点のどこかに分類ができるので、この視点を押さえておくと理解がしやすくなると思います。
といったこと考えていたら、同じようなことを考えている方もいました。非常に共感でした。
この記事が気に入ったらサポートをしてみませんか？