大規模言語モデル(LLM)について知っておくべき8つのこと
2022年秋のChatGPT以来、
「ゼウス来た！」※小説スカーレットウィザード
と、日々のLLM関連のニュースを見てるとSF好きとしては思う事がとても沢山ありました。
当然世の中には同じ事を考える人が居るようで、2023年4月の論文に自分が感じた事がある程度表現されていたため紹介します。
最低限ニューラルネットワークについては知っている読者を想定しています。まずは触りですが、深堀りはちょっとずつ進めていきます。
大規模言語モデル(LLM)について知っておくべき8つのこと
1. LLM は、目標を絞ったイノベーションがなくても、投資の増加に伴って予想通り能力が向上します。
何も考えずに「資金をつぎ込むだけ」で賢くなる。
何らかのブレークスルーが無くても、単純に大規模にすれば、予想通りに賢くなっていく状況です。これは、2020年から経験則として知られていますが、GPT-3以降でも同様です。予測可能性は、より多くの投資を呼び寄せていると思います。
2. 多くの重要な LLM 動作は、投資増加の副産物として予期せぬ形で現れます。
ようするに、莫大な投資で行う「能力ガチャ」。
何の能力が発現するのかわからない、最初はこの事実に一番驚きました。
その能力を狙って作ったわけではない。
狙って能力を得られない。
こんな状況のため、人間の知能を研究する場合と同様に、心理学的アプローチをLLMに対して行っている研究者が居るというのはとても印象的です。
3. LLM は多くの場合、外界の表現を学習して使用しているように見えます。
LLMは言語情報だけで「この世」を理解しているようだ。
言語情報のみしか学習していないのに、ユニコーンっぽい生物を描く事ができたりと、「この世」を理解しているように振舞います。
目や耳などのインプットや、手足などのアウトプットに使える、現実の肉体がまだ無いのにも関わらず、「この世」の理解に到達してきています。
4. LLM の動作を制御するための信頼できる技術はありません。
すごい人間っぽい。
人と同じで指示通りには動きません。現時点では、どんだけ厳密に指示を書いても、求める行動に100％なるわけではありません。
普通の人間相手に制御することも案外難しいのに、色々な人格を1個の脳みそに突っ込んだら、そうなるよなとは確かに思うんですよね。
5. 専門家はまだ LLM の内部動作を解釈できません。
脳みその理解は難しい。
様々な研究が進んでいますが、もともと深層学習等の脳神経を模したAIは、「ある結果」の理由付けが難しいという特徴を持っています。LLMはあまりに大規模すぎて、内部状態を計測することすら困難です。
有名な嘘吐き（ハルシネーション：幻覚）状態の時、LLMは自分が嘘を言っている事を認識しているようだ、等、徐々に研究は進んでいます。
6. タスクに対する人間のパフォーマンスは、LLM パフォーマンスの上限ではありません。
一部の仕事では人間の能力を超えて行った。
ゲームや画像認識等、いくつかの条件でAIは人間を上回っていることは周知の事実ですが、LLMの限界も人間の限界が上限ではないはずです。現時点ですらLLMは人間が一生に得られる文字情報よりも多くの情報を学習しています。
人間が正しいと定義した事は本当に正しいのか？
そもそも、高次元存在を人間ごときが評価可能なのか？
SF的に考えるとさらに興味深い気がしています。
7. LLM は、作成者の値や Web テキストにエンコードされた値を表現する必要はありません。
直訳すると意味不明ですが、おおよそ以下になります。
学習に使った文章に偏りがあると、その通りに思想が偏る。
でも、偏った思想は追加の学習で製作者が補正可能。
しかし完璧ではなく、今後規模が大きくなった場合も未知数。
現在のLLMは全て思想教育済みですが、ニュートラルな剥き出しの才能のままのLLMと話してみたいです。
8. LLM との短いやり取りは誤解を招くことがよくあります。
指示待ち部下の成果は上司次第。
大規模言語モデルから、求める回答を引き出せない場合、殆どの場合指示が悪いです。
今後の記事でRAGについてでも少し触れる予定ですが、これ、指示が上手い上司・リーダーの評価指標に使えないかな？とか思います。
まとめ
LLMの未知さはまだまだ続く
小規模言語モデル（SLM）や日本語特化型言語モデル等、最新の高速化や軽量化を適用したり、特化したモデルがリリースされたりする等、ダウンサイジングも並行で行われていますが、未知さにおいてはLLMがまだまだ主戦場のはずです。
2024年も楽しみですね。
SF的にみてもすごいワクワクする
人工知能としてのLLM自体も興味深いですが、
もし人間が1万倍のニューロンが持ったら？
人工知能は今後人権を持つのか？
魂とは？
こんな事を想像していると、ワクワクしますね。
この記事が気に入ったらサポートをしてみませんか？