オープンソースの大規模言語モデル(LLM)が未来を支配するか？その真実

オープンソースの大規模言語モデル（LLM）が未来を支配するという見解が急速に広まっています。しかし、その真実はどうなのでしょうか？Cameron R. Wolfe博士(@cwolferesearch)による最新の調査まとめではその実態を解析してくれました。その要点を紹介します。

参考：Wolfe博士ツイートの原文https://twitter.com/cwolferesearch/status/1669101387911774219

1. LLaMAの衝撃

オープンソースのLLM研究の波は、LLaMAというモデルの提案から始まりました。LLaMAは、パラメータが70億から650億までの範囲のLLMのスイートで、Chinchillaからインスピレーションを得ています。これらのLLMは、そのサイズに対して驚くほど良好なパフォーマンスを発揮します。例えば、130億のモデルはGPT-3と比較可能です。LLaMAは公開データのみを使用して事前学習を行うため、完全にオープンソースであり、再現可能です。

2. LLaMAのリーク

LLaMAの提案とリリース後、その重みが4Chanにリークされ、研究コミュニティの多くがこのモデルを用いて研究を開始しました。これにより、ChatGPTのダイアログでLLaMAを微調整する技術が多数提案され、オープンソースのモデルを作成することが実際には非常に容易であるという見解が生まれました。

3. Alpaca, Vicuna, Koala, GPT4ALL

AlpacaはLLaMA-7Bを微調整したバージョンで、自己指示に基づいて微調整が行われます。VicunaはLLaMA-13Bを微調整して作成されたオープンソースのチャットボットで、ChatGPTとのユーザー会話の例を使用して微調整されます。Koalaは、公開データセットから他の高品質LLMとの対話まで、さまざまなソースからの対話データで微調整されたLLaMA-13Bのバージョンです。GPT4ALLは、GPT-3.5-turboからの800K以上のチャット完了で訓練されたLLaMA-7Bモデルで、モデルの4ビット量子化重みも公開されています。

4大きな可能性

上記のモデルはすべて短期間で公開され、多くの場合、ChatGPTやGPT-4のようなトップモデルと比較可能な結果を達成したと主張されました。その結果、LLMコミュニティは、オープンソースのLLMが最も強力なプロプライエタリモデルの品質に近づくという意見を急速に採用しました。

5. 真実

しかし、これらのモデルをよりターゲット指向の評価を行うと、そのパフォーマンスは見かけほど印象的ではないことがわかります。実際、これらのモデルは、少量の模倣データで微調整されたときにChatGPTのようなモデルのスタイルと構造を模倣するのが得意ですが、同じ知識ベースを持っていません。模倣モデルはより多くの幻覚を引き起こし、自然言語ベンチマークの幅広い範囲に subjected されたときには不十分なパフォーマンスを発揮します。それにもかかわらず、これらのモデルは、事実上ははるかに劣るにもかかわらず、そのスタイルを通じて人間の評価者を「だます」ことができました。

示唆

以上、Cameron R. Wolfe博士の研究から見えてくるオープンソースの大規模言語モデル(LLM)の現状とその可能性、そしてその限界についての概要をお伝えしました。これらのモデルが未来を支配するかどうかはまだ不明ですが、その可能性と限界を理解することは、AIとその応用について深く理解するための重要なステップとなるでしょう。