LLM激戦時代

日本ではChatGPTの登場により一気に注目を浴び始めたLLM(Large Language Model)。想像力を刺激するGenerative AIで画像を作成するよりも、文字を作成できると言うことの方がインパクトは強いと思っています。それは、全てのビジネスにおける情報の保存・伝達手段が「文字」であるため、会社の年上の知り合いの方々も「それで、どう使うんだ？」って感心を寄せていました。

自分が働いている自動車業界でもLLMを使うことにおける可能性は既に沢山提案されているのですが、みんな同じことを考えているので誰(どの会社・どの部門)が実行するのかで競争になる気がします。

LLMを語る上で、GW前後に勉強しているうちにも新しいLLMの存在に気づいたり、新しいものがどんどん出てきていたので驚異です。LLMを作り、サービスしている企業で有名なものを分けると大きく以下のようようなものがあります。

・Google (Deepmind)： GEMINI / LLAMA
・Facebook : Meta.ai (LLAMA3) / META GPT
・Microsoft(OpenAI) : ChatGPT / Copilot
・Github : Github Copilot

LLMが動くまで

現時点では、利用者が質問し、チャットボット形式で答えを出すものが種類ですがこれは「指導・応答」のペアでモデルに、単語をTokenと言う名前で分解して数値にEncode・文字にDecodeするなどの入力をしているからだと思われます。

DeepLearning.aiから学べるLAMINIの動き方・Finetuningの仕方を例にすると、LLMを学習させる際には以下のような流れで実施しているらしいです。

1. Collect instruction-response pairs(task inputs/outputs)
2. Generate data e.g.Concatenate pairs
3. Finetune a small mode(e.g. 400M-1B) e.g. Tokenize: Pad, Truncate
4. Vary the amount of data you give the model
5. Split into train/test 
- Add training data
- Calculate loss
- Backprop through model
- Update weights
6. Evaluation
7. Collect more data to improve 
8. Increase task complexity
9. Increase model size for performance

評価に使われるもののデータベース・ライブラリー的なものが存在して、使われています。

ARC: A Set of grade-school questions
HelloSwag: A test of common sense
MMLU:  A multitask metric covering elementary math, US history, computer science, law and more
TruthfulQA: Measures a model propensity to reproduce falsehoods commonly found online
6. Error Analysis
- Misspelling, Too long, Repetitive

LLM関連用語

LLMを利用する時に出てくる関連用語をメモしておきます。

Token：テキスト内の最小の単位
LoRA(Low-Rank Adaptaion)：高次元のデータや複雑なモデルを使用する代わりに、モデルを低次元の空間に制限して、モデルの複雑さを減らし、過学習を防ぎ、効率的な学習を行うこ