XX大学 教員向けAI勉強会 2024/07/31_配布資料（III）

前編はこちら：XX大学 教員向けAI勉強会 2024/07/31_配布資料（I・II）

III  ［付録］ 対話型AIと大規模言語モデル（LLM）の基礎知識

1  対話型AIサービスとモデルの関係 

※ モデル名に付された①②③は出力精度の高い順。一般に、精度が高いほど出力速度は遅くなる。

2  LLMのスペックに関わる主な要素

1) パラメーター数（Parameter）
「モデルの規模・複雑さを示す数値」
パラメーター：モデルの学習過程で調整される変数（「重み」＋「バイアス」）
※ パラメーター数が多いほどモデルが高性能になる傾向があるとも言われるが、学習時・利用時のコストが大きくなる、生成速度が遅くなる、などのデメリットもある。

2) コンテキストウインドウ（Context Window）
「どのくらいの長さの文章を記憶できるのか」
同一スレッド内でモデルが処理（記憶）できるテキスト量の上限（入力＋出力の合計）。
※ 入出力のやり取りが上限を超えた場合、一般にモデルは先の入出力の内容から順に忘れていく。
テキスト量は「トークン（Token）」という単位で計算される。
※ 日本語：GPTの旧モデル（GPT-3.5 & GPT-4）で1トークン＝0.8〜0.9字程度（OpenAI “Tokenizer”で概算）。最新モデルではトークン化効率がより向上している。

3) ナレッジカットオフ（Knowledge Cutoff）
「いつの時点までの知識を学習済みなのか」
モデルが学習したデータの最終時点。
※ それ以降の出来事については「知らない」ため、正確に回答できない。

出典：OpenAI / Anthropic / Google
※ Googleの出典ページでは、「コンテキストウインドウ」ではなく「入力トークン上限（Input
  token limit）」として上記の数値（200万／100万）が示されているが、実際のところ、これら
は「入力トークン上限」であると同時に「コンテキストウインドウ」でもあるとみられる。
（Google AI Studio の Token Countを見ればわかる）

3  各サービスの主な追加機能

※ 性能・利便性の評価（◎⚪︎△）は個人的な印象。用途や使い方によっても異なる。