【ローカルLLM】日本語強めの多言語モデル「OpenBuddy-Llama2」を試す
「OpenBuddy-Llama2-13B」というモデルを試したところ、わりと日本語が良かった。英文和訳などは微妙なものの、全般的な日本語チャットは「Vicuna V1.5」と同等以上の印象で、Llama系のモデルとしてはかなりいい感じ。
OpenBuddy
「OpenBuddy」シリーズは以下の特徴を掲げるオープンなLLM。
多言語会話AI:中国語、日本語、韓国語、フランス語、ドイツ語などに対応
ボキャブラリーの強化と、CJK文字のサポート
複数ターンの対話データセットで微調整し、パフォーマンスを向上
LLaMA、Falcon、OpenLlamaなど複数のモデルをベースにリリース
今回試した「OpenBuddy-Llama2」は、このうちLlama-2-13B/70Bをベースにしたモデルで、いずれも数日前にアップデートされている。
出力例
GGMLモデルのRepoから「openbuddy-llama2-13b-v8.1-q3_K.bin」をダウンロードして試した。q3_Kは3bit量子化なので、多少劣化している可能性あり。
Llama系のモデルはごく普通の雑談でも日本語が破綻しがちだが、「OpenBuddy-Llama2-13B」はかなり自然。このあたりは「Vicuna v1.5」よりもいいかもしれない。
一般的なQAタスクは「Vicuna v1.5」と同じくらいの印象。おおむね自然だが、違和感のある造語的語彙が含まれる場合がある。
Llama系モデル(特に13B以下)は基本的に日本に関する知識が弱いので、日本の文化や地歴に関するQAはハルシネーションが起きがち。この点は「OpenBuddy-Llama2-13B」も同じ。
英文和訳は、うまくいく場合とダメな場合があって何とも言えず。ざっくり試した限りでは「Vicuna v1.5」の方がよいかもしれない。
感想
前に別の多言語系Llamaモデルを試してイマイチだったので、あまり期待せずに試したが、予想外にいい感じだった。
Twitterで検索を掛けたところ、Llama-1ベースの頃の「OpenBuddy」を試している方々が既にいて、わりと日本語がいいと言われていた。
同じく日本語が良さげな「Vicuna v1.5」は7B/13Bモデルのみなので、「OpenBuddy-Llama2」では70Bがあるのも嬉しい。
70Bモデルは公式のHuggngFaceSpecesで試しただけだが、70Bだと元のLlama-2の日本語性能がいいので、13Bほどの差はなさそう?