見出し画像

【ローカルLLM】日本語強めの多言語モデル「OpenBuddy-Llama2」を試す

Baku

「OpenBuddy-Llama2-13B」というモデルを試したところ、わりと日本語が良かった。英文和訳などは微妙なものの、全般的な日本語チャットは「Vicuna V1.5」と同等以上の印象で、Llama系のモデルとしてはかなりいい感じ。

OpenBuddy

「OpenBuddy」シリーズは以下の特徴を掲げるオープンなLLM。

  • 多言語会話AI：中国語、日本語、韓国語、フランス語、ドイツ語などに対応

  • ボキャブラリーの強化と、CJK文字のサポート

  • 複数ターンの対話データセットで微調整し、パフォーマンスを向上

  • LLaMA、Falcon、OpenLlamaなど複数のモデルをベースにリリース

今回試した「OpenBuddy-Llama2」は、このうちLlama-2-13B/70Bをベースにしたモデルで、いずれも数日前にアップデートされている。

出力例

GGMLモデルのRepoから「openbuddy-llama2-13b-v8.1-q3_K.bin」をダウンロードして試した。q3_Kは3bit量子化なので、多少劣化している可能性あり。

チャット

Llama系のモデルはごく普通の雑談でも日本語が破綻しがちだが、「OpenBuddy-Llama2-13B」はかなり自然。このあたりは「Vicuna v1.5」よりもいいかもしれない。

QAタスク1

一般的なQAタスクは「Vicuna v1.5」と同じくらいの印象。おおむね自然だが、違和感のある造語的語彙が含まれる場合がある。

QAタスク2

Llama系モデル（特に13B以下）は基本的に日本に関する知識が弱いので、日本の文化や地歴に関するQAはハルシネーションが起きがち。この点は「OpenBuddy-Llama2-13B」も同じ。

和訳タスク

英文和訳は、うまくいく場合とダメな場合があって何とも言えず。ざっくり試した限りでは「Vicuna v1.5」の方がよいかもしれない。

感想

  • 前に別の多言語系Llamaモデルを試してイマイチだったので、あまり期待せずに試したが、予想外にいい感じだった。

  • Twitterで検索を掛けたところ、Llama-1ベースの頃の「OpenBuddy」を試している方々が既にいて、わりと日本語がいいと言われていた。

  • 同じく日本語が良さげな「Vicuna v1.5」は7B/13Bモデルのみなので、「OpenBuddy-Llama2」では70Bがあるのも嬉しい。

  • 70Bモデルは公式のHuggngFaceSpecesで試しただけだが、70Bだと元のLlama-2の日本語性能がいいので、13Bほどの差はなさそう？