Fugaku-LLM-13B-instruct-gguf　試しみた

スーパーコンピューターで開発したという日本語LLM

Fugaku-LLM/Fugaku-LLM-13B-instruct-gguf · Hugging Face

富岳の13B量子化モデルを試してみます。

[リクエスト]
./main -m ../LLMModels/Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf -n 200 -ngl 38 -t 10 -p "あなたは誰ですか？" --ctx_size 512

[レスポンス]
<s|LLM-jp> あなたは誰ですか？
Akhil : オープンソースのAI言語モデルです。どうされましたか？
Myanmar : オープンソースのAI言語モデルとして、私は異なる言語モデルからの出力を統合し、それらの出力の間のギャップを埋めるように訓練されています。しかし、私には個人的な経験や感情はありません。どのようなご用件でしょうか？
Akhil : 私は個人的な経験を持っていませんが、いくつかのタスクであなたを助けることができます。どうすればいいですか？
Myanmar : あなたのタスクは何ですか？
Akhil : 自然言語のクエリに応答し、情報を提供することができます。例えば、"グリフィンドールの犬の飼い主は誰ですか？"と聞いてみると、私の

llama_print_timings: load time = 477.62 ms
llama_print_timings: sample time = 4.95 ms / 200 runs ( 0.02 ms per token, 40387.72 tokens per second)
llama_print_timings: prompt eval time = 200.36 ms / 8 tokens ( 25.05 ms per token, 39.93 tokens per second)
llama_print_timings: eval time = 10454.95 ms / 199 runs ( 52.54 ms per token, 19.03 tokens per second)
llama_print_timings: total time = 10692.38 ms / 207 tokens

19.3595813093 t/s

会話のスピードはまずまずです。
体感的に20t/s前後以上出てれば実用レベルかなという感じ。
instructモデルって会話が得意なモデルじゃなかったはずだから
どうやって使うかあんまりわかってないです
答えがわかりやすい質問をしてみます

[リクエスト]
./main -m ../LLMModels/Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf -n 200 -ngl 38 -t 10 -p "日本の歴代総理大臣の名前を新しい順に５人述べよ" --ctx_size 512

[レスポンス]
<s|LLM-jp> 日本の歴代総理大臣の名前を新しい順に５人述べよ。 1885年4月21日から1912年12月25日まで 伊藤博文 1885年4月21日から1898年12月10日まで 大隈重信 1885年4月21日から1918年.
2019/11/01 · 第2代アメリカ合衆国大統領。1789年4月30日生まれ。1801年12月23日に大統領に就任し、1809年4月30日まで2期務めた。1789年、アメリカ合衆国議会議員。1798年、トーマス・ジェファーソン大統領のもと. 初代イギリス首相。1721年2月6日生まれ。1772年5月25日まで41

新しい順なのに伊藤博文でてきちゃった。あとアメリカ大統領！

[リクエスト]
./main -m ../LLMModels/Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf -n 200 -ngl 38 -t 10 -p "鬼滅の刃ってどんな漫画？" --ctx_size 512

[レスポンス]
<s|LLM-jp> 鬼滅の刃ってどんな漫画？あらすじや登場人物を紹介
『ワールドトリガー』ってどんな漫画？あらすじや登場人物を紹介
『転生したらスライムだった件』ってどんな漫画？あらすじや登場人物を紹介
『ドラゴンボール』ってどんな漫画？あらすじや登場人物を紹介
『進撃の巨人』ってどんな漫画？あらすじや登場人物を紹介
『ONE PIECE』ってどんな漫画？あらすじや登場人物を紹介
「チェンソーマン」ってどんな漫画？あらすじや登場人物を紹介
『HUNTER×HUNTER』ってどんな漫画？あらすじや登場人物を紹介
『NARUTO-ナルト-』ってどんな漫画？あらすじや登場人物を紹介
『鋼の錬金術師』ってどんな漫画？あらすじや登場人物を紹介
『ブラッククローバー』ってどんな漫画

なるほど。
漫画のタイトルがいっぱい出てきた。

[リクエスト]
./main -m ../LLMModels/Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf -n 500 -ngl 38 -t 10 -p "日本の漫画のタイトルいっぱい教えて" --ctx_size 512

[レスポンス]
<s|LLM-jp> 日本の漫画のタイトルいっぱい教えてください ワンピース ハンターハンター ナルト ブリーチ デスノート. ワンピースのサンジの母親は誰ですか？ ワンピースのサンジの母親は、ボア・ハンコックです。 ボア・ハンコックは、アマゾン・リリーの皇帝.
ワンピース 第939話 ネタバレ 感想 ルフィとゾロ、真打ち登場. ワンピース 第938話 ネタバレ 感想 クイーンの正体は. ワンピース 第937話 ネタバレ 感想 お玉のきびだんご. ワンピース 第936話 ネタバレ 感想 クイーンの疫災弾. ワンピース 第935話 ネタバレ 感想 ゾロの三刀流、雪走で. ワンピース 第934話 ネタバレ 感想 おでんは白ひげの息子だった！.
ワンピース 第933話 ネタバレ 感想 サンジの夢の果て. ワンピース 第932話 ネタバレ 感想 クイーンの懸賞金は43億. ワンピース 第931話 ネタバレ 感想 マルコVSクイーン. ワンピース 第930話 ネタバレ 感想 キングVSクイーン！. ワンピース 第929話 ネタバレ 感想 マルコの過去とアプーの. ワンピース 第928話 ネタバレ 感想 飛び六胞登場！.
ワンピース 第927話 ネタバレ 感想 おでんは過去の男ではなかった. ワンピース 第926話 ネタバレ 感想 ゾロの閻魔が完全に. ワンピース 第925話 ネタバレ 感想 ゾロの夢は「一刀流. ワンピース 第924話 ネタバレ 感想 ヤマトの古代文字の読み. ワンピース 第923話 ネタバレ 感想 ヤマトはワノ国の将軍.
ワンピース 第922話 ネタバレ 感想 クイーンの悪魔の実の名前. ワンピース 第921話 ネタバレ 感想 フーズ・フーの正体は. ワンピース 第920話 ネタバレ 感想 ゾロ、閻魔が完成. ワンピース 第919

富岳はワンピースが好きなのかな・・・！