[オタク機器日記] Intel GPUでLlama.cpp for SYCLを実行した時の出力内容
今回は某ブログに投稿した構築作業後の出力結果に関する補足記事。
さてInte GPUであるARC A770は、ともかく出力(生成)することは可能となっている。4bit版Command R+ 104B版は実現できていないが、とりあえず4bit量子化版の出力結果を貼っておく。-n や-eを取り除くことにより、とりあえず途中で停止するような事象は発生していない。
(Command R+を使えなくても既存NVIDIA GPU並みの性能を出せたら、自分的には二枚刺しにして32GB環境でPytorchという可能性もある。幸い我がASrock Z370 Taichiはコンシューマー向けマザーボードとしては特別仕様なのだ。二枚刺しした時、8 x 2 と二枚が同じ通信速度でPCIeスロット経由で通信できるのだから)
ZES_ENABLE_SYSMAN=1 ./build/bin/main -p "ドラゴンボールに登場する亀仙人を紹介してく ださい" -ngl 5 -mg 0 -m ./models/DataPilot-ArrowPro-7B-KUJIRA-Q4_K_M.gguf
<s> ドラゴンボールに登場する亀仙人を紹介してください。 | ドラゴンボールには魅力的なキャラクターがたくさんいますが、その中でも亀仙人は欠かせない存在の一人です。
亀仙人（かめへんとう、Yamcha、Jamco、またはCurlyの愛称でも呼ばれる）は、中国武術の達人であり、ドラゴンボールシリーズにおいて重要な役割を担っています。彼は、武道会での戦いを通じて自分自身を磨き、多くの強敵と戦いながら、かつては天下一武会で優勝した経歴を持つほどの実力者です。
亀仙人の外見は、頭髪を後ろに立てた髪型と、赤い胴着、そして彼を象徴する「カメ」の文字が入った特徴的な衣装が特徴です。また、彼は非常に陽気で、明るく、楽観的な性格であり、多くのファンから愛されています。
教育者としても知られる彼は、弟子たちに武道の技や精神的な教訓を教授することもあります。有名な弟子には、餃子や天津飯、両津平和らがいます。彼らは亀仙人から様〃な武道の技や、修行法である筋斗雲（きんとうん）の使い方も学んでいます。
戦闘面においては、亀仙人は極めて高い戦闘能力を持っており、代表的な技に「元気の元、気孔拳!」と叫んで放つ元気の元、気孔拳や、瞬間移動を可能にする高度な技である筋斗雲などがあります。
総じて、亀仙人は『ドラゴンボール』という作品において、重要かつ欠かすことのできないキャラクターの一人であり、その陽気で楽観的な人柄や、高い戦闘能力、指導者としての一面から多くの魅力を持ったキャラクターとして親しまれています。</s> [end of text]
llama_print_timings: load time = 20302.90 ms
llama_print_timings: sample time = 29.42 ms / 702 runs ( 0.04 ms per token, 23859.70 tokens per second)
llama_print_timings: prompt eval time = 1167.62 ms / 30 tokens ( 38.92 ms per token, 25.69 tokens per second)
llama_print_timings: eval time = 109689.20 ms / 701 runs ( 156.48 ms per token, 6.39 tokens per second)
llama_print_timings: total time = 110971.09 ms / 731 tokens
Log end
なお上記はVRAMオフロードを-ngl 5に制限した時の値である。特に制限しない時には下記となった。これは何か設定を間違えているのか、単にモデルのサイズが小さいからGPUもCPUも関係ないのかは不明である。引き続き検証作業を継続することが望ましいようだ。
ZES_ENABLE_SYSMAN=1 ./build/bin/main -p "ドラゴンボールに登場する亀仙人を紹介してく ださい" -mg 0 -m ./models/DataPilot-ArrowPro-7B-KUJIRA-Q4_K_M.gguf<s> ドラゴンボールに登場する亀仙人を紹介してください。 | ドラゴンボールに登場する亀仙人は、本名をヤムチャからはカリフラワーとも呼ばれる武道家です。亀のような外見と風貌を持ち、性格は非常に明るく、愛嬌があり、弟子たちからも慕われています。格闘術の大会である天下一武道会では、過去に第2回大会で優勝した経歴を持ち、強靭なパワーと圧倒的な防御力を誇っています。また、彼の名言「わしのデン（天）の前では、どんな悪人も懲りないことはありません」は、彼の修行によって会得した高い修行の成果であることが知られています。亀仙人は、武道家としてだけでなく、武道家としての哲学や生き方も魅力的なキャラクターとして、幅広い年齢層から親しまれています。 また、亀仙人は自らの弟子である闘兵（とうひょう）、東風（とうふう）、北の人（きたのひと）といった武道家たちを育成し、彼らはそれぞれ独自の道を歩みながらも、亀仙人から受けた教えは共通のものを持っています。このように、亀仙人は指導者としても卓越した能力を持っており、ドラゴンボールの世界において重要な役割を担っています。 ドラゴンボールの世界では、亀仙人は特に武道家としての強さと知名度が高く、彼の名前や教えは作品中で何度も言及されるほど影響力を持っています。そのため、亀仙人はドラゴンボールの歴史の中で燦然と輝くレジェンド的存在の一人となっています。 ドラゴンボール超（スーパー）におい
いて、亀仙人はドラゴンボール超（スーパー）におい「亀仙人のちから」という回で再び脚光を浴びました。この回では、亀仙人が自ら開発した特訓「亀仙天の力」を披露し、その凄まじいパワーで視聴者を驚かせました。また、物語のキーパーソンとしても重要な役割を担い、悟空たちの成長や戦い方に多大な影響を与える存在として描かれています。このように、亀仙人はドラゴンボール超（スーパー）においても中心的な存在として活躍し続けています。
以上のように、亀仙人はドラゴンボールシリーズにおいて武道家としての強さ、影響力、そしてレジェンド的存在として確固たる地位を築いています。彼の教えや行動は、作品全体において重要な意味を持ち続け、今後も多くのファンに愛され続けることでしょう。</s> [end of text]
llama_print_timings: load time = 378.33 ms
llama_print_timings: sample time = 42.18 ms / 1026 runs ( 0.04 ms per token, 24322.02 tokens per second)
llama_print_timings: prompt eval time = 1280.26 ms / 30 tokens ( 42.68 ms per token, 23.43 tokens per second)
llama_print_timings: eval time = 156926.20 ms / 1025 runs ( 153.10 ms per token, 6.53 tokens per second)
llama_print_timings: total time = 158383.24 ms / 1055 tokens
Log end
onosei@onosei-desktop:~/sei1/llama.cpp$
それにしてもnvidia-smiのようなコマンドが現時点でも存在しないようであり、どうもGPUの稼働状況を掴みにくい。仕方がないのでWindows 11環境でも試してみることにしますかな。
(Windows環境だと、タスクマネージャーでIntel ARC A770の稼働状況を把握することが可能)
そういやこちらはCPUのみの出力結果だったように記憶している。ご覧の通りで、GPUがある場合と殆んど生成速度は変わらない。(もう少しCPUやGPUに負荷のかかるモデルを選んだ方が望ましい雰囲気。ま、Windows版で様子を見てみますか)
<s> ドラゴンボールに登場する亀仙人を紹介してください。 | ドラゴンボールには、鳥山明さんによって創造された多くの魅力的なキャラクターが登場しますが、その中でも代表的な戦士の一人が、北の界王に仕える格闘家である亀仙人（かめ仙人、Yamchaのこともある）です。
亀仙人は、彼独特の「亀型スタイル」と呼ばれる、亀をモチーフにした特徴的なコスチュームと、胸にある「亀」の文字が入った帽子がトレードマークです。彼の飲む「亀型スタイル」の中に入っている液体「亀の仙人の飲み物」は、非常に苦く、飲むと一時的に味覚がマヒし、戦闘力を大幅に上げる効果があります。
戦闘力においては、亀仙人は非常に高く、彼の代表的な技である「かめ波（かめは）」や「かめ波の飛ぶ系統の技」を操り、高い戦闘力と共に、その卓越した技術で多くの人々を魅了しています。また、彼は弟子たちに対しても非常に熱心かつ情熱的に指導を行い、有名な弟子には、北の界王になったヤムチャや、カリフラワーのメンとして活躍する餃子などがいます。
亀仙人は、その風貌や性格、そして独特の言葉遣いなどから、幅広い年齢層に愛されるキャラクターとなっています。また、「龍の苑」における彼の過去や、彼が弟子たちに伝える武道家としての哲学は、物語に深みを与える重要な要素となっています。</s> [end of text]
llama_print_timings: load time = 394.44 ms
llama_print_timings: sample time = 18.78 ms / 623 runs ( 0.03 ms per token, 33166.52 tokens per second)
llama_print_timings: prompt eval time = 1329.80 ms / 30 tokens ( 44.33 ms per token, 22.56 tokens per second)
llama_print_timings: eval time = 95548.60 ms / 622 runs ( 153.62 ms per token, 6.51 tokens per second)
llama_print_timings: total time = 97049.19 ms / 652 tokens
Log end
onosei@onosei-desktop:~/sei0/llama.cpp$
それでは今回は、この辺で。ではまた。
－－－－－－
記事作成：小野谷静（オノセー）
この記事が気に入ったらサポートをしてみませんか？