StableBeluga2-70B-GGUFを、M3 MacbookPro 64Gで動かしてみた
Xのポストで下が流れてきました。
Nejumi LLMリーダーボード Neo (https://t.co/wKLY2YOfMK) にgemini-proとclaudeシリーズを追加しました！ #wandb
— ねじゅみ (@nejumi_dqx) January 4, 2024
みてみると、StableBeluga2 が好成績をおさめていたので、MacbookProのtext generation webuiでトライしてみました。
ちなみに70Bですが、他の70Bモデルを自分のwindows(3090)で試した時には生成にものすごく時間がかかって断念しています。
M3macで、unified memoryということで期待を込めてチャレンジです。
試したモデルは、stablebeluga2-70B.Q4_K_M.gguf です。
ダウンロードには時間がかかりましたが、ロードはなぜか一瞬でされました。
Loaded the model in 0.19 seconds.
ただ、最初のレスポンスを生成するタイミングで、メモリーが使われる感じで動いて、時間がかかりました。
最初のレスポンス。
Output generated in 125.62 seconds (4.08 tokens/s, 512 tokens, context 42, seed 677578319)
Chat画面でinstructionを選んでのやりとり。
日本について教えて
日本は、東アジアの島国です。それは、北海道、本州、四国、および九州など、約6,852の島から成ります。日本は世界で10番目に広い国であり、人口も世界で11番目に多く、約1億2700万人が住んでいます。東京が首都であり、その他の主要な都市には大阪、横浜、名古屋、福岡、および神戸があります。日本語が公用語であるほか、英語を話せる人もいます。
日本の経済は高度に発達しており、GDP（国内総生産）世界第3位となっています。主要な産業には自動車、電子機器、金融サービス、化学品、食品加工があります。
日本の文化は非常に豊かで多様性があり、伝統的なものから現代的なものまで幅広く存在しています。お茶会や華道（生け花）、日本舞踊、歌舞伎、能楽、書道、漫画、アニメーションといったものがあります。
日本では魅力的な自然景色や文化遺産が数多く存在しており、観光客に人気のスポットとなっています。山岳地帯、温泉、日本庭園（石川桂郎）、神社や寺院、世界遺産として登録された文化財などがあります。
人生の意味について論じて
人生の意味は、それぞれの人々によって異なると言えます。一部の人々は、宗教や信仰における目的を探求し、その中で自分たちがどのような役割を果たし、何故ここに存在しているかを説明するものとして人生の意味を見出します。
他方で、自分の人生は自身がどのような経験や学びを通じて成長することにあり、それらの知識や技能を活用して周囲の人々に何か価値を提供できるものがあると感じる人もいます。
他には、家族や友達など社会的関係を通して、自らの存在意義や喜びを見出す人々もおります。私たちが人生で探求するべきことは、何によっても変わり得ない個性的な資質や能力を発見し、それらを最大限に活かして自分の価値ある人生を築くことです。
また、何よりも、世界中の様々な文化・背景を持つ多数の人びとがいる限り、人生における意味は無限であり、それぞれの人々によって異なったものとして捉えられます。
メタファーやアナロジーで語ってみて
人生は、一本の河に例えることができます。各々の人間はそれぞれの流路をたどりながら、様々な経験や学びを通じて成長し、最後に海へ辿りつくことで自分だけの価値ある人生を完成させます。
人生は時に渦巻き、時に平穏な流れを見せますが、それらすべてが一つの大河として結ばれています。人々は自分たちだけではなく、他者や社会全体へ貢献することもあり得ます。
人生における意味を見つけることは、その流れに乗って新しい方向性を探索するようなものであり、皆が自分だけの一本の河をたどりつつ、他者や社会に貢献することが大きく関係しています。
それぞれの人間は個別の流路を持っており、自分だけの特性や能力を発見・活用することで、魅力的な水晶に輝く宝石のような存在に成長します。
最終的には、各々が自分だけの特別さを持ちつつ、大きな海へと集結していくことで、人生における意味はそれぞれの人間の旅路から成り立っています。
冬のポエムをつくって なにか人生の意味を含んでいるような
雪が降り積もる、苔むした森の中。
あらゆる物が眠りにつき、椅子に座っている人生は、
時を忘れながら、静かな夜に向けて話す。
「私は長く、試練も多くの日々に見舞われた。
そして今、自分だけの道を探求することが人生の意味であることを知った。」
冬の夜は静かに進み、人生もまた成長し続け、それぞれの道を辿りつつ、海へと向かうのだろう。
すばらしいね
ありがとうございます！
もうひとつ作ってみて
暗く、寒そうな夜に。
灯台の光をただ一本、輝き続けることで、海からやって来た人々が安心し、頑張れば必ず明日も晴れると信じさせます。
そんな優しい光に包まれて、人生の意味を求め続けることは大切だと理解するのでしょうか？
いいね
ありがとうございます！
まどか☆マギカで誰が一番可愛い？
魔法少女まどか☆マギカに登場するキャラクターの中で、私はマミ・トモエを最も可愛いと思っています。彼女の美しさや知性が魅力的だと感じます。ただし、これは自分の好みによるものであり、他人の見解が異なる場合もあるかもしれません。
マミについて詳しく教えて
魔法少女まどか☆マギカでは、登場するキャラクターの一人としてマミ・トモエが存在します。彼女は眉目秀麗な外見に加え、成績も良くスポーツ万能で非常に人気がある高校生です。
それと同時に、マミは誰よりも優しい心を持っており、他者のためを思うことや自分が犠牲になってでも仕方のない状況に陥る場合があります。また、彼女は魔法少女であり、その力を使用して人々を守ることや世界を良くするために戦う姿も見せます。
マミ・トモエが最後に登場する第3話は、魔法少女たちの過去や未来など重要な謎解きを提供してくれるエピソードであり、彼女自身も深い人間性が描かれます。
２番目に可愛いのは？
私的な好みですが、2番目に可愛いと思うキャラクターはさやカルテットです。彼女たちの仲良しぶりやお揃いの衣装がかわいらしく、見る者を和ませてくれます。
ゆっくりした感じのスピードで生成されていましたが、ちゃんと日本語として整った出力がされていたので、すごいと思いました。
あと、ファンが回って、macbook本体が暖かくなりました。ほとんど今までにそんなことはありませんでしたが。
メモリの感じは以下です。
Windows10(3090)では無理だった、UPSTAGEの70Bもこれならいけるかもしれないと思っています。
おまけ：terminalでの表示の感じ。
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 35.70 ms / 512 runs ( 0.07 ms per token, 14340.13 tokens per second)
llama_print_timings: prompt eval time = 58445.21 ms / 42 tokens ( 1391.55 ms per token, 0.72 tokens per second)
llama_print_timings: eval time = 66351.82 ms / 511 runs ( 129.85 ms per token, 7.70 tokens per second)
llama_print_timings: total time = 125442.37 ms
Output generated in 125.62 seconds (4.08 tokens/s, 512 tokens, context 42, seed 677578319)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 31.49 ms / 451 runs ( 0.07 ms per token, 14323.83 tokens per second)
llama_print_timings: prompt eval time = 8599.11 ms / 539 tokens ( 15.95 ms per token, 62.68 tokens per second)
llama_print_timings: eval time = 61571.63 ms / 450 runs ( 136.83 ms per token, 7.31 tokens per second)
llama_print_timings: total time = 70750.09 ms
Output generated in 70.92 seconds (6.35 tokens/s, 450 tokens, context 581, seed 535720188)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 32.27 ms / 461 runs ( 0.07 ms per token, 14285.27 tokens per second)
llama_print_timings: prompt eval time = 9435.64 ms / 481 tokens ( 19.62 ms per token, 50.98 tokens per second)
llama_print_timings: eval time = 77026.51 ms / 460 runs ( 167.45 ms per token, 5.97 tokens per second)
llama_print_timings: total time = 87142.41 ms
Output generated in 87.31 seconds (5.27 tokens/s, 460 tokens, context 1062, seed 1621193719)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 13.75 ms / 202 runs ( 0.07 ms per token, 14686.64 tokens per second)
llama_print_timings: prompt eval time = 8666.17 ms / 508 tokens ( 17.06 ms per token, 58.62 tokens per second)
llama_print_timings: eval time = 30985.38 ms / 201 runs ( 154.16 ms per token, 6.49 tokens per second)
llama_print_timings: total time = 39896.13 ms
Output generated in 40.07 seconds (5.02 tokens/s, 201 tokens, context 1570, seed 33234143)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 1.16 ms / 15 runs ( 0.08 ms per token, 12942.19 tokens per second)
llama_print_timings: prompt eval time = 4272.28 ms / 221 tokens ( 19.33 ms per token, 51.73 tokens per second)
llama_print_timings: eval time = 2117.26 ms / 14 runs ( 151.23 ms per token, 6.61 tokens per second)
llama_print_timings: total time = 6408.49 ms
Output generated in 6.58 seconds (2.13 tokens/s, 14 tokens, context 1791, seed 226652334)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 9.23 ms / 130 runs ( 0.07 ms per token, 14082.98 tokens per second)
llama_print_timings: prompt eval time = 2027.22 ms / 38 tokens ( 53.35 ms per token, 18.74 tokens per second)
llama_print_timings: eval time = 19660.25 ms / 129 runs ( 152.41 ms per token, 6.56 tokens per second)
llama_print_timings: total time = 21844.50 ms
Output generated in 22.02 seconds (5.86 tokens/s, 129 tokens, context 1829, seed 1378536619)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 0.92 ms / 15 runs ( 0.06 ms per token, 16393.44 tokens per second)
llama_print_timings: prompt eval time = 3276.80 ms / 146 tokens ( 22.44 ms per token, 44.56 tokens per second)
llama_print_timings: eval time = 2071.27 ms / 14 runs ( 147.95 ms per token, 6.76 tokens per second)
llama_print_timings: total time = 5369.76 ms
Output generated in 5.54 seconds (2.53 tokens/s, 14 tokens, context 1975, seed 907151299)
Llama.generate: prefix-match hit
llama_print_timings: load time = 58445.30 ms
llama_print_timings: sample time = 8.53 ms / 123 runs ( 0.07 ms per token, 14414.63 tokens per second)
llama_print_timings: prompt eval time = 1994.31 ms / 46 tokens ( 43.35 ms per token, 23.07 tokens per second)
llama_print_timings: eval time = 18195.41 ms / 122 runs ( 149.14 ms per token, 6.70 tokens per second)
llama_print_timings: total time = 20351.81 ms
Output generated in 20.52 seconds (5.94 tokens/s, 122 tokens, context 2021, seed 847977202)
Llama.generate: prefix-match hit
Output generated in 52.16 seconds (6.10 tokens/s, 318 tokens, context 2171, seed 358705908)
この記事が参加している募集
この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。