70BのLLM(AQW）をローカルPCで
CALM2-7Bが話題なので、ひさしぶりにText generation webUIを立ち上げていろいろ触ってみました。
CALM2-7Bのロードでは、エラーがでてロードができなかったので、X(Twitter)で助けを求めたところ、あるふさんから下記の助けを得て、無事にロードができました。
tokenizer をfast版に切り替えてください
— あるふ (@alfredplpl) November 2, 2023
この助けで、TransformerのローダーにあるFastのチェックボックスを入れたら、無事にモデルがロードされました。（あと略）
で、タイトルの話・・・ せっかくだからとふらふらHagging Faceを見てたら、Poeで触ってなかなかいいと思ったUpstageのAWQ版があったので、ローカルに入るとうれしいなとチャレンジしてみました。
６年ぐらいは買い替えをせずにWindowsパソコンを使いたいとおもって、2022年に張り込んで購入した自宅PCのスペックは下のとおりです。
CPU : AMD Ryzen™ 9 5950X
OS : Windows 10 Pro
メモリ : 64GB
ストレージ : SSD : 1TB & HDD : 2TB
グラフィックス : NVIDIA® GeForce RTX™ 3090
結果、ロード時間に43分かかりましたが、無事にロードできました。
生成、10分ほど待ちましたが、なんにも出てこなかったので、諦めました（汗
ということで、以下の記事と同じ結果で、モデルのロードができただけという挫折記事📝でした。
さて、以上というだけでは残念なので、Text generation web UIのSession タブに、google-translateのチェックボックスがあり、それをチェックしてから、一番上の apply/restart をすると、日本語入力・回答が自動でできます。案外、実用的には、こっちのほうが現状の日本語モデルよりもよかったりするかもしれません。翻訳精度がさらにあがれば、こういうのもありかと思います。
あと、昨日からXで話題になっているopenchat_3.5もなかなかいい感じでした。
Amikaのパーソナリティを入れて、詩を書いてもらった例です。
この記事を最後までご覧いただき、ありがとうございます！もしも私の活動を応援していただけるなら、大変嬉しく思います。