以下のリーダーボードで、WizardLM-70Bがいい成績を上げているということなので、試してみることにしました。
まずはText Generation WebUI でダウンロード、wizardlm-70b-v1.0.Q4_K_M.gguf を選びました。
Text Generation WebUIで問題なく動きましたので、次はOllama用に変換しました。
モデルカードのチャットテンプレートの解説は以下でした。
また、stop は、</s> と <s> のようなので、下記の内容のModelfileという名前のファイルを作りました。pathは、私の場合のダウンロードした先のパスをそのまま表示してます。
このあと、Modelfileのあるdirectoryで以下を実行
ollama create wizardlm-70b -f Modelfile
コンバートが終わって success が表示されたあとで、ollama run wizardlm-70b とterminalでいれて動いたので、これでよしとします。
Chrome拡張機能の Page Assist - A Sidebar and Web UI for Your Local AI Modelsで使ってみます。(応答のコピペが楽〜)
人生の意味を、メタファーやアナロジーで論じて
猫の視点からは?
まどか☆マギカでは誰が一番可愛い?
ときどき、どうかなという日本語文が生成されますが、日本語アリーナリーダーボードで上位に入っているという点で、いい感じではないでしょうか。
(MacBook Pro M3max 64G)
#AI #AIとやってみた #やってみた #ローカルLLM #Huggingface #Ollama #Macbookpro