見出し画像

LLM-jp-3 を LLM Farm を使って iPhone で動かす

npaka

「LLM-jp-3」を「LLM Farm」を使って iPhone で動かす手順をまとめました。


1. LLM Farm

「LLM Farm」は、iOS及びmacOSでLLMを実行するためのアプリです。

2. 使用手順

「LLM-jp-3」を「LLM Farm」を使って iPhone で動かす手順は、次のとおりです。

(1) 「HuggingFace」から使用するモデルをダウンロード。
今回は、「llm-jp-3-3.7b-instruct-IQ4_XS.gguf」をダウンロードしました。

・https://huggingface.co/alfredplpl/llm-jp-3-3.7b-instruct-gguf/tree/main

(2) iPhoneで「App Store」から「LLM Farm」をダウンロード。

(3) 「LLM Farm」を起動し「＋ → Select Model → Import from File」で、先程ダウンロードしたファイルを選択。

(4) 「Prompt format」に以下のモデルのプロンプトフォーマットを指定。

### 指示:
{{prompt}}

### 応答:

(5) 「Prediction options」の「Metal」を有効化。

(6)  右上の「Add」ボタンを押す。
これで設定完了です。

(7) モデルを選択して、メッセージボックスに質問を入力。
LLMと会話できます。 



この記事が気に入ったらサポートをしてみませんか？