ollamaのバージョンがどんどんあがってるので、MacbookProにまた入れてみた

MacbookProが帰ってきてしばらく経ちましたが、まだollamaをいれてませんでした。
みてみたら、今は、V0.1.17になっていたので、インストールしてみました。

v0.1.17 は Phi-2をサポート。他には以下のモデルをサポート。
Solar:
OpenChat: Updated to OpenChat-3.5-1210
Wizard Math:

以前のリリースを見てみました。

v0.1.16
Mixtral:
Dolphin Mixtral:

v0.1.15
マルチモデルの、llavaがサポート

v0.1.14
StableLM Zephyr:
Magicoder:

v0.1.13
Starling:
Meditron:
DeepSeek LLM:

システムプロンプトは、/set system <system prompt>を使用して、ollama runで設定できるようになりました。

パラメータは、/set <parameter> <value>を使用してollama runで設定できるようになりました。
例：コンテキストサイズを16Kに設定します。/set parameter num_ctx 16384
温度を1に設定します。/set parameter temperature 1
シードを設定する:/set parameter seed 1048

v0.1.13では、セッション中にいろいろ設定がお手軽にできるようになっていました。

v0.1.17をインストールして、日本語がいいという、openchatを動かしてみましたが、いい感じです。

問題はたまに途中で推論なのか出力なのかわかりませんが、文の途中で止まってうんともすんとも反応しなくなることがたまにあることです。

あきらめて Ctrl + C すると、入力時のプロンプト表示になりますが、そこであらためて入力しても、延々とぐるぐる表示がでるだけになってしますます。そこだけが残念です。

解決策ありましたら教えてください〜　英語での対話では起きないのですけどね。

あとollamaのインストールは、defaultでログイン時に実行するように設定されるので、macのシステムのログイン起動のアプリから削除しました。

ggufファイルをollama用に変えられるようですので、日本語モデルを変換してみて試してみたい野望があります。できるといいな。

---

#AI #AIとやってみた #大規模自然言語モデル #LLMs #ollama