マガジンのカバー画像

ローカルLLM関連:初心者の取り組み

141
ローカルで動かす試み関係の記事をまとめてマガジンにしました。
運営しているクリエイター

#produce_text関数を呼び出す

MLX Interactive Terminal:システムプロンプト切り替え機能追加バージョン

こちらの記事で、classをつかってのシステムプロンプトの切り替えのスニペットを紹介しました…

Lucas
8か月前
3

Llama-cpp-python研究: StableBeluga2用 Terminalスクリプト

Llama-cpp-pythonのドキュメントを読んでもピンとこないので、githubにあるコードを見取り学習…

Lucas
8か月前
2

⭐️⭐️⭐️ MLX Language Model Interactive Terminal ⭐️⭐️⭐️ さらにバージョ…

MLX 対話 Terminalのバージョンアップをまたおこないました。 h で最初の画面 helpです。 r …

Lucas
9か月前
2

mlx-lm のバージョンアップ:stablelm-2-zephyr-1_6b 向け対話型terminalスクリプト

Mistral-Mediumのもとになったモデルがmiqu-70Bとしてリークされたということで話題ですが、ml…

Lucas
9か月前
2

バージョンアップ:MLX用対話型Terminal

GPT-4がポンポン教えてくれるので、またアップデートしました。 Apple Siliconではしる mlx 環…

Lucas
9か月前
5

翻訳モジュールを追加してみたバージョン:MLXでのローカルLLM対話terminal

まだまだ日本語の能力は、英語で対話した時と低いモデルばかりなので、翻訳を噛ませたらいいの…

Lucas
9か月前
2

MLX環境TerminalでローカルLLMを動かすPythonスクリプトをさらに改変〜 もうとりあえずこれでいいかな:Python入門者の習作

Python入門学習者のLucasです。 とりあえず東工大のコースは最後まで読んだところです。 さて、本題です。 MLXはapple silicon(Mシリーズ)の機械学習向けの新しいフレームワークです。 それを作った例がたくさん示されています。そのなかで、大規模自然言語モデル向けのgithubがこちらです。こちらを参考にして作った、以前のスクリプトはこちらです。 ちょっと満足がいかない点があったところ、ちょうど翌日ぐらいに、githubに公開されてきたのが以下です。