ローカルLLM関連：初心者の取り組み

136

本

ローカルで動かす試み関係の記事をまとめてマガジンにしました。

運営しているクリエイター: Lucas

#print

Gradioの`ChatInterface`こと始め　その8: mlx_lmのstream_generateを使うスクリプト

MLXやmlx-lmがどんどんバージョンアップしてきて、mlx_lmのなかにgenerate_stepや、stream_gen…

Lucas

2か月前

Aya 23,8B and 35B をmlx+GradioとOllamaで動かしてみる

昨晩、突如発表された、⌘R、⌘R+を出している会社 Cohereが、新しいモデルを公開しました。 …

Lucas

4か月前

日本語ファインチューニングされたLlama-3-8Bを MLX & Gradioで試してみる

Llama-3が発表されてすぐにPhi-3が登場してきて賑やかしい日々です。そんななかLlama-3-8Bに…

Lucas

5か月前

Gradioの`ChatInterface`こと始め　その６:Llama-cpp-python編

Terminalで、c4ai-command-r-plus-104b-iq2_xxs.gguff を走らせた記事を書きましたが、やっぱ…

Lucas

5か月前

Gradioの`ChatInterface`こと始め　その5:Ollama API編

Ollama-Pythonモジュールでは、細かい設定はできません。ollama のAPIを使う方法を次に試して…

Lucas

6か月前

Gradioの`ChatInterface`こと始め　その4:Ollama-python編

Ollamaを用いたスクリプトを試してみました。今回はシンプルにollama pythonライブラリーを…

Lucas

6か月前

Gradioの`ChatInterface`こと始め　その3:ドロップダウンの選択追加して、c4ai-command-r-v01を試してみる

Gradioの"ChatInterface"のこと始めの３です。前回の続きで、additionの部分にドロップダウンが追加することをしてみました。結論から言うと、以下のコードでできました。 additional_inputs=[ gr.Dropdown( ["Conversation", "Internet Search", "RAG"], value="Conversation", label="Model Mode",