マガジンのカバー画像

ローカルLLM関連：初心者の取り組み

136
本
ローカルで動かす試み関係の記事をまとめてマガジンにしました。
運営しているクリエイター
Lucas

#AIでやってみた

覚え書き：Ollamaのライブラリへのpushの仕方

ggufから作ったOllama用モデルをOllamaのライブラリーへプッシュする方法の覚え書きメモです。…

Lucas
Lucas
4か月前
12

OllamaをChromeAddonのPage Assistで簡単操作

追記：今は日本語入力まったく問題ない形にバージョンアップされてます。 昨晩、以下のXのポ…

Lucas
Lucas
7か月前
6

MLX環境TerminalでローカルLLMを動かすPythonスクリプトをさらに改変〜　もうとりあえ…

Python入門学習者のLucasです。 とりあえず東工大のコースは最後まで読んだところです。 さて…

Lucas
Lucas
8か月前
8

MLX-UIを試してみる:ローカルLLM　on MacbookPro mlxアーキテクチャ

以下のツイートが流れてきました。 ちょうど昨日の自分の努力した方向の完成形のようです。 …

Lucas
Lucas
8か月前
14

Python学習中での雑学メモ

かっこの種類 wgetについて fooやbarやhogeについて CSVとJSONについて 全部、GPT-4での…

Lucas
Lucas
8か月前
4

LM Studioを無事にMacで走らすことができた

こんなツイートしたら・・・ こんなお返事がきて みてみたら、まったく同じ状況で〜 隠しフ…

Lucas
Lucas
8か月前
3

ローカルLLM: Superswallow-13b-v0.1を動かしてみた

タイトル通りです。 MacOS上でのText generation webUIで、GGUFモデルのSuperswallow-13b-v0.1を動かしてみました。 繰り返し出力が出ると言う時には、下記がおすすめされてます。 temperature: 0.7 top_p: 0.9 repetition_penalty: 1.15 top_k: 20 で、macで走らせたGGUFモデルはこちら。 このなかの、Superswallow-13b-v0.1-q8_0.ggu

Lucas

Pythonの実行方法についての整理メモ

いまさらですが、Pythonを動かす方法をGPT-4に整理してもらいました。 だいぶ、これで自分の…

Lucas
Lucas
8か月前
2

MLX のhf_llm の例題の再チャレンジ

前回の記事で、ELYZAがうまくいかなかった報告をしましたが、hugginfaceで下記モデルを見つけ…

Lucas
Lucas
8か月前
4

AppleのMLXがバージョンアップ

MLXがバージョンアップしてv.0.0.7に、それにともないmlx-examplesもさらに幅広く提供されまし…

Lucas
Lucas
9か月前
11

StableBeluga2-70B-GGUFを、M3 MacbookPro 64Gで動かしてみた

Xのポストで下が流れてきました。 みてみると、StableBeluga2 が好成績をおさめていたので、M…

Lucas
Lucas
9か月前
5

失敗：mlxでのQwen-72B-Chatの4bits量子化 on MacbookPro 64g

前の記事の続きです。　convertのオプションを試してみて、Qwen-72Bの量子化にトライしました…

Lucas
Lucas
9か月前
7

ELYZA-japanese-Llama-2-13B をTextGenerationWebUIで動かしてみた。

昨日？　発表された日本語モデルを、Windows10 につくったconda環境でのText Generation Web U…

Lucas
Lucas
9か月前
11

ローカルLLM: 無検閲システムメッセージ Dolphin モデル

今日、流れてきたポストです。 オープンソースの検閲を外したモデルを出してくれている Harfordさんが、githubにシステムメッセージをアップできるように設定してくれたようです。 Dolphinの例がいくつか掲載中です。 githubへのリンク ChatGPTに翻訳をお願いしたら、倫理的にできませんと断られました。 ということで、web上でのgoogle翻訳を書き出します。 2023.12.25時点で３つです。 オリジナルの英文は、先のurlのgithubリン

Lucas