マガジンのカバー画像

ローカルLLM関連：初心者の取り組み

136
本
ローカルで動かす試み関係の記事をまとめてマガジンにしました。
運営しているクリエイター
Lucas

魔法AI出力の比較：EZO-Qwen2.5-72B:Q4_K_M と EZO-Qwen2.5-32B:Q8_0 を用いて

EZO-Qwen2.5-72B:Q4_K_M と EZO-Qwen2.5-32B:Q8_0 の比較をしてみました。 システムプロンプ…

Lucas
Lucas
2日前
5

対話記録：LLMsの発展に寄与する流動性知能と結晶性知能の概念をめぐって

OpenAIがあたらしい o1 シリーズをリリースした直後です。OpenAIやX上からいろいろと推論が強…

Lucas
Lucas
2週間前
4

Claudeくん、MMLU課題を分類してみる

前記事のドメイン分類にのっとたら、MMLU課題57種類がどんなふうに分類されるかを、Claude son…

Lucas
Lucas
2週間前
1

LLMの性能向上：AIドメイン統合とユーザー中心開発へのマルチディメンショナルアプロ…

とってもひさしぶりに、Claudeに文章を書いてもらいました。Sonnet3.5を利用です。壁打ちした…

Lucas
Lucas
2週間前
7

GROK2のシステムプロンプトをborea-phi-3.5-common:3.8b-mini-instruct-q6_Kで試して…

公式から、Claudeのシステムプロンプトが公開されました。日本語訳がXにポストされていたのが…

Lucas
Lucas
1か月前
6

MacでFLUXを試してみた:DiffusionKit

Xで流れてきたPost通りにやったら、画像が生成されました。 Image Gnereationはほとんどまった…

Lucas
Lucas
1か月前
13

試し記録：MacとWindowsのOllama生成スピード比較

mistral-nemo:12b-instruct-2407-fp16.  7bb1e26a5ed5 • 25GB (fp16で動かせそうなのは最大でこれ、Ayaなどの35Bだと64GBよりも大きなファイルサイズで断念） ollama version is 0.3.3 で比較 おおよそ 15 tokens/s おおよそ　10 tokens/s GPU からあふれ出てる感じは下記のスクショ参考に。 ＃AI ＃AIとやってみた #やってみた #ローカルLLM #Ollama

Lucas

脳機能を模したLLMsのシステムをSonnet3.5に考えてもらった

ちょっと思いついたので、以下のプロンプトを放り込んだら、それなりに面白いなぁと思ったもの…

Lucas
Lucas
1か月前
14

Gradioの`ChatInterface`こと始め　その8: mlx_lmのstream_generateを使うスクリプト

MLXやmlx-lmがどんどんバージョンアップしてきて、mlx_lmのなかにgenerate_stepや、stream_gen…

Lucas
Lucas
2か月前
2

覚え書き：Hugging face 上でモデルの量子化が実行できそうです

昨日、Ollamaの説明を下記の見てました。 リンク先のGuideをさらに見てみたら、こんなノート…

Lucas
Lucas
2か月前
4

賢くなる複眼的思考のシステムプロンプトをつくるメタプロンプトの実行例と実際

上をつくったあと、しばらくして、ふと、複眼的思考という昔の本のフレーズを思い出したので、…

Lucas
Lucas
2か月前
11

レポート：Athene-70Bを試してみた＆ Ollamaで動かしてみた

昨晩流れてきたポスト Athene-70Bがとってもいい性能でリリースされたというニュースでした。…

Lucas
Lucas
2か月前
11

Automated Ultimate Prompt Enhancer： Prompt Enhancer Agent用のプロンプト

前日の記事の発想に基づいて、　Automated Ultimate Prompt Enhancer というプロンプトをSonne…

Lucas
Lucas
2か月前
14

Mixture of Agentsの話から思いついた前処理段階としてのPrompt Enhancer Agentの追加

上の記事内容を、ローカルで実行したという記事が下記としてでています。 やってることは、下記の図で分かると思います。 元記事は、まったく読み込んでいませんが、プロンプトに対して複数のLLMの回答を生成させて、最後にAggeregateする形で別のLLMに最終回答を生成させるという流れです。 いちおうScriptの中にAggreagator Promptの全文を見つけました。 さて、統合するようなLLMで生成処理をするなら、さまざまなLLMにダイレクトにプロンプトをほうり

Lucas