試し記録：MacとWindowsのOllama生成スピード比較

mistral-nemo:12b-instruct-2407-fp16. 7bb1e26a5ed5 • 25GB (fp16で動かせそうなのは最大でこれ、Ayaなどの35Bだと64GBよりも大きなファイルサイズで断念） ollama version is 0.3.3 で比較 おおよそ 15 tokens/s おおよそ　10 tokens/s GPU からあふれ出てる感じは下記のスクショ参考に。 ＃AI ＃AIとやってみた #やってみた #ローカルLLM #Ollama

脳機能を模したLLMsのシステムをSonnet3.5に考えてもらった

ちょっと思いついたので、以下のプロンプトを放り込んだら、それなりに面白いなぁと思ったものが生成されたので書き記しておきます。 プロンプト はい、承知しました。大脳の機能野からLLMsの連結、そしてフィードバックループの実装可能性まで、段階的に詳しく検討していきます。 ステップ1: 大脳の機能野の説明 大脳には様々な機能野があり、それぞれが特定の役割を担っています。主な機能野には以下のようなものがあります： 運動野: 随意運動の制御 体性感覚野: 触覚、圧覚、温度感

試してみた：多層的プロンプト生成システム

以下の廻ってきたPostのプロンプトを試してみました。 プロンプト本体はこちら 最終ゴールは、「人生の意味を考察したエッセイ本文そのもの」として実行しました。Postのゴール例は「エンジニアロードマップの作成」でした。 # 多層的プロンプト生成システムこの系統的なプロンプト生成システムは、ユーザーが指定した{ゴール}に基づいて、P_{n-2}からP_{n+2}までの5つの段階的なプロンプトを生成します。各段階のプロンプトは、次の段階のプロンプトを生成するための入力として機

Gradioの`ChatInterface`こと始め　その8: mlx_lmのstream_generateを使うスクリプト

MLXやmlx-lmがどんどんバージョンアップしてきて、mlx_lmのなかにgenerate_stepや、stream_generateが組み込まれてきました。 参考リンク　　 それに合わせて、stream_generateを採用したスクリプトへと変更してみました（こちらのリンクも参考）。ただmlxフォーマットのモデルでないとスムーズに動かない印象です。 そのあたりは各自確認してください。 import gradio as grfrom mlx_lm import loa

覚え書き：Hugging face 上でモデルの量子化が実行できそうです

昨日、Ollamaの説明を下記の見てました。 リンク先のGuideをさらに見てみたら、こんなノートがありました。 なんとHugging face 上で量子化ができるとのことです！ Create your own GGUF Quants, blazingly fast ⚡! ログインして許可を与えると、こんなページです。 簡単な英語ですが、訳すると「このスペースは HF リポジトリを入力として受け取り、それをクオンタイズし、選択したクオントを含むパブリック リポジトリを

賢くなる複眼的思考のシステムプロンプトをつくるメタプロンプトの実行例と実際

上をつくったあと、しばらくして、ふと、複眼的思考という昔の本のフレーズを思い出したので、複眼的思考をするシステムプロンプトを作ろうと思った実行例の備忘録です。 上の記事でおすすめしたメタプロンプト作成プロンプトでつくってみました。複眼的思考は英語では、Multifaceted/Multidimensional thinking らしいので、そのまま[ ]内に放り込んで実行。 Create a meta-prompt that generates system prompt

Poeに「話の途中で色んな人を@メンションで呼び出してみようプロンプト」を組み込んだBotを設定してみた。systemで設定していないPersonaや、固有人物名でも呼び出して、その人の視点から語ってくれる　 https://poe.com/MultiView

レポート：Athene-70Bを試してみた＆ Ollamaで動かしてみた

昨晩流れてきたポスト Athene-70Bがとってもいい性能でリリースされたというニュースでした。 続くポスト で　https://chat.lmsys.org/　で動かすことができるということで触ってみたら、日本語もすぐに問題なくでてきて、元のLlama-3よりも良さそうな印象でした。 そこでローカルで動かすためにOllamaを使ってみました。 手順は下記のとおり。 モデルをダウンロード、今回は量子化された Q4_K_Mで。 huggingface-cli dow

プロンプト生成プロンプトの作り方：Create a meta-prompt that generates system prompts for [specific purpose or domain].

プロンプト生成プロンプトシリーズに多種のプロンプトの記事を書いてきました。その中でも、作り方にふれた記事もありますが、最近のLLMsも性能があがっているなか最近ちょっと試したことを書き記しておきます。 GPTシリーズやClaudeシリーズ、あるいはローカルLLMsでも同じプロンプトでは違いがありますので、自分でいろいろと試してください。 結論：下記の単語のみ覚えて、適当に組み合わせると大抵のものは簡単にできる。 system prompt generate, creat

OllamaのLibraryに、ezo-common-9b-gemma-2-it:q8_0 をpushしました。 よかったら使ってください。 ollama run lucas2024/ezo-common-9b-gemma-2-it:q8_0

Automated Ultimate Prompt Enhancer： Prompt Enhancer Agent用のプロンプト

前日の記事の発想に基づいて、　Automated Ultimate Prompt Enhancer というプロンプトをSonnet3.5と相談して作りました。 元にしたのは、下記記事のWild Prompt Generatorです。これにした理由はとりあえずシンプルでいいかなと思っただけで、格段の理由はありません。 作成された最終的な"Automated Ultimate Prompt Enhancer"プロンプトはこちら。 **Automated Ultimate Pr

Mixture of Agentsの話から思いついた前処理段階としてのPrompt Enhancer Agentの追加

上の記事内容を、ローカルで実行したという記事が下記としてでています。 やってることは、下記の図で分かると思います。 元記事は、まったく読み込んでいませんが、プロンプトに対して複数のLLMの回答を生成させて、最後にAggeregateする形で別のLLMに最終回答を生成させるという流れです。 いちおうScriptの中にAggreagator Promptの全文を見つけました。 さて、統合するようなLLMで生成処理をするなら、さまざまなLLMにダイレクトにプロンプトをほうり