【覚え書き】MLXのgenerate, generate_stepの引数が増えていた件

mlx-lm 0.12.0 で確認しました。 pythonのインターラクティブモードで、下記コマンドでチェック。 from mlx_lm.utils import generate_stepfrom mlx_lm import generatehelp(generate)help(generate_step) generateについての説明 generate_stepについての説明 共通するのは、 repetition_penalty (float, optional

mlx-community/Swallow-70b-instruct-v0.1-4bit をお試し： Gradio`ChatInterface`こと始め　その８

Huggingfaceのmlx-communityに、Swallowのinstructモデルを(°ー°ぼぶ) @BOBtakumi さんがアップロードしてくれてました。さらに、mlx関連で下記の記事を投稿してくれています。 さて、さっそく以下のモデルを試してみました。 なおGradioのスクリプトですが、最近はChattemplateがちゃんと記述されていて、tokenizer.apply_chat_template でうまく入力形式が整います。 そこで、システムプロンプ

mlx_lm.generate --model mlx-community/OpenELM-270M-Instruct --prompt "Write a story about Einstein" --max-tokens 512 --temp=0.0 on M3Max64GB

ローカルLLMいろいろ触ってきたけど、対話をしてて知性の萌芽が感じられるのは、70B以上のモデルで、35Bや7Bは条件反射的な応答生成な印象がある。あくまで印象だし、知性の萌芽があるのかどうかも本当はわからないのだけど。

日本語ファインチューニングされたLlama-3-8Bを MLX & Gradioで試してみる

Llama-3が発表されてすぐにPhi-3が登場してきて賑やかしい日々です。 そんななかLlama-3-8Bに対して日本語をファインチューニングしたモデルが登場しています。 現時点では以下の二つです。 llama-3のeosの設定が最初わかりませんでしたが、以下のmlxのコードで上手く行きました。（最後のスクリプト全体も掲載します） model, tokenizer = load(モデル名, tokenizer_config={"eos_token":"<|eot_id|

Ollama で　phi3:3.8b-mini-instruct-4k-fp16 を試してみる

いくつかモデルがありますが、phi3:3.8b-mini-instruct-4k-fp16 を試してみました。Page Assistで実行します。システムプロンプトは無しの状態です。 あなたは誰？ 人生の意味を論じて メタファーやアナロジーで説明して 猫の視点で、猫の人生を、猫の語りで語ってみて 野良猫の視点で語ってみて まどか☆マギカでは誰が一番かわいい？ ありゃりゃりゃですね でも、なかなか日本語が流暢です。 最初にOllamaで提供されているモデルだと

今日でてた、Llama-3-8Bの日本語ファインチューニングモデル lightblue/suzume-llama-3-8B-japanese　　mlx&Gradioで試し済み haqishen/Llama-3-8B-Japanese-Instruct　 今後もいろいろ出てきそう〜

LightChatAssistant-TypeBを動かす無検閲ノベル生成アシスタントがあるとのこと https://github.com/Zuntan03/EasyNovelAssistant

pip install -U mlx pip install -U mlx-lm で、 mlx-0.11.1 mlx-lm-0.10.0 にアップデート　どんどんアップデートされていく〜

HuggingChatのいいところ、無料（要登録）、システムプロンプトを自分で入れることができること、またそれでAssistantをつくれること、いろいろなAssistantsを試せること、Llama-3も使えるけど、日本語に堪能な⌘R+が使えることが一番の良さ

Llama3 お試し場所　HuggingChat, Poe, Ollama+Page Assistでローカルで。 公式サイトは日本はまだリージョン入りしていない。日本時間　2024.4.19

LLMのPerfomanceチェック。５０音のひらがなの次の一文字を言わせるのと同じように、ローマンアルファベットの次の一文字を言わせる課題でも、けっこうできないLLMが多い。でも、⌘R+はちゃんとアルファベットでも次の一文字だけを生成できる。