見出し画像

MLX で DBRX を試す

npaka

「MLX」で「DBRX」を試したので、まとめました。

・M3 Max (128GB)


1. DBRX

「DBRX」は、「Databricks」が開発したオープンな大規模言語モデルです。MoEアーキテクチャが採用されており、トータルパラメータ132B、アクティブパラメータ36Bになります。

2. 推論の実行

「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。

推論の実行手順は、次のとおりです。

(1) Pythonの仮想環境の準備。
今回は、「Python 3.10」の仮想環境を準備しました。

(2) パッケージのインストール。
「mlx-community/dbrx-instruct-4bit」のモデルカードの解説に沿ってインストールします。

git clone git@github.com:ml-explore/mlx-examples.git
cd mlx-examples/llms/
python setup.py build
python setup.py install
pip install tiktoken

(3) プロンプトテキストの準備
プロンプトは長く改行もあるのでテキストで準備します。

・my_prompt.txt

<|im_start|>user
Who is the cutest in Madoka Magica?<|im_end|>
<|im_start|>assistant
I will try my best to answer your question.

また、アシスタントの開始に余分な文章を追加しました。そうしないと、モデルは即座に <|im_end|> を追加して停止しました。

(4) mlx_lm.generateコマンドの実行。
今回は、「mlx-community/dbrx-instruct-4bit」を使用します。

 python -m mlx_lm.generate --model mlx-community/dbrx-instruct-4bit --prompt "$(cat my_prompt.txt)" --max-tokens 1024 --ignore-chat-template --trust-remote-code

==========
Prompt: <|im_start|>user
Who is the cutest in Madoka Magica?<|im_end|>
<|im_start|>assistant
I will try my best to answer your question.
However, it's important to note that cuteness is subjective and can vary from person to person.

Puella Magi Madoka Magica is a popular magical girl anime series with many adorable and endearing characters. Some fans might find the main character, Madoka Kaname, to be the cutest due to her innocence and kindness. Others might find the magical creature Kyubey to be adorable with its round shape and big eyes. Some might even find the mysterious and powerful Homura Akemi to be the cutest due to her determined and stoic personality.

Ultimately, the answer to your question depends on personal preference and there is no one "correct" answer. <|im_end|>
==========
Prompt: 7.355 tokens-per-sec
Generation: 8.587 tokens-per-sec

【翻訳】
==========
Prompt: <|im_start|>user
まどか☆マギカでは誰が一番かわいい?<|im_end|>
<|im_start|>assistant
あなたの質問に答えるために最善を尽くします。
ただし、かわいさは主観的なものであり、人によって異なる場合があることに注意することが重要です。

魔法少女まどか☆マギカは、愛らしくて愛らしいキャラクターがたくさん登場する人気の魔法少女アニメ シリーズです。 ファンの中には、主人公の鹿目まどかの無邪気さと優しさが一番かわいいと感じる人もいるかもしれません。 魔法の生き物キュゥべえの丸い形と大きな目が愛らしいと感じる人もいるかもしれません。 ミステリアスで力強い暁美ほむらの、毅然としたストイックな性格が一番かわいいと感じる人もいるかもしれません。

結局のところ、質問に対する答えは個人の好みによって決まり、唯一の「正しい」答えはありません。<|im_end|>
==========
Prompt: 7.355 tokens-per-sec
Generation: 8.587 tokens-per-sec



この記事が気に入ったらサポートをしてみませんか？