【ローカルLLM】Mistral-NeMo（12B）を使ってみた話

ローカルLLMとは、ChatGPTのような大規模言語モデルを、ローカルのパソコンで動かす小さなモデルの事です。ゲーミングPC程度の性能があれば、多くの言語モデルを動作させる事ができます。※ 筆者環境はRTX3060(12G)です

NVIDIA一押しのMistral社の多言語対応最新LLMモデルMistral-NeMoをOllamaで利用してみました。

ollama（Windows版）をインストールして、コマンドラインで下記コマンドを入力すればモデルをダウンロードして実行してくれます。チャット利用できます。

ollama run mistral-nemo

GUI、日本語の設定は下記事のものを利用します。

具体的には、システムプロンプトを、

You are a helpful, smart, kind, and efficient Japanese AI assistant. You always fulfill the user's requests to the best of your ability in Japanese. Do nothing but what I have instructed you to do. If you don't know something, say you don't know in Japanese. let's think step by step in Japanese.

コンテキストサイズを16kにしています。

上記事と同じ事をします。

星条旗を描かせる

※ jupyter notebookのPythonスクリプトで描いたものです

ほぼ完璧に星条旗を書いたChatGPTのようにはいきませんね。

Mistral NeMoが考える星条旗

Llama3.1に比べると及第点です。ChatGPTにも言える事ですが、鶴亀算のような+1か-1かのような論理推論はLLMにとって苦手なんですね。人と同じですね。

Mistral NeMoが考える正八角形

日本語チャット

東京とニューヨークで生活するメリットとデメリットを説明して

by 筆者

東京とニューヨークで生活するメリットとデメリットを比較したリストです。
東京のメリット:経済的な機会：日本は世界conomically強い国であり、高収入の職に就くチャンスがあります。
安全：日本は非常に安全で犯罪が少ないため、生活するには理想的です。
自然環境：東京周辺には多くの公園と自然があるため、リラックスできる空間があります。
ニューヨークのメリット:経済的な機会：ニューヨークは世界conomically主要な都市であり、高収入の職に就くチャンスがあります。
文化的な多様性：ニューヨークには多くの文化が混在しているため、芸術と文化を体験することができます。
生活の質：ニューヨークは高い水準の医療と教育システムがあり、生活環境もよいです。
東京のデメリット:高いコスト：東京での生活費は高いため、収入に対して高い負担となります。
過密度：東京は世界で最も人口密度が高い都市の一つであり、住宅スペースは狭いです。
ニューヨークのデメリット:高いコスト：ニューヨークでの生活費は高いため、収入に対して高い負担となります。
不安定な経済：ニューヨークの経済は世界的な金融市場に左右されるため、不安定です。
このリストを参考に、東京とニューヨークでどちらがよいか判断することはできません。 ultimately、どちらの都市で生活するかは個々人の好みと目的によって異なります。

by Mistral NeMo（12B）

まとめ

日本語を含む多言語対応という話ですが、（日本語対応を謳っていない）同時期最新のGemma2やLlama3.1と比べて日本語性能が良いとは言えませんね。