【Ollama】Llama3.1を使ってみた話【ローカルLLM】

はじめに

OllamaでLlama3.1が利用できるようになったので、試してみました。

コマンドラインで簡易的に利用する場合は、Windows/Linux関係なくOllamaのgithubリポジトリから「OllamaSetup.exe」でインストールし、

ollama run llama3.1

とするだけで8Bモデルでチャットできます。GUIで本格的に利用する場合（Ollama Open WebUI）は、下記事で詳細に紹介しています。

準備

下記モデルを利用します。

ollama pull llama3.1

日本語での利用テストを行うので、モデルファイルのテンプレートを書き換えています。

You are a helpful Japanese assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the orginal use question in Japanese.

動作テスト

星条旗を描かせてみる

下記事と同じ事を試しました。

llama3.1の考える星条旗

llama3.1の考える正八角形

日本語チャット

東京とニューヨークで生活するメリットとデメリットを説明して

by 筆者

東京

メリット：
新しい技術の発展:東京は世界的なテクノロジーの中心地であり、新しい技術やイノベーションが盛んに実用化されている。
多様な文化体験: 東京には、伝統的な寺社建築から現代のモダンなアートギャラリーまで、文化の多様さを体感できる場所が数多くあります。
世界各国とのビジネスパートナーシップ: 東京は国際ビジネスの中心地であり、世界中からビジネスパートナーが訪れ、協力を求めています。
デメリット：
生活費の高い傾向:東京では生活費が非常に高く、住む場所や食事などのコストが上がりやすい。
交通渋滞の可能性: 都市圏の大規模な交通網の中で、混雑して時間を無駄にする可能性があります。


ニューヨークメリット：
経済の中心地としての地位: ニューヨークは世界経済の中心地であり、金融やビジネスなど各方面で重要な役割を担っています。
多様な文化体験: ニューヨークには、世界中から移住してきた人々によって形成された、多種多彩な文化が存在します。
教育の機会: ニューヨークには世界的に著名な大学や高等学校が数多くあり、学生にとっては最適な学習環境となっています。
デメリット：
人権問題に関わる社会問題: これらの都市では、貧困、犯罪、住居の不平等などを含む人権に関する重大な問題が発生しています。
経済的不安定さ: ニューヨークは金融の中心地であり、大規模な経済危機が起こる可能性があります。

by Llama3.1

他にも幾つか試してみましたが、多言語が強化されているようで、Llama3の時のように（日本語を指定しても）英語で回答してしまう事が無くなったように感じます。

まとめ

家庭用パソコンローカル利用の場合は8Bモデルが現実的な規模なので、8B＆日本語で試す限り、他モデルと比べて飛躍的な性能差があるわけではなさそうです。しかしコンテキストサイズが128kに対応しているため、Llama3の8kと比べて多くの利点があると思います。

※ 実際はRTX 3060(12G)の場合、メモリに収まる最大のコンテキストサイズは24k〜32kですgg