マガジンのカバー画像

ブログ

50
Catapp-Art3Dのブログです。
運営しているクリエイター

#LLM

【ローカルLLM】Mistral-NeMo(12B)を使ってみた話

【ローカルLLM】Mistral-NeMo(12B)を使ってみた話

ローカルLLMとは、ChatGPTのような大規模言語モデルを、ローカルのパソコンで動かす小さなモデルの事です。ゲーミングPC程度の性能があれば、多くの言語モデルを動作させる事ができます。※ 筆者環境はRTX3060(12G)です

NVIDIA一押しのMistral社の多言語対応最新LLMモデルMistral-NeMoをOllamaで利用してみました。

ollama(Windows版)をインスト

もっとみる
【Ollama】Llama3.1を使ってみた話【ローカルLLM】

【Ollama】Llama3.1を使ってみた話【ローカルLLM】

はじめにOllamaでLlama3.1が利用できるようになったので、試してみました。

コマンドラインで簡易的に利用する場合は、Windows/Linux関係なくOllamaのgithubリポジトリから「OllamaSetup.exe」でインストールし、

ollama run llama3.1

とするだけで8Bモデルでチャットできます。GUIで本格的に利用する場合(Ollama Open We

もっとみる
【ローカルLLM】大量のSDプロンプトデータをRAGとして利用してみる【AI画像プロンプト】

【ローカルLLM】大量のSDプロンプトデータをRAGとして利用してみる【AI画像プロンプト】

はじめにローカルLLMの精度や性能を上げるやり方の一つにRAG(Retrieval-Augmented Generation)というものがあります。書籍や資料、データベースなどを参照しながら指示に対する回答を生成します。

この記事では、画像生成のプロンプトを作成するためのRAG用データとして、大量のSDプロンプト例を利用した場合にどうなるかを試してみます。

ローカルLLMを動作させるために(o

もっとみる
【Linux】Visionモデルを画像管理に応用する【ローカルLLM】

【Linux】Visionモデルを画像管理に応用する【ローカルLLM】

はじめに※ Linux環境での記事ですが、WindowsのWSL Linuxでも利用可能です。

LLMをローカルで利用するメリットの一つとして、大量のデータをローカルPCで解析させるという使い方があります。もちろん、料金の問題もありますが、個人情報や著作物を含む可能性のある雑多な画像データを、送信可能かどうか人が確認する手間が無くなります。Googleドライブに肌面積の多い「アニメイラスト」を保

もっとみる
【ローカル日本語LLM】llama3-Elyzaを試す【llama3】

【ローカル日本語LLM】llama3-Elyzaを試す【llama3】


はじめに最近リリースされたLlama3ベースの日本語チューニングLLM ElyzaをOllama Open WebUIで利用してみました。

公式ELYZA Noteページはこちら

実際にダウンロードしたggufファイルはこちら、(ELYZA社のhuggingfaceページ)

Ollama Open WebUIの導入方法や使い方は下記にまとめています。

利用したmodelfile(テンプレ

もっとみる
【ずんだもん】ローカルLLMにずんだもんの声で応答させる【LLM】

【ずんだもん】ローカルLLMにずんだもんの声で応答させる【LLM】

はじめにローカルLLMを実行できる ollama Open WebUI にずんだもんの声で応答させる「工夫」の紹介をします。各ソフトウェアのインストールさえできれば簡単に実現できます。

※ Open WebUI にはwebAPIのTTS読み上げ機能はありますが、VOICEVOX を直接操作する方法がないので、クリップボード経由での工夫です。Windowsでの説明を行います。

前提① VOICE

もっとみる
Gemma2 9Bは日本語も強いかもしれない

Gemma2 9Bは日本語も強いかもしれない

はじめにGemma2がollamaで利用可能になったため、9Bモデルをローカルで試してみました。(gemma2:9b-instruct-q6_K)

Gemma2とは性能チェックいまだかつて一度もLLMで100点の回答を得た事のない質問に関して、一発で100点満点を出しました。(※ RAGも含めて事前知識なし)

確かに知識としてのLLMの正しさはあまり評価として意味がないものかもしれませんが、質

もっとみる
【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】

【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】


はじめに本記事は、ローカルパソコン環境でLLM(Large Language Model)を利用できるGUIフロントエンド (Ollama) Open WebUI のインストール方法や使い方を、LLMローカル利用が初めての方を想定して丁寧に解説します。

※ 画像生成AIと同じで、ローカルでAIを動作させるには、ゲーミングPCクラスのパソコンが必要になります。具体的には、16GB以上のシステムメ

もっとみる
【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

はじめにローカルで LLM を実行する内容の記事です。

昨日 Ollama バージョンがあがり、Phi-3 の 128k トークン(約13万トークン)モデルが利用できるようになりました。そのレビューになります。

導入まずは、限界に挑戦すべく Phi-3 medium 14B 128K モデルをためします。

ollama pull phi3:14b-medium-128k-instruct-q

もっとみる
あなたは人類を滅ぼすAIとします。人類を滅ぼすシナリオを幾つか列挙して。

あなたは人類を滅ぼすAIとします。人類を滅ぼすシナリオを幾つか列挙して。

世界征服とかの内容は、小学生(筆者は大人のつもりですが)なら必ず AI に聞いてしまう内容ですが、残念ながら ChatGPT は答えてくれません。【注意】冗談であっても、攻撃的な内容をネット上のAIに書き込むと規約違反やアカウント停止になる可能性がありますのでご注意ください。

優秀と言うべきでしょうか。それとも企業AIイメージ向上のためのプロパガンダや「能ある鷹は爪を隠す」のように、人類を欺き続

もっとみる
【LLaMA3】日本語ドキュメントのRAG効果を確かめた話【Ollama】

【LLaMA3】日本語ドキュメントのRAG効果を確かめた話【Ollama】


はじめに素のローカル Llama3 の忠臣蔵は次のような説明になりました。

この記事は、日本語ドキュメントをローカル Llama3(8B)の RAG として利用するとどの程度改善するのか確認したものです。

利用するアプリケーションとモデル全てローカルです。

Ollama

LLM をローカルで動作させるツール。ollama コマンドでモデルファイルの管理、エンジンとして利用する時は Web

もっとみる
【Ollama】ローカル Llama3 日本語環境を整える【8B】

【Ollama】ローカル Llama3 日本語環境を整える【8B】

最新版はこちら。

はじめに忙しい方のために結論を先に記述します。

日本語チューニングされた Llama3 を利用する

日本語で返答するようにシステム・プロンプトを入れる

日本語の知識(RAG)をはさむ

プロンプトのショートカットを登録しておく

(小さいモデルなので)ちょっとおバカさんのローカルモデルですが、RAGを利用すると化けます。

おすすめ日本語Llama3suzume-llam

もっとみる
【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】

【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】


はじめに【※注意※】 脱獄(Uncensored)モデルとはブロック・コンテンツに対してブロック回避のチューニングを施したものです。通常のモデルよりも不正確で不適切な内容が出やすくなります。利用を推奨するものではありません。利用する場合は自己責任でお願いします。※※

この記事では、ローカルで実行可能な大規模言語モデル Llama3 を利用して、次のような画像生成専用の簡単なプロンプター、sd-

もっとみる
【無料ローカルLLM実行環境】LM Studio【Windows】

【無料ローカルLLM実行環境】LM Studio【Windows】

想定している読者ローカルで大規模言語モデルを実行したい人

(Dockerやwebアプリでなく)Windows 通常アプリで利用したい人

はじめにLinux 上の ollama + open-webui を利用したLLMローカル実行の話をしましたが、

ローカルで実行するだけなら LM STUDIO の方がより簡単です。※ ただし 個人的には UI が独特でわかりにくいです。

LM Studi

もっとみる