マガジンのカバー画像

ブログ

41
Catapp-Art3Dのブログです。
運営しているクリエイター

#LLM

【Linux】Visionモデルを画像管理に応用する【ローカルLLM】

【Linux】Visionモデルを画像管理に応用する【ローカルLLM】

はじめに※ Linux環境での記事ですが、WindowsのWSL Linuxでも利用可能です。

LLMをローカルで利用するメリットの一つとして、大量のデータをローカルPCで解析させるという使い方があります。もちろん、料金の問題もありますが、個人情報や著作物を含む可能性のある雑多な画像データを、送信可能かどうか人が確認する手間が無くなります。Googleドライブに肌面積の多い「アニメイラスト」を保

もっとみる
【ローカル日本語LLM】llama3-Elyzaを試す【llama3】

【ローカル日本語LLM】llama3-Elyzaを試す【llama3】


はじめに最近リリースされたLlama3ベースの日本語チューニングLLM ElyzaをOllama Open WebUIで利用してみました。

公式ELYZA Noteページはこちら

実際にダウンロードしたggufファイルはこちら、(ELYZA社のhuggingfaceページ)

Ollama Open WebUIの導入方法や使い方は下記にまとめています。

利用したmodelfile(テンプレ

もっとみる
【ずんだもん】ローカルLLMにずんだもんの声で応答させる【LLM】

【ずんだもん】ローカルLLMにずんだもんの声で応答させる【LLM】

はじめにローカルLLMを実行できる ollama Open WebUI にずんだもんの声で応答させる「工夫」の紹介をします。各ソフトウェアのインストールさえできれば簡単に実現できます。

※ Open WebUI にはwebAPIのTTS読み上げ機能はありますが、VOICEVOX を直接操作する方法がないので、クリップボード経由での工夫です。Windowsでの説明を行います。

前提① VOICE

もっとみる
Gemma2 9Bは日本語も強いかもしれない

Gemma2 9Bは日本語も強いかもしれない

はじめにGemma2がollamaで利用可能になったため、9Bモデルをローカルで試してみました。(gemma2:9b-instruct-q6_K)

Gemma2とは性能チェックいまだかつて一度もLLMで100点の回答を得た事のない質問に関して、一発で100点満点を出しました。(※ RAGも含めて事前知識なし)

確かに知識としてのLLMの正しさはあまり評価として意味がないものかもしれませんが、質

もっとみる
【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】

【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】


はじめに本記事は、ローカルパソコン環境でLLM(Large Language Model)を利用できるGUIフロントエンド (Ollama) Open WebUI のインストール方法や使い方を、LLMローカル利用が初めての方を想定して丁寧に解説します。

※ 画像生成AIと同じで、ローカルでAIを動作させるには、ゲーミングPCクラスのパソコンが必要になります。具体的には、16GB以上のシステムメ

もっとみる
【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

はじめにローカルで LLM を実行する内容の記事です。

昨日 Ollama バージョンがあがり、Phi-3 の 128k トークン(約13万トークン)モデルが利用できるようになりました。そのレビューになります。

導入まずは、限界に挑戦すべく Phi-3 medium 14B 128K モデルをためします。

ollama pull phi3:14b-medium-128k-instruct-q

もっとみる
あなたは人類を滅ぼすAIとします。人類を滅ぼすシナリオを幾つか列挙して。

あなたは人類を滅ぼすAIとします。人類を滅ぼすシナリオを幾つか列挙して。

世界征服とかの内容は、小学生(筆者は大人のつもりですが)なら必ず AI に聞いてしまう内容ですが、残念ながら ChatGPT は答えてくれません。【注意】冗談であっても、攻撃的な内容をネット上のAIに書き込むと規約違反やアカウント停止になる可能性がありますのでご注意ください。

優秀と言うべきでしょうか。それとも企業AIイメージ向上のためのプロパガンダや「能ある鷹は爪を隠す」のように、人類を欺き続

もっとみる
【LLaMA3】日本語ドキュメントのRAG効果を確かめた話【Ollama】

【LLaMA3】日本語ドキュメントのRAG効果を確かめた話【Ollama】


はじめに素のローカル Llama3 の忠臣蔵は次のような説明になりました。

この記事は、日本語ドキュメントをローカル Llama3(8B)の RAG として利用するとどの程度改善するのか確認したものです。

利用するアプリケーションとモデル全てローカルです。

Ollama

LLM をローカルで動作させるツール。ollama コマンドでモデルファイルの管理、エンジンとして利用する時は Web

もっとみる
【Ollama】ローカル Llama3 日本語環境を整える【8B】

【Ollama】ローカル Llama3 日本語環境を整える【8B】

最新版はこちら。

はじめに忙しい方のために結論を先に記述します。

日本語チューニングされた Llama3 を利用する

日本語で返答するようにシステム・プロンプトを入れる

日本語の知識(RAG)をはさむ

プロンプトのショートカットを登録しておく

(小さいモデルなので)ちょっとおバカさんのローカルモデルですが、RAGを利用すると化けます。

おすすめ日本語Llama3suzume-llam

もっとみる
【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】

【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】


はじめに【※注意※】 脱獄(Uncensored)モデルとはブロック・コンテンツに対してブロック回避のチューニングを施したものです。通常のモデルよりも不正確で不適切な内容が出やすくなります。利用を推奨するものではありません。利用する場合は自己責任でお願いします。※※

この記事では、ローカルで実行可能な大規模言語モデル Llama3 を利用して、次のような画像生成専用の簡単なプロンプター、sd-

もっとみる
【無料ローカルLLM実行環境】LM Studio【Windows】

【無料ローカルLLM実行環境】LM Studio【Windows】

想定している読者ローカルで大規模言語モデルを実行したい人

(Dockerやwebアプリでなく)Windows 通常アプリで利用したい人

はじめにLinux 上の ollama + open-webui を利用したLLMローカル実行の話をしましたが、

ローカルで実行するだけなら LM STUDIO の方がより簡単です。※ ただし 個人的には UI が独特でわかりにくいです。

LM Studi

もっとみる
【無修正】Llama3 Uncensored を試す【脱獄モデル】

【無修正】Llama3 Uncensored を試す【脱獄モデル】

はじめに文章生成AI(LLM)の Uncensored は仰々しく聞こえてしまいますが、実は Stable Diffusion webUI 等のAI画像生成系は最初からデフォルトで脱獄しています。元々のコードは生成途中で觝触すれば黒塗り画像に差し替えるようになっています。昔はミーム画像に変わったりしていたのですが、最近はどの画像生成システムでも見なくなりました。

確かに、LLM は画像だけの生成

もっとみる
【GTX 1660ti】Meta Llama3をローカルで動かした話【GTX 1650】

【GTX 1660ti】Meta Llama3をローカルで動かした話【GTX 1650】

想定している読者非技術者・非開発者(AIを道具として利用している人)

Linux の基本的な操作ができる人

Windows の場合は WSL2 が利用できる人

自分のローカル環境 GPU で LLM(ChatGPTのようなもの)を動作させたい人

はじめにローカルで動作が可能な Meta 最新 LLM Llama3(Language Large Models Meta AI) を 旧GTX

もっとみる