#LLM
【ローカルLLM】Mistral-NeMo(12B)を使ってみた話
ローカルLLMとは、ChatGPTのような大規模言語モデルを、ローカルのパソコンで動かす小さなモデルの事です。ゲーミングPC程度の性能があれば、多くの言語モデルを動作させる事ができます。※ 筆者環境はRTX3060(12G)です
NVIDIA一押しのMistral社の多言語対応最新LLMモデルMistral-NeMoをOllamaで利用してみました。
ollama(Windows版)をインスト
【ローカルLLM】大量のSDプロンプトデータをRAGとして利用してみる【AI画像プロンプト】
はじめにローカルLLMの精度や性能を上げるやり方の一つにRAG(Retrieval-Augmented Generation)というものがあります。書籍や資料、データベースなどを参照しながら指示に対する回答を生成します。
この記事では、画像生成のプロンプトを作成するためのRAG用データとして、大量のSDプロンプト例を利用した場合にどうなるかを試してみます。
ローカルLLMを動作させるために(o
【ずんだもん】ローカルLLMにずんだもんの声で応答させる【LLM】
はじめにローカルLLMを実行できる ollama Open WebUI にずんだもんの声で応答させる「工夫」の紹介をします。各ソフトウェアのインストールさえできれば簡単に実現できます。
※ Open WebUI にはwebAPIのTTS読み上げ機能はありますが、VOICEVOX を直接操作する方法がないので、クリップボード経由での工夫です。Windowsでの説明を行います。
前提① VOICE
【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】
はじめに本記事は、ローカルパソコン環境でLLM(Large Language Model)を利用できるGUIフロントエンド (Ollama) Open WebUI のインストール方法や使い方を、LLMローカル利用が初めての方を想定して丁寧に解説します。
※ 画像生成AIと同じで、ローカルでAIを動作させるには、ゲーミングPCクラスのパソコンが必要になります。具体的には、16GB以上のシステムメ
【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】
はじめにローカルで LLM を実行する内容の記事です。
昨日 Ollama バージョンがあがり、Phi-3 の 128k トークン(約13万トークン)モデルが利用できるようになりました。そのレビューになります。
導入まずは、限界に挑戦すべく Phi-3 medium 14B 128K モデルをためします。
ollama pull phi3:14b-medium-128k-instruct-q
【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】
はじめに【※注意※】 脱獄(Uncensored)モデルとはブロック・コンテンツに対してブロック回避のチューニングを施したものです。通常のモデルよりも不正確で不適切な内容が出やすくなります。利用を推奨するものではありません。利用する場合は自己責任でお願いします。※※
この記事では、ローカルで実行可能な大規模言語モデル Llama3 を利用して、次のような画像生成専用の簡単なプロンプター、sd-