マガジンのカバー画像

ブログ

50
Catapp-Art3Dのブログです。
運営しているクリエイター

#Ollama

Gemma2 9Bは日本語も強いかもしれない

Gemma2 9Bは日本語も強いかもしれない

はじめにGemma2がollamaで利用可能になったため、9Bモデルをローカルで試してみました。(gemma2:9b-instruct-q6_K)

Gemma2とは性能チェックいまだかつて一度もLLMで100点の回答を得た事のない質問に関して、一発で100点満点を出しました。(※ RAGも含めて事前知識なし)

確かに知識としてのLLMの正しさはあまり評価として意味がないものかもしれませんが、質

もっとみる
【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】

【ローカルLLM】Ollama Open WebUI 完全解説【初級向け】


はじめに本記事は、ローカルパソコン環境でLLM(Large Language Model)を利用できるGUIフロントエンド (Ollama) Open WebUI のインストール方法や使い方を、LLMローカル利用が初めての方を想定して丁寧に解説します。

※ 画像生成AIと同じで、ローカルでAIを動作させるには、ゲーミングPCクラスのパソコンが必要になります。具体的には、16GB以上のシステムメ

もっとみる
【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

【ローカル】Phi-3 mini 3.8B 128kトークンモデル【Phi3】

はじめにローカルで LLM を実行する内容の記事です。

昨日 Ollama バージョンがあがり、Phi-3 の 128k トークン(約13万トークン)モデルが利用できるようになりました。そのレビューになります。

導入まずは、限界に挑戦すべく Phi-3 medium 14B 128K モデルをためします。

ollama pull phi3:14b-medium-128k-instruct-q

もっとみる
【Ollama】ローカル Llama3 日本語環境を整える【8B】

【Ollama】ローカル Llama3 日本語環境を整える【8B】

最新版はこちら。

はじめに忙しい方のために結論を先に記述します。

日本語チューニングされた Llama3 を利用する

日本語で返答するようにシステム・プロンプトを入れる

日本語の知識(RAG)をはさむ

プロンプトのショートカットを登録しておく

(小さいモデルなので)ちょっとおバカさんのローカルモデルですが、RAGを利用すると化けます。

おすすめ日本語Llama3suzume-llam

もっとみる
【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】

【ローカル】脱獄 Llama3 の画像生成専用プロンプターコマンドを作る【Ollama】


はじめに【※注意※】 脱獄(Uncensored)モデルとはブロック・コンテンツに対してブロック回避のチューニングを施したものです。通常のモデルよりも不正確で不適切な内容が出やすくなります。利用を推奨するものではありません。利用する場合は自己責任でお願いします。※※

この記事では、ローカルで実行可能な大規模言語モデル Llama3 を利用して、次のような画像生成専用の簡単なプロンプター、sd-

もっとみる
【無修正】Llama3 Uncensored を試す【脱獄モデル】

【無修正】Llama3 Uncensored を試す【脱獄モデル】

はじめに文章生成AI(LLM)の Uncensored は仰々しく聞こえてしまいますが、実は Stable Diffusion webUI 等のAI画像生成系は最初からデフォルトで脱獄しています。元々のコードは生成途中で觝触すれば黒塗り画像に差し替えるようになっています。昔はミーム画像に変わったりしていたのですが、最近はどの画像生成システムでも見なくなりました。

確かに、LLM は画像だけの生成

もっとみる
【GTX 1660ti】Meta Llama3をローカルで動かした話【GTX 1650】

【GTX 1660ti】Meta Llama3をローカルで動かした話【GTX 1650】

想定している読者非技術者・非開発者(AIを道具として利用している人)

Linux の基本的な操作ができる人

Windows の場合は WSL2 が利用できる人

自分のローカル環境 GPU で LLM(ChatGPTのようなもの)を動作させたい人

はじめにローカルで動作が可能な Meta 最新 LLM Llama3(Language Large Models Meta AI) を 旧GTX

もっとみる