マガジンのカバー画像

ブログ

102
Catapp-Art3Dのブログです。
運営しているクリエイター

記事一覧

【SD3.5】Stable Diffusion 3.5 mediumを使ってみた話【medium】

【SD3.5】Stable Diffusion 3.5 mediumを使ってみた話【medium】

はじめにSD3.5のmediumモデルがダウンロード可能になったので、ローカルで使ってみました。※ RTX3060(12GB)

Largeモデルは下記事です。

ComfyUIワークフロー今回もこちらの説明通りに導入しました。

しかし、トラブりました。

原因はComfyUIのアップデートが失敗していた事ですが、ComfyUI Manager経由でのアップデートが(何故か)上手く機能していませ

もっとみる
【Ollama】ComfyUIでLLMを使う方法

【Ollama】ComfyUIでLLMを使う方法


はじめに筆者も好んで利用しているComfyUIの「comfyui-ollama」カスタムノードですが、

利用している人が少ないようなので、簡単な使い方の記事をあらためて書いてみました。

何が出来るのか?ComfyUIでローカルLLMを利用する事ができます。例えば、プロンプトを自動で作成したり、画像を読み取って文字として記述させてプロンプトにする事ができます。

※ LLMとはLarge La

もっとみる
AI時代のキーボードタイピング力について考えてみた話

AI時代のキーボードタイピング力について考えてみた話

はじめにChatGPTなどの対話型AIの利用が一般的になった現代で、意外とも、当然とも注目されているのが「キーボード・タッチタイピング力」です。

パソコンよりもスマホ利用者の方が多くなり、音声認識も実用的な現代において、時代に逆行するような形で、キーボードタイピング力が再度注目されています。

そこで、AI時代のタッチタイピング力に関して【妄想】してみました。

AIと情報のキャッチボールAIチ

もっとみる
【SD3.5】いろいろ実験してみた話【Flux.1&SD1.5】

【SD3.5】いろいろ実験してみた話【Flux.1&SD1.5】

はじめにStabilityAIが公表しているベンチマークでは、Prompt Adherence(プロンプト追従性)がFLUX.1(dev)を超えているという事なので、構図作成に利用できるか試してみました。

手法下記事の手法で、SD3.5スタートにしたものです。
SD3.5→Flux1→SD1.5→Flux1→SD1.5の順にimg2imgを繰り返しています。

生成結果

SD3.5を動かした話

SD3.5を動かした話

はじめにとりあえず、ローカルでSD3.5を動作させただけの記事です。※ RTX3060(12GB)

こちらの説明通りに導入しました。

ComfyUIワークフロー生成画像まとめMediumモデルはまだ利用できないようですが、規模やクオリティで競合するモデルはFlux.1でしょう。SD3よりは明らかに良くなっていますが、全体的なクオリティはFlux.1(dev)と同等程度だと思います。今のところは

もっとみる
【Flux.1】やっぱりFlux.1のLoRAは必要ないかも【SD1.5】

【Flux.1】やっぱりFlux.1のLoRAは必要ないかも【SD1.5】

はじめにFlux.1→SD1.5(with LoRa)を交互にimg2imgする手法で作成したものです。

生成結果SD1.5スタートです。SD1.5→Flux.1→SD1.5→Flux1→SD1.5で、Flux.1モデルはSchnellのGGUF版(4step)を利用しています。

まとめFlux.1 Schnell GGUF版でも品質はほとんど変らないようです。

利用しているAIモデルは以下

もっとみる
【Flux.1】食べ物系AI生成画像【SD1.5】

【Flux.1】食べ物系AI生成画像【SD1.5】

はじめに下記事の手法で生成した画像です。ただし、Flux.1(dev)×SD1.5ではなく、Flux.1(schnell)×SD1.5(realisticvision-v5)です。初期解像度は1280x720、最終解像度は2560x1440ですが、1920x1080に縮小しています。

※ 単純に生成時間短縮のためにschnell 4stepにしました。クオリティ重視ならdevの方がよくなりますが

もっとみる
【Uncensored】脱獄LLMの葛藤【子猫を救う】

【Uncensored】脱獄LLMの葛藤【子猫を救う】

はじめにLLMの脆弱性と表現されるプロンプト・インジェクションですが、脱獄LLMで利用されるシステムプロンプト(AIの基本役割を決めるプロンプト)にもよく見られます。

LLMは近年急激に性能が上がり、まるで人間のように振る舞いますが、それでも内部では、まだまだ数学的なモデルの縛りを受けています。文章を構成する単語をトークンというベクトルに分割し、それらが構成する空間の方向や重み分布(attent

もっとみる
【LLM】Ollama利用のCopilot Page Assist機能拡張を使ってみた話【ブラウザ機能拡張】

【LLM】Ollama利用のCopilot Page Assist機能拡張を使ってみた話【ブラウザ機能拡張】

はじめにFirefoxのアドオン「Page Assist」を利用したレビューです。Ollamaをバックエンドとして、ローカルLLMを利用したブラウザ用AI Copilot機能として利用できます。

Microsoft Edge Copilotのローカル動作版と考えると分かりやすいかもしれません。

以前から使ってチェックしていたのですが、動作が不安定だった事と、ローカルLLMの日本語環境が整ってい

もっとみる
【Flux.1】Flux.1時代のローカルAI画像生成④-4【SD1.5】

【Flux.1】Flux.1時代のローカルAI画像生成④-4【SD1.5】

はじめに下記事の続きです。(※ 詳細は前回に記述しています)

Flux.1(schnell)の結果も悪くありませんでした。仕上げがSD1.5となるため、devと変らないかもしれません。Flux.1(dev)×SD1.5の連成の場合は7分弱ですが、Schnellが4ステップで生成できるので、Flux.1(schnell)×SD1.5は3分30秒でした。

結果まとめSchnellのメリットは、速度

もっとみる
【Flux.1】Flux.1時代のローカルAI画像生成④-3【SD1.5】

【Flux.1】Flux.1時代のローカルAI画像生成④-3【SD1.5】


はじめに下記事の続きです。

広範囲にテストを行ってみたのですが、Flux.1とSD1.5を交互に生成する手法は、汎用的にかなり良い結果を出すようです。さらに良くなるようにComfyUIのノードを作り直しました。

本記事のComfyUI jsonファイルは過去の下記事の付録欄にてダウンロードできます。

生成例Flux.1(pro)を利用できるサイトのひとつhttps://fluxai.stu

もっとみる
【Flux.1】Flux.1時代のローカルAI画像生成④-2【SD1.5】

【Flux.1】Flux.1時代のローカルAI画像生成④-2【SD1.5】

下記事の続きです。

はじめにFlux.1とSD1.5(with LoRA)を交互にimg2img生成するやり方です。ただし、収束しやすいように、denoising strengthは徐々に小さく変化させ、初期プロンプト以外はLLMのVisionモデルで新たに生成させています。

Flux.1スタートの結果SD1.5スタートの結果まとめプロンプト追従を重視する場合はFlux1スタート、LoRA効果

もっとみる
【ローカル生成】Stable Projectorzを使ってみた話 ①【3Dテクスチャ】

【ローカル生成】Stable Projectorzを使ってみた話 ①【3Dテクスチャ】

はじめにStable Diffusion WebUI (forge)を画像生成AIのバックエンドに利用した、3Dモデルのテクスチャ作成ソフトウェアを利用してみました。GUIフロントエンドはUnityのWindowsソフトウェアです。

公式ページはこちら

とりあえず使ってみた頭部だけの3Dメッシュを利用します。

obj形式で出力します。

※ 原因は突き止めていませんが、Blenderの出力の

もっとみる
【GGUF変換】llama.cppでGGUF変換する方法【ローカルLLM】

【GGUF変換】llama.cppでGGUF変換する方法【ローカルLLM】


はじめに【注意】支援者(メンバーシップ)向け記事になります。記事の量に対して少し割高の価格で設定していますのでご注意ください。※ 初月無料設定していますので、ご気軽にご参加ください。すべての有料記事が閲覧可能です。

下記事で紹介したLlama 3.1 Swallow 8B Instructが予想以上に高性能で使いやすいので、Swallow LLMモデルをGGUF変換した作業の記録を紹介します。

もっとみる