マガジンのカバー画像

Blender + Stable Diffusion

17
Catapp-Art3D の Blender + Stable Diffusion 記事をまとめたものです。
運営しているクリエイター

記事一覧

【ローカル生成】Stable Projectorzを使ってみた話 ①【3Dテクスチャ】

【ローカル生成】Stable Projectorzを使ってみた話 ①【3Dテクスチャ】

はじめにStable Diffusion WebUI (forge)を画像生成AIのバックエンドに利用した、3Dモデルのテクスチャ作成ソフトウェアを利用してみました。GUIフロントエンドはUnityのWindowsソフトウェアです。

公式ページはこちら

とりあえず使ってみた頭部だけの3Dメッシュを利用します。

obj形式で出力します。

※ 原因は突き止めていませんが、Blenderの出力の

もっとみる
【Flux.1】Flux.1時代のローカルAI画像生成③【SD1.5】

【Flux.1】Flux.1時代のローカルAI画像生成③【SD1.5】


下記事のつづきです。

はじめにFlux.1の最大の弱点は遅い・重いなので、今回もSD1.5を利用した工夫を紹介したいと思います。

Flux.1でもControlNet環境が整いつつありますが、現実問題としてミドルスペックPCでのローカル生成はまだ実用的ではありません。そこで、SD1.5のControlNetを利用した後にFlux.1をimg2img利用します。

高層ビルの画像を生成Blen

もっとみる
【すべてローカル】画像生成AI技術をBlenderで利用する④【中級】

【すべてローカル】画像生成AI技術をBlenderで利用する④【中級】

はじめに下記事のつづきです。

日本語文字をBlenderで貼り付ける(ラテン文字)英語と中国語の開発はさかんに行われていますが、日本語はなかなか実用レベルのものが出てきません。

仕方がないので、Blenderを利用してAI生成画像に日本語文字を貼り付けます。まずは、生成画像の謎文字を削除します。

戦略としては、文字デカール画像を作成して貼り付けます。ただし、平坦な2D画像に貼り付けるだけでは

もっとみる
【すべてローカル】画像生成AI技術をBlenderで利用する③【中級】

【すべてローカル】画像生成AI技術をBlenderで利用する③【中級】

はじめに下記事の続きです。

3Dモデルを1枚の静止画(AI生成画像)から生成する1枚の画像から3Dモデルを生成できるAI実装はネットサービスも含めていくつかありますが、まだまだ高品質と言えるものはないようです。それでも、およその形状を自動で生成してくれる利点は大きいと思います。

この記事では、生成した3Dモデルに手を加えて品質を向上させるアイデアを紹介します。

まずは、InstantMesh

もっとみる
【すべてローカル】画像生成AI技術をBlenderで利用する②【中級】

【すべてローカル】画像生成AI技術をBlenderで利用する②【中級】


はじめに下記事の続きです。

シームレス・テクスチャを生成Stable Diffusion webUIは、3Dテクスチャや背景画像用にシームレス画像を生成する事ができます。昔はtext2imgやimg2imgのメインUIに表示されていましたが、今は設定で指定しないと表示されません。「Settings」タブを選択し、

「tiling」を「Quicksettings list」に追加します。

もっとみる
【すべてローカル】画像生成AI技術をBlenderで利用する①【中級】

【すべてローカル】画像生成AI技術をBlenderで利用する①【中級】

はじめにStable Diffusion等の生成AI技術をBlenderに応用する基本についての記事です。(その①)

前提

入門〜中級向けを想定した記事になります。

利用するソフトウェアは以下になります。すべてローカルで動作するオープンソースのWindowsソフトウェアで、これらが導入済みである事を想定しています。※ 導入方法は下記にまとめています。もちろん、公式に導入方法の説明はありますが

もっとみる
【4.2LTS】Blenderベンチマーク

【4.2LTS】Blenderベンチマーク

はじめにBlender 4.2正式版がダウンロードできるようになったので、動作確認も兼ねてベンチマークを行いました。

動作環境筆者は現在2つのパソコンを利用しています。

Linux mint 21.3

i7-6700 + GTX-1660ti + GTX-1650

Windows 11 pro

Ryzen5-3600 + RTX 3060(12G)

これら2つのシステムのGPU組み合わ

もっとみる
【3Dモデル】髪のリアリティは大事【AI修正】

【3Dモデル】髪のリアリティは大事【AI修正】

髪の部分をAI化するだけで随分雰囲気がかわりますね。

3Dモデルは、

の3Dモデルに

のテクスチャを適用したものです。

Krita-ai-diffusionの導入解説(※ 特に既存のComfyUIをバックエンドとして利用する方法)を追加しました。

以上【PR】でした。

そもそもは、Blenderの画面をリアルタイムにKritaのレイヤーに表示できるという「Blender layer」と

もっとみる
【ローカル】Stable Diffusion テクニック10選【無料ソフトウェアのみ】

【ローカル】Stable Diffusion テクニック10選【無料ソフトウェアのみ】

はじめに新しいものではありませんが、Stable Diffusion の基本テクニックをまとめてみました。

この記事で利用するソフトウェアは、

Stable Diffusion webUI(または forge)

IOPaint

Ollama Open WebUI(ローカル LLM)

です。

① 同じキャラクターの生成その1他の生成システムでも同じですが、一度に生成してコンシステンシーを

もっとみる
InstantMesh(画像1枚から3Dモデル・ローカル生成) 面白い

InstantMesh(画像1枚から3Dモデル・ローカル生成) 面白い

下記にて紹介しましたが、

予想以上に使えそうなので、InstantMesh の Windows でのインストール方法と簡単な使い方を追加しました。

AIで好きな画像を生成し、

この一枚の画像をデスクトップに保存したバッチファイルにドラッグ&ドロップすると、

デスクトップ上のフォルダに、3Dモデルが自動で作成されます。RTX 3060 (12G) で2分程度です。

すごい時代になったもので

もっとみる
AIを利用して、PBRテクスチャ作成に挑戦してみた話②

AIを利用して、PBRテクスチャ作成に挑戦してみた話②

はじめに下記記事のつづきです。

布に挑戦します。

テクスチャ生成Stable Diffusion の tiling 機能を使って、着物用の織物テクスチャを生成します。

凸凹表現Marigold でどこまで表現できるか試します。

模様は問題ないのですが、布の表面までは流石に無理でした。法線マップも生成を試してみましたが、予想どおりイマイチです。

結果Blender で確認します。

まとめ

もっとみる
AIを利用して、PBRテクスチャ作成に挑戦してみた話①

AIを利用して、PBRテクスチャ作成に挑戦してみた話①

はじめに忙しい皆様のために先に結論です。満足度は30%で、もう少し工夫が必要そうです。

PBR(Physically-Based Rendering)テスクチャとは、光の拡散、法線、凹凸情報などが物理的に正しいテクスチャの事を言います。AI技術を利用すれば、立体構造が簡単に作れるのですが、テクスチャのような微細構造まで再現できるようなものはありませんでした。しかし Marigold のような詳細

もっとみる
【深度マップ】Marigoldおもしろい

【深度マップ】Marigoldおもしろい

はじめに深度マップ生成 Marigold に関する記事です。導入方法はこちら

Marigold は細部の深度も生成してくれるので、いろいろな事に活用できそうです。

【中級】Marigold(AI深度マップ生成)を使う

【中級】Marigold(AI深度マップ生成)を使う

想定する読者AI深度マップ生成を利用して Blender で使いたい人

Blender の基本的な操作ができる人

はじめにMarigold(Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation)という手法を使うと、任意の画像からAIで深度マップを作成する事ができます。このソフトウェアを利用し、Bl

もっとみる