【生成AI】blender×StableDiffusion×Controlnet1.1を使って背景制作してみた

blender×Controlnetで背景を作る

きっかけは一個のツイートを見かけたからでした
これはすごすぎる。。。
これはアニメの背景を一瞬で作れちゃうなと思いやってみることにしました

https://twitter.com/Yokohara_h/status/1656032922015776768?s=20

色々用語が出てきてわかりにくいと思いますが、
StableDiffusion：AI画像生成ツール
VAE：境界線などぼかしをくっきりさせてくれるツール
モデル：どうカスタマイズするか？テイストを決めるためのもの
Controlnet1.1：AI画像生成ツールのアドオンのようなもの　画像生成の際、指定方法を厳密に出来る
blender：3DCGツール　これでワイヤー的なラフ画像を作る　作らなくてもグーグル検索、フリー画像サイトから引っ張ってきても良い

というようなざっくりした理解でokです
つまり、StableDiffusionだと緻密な指定ができない
なのでControlnet1.1をつかってモノクロテキトー画像を学習させてアニメ風イラストにしてもらおうではないかというAIの使い方です
いやりかたを備忘録的にメモします

やりかた

インストール遅かったりで全工程3時間くらいはかかりました
またPCスペックや容量に注意です　スペックはここ2~3年に買ったゲーミングPCのレベルならokだと思います

StableDiffusion WebUI AUTOMATIC1111のインストール

まず自分のPCのローカル環境にStableDiffusion WebUI AUTOMATIC1111をインストールします
以下の動画を参考にしました

https://www.youtube.com/watch?v=8QIJMGW_-LM&t=0s

ControlNetのインストール

ControlNetのインストールをします

https://murasan-net.com/index.php/2023/02/22/controlnet-install/

実際に使ってみる

参考は以下動画です。
https://www.youtube.com/watch?v=aqwDdnTiyuM

https://www.youtube.com/watch?v=kretczRz9qc&t=141s

自分の画面でつくってみました。
まずはblenderでラフ3Dを作成
ビルらしきモデルをいれてみます
目標はアジアの繁華街的な画像

スクリーンショットツールなどで適当にキャプチャし、左下の画像枠に入れます
そして呪文（プロンプト）を色々いれてGenerateボタンをタップ
asia,night,cyberpunkなどを入れました
Enableというところにチェックマークをいれるのを忘れずに
ここいれないとControlnetが効きません。

できました！
いい感じ。。。だけどよくみると線がぐにゃぐにゃしていたりまだまだうーんという感じです
なんともいえないAIっぽさがあります

もうちょっと遊んでみたいと思います

最近のAIはイラストの修正だったりポーズ指示、表情指定なども出来るようになっているみたいです
人間モデルもやってみよう
AIの進化すごい

おわり