初級者編：コラ生成にも元画像生成にも使えるControlNet（１）

今回はControlNetについて出来ることを説明します。
ControlNetは日進月歩で色んな動かし方が登場していて、この記事の情報は現在時点でも少し古くなっていることをご承知下さい。

ControlNetで出来ること

僕が対応している範囲では、現在のところ３つの使い方があります。
・固めコラを作る
・元画像を作る
・直接固め画像を作る

ControlNetは抽出したポーズ情報に対してプロンプトで命令した処理を実行する技術です。
そして元画像からポーズ情報を抽出することも出来ますので、これによって固めコラの作成が可能となっています。

元画像。もちろんAIによる生成。

ControlNetによる加工後。

ControlNetには様々なポーズ抽出方法が用意されていますが、実写向きと言われているのがdepth。上記の固めコラもdepthによるポーズ抽出より固め加工を行いました。
僕はまだControlNetによる固めコラの研究をさほど行っていないためあまり出来がよくありませんが、今後、色んな方に研究いただければ固め技術の習熟化が進んでいくものと思われます。

そして次が元画像を作ることです。
上記のようにポーズの元となる写真、例えば自撮りを用意して、そこから抽出したポーズを可愛い女の子の姿に変換してもらうような使い方が考えられます。良い年したおっさんでもAIが可愛い女の子に変えてくれるので、これはこれで性癖かもしれません。
他の方法としては、ポーズ人形や棒人間を生成するソフトを利用して、直接ポーズを作る方法です。
それらを利用すると以下のようなポーズ人形や棒人間を生成することが出来ます。

ポーズ人形。

棒人間。

これらによってポーズ情報を直接的にControlNetに与えることが出来ます。元画像から情報を抽出する際にたまに起こる、うまく情報を抜き出せないということが回避できますので、慣れてくるとポーズの元画像を用意するより利便性が高くなります。
また、ポーズ情報を直接与えることで、プロンプト（呪文）によるポーズ指定の手間が減ったり、想定していたポーズどおりになってくれないというストレスも大幅に減少します。

このように非常に強力なツールであるControlNetですが、もちろん元画像だけではなく、固め画像を直接生成することが出来ます。

OpenPoseで作成した棒人間。

AIによる処理後。

ちなみに上記の固め画像は、自作LoRAを複数使用して加工を行っています。
もちろんControlNetによる固めコラ作成時にもLoRAは使用出来ますので、Instruct Pix2Pixによる固めコラ画像が溜まってきたら自作でLoRAを作成することで、同じ質感の固めコラや固め画像の生成が可能になってきます。
LoRAは固めにおける革新的な武器となりますので、後の記事で詳しく紹介します。

今回は以上となります。
次回はControlNet実装編です。
以下の記事で紹介しているWebUIが動かせることを前提として説明しますので、まだ導入していない方は是非導入してみて下さい。
https://note.com/aruomote/n/n166cdefc2e94