【Stable Diffusion】ControlNet1.1のReference_onlyでセルフシャンプーイラストを出力してみた！
昨日Noteの連続投稿が5回になって、バッジをもらうことができました！
…いったんここで連続投稿のバッジ獲得を終了してもいいのですが、せっかくなので次の10回連続投稿を目指して、そこまでは毎日投稿を頑張ってみたいと思います！
今日は、これまで毎日投稿していた黒髪ツインテールの女の子のバリカンカットではなく、最近登場したControlNet1.1のReference_onlyを試してみたくて仕方なく、セルフシャンプーのイラストを生成してみましたので、加筆修正なしのものになりますが、AIがtxt2imgだけで出力したありのままの結果を共有したいと思います！
Noteの掲載記事は基本的にメンバーシップの方向けのみ…という方針で大変恐縮ですが、この記事に関しては初の無料公開記事にしますので、ぜひお楽しみください！
Reference_onlyとは
こちらの記事は技術系のノウハウものではないので、詳しい内容は別の方の記事に譲りますが、Reference_onlyは簡単に言ってしまえば、一度出力した画像を参照に、その絵柄を崩すことなくいろんなバリエーションのイラストを差分のように出力できる機能です！
基本的にtxt2imgで一度だしたイラストをもとにすることがメインになるので、バリカンカットなどは現状、そもそもバリカンも描いてもらえないし、テキストだけでReference_onlyのもとにするイラストを出力することはほぼ不可能なので、断髪イラストではまだ実現できないのですが、シャンプーであれば、割といけることが最近わかり、題材をセルフシャンプーにしてやってみた経緯になります！
まずは元となるイラストをtxt2imgで出力
とはいえ、シャンプーイラストをテキストだけで描いてもらうのもなかなか至難の業…なのですが、頑張って以下のもとになるイラストを出力しました！
元イラストをReference_onlyで差分出力！
元イラストをControlNetで以下の設定により、6枚の差分イラストを出力してみました！
結果がこちら！
期待通り、元イラストを崩さず、いろいろな差分イラストを出力できました！
MultiControlNetでポーズ指定①
ControlNetは、MultiControlNetといって、複数のモデルを参照できるので、もうひとつ、Openposeというモデルに、以下の3Dモデル画像を読み込ませて、違うポーズのイラストが出せないか試してみました！
出力結果はこちら！
1枚、髪色が変わった子がでたり、体の破綻してしまったものもありますが、同じ元イラストのテイストで違うポーズをとってもらうことに成功したかな！と思います。
MultiControlNetでポーズ指定②
さらにdepthを追加
さらにもう一つのモデル【depth】を追加して、より3Dモデルのポーズに近いイラストが出せないか、最後にやってみました！
※depthは、読み込んだ画像から奥行を影で立体的に認識して、出力結果に反映させることができるモデルです。
出力結果はこちら！
今回、depthの効き(影響度)を0.3と、ほかのモデルより少なめにかけたのですが、openposeだけより理想のポーズに近いものが出せたかな！と思います！(指の本数があやしいけど、特に上段の真ん中がお気に入り)
いかがでしたか？昨年NovelAIからずっとAI画像生成を追ってきたものとしては、テキスト指示だけでここまで描いてくれたり差分イラストができるのはほんとに夢のような世界です！
まだまだAIは進化していくはずですが、現時点でだいぶ楽しいです…！
今後Loraなのか何か、自分で追加学習したり、そもそもモデルやStableDiffusionの進化でバリカンカットやシザーカットまでテキストで出せるようになったらもっと夢の世界…！と思いつつ、引き続き探求していきたいと思います！
皆様のご支援があればなおさら頑張れます！ぜひメンバーシップへのご参加、お待ちしています！
この記事が気に入ったらサポートをしてみませんか？