【手間なしでAI絵がこんなに上達…❓️】６月までの最新ControlNetの全貌を『１万文字』で超解説❗️IC-LightやPuLID、SDXL版Inpaintなど、話題の機能を徹底解説します❗️
はじめに
最新ControlNetの革新的な技術の数々
どうも皆さん！生命保険は入らないけどペット保険には入るタイプの女、葉加瀬あいです！
皆さん、SNSで見かける 美しいイラストや、リアルな画像合成に「自分でも作れたらなぁ」って思ったことありませんか？でも、高度な画像編集スキルを身につけるのは大変だし、プロに頼むとコストがかかっちゃいますよね…。
でも安心してください！今、画像生成AIの分野で革命が起きてるんです！その名も「ControlNet」！この最先端技術を使えば、誰でも簡単に高品質な画像編集やイラスト作成ができちゃうんです！
特に今回は、2023年6月までに発表されたControlNetの革新的な新機能を一挙にご紹介！5月だけでも IC-LightやPuLID、Scribbleなど、ControlNetにはパワフルな機能がいっぱい追加されてるんですよ！
でも正直、次から次へと登場する画像生成AIの新技術のキャッチアップって大変ですよね。情報が多すぎて、「置いていかれちゃう！」って不安になっちゃう人も多いはず。
そんなみなさんのために、この記事ではControlNetの最新アップデートを丁寧に、わかりやすく解説します！ひとつひとつの機能の特徴と使い方をマスターすれば、もう周りに置いていかれる心配はありません。むしろ、ControlNetを自在に操る一流クリエイターとして、周りを驚かせちゃいましょう！
ControlNetは、AIとディープラーニングの権威 lllyasviel氏率いる開発チームが生み出した技術なんです。このチームは以前にもStable Diffusionという画期的な画像生成AIの発展にもとても寄与していて、その技術力は世界的に認められているんです。
そんな彼らが送り出す最新のControlNet機能を使いこなせば、プロ級の画像編集を驚くほど短時間で、しかも無料で実現できちゃうんです！
具体的には、
①IC-Lightで背景合成と画像フィルターを自在に操る方法、
②PuLIDで理想の似顔絵を生成する手順、
③SDXLのインペイントモデルで部分修正するコツ、
などなど、ステップ・バイ・ステップで解説していきます！
最後までお付き合いいただければ、きっとあなたも画像生成AIの最前線を突っ走るクリエイターになれるはず。それでは、ControlNetの世界最新事情を一緒に見ていきましょう！
⚠️記事を読む前に⚠️
私の記事を読む際の注意点をこちらの記事でまとめていますので、ぜひプロフィールを一読いただいてから、記事をお楽しみください。
それでは、さっそく本題に入っていきましょう！
⚡️動画版もあります⚡️
今回の記事の内容は、動画でもご覧いただけます。動画版が気になる方は、以下のマガジンにYouTubeのリンクを載せておきますので、そちらをチェックしてみてください！
https://note.com/ai_hakase/m/m093618cdf79
例えばこんな使い分けができます！
移動中や通勤中：動画で概要を把握する
実際にAI技術を使う時：テキストを参照しながらコピペしたりリサーチしたりする
特にAI技術関連のトピックは、動画よりもNoteなどのテキスト形式の方が、実践的な学習に適していると思います。
私の記事を読んでくださる情報感度の高い皆さまが、もっと効率よくAIの知識を吸収できるよう、『ユーザー体験』を最大限に高められるよう考えました！
ぜひこのマガジンを活用して、効果的な学習を進めてください！
※ 動画コンテンツは、私のNoteメンバーシップの会員限定となります。
https://note.com/ai_hakase/membership
IC-Lightで背景合成と画像フィルターを一発適用
自然な背景合成と光や影の調整が可能に
IC-Lightって聞いたことある人も多いんじゃないでしょうか？そう、背景合成と画像フィルターが一緒にできちゃう、あの画期的なAI技術ですよね！
実はこのIC-Light、ControlNetの生みの親であるlllyasviel（イリアスヴィエル）さんが開発したものなんです。lllyasvielさんは、機械学習とディープラーニングの分野で超有名な研究者なんです！
Reference Clip：https://lllyasviel.github.io/Style2PaintsResearch/lvmin
コラム：
lllyasvielとは？
lllyasviel（イリアスヴィエル）氏は、機械学習およびディープラーニング分野で著名な研究者および開発者です。
2022年にスタンフォード大学に入学してコンピューターサイエンスの博士号を取得した若き研究者で、2021年には香港中文大学で研究助手を務め、工学の学位も取得しています。若くしてこれだけの実績を持つ、まさに天才肌の人物なんです！
そんなlllyasvielさんが生み出したControlNetは、Stable Diffusionユーザーなら誰もが知る超有名ツール。ポーズの指定や画像の模倣など、テキストだけでは表現しづらかった画像生成が可能になったんです。
(画像の説明：ControlNetを使ってキャラクターを生成した例)
ControlNetの登場は、まさにAI画像生成の革命だったと言っても過言じゃありません。私もこの衝撃的な技術については、以前の記事で詳しく解説しました！
でもそれだけじゃないんです。lllyasvielさんは次に、LayerDiffuseという画期的な技術も開発。これは、画像をレイヤー構造に分解して、段階的に生成や編集を行うというもの。
(画像の説明：LayerDiffuseで、コップの中身だけを透明に編集した例) 参考：https://twitter.com/AIsadakiti/status/1766865111795556502
LayerDiffuse のおかげで、ガラスの透明感など、これまで再現が難しかったリアルな質感表現が可能に。商品画像の編集などにも役立ちそうですよね！
こちらも私が以下の記事で解説しています！
そして今回紹介するIC-Lightは、そのControlNetとLayerDiffuseに続く、lllyasvielさんの3番目の革命児なんです！
IC-Lightの何がすごいって、背景の入れ替えと照明の調整を、たったワンステップで完璧にこなしてくれるところ。例えばこの画像を見てください。
(画像の説明：左が元の画像、中央が背景を切り抜いた画像、右が新しい背景を合成した画像)
指定した背景画像を、自然に重ね合わせてくれるんです。しかも、光の角度を変えるだけで、影の落ち方まで完璧に再現。窓から差し込む光の表現なんて、もうリアルそのものですよね…。
背景画像は、自分で用意することもできるんですよ。こんな風に、好きなの背景にキャラクターを合成することも、IC-Lightならお茶の子さいさい。
(画像の説明：アニメキャラクターの立ち絵に、実写の街並みなどの背景を合成した例)
背景合成に照明調整、さらにフィルター効果まで。IC-Lightは、画像編集に必要な機能を一つに集約した、まさに革新的な技術なんです。
アニメキャラの背景合成にも抜群の効果
IC-Lightのすごいところ、実写とアニメの垣根も超えちゃうんです！
例えば、アニメキャラクターの立ち絵に、実際の風景写真を背景として合成することも可能。こちらの画像では、キャラクターの後ろにリアルな海の写真を配置して、ライティングを調整しているんですが…
なんと、キャラクターに落ちる影まで、実写の背景との整合性を保ってるんです！2Dと3D、アニメと実写の垣根を超えた、シームレスな合成が実現できちゃいます。
(画像の説明：アニメキャラクターの立ち絵に、実写の海の画像を背景として合成した例。キャラクターに自然な影が落ちている) 参考：https://x.com/studiomasakaki/status/1788530345387942270
ちなみに、この画像、ほとんど手動の修正を加えていないんだとか。ここまで自然な合成ができるのは、IC-Lightの圧倒的な技術力の証明ですよね！
コラム：
ControlNetとは？
ControlNetとは、AIで画像生成するときに、ポーズを指定したり、元の画像と似たような画像を作ったりできる技術のことです。
IC-Lightに組み込まれているこの技術により、アニメと実写の背景を自然に入れ替えることなどもできるんですね。
アニメ・リアル問わず高精度な似顔絵が作れる
そしてIC-Light、顔の合成も得意なんです！
他の画像から顔部分を切り取って、元の画像の顔に貼り付ける…。それだけで、自然な顔の差し替えができちゃうんです！
しかも、単純な差し替えではなく、元の画像の照明や影までしっかり再現。
(画像の説明：左上の女性の顔を切り取り、右下の男性の顔に張り付けて自然に合成した例) Reference Clip：https://x.com/br_d/status/1788243597940383847/photo/3
さらに、IC-Lightなら、実写の顔をアニメの顔に置き換えることもできるんです！
Reference Clip：https://x.com/Zuntan03/status/1794872675401388451
リアルな顔写真を元に、アニメタッチの顔を生成する…。このように、IC-Lightは実写とアニメの顔の相互変換も可能にしてくれるんです！
写真のような古い画像の顔を、今風のイラストに変えたり、アニメキャラを実在する人物のような顔にしたり…。
写真からイラストへ、イラストから写真へ。IC-Lightがあれば、そんな画像の垣根を越えた表現が自由自在です！ぜひみなさんも、IC-Lightで新しい画像表現に挑戦してみてくださいね！
みなさんも、IC-Lightを使って、理想の背景を持つ超リアルな画像を作ってみてくださいね！きっと、その表現力の高さに驚くはずです！
そして、ここからはAI技術の悪用防止の観点から、私のノートメンバーシップ会員限定でお届けしていきます！
私のノートメンバーシップでは、AIを便利に使いこなせるようになることを目指しており、初心者の方でも安心してご参加いただけます！（現在、100名以上の方にご利用いただいています🎉）
ぜひ仕事や副業に役立てたり、友人と一緒に活用して絆を深めたりと、様々な場面でお使いください！多数のAIプロジェクトを手がけるプロフェッショナルが、リーズナブルな価格で、安全性と充実した情報量を兼ね備えた解説をお届けします！
続きが気になる方は、ぜひこちらのリンクから会員登録してご覧ください！
それでは、引き続き解説を進めていきましょう！
PuLIDで似顔絵生成が驚くほど簡単に
参照画像の顔を使って似顔絵をAI生成
ここから先は
この記事が気に入ったらサポートをしてみませんか？