見出し画像

【ControlNet1.1】で出来ること！重要４モデルの導入と使い方【Stable Diffusion Web UI】

これすご-AIクリエイティブ-

この記事では、Stable Diffusion Web UIにControlNetを導入する方法と使い方について解説します

ControlNetとは、Stable Diffusionで使える拡張機能で、参考にした画像と同様のポーズをとらせたり、顔を似せたまま様々な画像を生成したり、様々なことに活用できるとても便利な拡張機能です。

Youtubeでも解説しました

ControlNet便利機能４選

ControlNetにはいくつも機能がありますが、今回は特に使える以下の４つの機能について解説します。

  1. Canny

  2. Openpose

  3. Reference_only

  4. Tile_resample

Canny

Cannyは画像から線画を生成し、そこに色を塗ってイラストを生成するモデルです。

色を変えたい、実写系をそのままアニメ系に変換する際にとても有効なモデルです。

Openpose

ControlNetといえば、Openposeというぐらい代表的なモデルです。

openposeを使えば、簡単にポーズをとらせることができます。

reference_only

reference_onlyを使えば、以下のように首から上を固定したまま様々な画像を生成できるとても革新的なモデルです。

グラビア写真集などで実力を発揮しそうです。

Tile_resample

Tileは絵をより綺麗にアップスケール（高画質化）してくれる機能です。
左がオリジナルの画像で、右がTile_resampleを使って生成した画像になります。

オリジナルの画像でも十分綺麗ですが、右のほうが情報量が増してより綺麗にっていますよね。

高画質化する方法として、HiresやTile diffusionを使う方もいると思いまうが、以下のように手や制服、背景も少し変わってしまうことがあります。

Hiresを使うと手、制服、口などが大きく変わってしまっています。

ControlNetの導入方法

ControlNetを使用するには、拡張機能の追加とモデルの追加の２つ必要になります。

ControlNet拡張機能の追加

Web UIを起動し、「Extensions」タブ「installform URL」タブに移動し、以下URLを貼り付けて「install」ボタンをクリックします

https://github.com/Mikubill/sd-webui-controlnet

数秒すると「restart」と表示がでるので、「installed」タブに移動し、「Apply and restart UI」ボタンをクリックします
Web UIが再起動されます

すでにControlNetがインストールされている場合は、「Check for updates」をクリックしてアップデートしましょう。

以下画面のとおり、ControlNetの項目が追加されていれば成功です。

ControlNetモデルの追加

以下リンクからHaggingFaceのサイトを開きます

サイトが開いたら、必要なモデルをダウンロードしてください。
ファイル名にモデル名が書いています。

今回は「canny」「openpose」「reference_only」「tile」を使用します。
ファイルサイズが大きいので、使用するモデルだけダウンロードするほうがいいと思います。
※referenceのモデルはダウンロードする必要はありません。

必要なモデルにある下矢印をクリックしてダウンロードしてください。

ダウンロードしてきたモデルファイルを「stable-diffusion-webui」-「models」-「ControlNet」の中に入れましょう

ControlNetの使い方

ControlNetの項目をクリックして開きます

  1. 画像をドロップする

  2. Enableにチェックを入れてControlNetを有効にします

  3. Preprocessorを選ぶ

  4. Modelを選ぶ

  5. Control Weightで強さを調整しましょう。0.7から1.5ぐらいがおすすめ

Cannyの使い方

Cannyは、元にした画像から線画を生成し、その線画に色を塗ってイラストを生成するモデルです。

実写の写真から簡単にアニメ系のイラストに変換することもできます。

Openposeの使い方

Imageにとらせたいポーズの画像をドロップし、Preprocessorを「Openpose」にし、Modelを「Openpose」にします。

※棒人間からイラストを生成する場合はPreprocessorはnoneで大丈夫です。

実写系でもアニメ系でも、簡単に同じようなポーズをとらせることができます。

棒人間からイラストを生成する際はPreprocessorは不要なのでnoneを選びましょう。

Reference_onlyの使い方

お気に入りの顔写真をImageにいれ、Preprocessorを「reference_only」にします。

顔を似せて様々なスタイルの画像を簡単に生成することができます。


Tile_resampleの使い方

高解像度化したい画像をドロップし、Preprocessorを「tile_resample」にし、Modelを「Tile」に変更します。

Tile_resampleを使うと簡単に高解像度な綺麗なイラストにすることができます。

まとめ

今回は、ControlNetの導入と使い方について解説させていただきました。

その中でも特にこの「Canny」「Openpose」「reference_only」「Tile_resample」４つのモデルはよく使います。

ControlNetはまだまだ進化の途中で、これからも新しいモデルがどんどん追加されていくと思います。

また新しい情報がでたら解説したいと思います。

この記事が気に入ったらサポートをしてみませんか？