ノイズ法XLでイラスト生成したので、気づいたことをまとめてみた。

　先日、noteで下のような記事が公開されていました。
　AIイラストでの描き込みを増やすための「ノイズ法」というテクニックの解説です。素晴らしい。

　ノイズ法は、画面を花が埋め尽くすような圧倒的な描き込み量が特徴ですが、同時に通常のイラストでもディテールの描き込みが緻密になるという効果もあり、かなり汎用製の高いテクニックといえます。

　自分でも実際に試しましたが、出てくるイラストが今まで以上に緻密になって実に楽しい。
　2日ほど沼りました。

　で、いくつか発見があったのでざっくりまとめてみます。
　ノイズ法自体の説明はここではしないので、具体的なやり方などは御月様の記事でご確認ください。

　まず、元記事ではモデルにanimagineを推薦しています。
　自分がメインで使っているpony系と比べると、animagineの方が背景が綺麗に出やすいんですよね…。

　なので、ノイズ法を使う、素直に考えるとanimagine（に限らず背景が綺麗に出るモデルならなんでもいい）ですが、自分の場合、各種LORAなどをPonyで作っちゃってる関係上、Pony以外は使いにくい。

　というわけで、Pony系で多少なりとも背景がマシになるように、背景強めのマージモデル使うことにしました。
　この記事での作例ではオリジナルマージモデル使ってます。
　CIVITAIで公開されているモデルだと「3x3x3」とか「hadrianDelice」は、背景が綺麗な印象です。

CNの種類やanytestのバージョン

　ノイズ法で使うコントロールネット（CN）は「anytest」「lineart」の2種としました。
　tileも試したのですが、効果が強すぎて制御が難しいのでスルー決定。

　anytestはバージョンがいくつもあり、効果も微妙に違うので「これをつかっとけばOK」的なおすすめが難しいです。
　個人的には「v2_20000step_fp16」か「v4-marged-pn_dim64」を使うことが多いですが、正直どれでもいいと思います。

　ただ、どれも出力は変わるので、頻繁に変更すると設定を詰めるのが面倒です。
　最初にある程度テストしてから、お気に入りを数個に絞って運用するのがおすすめです。

　なおlineartですが、元記事様では「lineartXL」を推薦していますが、自分はインストール済みだった「MistoLine」を使いました。
　記事内の説明において、lineartXLとは挙動が違う可能性があるので御了承ください。

CNの強度

　コレに関してはモデルとイラスト内容によるので「ケースバイケース」としかいいようがないです。

　自分の場合は anytest は「Control Weight:0.8」「Starting Control Step:0.2」「Ending Control Step:0.7」で始めて、微調整していくことが多いです。
　lineartは効きが強いので、end step を0.4～0.5にして適用期間を短めにしています。

　startを0にするとプロンプトが効きにくくなるような「気がする」ので、イラストの構成が落ち着いた0.1～0.2stepあたりからノイズ差し込んでいます。

　あとは、weightを弱くしすぎると「実はまるでCNが効いてない」ことがるので、ある程度高めをキープした方が無難かなと。

ノイズの種類

　出力への影響が大きかったのが「ノイズのパターン」。
　ランダム系のノイズと規則正しいノイズだと、効果がかなり変わりました。

ランダムノイズ

規則正しいノイズ

　上２つはノイズパターン以外はまったく同じ設定です。
　ランダムの方が暴れます。
　建物とか幾何学的なパターンなどは規則性のあるノイズ、花畑とか夜空みたいな無秩序な描写はランダムノイズと使い分けると効果的です。

　あと、ノイズ画像の解像度は、イラストの出力解像度が同じになるように修正して使いました。
　1024ｘ1024で用意しておき、縦長横長時は「resize」指定でも問題なさそうな気はしますが、あとで調整するときに同じサイズの方が融通が効きそうだったので…。

FreeUで描き込み量を増やす

　出力のクオリティを上げる「FreeU」というextensionがあるのですが、パラメータ設定でイラスト出力の密度を上げることができます。
　なおForgeにはFreeU的なものが内蔵されていますが、設定できるパラメータが少ないので、ここで説明する方法を同じように使うことはできません。

　FreeUは一言で言うと「色や細部のクオリティを調整する機能拡張」です。
　で、原理がややこしいので、どこをどういじればどうなるみたいな説明が難しいのですが、とりあえず
「stage 1～3の Backbone Scale / Skip Scale / High End Scale 」あたりをいじると密度と色が変わる。
「デフォルト設定だとたいして変化がない」
「Stage3のSkip Scaleを上げてHigh End Scaleを下げるとけっこう変化する」
という感じです。

　とくに「Stage3の数値を弄ると変化が出やすい」です。

　どうしてそうなるかは分かりません。なので間違っているかも知れませんが、とりあえずうまくいっているのでヨシとしています。

　欠点としては、パラメータいじるとプロンプトの再現度に変化がでます。悪い変化だけでなく良い変化もあるので、一概にデメリットとは言えないのですが、プロンプトが扱いにくくなる可能性はあります。

FreeU無し、CNも無し。スッキリとしたシンプルなタッチ。

FreeUのみ。ノーマルと比べるとモザイク画の細密度があがっている。
服のディテールにも変化が見られる。画面下部に髑髏追加されるが、帽子は消えている。
なおプロンプトに「hat」という記述はなく「Wizard」があるのみなので、
プロンプトを無視しているわけではない。

CNのみ。FrreUのみ版と比べ、モザイク画の細密度がさらに上がっている。
服もより緻密になっている印象。一方、彩度はFreeU版と比べるとやや下がっている。
FreeU版にあった髑髏は消えて帽子が復活。

FreeUとCN両方適用。細密さが大幅に上昇！とは言い切れないが、
全体的には緻密になっている印象を受ける。
髑髏は復活しているが帽子はない。

---

　以下有料部分となります。
「アップスケールについて」
「マージモデルに使ったモデル名の一部抜粋」
「筆者が使用しているFreeUのパラメータ」
「イラスト作ったときの流れ」
　などを書いています。
　単体売りというよりは、メンバーシップに登録してくださった方向けの追加情報みたいな位置づけです。
　よろしければ記事購入・メンバーシップ加入よろしくお願いします。