絵柄の違う二つのcheckpointを同時に使う。服装やポーズを固定しつつ別の絵柄に。stable diffusion webui A1111 Hires. fixの豆知識※兼個人メモ

まいどです。
今回は、stable diffusion webui A1111のHires. fixのちょっとした豆知識。

お仕事の方で、社内プレゼン用資料に使う、とあるキャラ絵（版元絵）を出力しなければいけない作業が発生して、そのキャラのLoRAを作って生成していたんですが、LoRAにはそのキャラの身体的特徴だけでなく、そのキャラが着ている服も学習させてしまっていたんですよね。
で、プレゼン用の資料なので、いろんな服やシチュエーションのバリエーションが欲しいとの事だったので、LoRAとプロンプトでなんとか別の服装を出そうとしてたんですが、
『このキャラこのcheckpointが一番元絵に近い画像が出力される』
と言うcheckpointは見つけたんですが、そのcheckpointだと、中々服装が変わってくれなかったのです。
ポーズだけとかなら、そのcheckpointで十分だったのですが、「服装も変えたい」との事だったので、別のcheckpointで試してたのです。
そうすると、今度は服は作りたい服になってくれたのですけど、
『絵柄が変わって元絵のキャラにあまり見えない』
という状態になっちゃいまして。

で、Hires. fixを上手く使えば、服装を変えたキャラの絵柄を、一番近いcheckpoint絵柄に出来るのではないか、と思ってやってみたら、上手くいったので、メモ代わりにここに書いて置こうかなと。

別に特別な手法でも無いのですが、あまり使わない手法だったので。

そのLoRAは社外秘で使えないので、LoRAは無しで普通にトップ絵に使っている絵を趣味用PCで試したものです。

まず、『animaPencilXL』で出力した物

これはこれで可愛いのですけど

次に全く同じ設定で『aamXLAnimeMix_v10』で出力した物

こちらの絵柄がイメージに近いのだけど…

モデルをマージする事も考えましたが、正直面倒だったので、Hires. fixを設定。

Hires. fixを設定した状態

設定画面の所で、Hires. fixでCheckpointとプロンプトを使用するにチェックを入れて、元画像の生成を『animaPencilXL』で生成。
その後、Hires. fixでアップスケールしつつ、Hires. fixのCheckpointに『aamXLAnimeMix_v10』を選択して、Hires. fixのプロンプトにも、生成するプロンプトと全く同じプロンプトを入力。

それで、出来上がった物。

結構上手くいった

うんうん、目の色はちょっと変わっちゃったけど、こうしたかったの。
でも、やっぱり生成速度は遅くなっちゃう。

なら、アップスケーリングを「1」にしたら早く生成出来るのでは…？
と思ってやってみた結果。

画像が粗いよー

画像が粗くなっちゃいました…。
やっぱりアップスケールをかけないとダメでしたか…。

ならば、I2Iでやってみよう。

こっちも粗いよー

Hires. fixでアップスケーリングを「1」に設定したのとあまり差が無いです…。
Denoising strengthを変えれば、綺麗にはなっていくのだろうけど、絵自体が変わるのでそれも違うし。

結果として、I2IではHires. fixが使えないので、T2IでHires. fixを使ってアップスケールしつつ生成した方が、作りたい画像に近い物が出来たと言うお話でした。

でも…やはり…そうなると。
必要なのはマシンスペックかー。

趣味用PCでは生成に結構な時間がかかっちゃいました。

もう少し良い方法がないか探ってみますか。
でもまぁ、とりあえずはコレで対応しときましょ。
生成AIの使い所って一番のメリットは「速度」なので。
多少遅くなっても数分レベルならまぁ問題無し。

今日の明日で資料にペタリンコする画像が欲しいって時には本当に便利です。
他に良い方法が無いかは、隙間時間で試してみますか。

結果として今のところはコレが一番作りたい物に近い物が出来る

あとは、ガチャガチャポンしておけば、生成された物の中に、資料に貼りたいイメージしてたのに近い画像があるでしょう。

それではその間にパワーポイントで資料作りっと。
どんな文脈が良いか教えて、GPT先生。

便利な時代になったものです。

それでは、また。