スレッタ直った

これまでのあらすじ

はじめて、狙った構図でスレミオ画像を作ることに成功！
→ ついにスレミオが分かれた！

有識者の方に見ていただくと、アップスケールするとよいのではないかとアドバイスをいただいた。
また、こんな色白では、タヌキ感がなくて、スレッタとはいえない！というキビシイ（ごもっともな）指摘も受けた。

高品質化とスレッタ褐色化の実現を目指し、修正作業が行われようとしていた

スレッタの肌を褐色にする

ControlNetのInpaintOnlyでスレッタの肌が見えている部分を領域指定して、プロンプトに「褐色の肌」的な文言を唱えるという作戦で進める。

肌領域を指定するのは、ブラウザ上で手作業でマスク領域を描画するやり方では、さすがに不可能。
しかし、 Segment Anything(SAM) 拡張を使うと、設定することができた。「Copy to Inpaint Upload & img2img ControlNet Inpainting」にチェックを入れると、SegmentAnythingで検出したセグメントをCntrlNetのマスクとして使うことができる。メモリ上に設定されるだけで、目視できないので、分かりにくい点に注意。

肌の色を褐色にするため、プロンプトの文言に「brown skin」を追加して、Generateしてみた。しかし、まったくうまくいかなかった。プロンプトを強調する数字を上げると、顔の色はときどき褐色になるが、手足の肌は変わらないか薄目の暗い色になるだけ。色白美少女多めで学習しているからだろうか？

プロンプトでがんばるのは筋が悪そう。
画像編集ソフトに、SAMで生成したマスク画像を取り込み、少し手直した領域でマスクして、手作業で薄い茶色で塗り潰した。

褐色の肌を取り戻したスレッタ

アップスケール

今回やりたいのは、最後の仕上げとしてのアップスケール。期待しているのは、元画像から形状や色味は大きく変わらないまま、ディテールを描き足してもらうこと。

hires, SDアップスケール, Extraタブの超解像などなど、各種アップスケール方式を試してみたが、なかなか思うような結果にならなかった。

期待に近い結果が得られたのは、次の3つだけだった

1. ControlNet Tile

2. MultiDiffusion（ノーマル）

3. MultiDiffusion_Mixture（NoiseInversion ONにしてControlNet Tileと合わせ技）

いずれも、image2imageで、ControlNetにReferenceとLineArtも合わせて設定している。
ReferenceとLineArtを指定しておかないと、形状と色味が変わってしまう。

以下、1024→2048のアップスケール実行結果例

人物の描き込みは、MultiDiffusion_Mixtureが一番多い。

しかし、3つとも背景が鈍っている。元画像にあったエッジが、どれも消えている。

顔や頭も、エッジに注目して、元画像とMultiDiffusion_Mixturを比べてしまうと、元画像の方がしっかり出ている

マージする

なにかやり方を間違えているところがあるのかもしれないが、残念ながら、私が今回試したやり方では、元画像より描き込みが増える方向にならなかった。

元画像にあった、色ムラなどは消えているので、アップスケールで良くなったと言ってもよい部分もある。滑らかに描画し直されて、よりアニメ調には、なっている。

3.MultiDiffusion_Mixture（アニメ調に描画）と2.MuitiDiffusion（平滑化されている）の画像と
原画のいいとこどりをして、マージしてみることにする。
2. 3. は、原画サイズに縮小してサイズを合わせる。

採用方針

• 背景は、原画

• 人物の頭部のエッジは、原画
  （エッジはCntrolNetのLineArt preprocess画像をマスク画像とすることで抽出）

• 人物の頭部以外は、3.MultiDiffusion_Mixture

• 人物の塗りもれ部分、手の部分は、2. MuitiDiffusion

最終結果

その他、直せる範囲で気になる箇所も直して（画像編集スキル不足で、あまり直せない）、マージした結果がこちら

最終結果

スレッタの肌が褐色になって、アニメ感も強まりました！