漫画背景作成におけるAI活用、SketchEdgeとStableDiffusionの比較（使い所の検討）

2023年5月16日 00:51

StableDiffusionのLoRAと、各種ControlNetをうまく使うと、写真やイラストから背景～線画的ななにかを取り出せる（というか生成できる）。
もはやこれでいいじゃん！感があったが、どうもうまくいかないケースも有る。

そこで今回は、前から気になっていた「AIを使って写真から線画を抽出できるサービス」であるSketchEdgeを試用しながら、StableDiffusionとざっくり比較し、どちらがどういう局面で良さそうかの検討を行った。

※追記：結論から言うと、「StableDiffusionはどうしてもグチャッてしまう。それを回避しつつ写真から背景（線画）を作りたいときはSketchEdgeを使うのがいいかもね！」という予想通りな結果にしかならなかったので、「具体的にどう違うのか」「どんな背景ができたか」「実際にどういう線画抽出ができたのか」と言った細かい所に関心がある方向けの記事となっている点、ご了承下さい。

※追記２（20240517）：本記事の最下段に、lineart animeのプリプロセッサで作る線画について小検証を行ったので結果を貼っておく。（精度は良くないので期待禁物）

画像比較のための加工について

ざっくり比較の方法：
タイプが違うフリーの風景写真をいくつか持ってきて、StableDiffusion、SketchEdgeそれぞれを用いて、適宜背景っぽく加工し、比較。

🟥StableDiffusionのアプローチ：
ControlNet lineart animeと、時々depth併用をして、出力したもの。時々小加工。
プロンプトはi2iのInterrogateCLIPなどを利用し、ワード抽出～整理して使用。
数回のガチャのみで、大掛かりなチェリーピッキングはしていない。
※筆者のスキル不足で、うまいこと生成できていない可能性に留意。

🟨SketchEdge利用のアプローチ：
線画をSketchEdgeで抽出（生成）してから、クリスタで元絵のグレー化、トーンカーブ調整などの加工を簡単に施し、背景っぽく合成する。
※筆者が簡単に加工したものなので、線画をうまく扱えていない、仕上げが良くない可能性に留意。

シンプルな路面

自然（紅葉）

夜景と水面

山と水面

細かい建築、街並み

感想

🟥StableDiffusionの良し悪し

・一定の規則を持った美しい描写、例えば建築などをぐちゃらせる

・StableDiffusionは、実際には線画を描いてくれるわけではない。一枚の絵を作ろうとするので、路面の画像のときのように、謎の効果線を加えようとしたり、色を乗せたりする。（それだけならグレーに加工すれば良いが）

・ライティングや表情を、勝手につける。
（のでガチャ等の試行錯誤がいる）
だいたい仕上げてくれるという意味ではポジティブだが、意図しない感じで階調をふんだんに付けられてしまうと、修正の難しさが高まる可能性がある。StableDiffusion生成のライティングをコントロールする方法がまだわからない（できるかもしれないし難しいかもしれない）。

・StableDiffusionは、絵で嘘をつく。例えば、今回の「山と水面」でのテストに置いても、StableDiffusionで生成した絵は、現実と鏡面で、影の付き方が異なっている。

・修正が基本的に必要

🟨SketchEdgeの良し悪し

・ちゃんと使いたい場合、StableDiffusionを動かす投資とは別の投資（680円～/月）が必要

・器械や、街などの細かい画像から、美しい線画を抜き取れる。ゴチャゴチャした器械や建築などとの相性がよく、そういう場合の精度はかなりよいと思われる。

・細かい操作やパラメータ調整が不要で、ボタン一発でいい感じの線画を出してくれる。

・ごちゃごちゃした自然などから線画を抜き取るのは無理がある。（ただ、これは「線画として見ると」ということであって、画像加工前提で、「輪郭を明瞭化するための線画」としては機能は果たせると思う。記事の最後に線画のみを貼っておくので確認してほしい）

・正確。嘘を付かない。余計なものを付け足したり、それっぽいラインを勝手に引いたりしない。（当たり前だが、StableDiffusionとの対比として）

・線画だけなので、背景にする加工が必要