StableDiffusionでシームレスなテクスチャ・タイリング画像を出力する方法

2022年8月27日 14:15

先日、StableDiffusionでシームレスなテクスチャを出力してみたのですが、たくさんの反響があったのでnoteで使用方法について具体的に書いてみました。こちらの記事は既にローカルでStableDiffusionの実行環境を構築していることが前提となります。

StableDiffusionでテクスチャループ系の単語入れてもループしてそうでループしてないテクスチャが生成されがちなんだけど、こちらのlox9973 さんの作られたスクリプトを使うとダイレクトにシームレスなテクスチャ画像が生成されました。凄すぎん？https://t.co/heI3rSxb4S https://t.co/BcH7moOJLp pic.twitter.com/pIAL0NuoE7
— ふるるー (@fururu3d) August 24, 2022

まず初めに、lox9973さんが2022年8月25日にシームレスなテクスチャ画像を出力する為のスクリプトを作成し、公開してくださいました。神に感謝。

継ぎ目のない繰り返しテクスチャ作り放題！！！#stablediffusion pic.twitter.com/r9usLGYyX1
— suzuki_ith (@suzuki_ith) August 24, 2022

こちらの公開されているスクリプトを利用して、シームレスな画像を出力する方法を解説します。Diffusersを使って出力している場合とtxt2img.pyを直接実行している場合で２種類ご紹介します。

(方法1) Diffusersを使って出力している場合

diffusersを使って実行している場合は tileable.py の17行目

pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", use_auth_token=YOUR_TOKEN)

YOUR_TOKENの部分をhugging faceで取得したトークンに置きかえます。一度diffusersでの動作セットアップを行っている必要があります。

次にコマンドプロンプトから
python tileable.py　
を実行すると
stable_diffusionフォルダにoutput.pngが出力されました。確認するとシームレスな画像になっています。凄い！

(方法2)「 txt2img.py」を直接実行している場合

stable-diffusion\scriptsフォルダのtxt2img.pyを改変します。
ライブラリのインポートが終わったあたり、txt2img.pyの24行目くらいにtileable.py の以下の部分をコピペして挿入して保存します。（ちなみに出力される画像はすべてシームレスな画像として出力される為、コピーして別ファイルで行うのを推奨）と言いつつ自分は元ファイルでやります。

def patch_conv(klass):
	init = klass.__init__
	def __init__(self, *args, **kwargs):
		return init(self, *args, **kwargs, padding_mode='circular')
	klass.__init__ = __init__

for klass in [torch.nn.Conv2d, torch.nn.ConvTranspose2d]:
	patch_conv(klass)