見出し画像

【すべてローカル】画像生成AI技術をBlenderで利用する④【中級】

はじめに

下記事のつづきです。

日本語文字をBlenderで貼り付ける

(ラテン文字)英語と中国語の開発はさかんに行われていますが、日本語はなかなか実用レベルのものが出てきません。

仕方がないので、Blenderを利用してAI生成画像に日本語文字を貼り付けます。まずは、生成画像の謎文字を削除します。

左:Flux.1で生成した画像 右:IO-paintで謎文字を削除

戦略としては、文字デカール画像を作成して貼り付けます。ただし、平坦な2D画像に貼り付けるだけでは違和感が出てしまうので、AIで立体化した後に表面へ貼り付けます。

文字デカール

下記事の方法で立体化させたものに、文字を貼り付けます。

Marigoldの深度マップを「Displace」モディファイアで適用します。

Marigoldで立体化

デカールを貼り付ける際に立体感が強くなるように、凹凸を強調させます。また、深度マップそのままだとガタガタするので、貼り付ける場所をなめらかにします。

Sculptingで凹凸を増やす

アルファ値(透明度)ありのデカールをテクスチャとして貼り付けます。

文字を貼り付ける

「Mapping」ノードの値を調整して、貼り付けたい場所へ移動します。

位置を調整する

最後に、Stable Diffusionのインペイントを利用してDenoising strengthの値を0.3〜0.4程度にして、文字が崩れない程度に調整します。

img2img(インペイト) でなじませる

まとめ

プロンプトベースで画像へ文字を埋め込むのが簡単になってきましたが、未だに日本語がないのが残念です。

ここで紹介した「3D化→表面へ貼り付け」の手法はかなり一般化できます。模様やキャラクターも貼り付けられるので便利です。

【PR】

記事で紹介したMarigoldやIO-Paintの導入方法は下記事で丁寧に説明しています。


この記事が気に入ったらサポートをしてみませんか?