見出し画像

VRC用テクスチャ利用(AI実験/2024年4月)

yatoracat

今回の目的

VRCモデルの改変素材としてAI画像を使えないか？を試してみます。

※この記事ではモデル本体の改変ではなく、あくまでテクスチャの改変となるため、体の模様の一部や衣装のカラーリングが変更されるに留まります。


今回使ったもの

【使用ツール】
●Nijijourney*1
●Stable Diffusion (webui A1111)*2
●Unity*3
●VRC*4
●CLIP STUDIO PAINT*5
●VRCキャラクターモデル(shimu様)*6
【実験環境】
●GPU : GeForce RTX 3090 (VRAM24GB)
生成・アップスケールをNijijourneyなど外部サービスで行う場合は環境はあまり問いません。
外部サービスの使用はお好みです。
ローカルのStable Diffusion (webui A1111)だけでも代用可能です。
※各プログラム・サービスへのリンクは最後に記載してあります。
※VRCキャラクターモデルデータはshimu様の作品をお借りしています。

作成の手順

大まかな流れは
「コンセプトの検討→画像生成→加工・テクスチャ編集→動作確認」
となります。

（１）コンセプトの検討

今回はNijijourneyで好みのデザインの子が作成できたのでコンセプトとして使用しました。

この子です

anthro, ahoge, solo, hair, kemono, white body, fur, blue eyes, cute fangs, white fur, , hi res, male, fingers, tuft, smile, looking at viewer, canine, canid, 4 fingers, multicolored body, feet, markings, multicolored fur,dragon, full body, ,ethnic clothing,fantasy,landscape, low-angle view,horns,young,detailed background,thick thighs, wide hips, bottomless, backlighting,body fur,fluffy fur,detailed fur, poncho, standing model sheet

prompt / Nijijourney

「民族衣装を着た白いファードラゴンのケモノの子」という方向性です。
注）promptはnijijourney初心者なので参考にしない方がいいと思います。
※じつはこの画像の生成時点ではまだVRCモデルのテクスチャに利用することは考えておらず、単にどんなデザインのキャラクターができるのだろうと遊んでいるだけでした。

（２）画像生成

Nijijourneyを使用して画像生成をしました。
NAIでもStableDiffusionでも好みのデザインが出そうなモデルで作成するといいと思います。
Nijijourneyは比較的シンプルなpromptでもバリエーションのある出力になるので色々なパターンを見たいときに使っています。

▼初期出力

衣装や装飾、模様、体型のバリエーションが出ます
民族衣装のイメージが近かったので中段左を選択しました

▼Vary機能による類似出力

Varyという同系統の類似画像を出力する機能を使います
Subtleは少しの変化、Strongは強い変化になります
ポンチョや装飾、角、尻尾、耳、顔つき、体の模様、体のバランス、色彩等を見て、
好みの出力を選び更にVaryをかけていきます

▼何回かのVaryの繰り返しの後

今回のコンセプトの子にたどり着きました

（３）加工・テクスチャ編集

コンセプト画像の服飾、体の模様、配色を眺めているうちに、VRCモデルのキャラクターですごく似合いそうな子がいたことを思い出しました。

フォシュニアくんです。*6
とてもかわいいのでおすすめです。
白系のファードラで民族衣装…絶対にあう！！と思い、着せてみたいとなったのが今回の実験の始まりでした。

最初に、コンセプト画像からどの部分をテクスチャとして切り出し、どの部分に割り当てるかを考えます。
VRCモデルに同梱されている正規のテクスチャを見ながら検討します。

模様の要素をこのように割り当てました

模様ごとのパーツ割り当てができたら、画像編集ソフトを使いテクスチャの改変をしていきます。
・各部分の模様を投げ縄選択などで選択し、それぞれ別レイヤーとしてパーツ分けします。
・模様が歪んでいる場合はメッシュ変形などでベースのテクスチャに合わせて変形し該当箇所に貼り付けます。
・画像が小さく解像度が不足する場合は適宜アップスケール(SD)します。

例：ポンチョ(裾)部分
ぐにゃ～ → ピシッ！
をパーツ分繰り返し…
切り出し整理して作成したパターン

スカーフ部分などデフォルト衣装との対応箇所がないテクスチャは適宜別の部分に置き換え、耳や尻尾の先端などの形状の違う部分はそれらしく見える範囲で貼り付けました。
フォシュニアくんのテクスチャPSD、細かくパーツ分けされていて編集がとてもやりやすかったです。

（４）動作確認

改変テクスチャを保存してUnityで読み込みます。
貼る位置がズレていた場合はペイントソフトで修正→保存→反映した画面の確認をして位置が合うまで繰り返します。

かわいい
しっぽ

Unity画面上で問題なさそうならVRCにアップロードします。

ﾃﾃｰﾝ
がお

結論：フォシュニアくんは元がかわいいので大体何を着せてもかわいい。

まとめ

VRCモデル改変のためのコンセプトイメージ、テクスチャ素材としてAI画像を使用してみました。
キャラクターだけでなく同様にワールドのデザイン・テクスチャにも活用できると思います。
直接テクスチャ自体(模様のパターン)の生成もできそうです。
今回は漠然と民族衣装風でしたが、より具体的にエジプト風や北欧風などの文化スタイルを指定したり、スタイル同士を掛け合わせることで衣装デザインの幅も増やせそうです。
VRCモデルの改変は初めてだったのでそれも勉強になりました。
ここまでお読み頂きありがとうございました。

参考リンク

*1 nijijourney (AI画像生成サービスです)

https://nijijourney.com/

*2 Stable Diffusion (webui A1111) ローカル生成AIプログラム本体

*3 Unity 及び VCC

*4 VRChat

*5 CLIP STUDIO PAINT

*6 オリジナル3Dモデル ◁フォシュニア▷ | Ama ama 15 ㅊ福 (shimu様)


この記事が気に入ったらサポートをしてみませんか？