線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開！

2024/04/06フリー公開しました！！！
新しいアプリを作ったので機能の紹介です。こちらのアプリは現在（2024/4/3時点）でfanboxのみで公開（ソースコード自体はgithubで公開）しています。
3日後の2024/04/06にはフリー公開しますので、それまでお待ちください。

【DL先】

https://drive.google.com/file/d/1_LPHAFgs4lzDYGdZmv23aVDiTMnV9Y3t/view?usp=sharing
ファンボックスで支援者様にのみ先行公開しています！

線画から陰影を出力するAIアプリ「Line2Normalmap」アーリーアクセス！｜とりにく｜pixivFANBOX

【ソース】

【モデル開発協力者様】

月須和・那々 (2vXpSwA7)様

【必要スペック】

理論上、CUDAに対応したGPU搭載PCなら動きます。
むしろどのスペックなら動くのか教えてください。
自分の環境だと、ゲーミングノートPC
AMD Ryzen 7 5800HS 16GB 512GB RTX 3050 Laptop GPU
で動きました。
以下は簡単な使い方になります。

①zipファイルをDLし、適当な場所に解凍する

クソデカファイルです。将来的には軽くしたいですが今の時点ではこれで許して。

②セキュリティーソフトの設定で、フォルダと実行ファイル名を除外リストに追加する

例：Windows Defenderの場合、Windows セキュリティ→ウイルスと脅威の防止→ウイルスと脅威の防止の設定→設定の管理→除外
Line2Normalmap.exe(プロセス)
E:\Documents\Freesoft\Line2Normalmap（フォルダ）
NormalmapLighting.exe(プロセス)
E:\Documents\Freesoft\NormalmapLighting（フォルダ）

のように指定する。

③Line2Normalmap.exeを実行

の、前に『Line2Normalmap_model_DL.cmd』を右クリックして管理者権限で実行して下さい。必要なモデルがDLされます。

それでも失敗する場合はブラウザから以下を手動でDLして下さい。

SmilingWolf/wd-vit-tagger-v3 · Hugging Face

control-LoRAs-rank256/control-lora-canny-rank256.safetensors · stabilityai/control-lora at main

sdxl-testlora-normalmap_04b_dim32.safetensors · tori29umai/SDXL_shadow at main

animagine-xl-3.1.safetensors · cagliostrolab/animagine-xl-3.1 at main

④Line2Normalmap.exeを実行

モデルDLが終わったら改めて、Line2Normalmap.exeを実行して下さい。

①線画入力、②canny入力、③画像出力
とそれぞれタブがありますが、それぞれを設定して画像を生成します。

⑤『①線画入力』タブの設定

線画入力タブに線画をドラック&ドロップします。すると画像が表示されるので、そのままprompt分析ボタンを押して、絵の要素をAIに分析させます。
Prompt分析は数十秒かかります。

⑥『②canny入力』タブの設定

こちらはAIに入力する線画です。わからない人は触らなくてもOKです（自動で設定するようにしてもあるので）
こちらは自分で用意したcanny画像をドラック&ドロップすることもできます
分かる人向けへ解説：ControlNet用のインプット画像です。

⑦『③『画像出力』タブの設定

モデル選択：ベースモデルを選択します。よくわかんなかったら触らなくてOK。
選択肢を増やしたいなら『Line2Normalmap/models/Stable-diffusion』フォルダにお好きなSDXLモデルのsafetensorsファイルを設置してください

Prompt：線画入力タブで解析したタグが表示されています。手直しが必要ならここで手直ししといてください。

NegativePrompt：AIに生成させたくないものを指定します。よくわからない人はデフォルトでOKです。

線画忠実度：1.0-1.5まで対応しています。強度が強ければ強いほど線画に忠実になります。基本は1.0で、AIが荒ぶる時にこちらを弄って下さい（Promptも重要です）

分かる人向けへ解説：Line2Normalmap/embeddingsに任意のSDXL用のTextual Inversionを追加しておくと、Prompt欄やNegativePrompt欄に入れて呼び出せます。

⑧画像出力

画像生成ボタンをクリック。

出力画像は『Line2Normalmap//output』フォルダに出力されます

⑨NormalmapLighting.exeを実行

Load Image：画像読み込み
Save Image：画像保存
Arrow display：ライティングの向きをコントロールする矢印の表示のオンオフ
Reset：ライティングの向きのリセット
赤い矢印の上で左ドラッグで左右に回転、右ドラッグで奥行に回転します。

【気が向いたらよろしく】

https://www.fanbox.cc/manage/posts/7570096