お絵描き補助AIアプリ『AI-AssistantV4』fanboxにて先行公開！

【更新履歴】

お絵描き補助AIアプリ『AI-AssistantV4』先行公開！｜とりにく｜pixivFANBOX

2024/07/02
fanbox支援者様のみに先行公開
公開先URL：

お絵描き補助AIアプリ『AI-AssistantV4』先行公開！｜とりにく｜pixivFANBOX

【はじめに】

「AI-Assistant」は、デジタルお絵描きの作画補助に特化したAIアプリです。カラーイラストから線画を抽出したり、線画を疑似3D画像にしてライティングしたりすることができます。
今回のバージョン4では「着色機能」「線画・着色タブに自分絵lora読み込み機能」という2つの新機能を搭載しました。

なお今回のバージョンも無料かつ商用利用OKです！
ただ開発には無限にお金がかかるので、申し訳ないのですが、『fanbox限定で最新版を先行公開』という形に移行していきたいと思います。
（理由としては細かいサポートを捌ききれなくなった事、支援してくれる方々にもっとリターンを返したくなった事、無償公開による広がりすぎでトラブルを避ける為等色々あります）
だいたい月に1度の頻度でバージョンアップしていく予定なので、fanboxで支援登録していない方でV4を使いたい方は一か月ほど全体公開を待って下さい。
V5がでたらV4を全体公開にする。みたいな一つずつずらして公開みたいな感じになると思います！

【V3までの標準機能】

新機能について触れる前に、「V3」の時点でできていたことをおさらいします。
・image2image（i2i）：入力した画像をなんかいい感じにAIが描き直す。

・線画化：入力した画像を線画にする。ラフでもカラーのAI絵でも線画化することができ、AIの干渉度（入力画像からどれくらい線を変更してよいか）を調整することも可能です。

・線画入り抜き：太さが平坦な線画を入り抜きのあるいい感じの線画に描き直してくれる。線の太さの調整も可能。

ノーマルマップ化：線画を入力すると疑似3D画像化できる。次の「ライティング」の下準備に使う

ライティング：疑似3D画像をもとに陰影を作る。このままで使ってもよいし、「アニメ影」に変換することもできる。

アニメ影化：ライティングした画像をアニメ影風に変換する。グリザイユ塗りがお手軽にできます。

リサイズ：画像を最大長辺2880までにリサイズします。モノクロリサイズが得意でカラーは若干色味変わるかも。長辺2048位がちょうどいいです。

色見本：白黒の線画を入力すると、線をできるだけずらさないようにしながら、プロンプトに従ってさまざまな「色見本」を出力します。

【V4で進化したポイント】

①着色タブを追加

希望の多かった着色タブを追加しました。
バケツ塗りイラストを読み込ませると水彩塗り・アニメ塗り・アニメ塗りの三種類で塗分けてくれます。

②自分絵lora読み込み機能を線画・着色タブに追加

fanbox限定でビルド版・colab版を配布しているアプリ『CoppyLora_webUI』で作った自分絵loraを読み込めるようになりました。

こちらはフォロワーさんたちに実験に付き合ってもらった例ですが、

どうぞ！ pic.twitter.com/3OVtGfBMGN

— KALIN (@kozukiren) June 30, 2024

こちらの画像一枚で学習させたloraを使ってバケツ塗を着色するとこのようになります。

まぁこれは上手くいった例ですが、こんな感じで自分の線画や塗りを取り込むことができるようになりました。

【必要スペック】

簡単に言うと、ある程度高性能なグラフィックボードが搭載されたPCじゃないと動きません。
PCに詳しい方向けに言えば「CUDAに対応したRTX〇〇系のVRAM12GB以上推奨」となりますが、「PCにグラフィックボードが搭載されているかどうか分からない」「自分のPCで動くか自信がない」という方はこちらのアプリで判定してみてください。

【インストール方法】

ユーザーは、このソフトウェアを適切に利用し、法的な規制や他人の権利を侵害しないように注意する必要があります。ソフト開発者は、ユーザーがソフトウェアを適切に使用することに関して責任を負いません。
基本的には『手書きでやってはいけないことはAIでもやってはいけない』というルールで運用してください。

①zipファイルをDLし適当な場所に解凍する

クソデカファイルです。
『パスが長すぎて解凍できません』的なエラーが出るときはWindows標準の解凍機能ではなく7-zipというアプリを使って解凍してください
AI_Assistant_V4\AI_Assistantのようにファイルが展開されるので
AI_Assistantフォルダを適当な場所に配置してください。

②セキュリティーソフトの設定で、フォルダと実行ファイル名を除外リストに追加する

例：Windows Defenderの場合、Windows セキュリティ→ウイルスと脅威の防止→ウイルスと脅威の防止の設定→設定の管理→除外
AI_Assistant.exe(プロセス)
E:\Documents\Freesoft\AI_Assistant（フォルダ）
のように指定する。

③各種モデルDL

AI_Assistant.exeを実行の前にに『AI_Assistant_model_DL.cmd』を右クリックして管理者権限で実行して下さい。必要なモデルがDLされます。

失敗する場合はブラウザから以下を手動でDLして下さい。

models/tagger

SmilingWolf/wd-swinv2-tagger-v3 · Hugging Face

models/Lora

anime01.safetensors · tori29umai/SDXL_shadow at main

models/Lora

anime02.safetensors · tori29umai/SDXL_shadow at main

anime03.safetensors · tori29umai/SDXL_shadow at main

models/Lora

sdxl/sdxl-boldline.safetensors · 2vXpSwA7/iroiro-lora at main

models/Lora

sdxl-testlora-normalmap_04b_dim32.safetensors · tori29umai/SDXL_shadow at main

models/Lora

sdxl_BWLine.safetensors · tori29umai/lineart at main

models/Lora

https://huggingface.co/tori29umai/flat_color/blob/main/atunuri02.safetensors

atunuri02.safetensors · tori29umai/flat_color at main

models/Lora

SDXL_baketu2.safetensors · tori29umai/flat_color at main

models/Lora

suisai01.safetensors · tori29umai/flat_color at main

models/Lora

animenuri.safetensors · tori29umai/flat_color at main

models/ControlNet

control-LoRAs-rank256/control-lora-canny-rank256.safetensors · stabilityai/control-lora at main

models/ControlNet

Kataragi_lineartXL-lora128.safetensors · kataragi/ControlNet-LineartXL at main

models/ControlNet

ControlNet 852_a_clone_xl - v1.0 | Stable Diffusion Controlnet | Civitai

models/ControlNet

test_controlnet2/CN-anytest_v3-50000_pn_dim256.safetensors · 2vXpSwA7/iroiro-lora at main

models/ControlNet

test_controlnet2/CN-anytest_v4-marged_am_dim256.safetensors · 2vXpSwA7/iroiro-lora at main

models/Stable-diffusion

animagine-xl-3.1.safetensors · cagliostrolab/animagine-xl-3.1 at main

④AI_Assistant.exeを実行

exeファイルをそのままダブルクリックで起動できます。
VRAMが6GB以下の場合
AI_Assistant_lowVRAM.batから実行した方が動作が早いかもしれません（未検証。誰か報告して）
自動でVRAMを判定して起動するようになったのでAI_Assistant_lowVRAM.batからの起動は不要です

自分絵LoRAを使いたい場合
AI_Assistant_exUI.batから実行。

※上級者向け
オプションとして、以下の引数を指定することで、起動時の言語を指定できます。ショートカットやbatファイルをご利用下さい。

AI_Assistant.exe --lang=jp
AI_Assistant.exe --lang=en
AI_Assistant.exe --lang=zh_CN

さらに引数を追加することで、Stable Diffusion Web UIに対するオプションを追加できます。
デフォルトではこのように指定されています。

AI_Assistant.exe --lang=ja --nowebui --xformers --skip-python-version-check --skip-torch-cuda-test --skip-torch-cuda-test

【使い方】

image2imageタブ

AIに画像を読み込ませて、それをベースに生成させる機能を持つタブです。
どシンプルですがAnytestで面白い応用ができるようになりました。

①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。（キャプチャ機能は廃止されました。すまねぇ）

②マスク画像：生成したい範囲を白色で指定する。黒色は元画像から変化させない。入力必須ではないので空欄でもよい。
『作成』ボタンで自動生成（失敗することもあるので、その時は手動で手直しすること）

③Anytest画像：Anytest用の画像を入力する。使わないなら空欄でもよい。
Anytestは画像のシルエットを参考にするので、それを意識して使うとよい。
説明が難しいのでいつか具体的な使い方のnoteを書こうと思います！

④Anytest選択：Anytestのバージョン指定。
none:Anytestを使わない普通のi2i
anytestV3：入力画像（Anytest画像）に忠実なanytest。制御が比較的強い。
anytestV3：入力画像（Anytest画像）よりpromptに忠実なanytest。自由度が高い

⑤prompt分析：入力画像のpromptを解析するボタン

⑥prompt：AIに対する指示を入力する。所謂呪文。

⑦negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑧画像再現度（0-0.9）：数値が大きいほど元の画像に近くなり、変化が乏しくなる。

⑨Anytest忠実度（0.35-1.25）：数値が大きいほどAnytestの影響度が高くなる。

⑩生成：生成ボタン。こちらをクリックすると画像が生成される

⑪出力画像：出力画像が表示される

⑫クリップボード：クリップボードに出力画像を張り付ける

⑬線画タブ転送：生成された画像を線画タブの入力欄に転送する

⑭出力先フォルダ：出力先フォルダが開く

image2image：拡張UI

AI_Assistant_exUI.batから実行した時にだけ現れるUI

Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う

線画化タブ

線画を出力する機能を持つタブ。

①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②canny画像：白黒反転した線画みたいなを入力する。
検出される線を濃くしたいとき：20/120
検出される線を薄くしたいときは：150/240
等に設定して調整してください。

③prompt分析：入力画像のpromptを解析するボタン

④prompt：AIに対する指示を入力する。所謂呪文。

⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑥線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。

⑦線画太さ（0-1.4）：数値が大きいほど線が太くなる。

⑧生成：生成ボタン。こちらをクリックすると画像が生成される

⑨出力画像：出力画像が表示される

⑩クリップボード：クリップボードに出力画像を張り付ける

⑪Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する

⑫出力先フォルダ：出力先フォルダが開く

線画化タブ：拡張UI

AI_Assistant_exUI.batから実行した時にだけ現れるUI

Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う

線画入り抜きタブ

マウス等で描いた平坦な線画をなんかいい感じにするタブ。こういうことができます。

①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②prompt分析：入力画像のpromptを解析するボタン

③prompt：AIに対する指示を入力する。所謂呪文。

④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑤線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。

⑥線画太さ（0-1.4）：数値が大きいほど線が太くなる。

⑦生成：生成ボタン。こちらをクリックすると画像が生成される

⑧出力画像：出力画像が表示される

⑨クリップボード：クリップボードに出力画像を張り付ける

⑩Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する

⑪出力先フォルダ：出力先フォルダが開く

線画入り抜きタブ：拡張UI

AI_Assistant_exUI.batから実行した時にだけ現れるUI

Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う

ノーマルマップタブ

疑似3D画像を出力する機能を持つタブ。こういうことができます。

①入力線画：AI生成のベースになる線画を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②prompt分析：入力画像のpromptを解析するボタン

③prompt：AIに対する指示を入力する。所謂呪文。

④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑤線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。

⑥生成：生成ボタン。こちらをクリックすると画像が生成される

⑦出力画像：出力画像が表示される

⑧クリップボード：クリップボードに出力画像を張り付ける

⑨Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する

⑩出力先フォルダ：出力先フォルダが開く

ライティングタブ

疑似3D画像をライティングします。

①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②光源プリセット：プリセットの光源を選択できる

③light_yaw：光の角度パラメータその1

④light_pitch：光の角度パラメータその2

⑤specular_power：ライティングされる物質の表面の滑らかさや光沢度

⑥NormalDiffuseStrength: ランバート反射による拡散光の強さ調整を行います。なるほどわからん

⑦SpecularHighlightsStrength: フォン（Phong）の鏡面反射モデルによる鏡面反射の調整をします。わからん

⑧TotalGain: 全体の明るさを調整します。

⑨生成：ライティングされた画像が生成されます

⑩出力画像：出力画像が表示される

⑪クリップボード：クリップボードに出力画像を張り付ける

⑫アニメ影タブ転送：生成された画像をアニメ影タブの入力欄に転送する

⑬出力先フォルダ：出力先フォルダが開く

アニメ影化タブ

ライティングした画像をアニメ影風に変換します。

①入力線画：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②陰影画像：ライティングタブでライティングした画像を入力する。

③prompt分析：入力画像のpromptを解析するボタン

④prompt：AIに対する指示を入力する。所謂呪文。

⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑥影種類：anime01、anime02、anime3から選べます。増えていく予定

⑦生成：生成ボタン。こちらをクリックすると画像が生成される

⑧出力画像：出力画像が表示される

⑨クリップボード：クリップボードに出力画像を張り付ける

⑩出力先フォルダ：出力先フォルダが開く

色見本タブ

promptに応じて見本色を塗ってくれます。あんまり厳密ではないです。

①入力線画：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②prompt分析：入力画像のpromptを解析するボタン

③prompt：AIに対する指示を入力する。所謂呪文。

④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑤生成：生成ボタン。こちらをクリックすると画像が生成される

⑥出力画像：出力画像が表示される

⑦クリップボード：クリップボードに出力画像を張り付ける

⑧出力先フォルダ：出力先フォルダが開く

着色タブ

バケツ塗画像を指定の塗りで着色します

①入力画像：AI生成のベースになる画像を入力する。
バケツ塗り画像を入力すること
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②着色タイプ：水彩、厚塗り、アニメ塗りから選べる。

③prompt：AIに対する指示を入力する。所謂呪文。

④prompt分析：入力画像のpromptを解析するボタン

⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑥画像再現度（0-0.5）：数値が大きいほど元の画像に近くなり、変化が乏しくなる。

⑦生成：生成ボタン。こちらをクリックすると画像が生成される

⑧出力画像：出力画像が表示される

⑨クリップボード：クリップボードに出力画像を張り付ける

⑩出力先フォルダ：出力先フォルダが開く

着色タブ：拡張UI

AI_Assistant_exUI.batから実行した時にだけ現れるUI

着色タイプ：自分のlora塗を使いたい時はNoneを選択
Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う

リサイズタブ

画像を最大長辺2880までにリサイズします

①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。

②prompt分析：入力画像のpromptを解析するボタン

③prompt：AIに対する指示を入力する。所謂呪文。

④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）

⑤長辺の長さ：長い方の辺の長さ。拡大サイズを設定する。

⑥生成：生成ボタン。こちらをクリックすると画像が生成される

⑦出力画像：出力画像が表示される

⑧クリップボード：クリップボードに出力画像を張り付ける

⑨出力先フォルダ：出力先フォルダが開く

【ソースコード】

ソースコードをぺたり

【最後に】

気が向いたらおひねりください！！！！趣味でやっているけど、開発費が無限にかかるんだわがはは！！！
fanbox支援していただいたり、アマゾン欲しいものリストでギフト券投げてもらったりRPしていただくだけでやる気でます！！

とりにく｜pixivFANBOX

Amazonほしい物リストを一緒に編集しましょう