お絵描き補助AIアプリ『AI-AssistantV5』fanboxにて先行公開！
【更新履歴】
2024/08/07
fanbox支援者様のみに先行公開
公開先URL：
【はじめに】
「AI-Assistant」は、デジタルお絵描きの作画補助に特化したAIアプリです。カラーイラストから線画を抽出したり、線画を疑似3D画像にしてライティングしたりすることができます。
今回のバージョン5では「棒人間→素体機能」の追加、「アニメ影機能の改良」が行われました。
なお今回のバージョンも無料かつ商用利用OKです！
ただ開発には無限にお金がかかるので、申し訳ないのですが、『fanbox限定で最新版を先行公開』という形に移行していきたいと思います。
（理由としては細かいサポートを捌ききれなくなった事、支援してくれる方々にもっとリターンを返したくなった事、無償公開による広がりすぎでトラブルを避ける為等色々あります）
だいたい月に1度の頻度でバージョンアップしていく予定なので、fanboxで支援登録していない方でV5を使いたい方は一か月ほど全体公開を待って下さい。
【V4までの標準機能】
新機能について触れる前に、「V3」の時点でできていたことをおさらいします。
・image2image（i2i）：入力した画像をなんかいい感じにAIが描き直す。
・線画化：入力した画像を線画にする。ラフでもカラーのAI絵でも線画化することができ、AIの干渉度（入力画像からどれくらい線を変更してよいか）を調整することも可能です。（自分絵lora読み込み機能あり）
・線画入り抜き：太さが平坦な線画を入り抜きのあるいい感じの線画に描き直してくれる。線の太さの調整も可能。（自分絵lora読み込み機能あり）
ノーマルマップ化：線画を入力すると疑似3D画像化できる。次の「ライティング」の下準備に使う
ライティング：疑似3D画像をもとに陰影を作る。このままで使ってもよいし、「アニメ影」に変換することもできる。
アニメ影化：ライティングした画像をアニメ影風に変換する。グリザイユ塗りがお手軽にできます。
リサイズ：画像を最大長辺2880までにリサイズします。モノクロリサイズが得意でカラーは若干色味変わるかも。長辺2048位がちょうどいいです。
色見本：白黒の線画を入力すると、線をできるだけずらさないようにしながら、プロンプトに従ってさまざまな「色見本」を出力します。
着色：バケツ塗りイラストを読み込ませると水彩塗り・アニメ塗り・アニメ塗りの三種類で塗分けてくれます（自分絵lora読み込み機能あり）
【V5で進化したポイント】
①棒人間→素体タブを追加
棒人間を3D素体に変換するタブを作りました。
棒人間は以下のリンクのような形式の棒人間になります。
②アニメ影タブに新しい影タイプ追加
【必要スペック】
簡単に言うと、ある程度高性能なグラフィックボードが搭載されたPCじゃないと動きません。
PCに詳しい方向けに言えば「CUDAに対応したRTX〇〇系のVRAM12GB以上推奨」となりますが、「PCにグラフィックボードが搭載されているかどうか分からない」「自分のPCで動くか自信がない」という方はこちらのアプリで判定してみてください。
https://note.com/tori29umai/n/nce815fff47d0
【インストール方法】
ユーザーは、このソフトウェアを適切に利用し、法的な規制や他人の権利を侵害しないように注意する必要があります。ソフト開発者は、ユーザーがソフトウェアを適切に使用することに関して責任を負いません。
基本的には『手書きでやってはいけないことはAIでもやってはいけない』というルールで運用してください。
①zipファイルをDLし適当な場所に解凍する
クソデカファイルです。
『パスが長すぎて解凍できません』的なエラーが出るときはWindows標準の解凍機能ではなく7-zipというアプリを使って解凍してください
AI_Assistant_V4\AI_Assistantのようにファイルが展開されるので
AI_Assistantフォルダを適当な場所に配置してください。
②セキュリティーソフトの設定で、フォルダと実行ファイル名を除外リストに追加する
例：Windows Defenderの場合、Windows セキュリティ→ウイルスと脅威の防止→ウイルスと脅威の防止の設定→設定の管理→除外
AI_Assistant.exe(プロセス)
E:\Documents\Freesoft\AI_Assistant（フォルダ）
のように指定する。
③各種モデルDL
AI_Assistant.exeを実行の前にに『AI_Assistant_model_DL.cmd』を右クリックして管理者権限で実行して下さい。必要なモデルがDLされます。
失敗する場合はブラウザから以下を手動でDLして下さい。
models/tagger
https://huggingface.co/SmilingWolf/wd-swinv2-tagger-v3
models/Lora
https://huggingface.co/tori29umai/SDXL_shadow/blob/main/anime01.safetensors
models/Lora
https://huggingface.co/tori29umai/SDXL_shadow/blob/main/anime02.safetensors
https://huggingface.co/tori29umai/SDXL_shadow/blob/main/anime03.safetensors
models/Lora
https://huggingface.co/2vXpSwA7/iroiro-lora/blob/main/sdxl/sdxl-boldline.safetensors
models/Lora
models/Lora
https://huggingface.co/tori29umai/lineart/blob/main/sdxl_BWLine.safetensors
models/Lora
https://huggingface.co/tori29umai/flat_color/blob/main/atunuri02.safetensors
https://huggingface.co/tori29umai/flat_color/blob/main/atunuri02.safetensors
models/Lora
https://huggingface.co/tori29umai/flat_color/blob/main/SDXL_baketu2.safetensors
models/Lora
https://huggingface.co/tori29umai/flat_color/blob/main/suisai01.safetensors
models/Lora
https://huggingface.co/tori29umai/flat_color/blob/main/animenuri.safetensors
models/Lora
https://huggingface.co/tori29umai/flat_color/blob/main/animenuri.safetensors
models/ControlNet
models/ControlNet
models/ControlNet
https://civitai.com/models/463436
models/ControlNet
models/ControlNet
https://huggingface.co/2vXpSwA7/iroiro-lora/blob/main/test_controlnet2/CN-anytest_v4-marged_am_dim256.safetensors
models/ControlNet
https://huggingface.co/tori29umai/CN_pose3D_V7/blob/main/CL_am31_pose3D_V7_marged_rank256.safetensors
models/Stable-diffusion
https://huggingface.co/cagliostrolab/animagine-xl-3.1/blob/main/animagine-xl-3.1.safetensors
④AI_Assistant.exeを実行
exeファイルをそのままダブルクリックで起動できます。VRAMが6GB以下の場合自動でVRAMを判定して起動するようになったのでAI_Assistant_lowVRAM.batからの起動は不要です
AI_Assistant_lowVRAM.batから実行した方が動作が早いかもしれません（未検証。誰か報告して）
自分絵LoRAを使いたい場合
AI_Assistant_exUI.batから実行。
※上級者向け
オプションとして、以下の引数を指定することで、起動時の言語を指定できます。ショートカットやbatファイルをご利用下さい。
AI_Assistant.exe --lang=jp
AI_Assistant.exe --lang=en
AI_Assistant.exe --lang=zh_CNさらに引数を追加することで、Stable Diffusion Web UIに対するオプションを追加できます。
デフォルトではこのように指定されています。
AI_Assistant.exe --lang=ja --nowebui --xformers --skip-python-version-check --skip-torch-cuda-test --skip-torch-cuda-test【使い方】
image2imageタブ
AIに画像を読み込ませて、それをベースに生成させる機能を持つタブです。
どシンプルですがAnytestで面白い応用ができるようになりました。
①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②マスク画像：生成したい範囲を白色で指定する。黒色は元画像から変化させない。入力必須ではないので空欄でもよい。
『作成』ボタンで自動生成（失敗することもあるので、その時は手動で手直しすること）
③Anytest画像：Anytest用の画像を入力する。使わないなら空欄でもよい。
Anytestは画像のシルエットを参考にするので、それを意識して使うとよい。
説明が難しいのでいつか具体的な使い方のnoteを書こうと思います！
④Anytest選択：Anytestのバージョン指定。
none:Anytestを使わない普通のi2i
anytestV3：入力画像（Anytest画像）に忠実なanytest。制御が比較的強い。
anytestV3：入力画像（Anytest画像）よりpromptに忠実なanytest。自由度が高い
⑤prompt分析：入力画像のpromptを解析するボタン
⑥prompt：AIに対する指示を入力する。所謂呪文。
⑦negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑧画像再現度（0-0.9）：数値が大きいほど元の画像に近くなり、変化が乏しくなる。
⑨Anytest忠実度（0.35-1.25）：数値が大きいほどAnytestの影響度が高くなる。
⑩生成：生成ボタン。こちらをクリックすると画像が生成される
⑪出力画像：出力画像が表示される
⑫クリップボード：クリップボードに出力画像を張り付ける
⑬線画タブ転送：生成された画像を線画タブの入力欄に転送する
⑭出力先フォルダ：出力先フォルダが開く
image2image：拡張UI
AI_Assistant_exUI.batから実行した時にだけ現れるUI
Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う
線画化タブ
線画を出力する機能を持つタブ。
①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②canny画像：白黒反転した線画みたいなを入力する。
検出される線を濃くしたいとき：20/120
検出される線を薄くしたいときは：150/240
等に設定して調整してください。
③prompt分析：入力画像のpromptを解析するボタン
④prompt：AIに対する指示を入力する。所謂呪文。
⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑥線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。
⑦線画太さ（0-1.4）：数値が大きいほど線が太くなる。
⑧生成：生成ボタン。こちらをクリックすると画像が生成される
⑨出力画像：出力画像が表示される
⑩クリップボード：クリップボードに出力画像を張り付ける
⑪Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する
⑫出力先フォルダ：出力先フォルダが開く
線画化タブ：拡張UI
AI_Assistant_exUI.batから実行した時にだけ現れるUI
Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う
線画入り抜きタブ
マウス等で描いた平坦な線画をなんかいい感じにするタブ。こういうことができます。
①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②prompt分析：入力画像のpromptを解析するボタン
③prompt：AIに対する指示を入力する。所謂呪文。
④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑤線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。
⑥線画太さ（0-1.4）：数値が大きいほど線が太くなる。
⑦生成：生成ボタン。こちらをクリックすると画像が生成される
⑧出力画像：出力画像が表示される
⑨クリップボード：クリップボードに出力画像を張り付ける
⑩Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する
⑪出力先フォルダ：出力先フォルダが開く
線画入り抜きタブ：拡張UI
AI_Assistant_exUI.batから実行した時にだけ現れるUI
Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う
ノーマルマップタブ
疑似3D画像を出力する機能を持つタブ。こういうことができます。
①入力線画：AI生成のベースになる線画を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②prompt分析：入力画像のpromptを解析するボタン
③prompt：AIに対する指示を入力する。所謂呪文。
④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑤線画忠実度（0.5-1.25）：数値が大きいほど線画の影響が強くなる。
⑥生成：生成ボタン。こちらをクリックすると画像が生成される
⑦出力画像：出力画像が表示される
⑧クリップボード：クリップボードに出力画像を張り付ける
⑨Normalmapタブ転送：生成された画像をNormalmapタブの入力欄に転送する
⑩出力先フォルダ：出力先フォルダが開く
ライティングタブ
疑似3D画像をライティングします。
①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②光源プリセット：プリセットの光源を選択できる
③light_yaw：光の角度パラメータその1
④light_pitch：光の角度パラメータその2
⑤specular_power：ライティングされる物質の表面の滑らかさや光沢度
⑥NormalDiffuseStrength: ランバート反射による拡散光の強さ調整を行います。なるほどわからん
⑦SpecularHighlightsStrength: フォン（Phong）の鏡面反射モデルによる鏡面反射の調整をします。わからん
⑧TotalGain: 全体の明るさを調整します。
⑨生成：ライティングされた画像が生成されます
⑩出力画像：出力画像が表示される
⑪クリップボード：クリップボードに出力画像を張り付ける
⑫アニメ影タブ転送：生成された画像をアニメ影タブの入力欄に転送する
⑬出力先フォルダ：出力先フォルダが開く
アニメ影化タブ
ライティングした画像をアニメ影風に変換します。
①入力線画：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②陰影画像：ライティングタブでライティングした画像を入力する。
③prompt分析：入力画像のpromptを解析するボタン
④prompt：AIに対する指示を入力する。所謂呪文。
⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑥影種類：anime01、anime02、anime3、plainmaterialから選べます。plainmaterialが今回追加されました。
⑦生成：生成ボタン。こちらをクリックすると画像が生成される
⑧出力画像：出力画像が表示される
⑨クリップボード：クリップボードに出力画像を張り付ける
⑩出力先フォルダ：出力先フォルダが開く
色見本タブ
promptに応じて見本色を塗ってくれます。あんまり厳密ではないです。
①入力線画：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②prompt分析：入力画像のpromptを解析するボタン
③prompt：AIに対する指示を入力する。所謂呪文。
④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑤生成：生成ボタン。こちらをクリックすると画像が生成される
⑥出力画像：出力画像が表示される
⑦クリップボード：クリップボードに出力画像を張り付ける
⑧出力先フォルダ：出力先フォルダが開く
着色タブ
バケツ塗画像を指定の塗りで着色します
①入力画像：AI生成のベースになる画像を入力する。
バケツ塗り画像を入力すること
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②着色タイプ：水彩、厚塗り、アニメ塗りから選べる。
③prompt：AIに対する指示を入力する。所謂呪文。
④prompt分析：入力画像のpromptを解析するボタン
⑤negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑥画像再現度（0-0.5）：数値が大きいほど元の画像に近くなり、変化が乏しくなる。
⑦生成：生成ボタン。こちらをクリックすると画像が生成される
⑧出力画像：出力画像が表示される
⑨クリップボード：クリップボードに出力画像を張り付ける
⑩出力先フォルダ：出力先フォルダが開く
着色タブ：拡張UI
AI_Assistant_exUI.batから実行した時にだけ現れるUI
着色タイプ：自分のlora塗を使いたい時はNoneを選択
Loraモデル一覧：Lora一覧。選択するとpromptにLoraが追加される
LoRAモデル一覧更新：LoRA一覧を読み込むボタン
LoRAモデル一覧更新ボタンを押した後、Loraモデル一覧からLoRAを選んで使う
リサイズタブ
画像を最大長辺2880までにリサイズします
①入力画像：AI生成のベースになる画像を入力する。
余談だがここに自分が描いたもの以外のイラストを入れてベースに生成することは権利侵害になる可能性があるので許諾を得ていない場合はしないように。
②prompt分析：入力画像のpromptを解析するボタン
③prompt：AIに対する指示を入力する。所謂呪文。
④negative prompt：生成されるイラストから除外したい要素を入力する。
わからなければデフォルトでOK（デフォルトは低品質な画像を取り除く呪文）
⑤長辺の長さ：長い方の辺の長さ。拡大サイズを設定する。
⑥生成：生成ボタン。こちらをクリックすると画像が生成される
⑦出力画像：出力画像が表示される
⑧クリップボード：クリップボードに出力画像を張り付ける
⑨出力先フォルダ：出力先フォルダが開く
【ソースコード】
ソースコードをぺたり
https://github.com/tori29umai0123/AI-Assistant
【最後に】
気が向いたらおひねりください！！！！趣味でやっているけど、開発費が無限にかかるんだわがはは！！！
fanbox支援していただいたり、アマゾン欲しいものリストでギフト券投げてもらったりRPしていただくだけでやる気でます！！
https://www.amazon.co.jp/hz/wishlist/ls/2TWR77F4YVMAR