とりにく

とりにく

diffusersのControlnetをControl-LoRAに変換する

自分用備忘録です。わかる人だけ読んでね。 セットアップcd c:\git clone https://github.com/laksjdjf/sd-trainer.gitcd sd-trainerpython -m venv venvvenv\Scripts\activatepip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.o

とりにく

    • vast.AIでDart V2でイラストを3万枚（目標）作成し、HuggingFaceに自動アップロード

      上記の記事のほぼパクリですが自分用メモで！ ControlNet学習用の画像が3万枚ほど欲しくなったので（そんな日もありますよね）ランダム生成することにしました。 しかし3万枚もローカル生成するとなると爆音による安眠妨害もいいところなので、レンタルGPU鯖を使うことにしました。 そんな感じの自分向け備忘録です。 2024/05/17追記 考えてみればprompt生成の部分はローカルでやってもいいと思ったので一部手順やコードを書き換えています 2024/05/18追記 sd

      とりにく

      • お絵描き補助AIアプリ『AI-Assistant』全体公開！

        全体公開しました！ 【更新履歴】2024/04/30 fanbox支援者のみに先行公開 2024/05/03 全体公開 2024/05/12 多言語対応（日本語・英語・中国語）＆より線画に忠実になるように改良 【DL先】https://drive.google.com/file/d/1DuKeDAgRbmOaaN6W0THEwBOrxBL0q708/view?usp=sharing 予備URL： https://www.dropbox.com/scl/fi/zn2

        とりにく

        • 生成AIを使って漫画を1本描いてみた話

          今回は日記的な備忘録です。最後にちょっとだけ技術的なネタも話すけど。 まぁ内容は、タイトルとおりです。 本題に入る前に自己紹介を。私はとりにくです。気が付いたらフリーランスのエンジニアになっていた絵もちょっと描く人です。 漫画を描いた経験は殆どありません。 AI以前だと、クリスタを購入してテンション上がった時の漫画？がありましたがなんかこう、そういう感じです（刀剣乱舞二次創作） AI以前に描いた漫画まぁ御覧の通り、ほとんど漫画カラテもお絵描きカラテもないことがわかるでしょ

          とりにく

        diffusersのControlnetをControl-LoRAに変換する

        とりにく

          Blenderで3Dモデルを読みこみ一括でDepthを撮影する

          自分用メモです。 ランダムに色んな角度から連番で保存import bpyfrom mathutils import Vectorimport globimport osimport randomimport mathimport shutil# Set the desired number of images to generatenum_images = 10 # For example, generate 10 images# Path settingsmodelpa

          とりにく

          Blenderで3Dモデルを読みこみ一括でDepthを撮影する

          とりにく

          線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開！

          2024/04/06フリー公開しました！！！ 新しいアプリを作ったので機能の紹介です。こちらのアプリは現在（2024/4/3時点）でfanboxのみで公開（ソースコード自体はgithubで公開）しています。 3日後の2024/04/06にはフリー公開しますので、それまでお待ちください。 【DL先】https://drive.google.com/file/d/1_LPHAFgs4lzDYGdZmv23aVDiTMnV9Y3t/view?usp=sharing ファンボックス

          とりにく

          線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開！

          とりにく

          第三回生成AIなんでもLT会感想

          まず最初に当日の発表資料公開をば。説明しきれなかったこといっぱいあるなぁ。 資料URLアプリ&ソース配布stable-diffusion-webui-forgeビルド関連陰影LoRA（コピー機LoRA）線画→疑似3D画像CN学習その後の研究進捗（現在進行形）つまり月須和さんがすごい 各発表感想お家で簡単GPUサーバー　ProxmoxでGPU環境をぶっこわす だだっこぱんだ(@ddPn08)さんによる、なんとも過激なタイトルですがProxmoxの紹介でした。 発表だけでは

          とりにく

          第三回生成AIなんでもLT会感想

          とりにく

          線画から陰影を出力するAIアプリ「Line2Shadow」公開！

          【DL先】https://drive.google.com/file/d/1-nI0CBcFgLvYLLn-M6LpXxmfczjTMZtp/view?usp=sharing 【ソース】https://github.com/tori29umai0123/Line2Shadow/tree/main 【必要スペック】理論上、CUDAに対応したGPU搭載PCなら動きます。 むしろどのスペックなら動くのか教えてください。 自分の環境だと、ゲーミングノートPC AMD Ryzen

          とりにく

          線画から陰影を出力するAIアプリ「Line2Shadow」公開！

          とりにく

          stable-diffusion-webui-forgeをビルドする

          タイトル通りです。 いや正しくはstable-diffusion-webui-forgeをバックエンドとして組み込んだアプリをビルドする、なんですが。詰まったところを書きます。 ①ビルドする為に一括ファイル変換まず普通にstable-diffusion-webui-forgeのファイルをvenv以外丸ごとコピーします（くそ雑導入） そして名前を『C:/Line2Shadow』に変更 pyinstallerでビルドする際、ファイルのパス指定が原因でビルドした実行ファイルが正常

          とりにく

          stable-diffusion-webui-forgeをビルドする

          とりにく

          【ヘルプ】diffusers（SDXL）でcontrol-lora（control-lora-canny-rank256.safetensors）を使いたい【助けて】

          わははははタイトル通りです。なにもわからん！！！！！！！！！！ 何をしてもうまくいかなかったので備忘録です。参考になりそうなコードを見つけたのでいくつかググってでてきたのでぺたり https://github.com/Mikubill/sd-webui-controlnet/blob/main/scripts/controlnet_lora.py https://github.com/HighCWu/control-lora-v2/blob/master/models/c

          とりにく

          【ヘルプ】diffusers（SDXL）でcontrol-lora（control-lora-canny-rank256.safetensors）を使いたい【助けて】

          とりにく

          WinローカルでSDXLのControlNet学習

          自分用まとめ。SDXLのControlNet学習についてのメモです。 Canny画像→ノーマルマップ画像を出力するモデル作成を目的としたいと思います。 PC環境OS：Windows10 CPU：i9-9900K メモリ：64GB GPU：RTX3090 ①データセットの撮影（Unity使用）Unityで自作スクリプト https://github.com/tori29umai0123/CotrolNet_Shadow を使って撮影。今回は順光とノーマルマップだけ撮影。

          とりにく

          WinローカルでSDXLのControlNet学習

          とりにく

          画像の要素を分析してpromptを出力するだけのソフト「ImageAnalyzer」公開

          2024/03/20追記： SmilingWolf/wd-swinv2-tagger-v3に対応。 対応GPUの場合、CUDA対応（非対応環境の場合はCPU） ↑バグ出たので対応取り消しました。 また複数ファイル解析後、dump.jsonを吐き出すことで、画像ファイルの構成が変わっていない限り、解析結果を使いまわして、Additional tagsやExclude tagを編集できるようにしました。 タイトル通りです。 同じことはstable-diffusion-webui

          とりにく

          画像の要素を分析してpromptを出力するだけのソフト「ImageAnalyzer」公開

          とりにく

          Stable Zero123をWin10（RTX3090）で動かす

          タイトル通りです。丸一日潰したので雑まとめをば。 これで本当にあっているかは自信ないです。試行錯誤しすぎてとっちらかっているので。 前提環境CUDA：11.8 cuDNN：v8.9.7 (December 5th, 2023), for CUDA 11.x （もしかしたら不要かもだけど念のため） python：3.10.11 Build Tools for Visual Studio 2022 （インストール方法：https://www.kkaneko.jp/tools/w

          とりにく

          Stable Zero123をWin10（RTX3090）で動かす

          とりにく

          手描きお絵描きにも活用できる？生成AIキャプチャアプリ「RealTimeScreen」公開

          あけましておめでとうございますとりにくです。 早速本題ですが、なんか新しいソフト作ったので紹介です。 RealTimeScreenで何ができるかPC画面の特定座標を指定してその部分をリアルタイムでAIに変換する、みたいなことができます。 つまり自分の描いたぐちゃぐちゃカラーラフをそれらしくリアルタイムである程度整えてくれます（ある程度っていうのがミソです。 以下の動画のように肌色の色の塊をキャンバスにおいてそれを筋肉ポーズ人形LoRAで素体に変換、みたいなことができます

          とりにく

          手描きお絵描きにも活用できる？生成AIキャプチャアプリ「RealTimeScreen」公開

          とりにく

          コピー機学習法による影LoRA作成

          こんにちは、コピー機LoRAにドはまりしているとりにくです。 先日相互フォロワーである抹茶もなかさんがこんなつぶやきをしていたのが気になって実践してみました。 使用データ上記をベースにこんな感じの画像を作ってみました。 ももろみさん画像 検証に使った線画 検証SD1.5 prompt: monochrome, greyscale, animal ears, solo, tail, 1girl, necktie, closed eyes, pants, hat, s

          とりにく

          コピー機学習法による影LoRA作成

          とりにく

          コピー機学習法による絵柄LoRAの検証その2

          前回はAIが出力した一枚の画像を学習とそれを絵描きさんが自分の絵柄でトレースした差分を学習させる手法でコピー機学習法をしていました。 今回は『1枚のイラストを極力その人の個性を無くして別の絵柄（AIのプレーンな絵柄）に修正し、その差分を学習させることで絵柄を抽出する』l試みを行いたいと思います。 とりにくが描いた絵 SDHK04に描かせた絵 この二つの差分を抽出してみました。以下結果。 おお、綺麗なイラストとして出力される打率は低いですが絵柄自体は抽出されています。と

          とりにく

          コピー機学習法による絵柄LoRAの検証その2

          とりにく