Diffusers/Stable Diffusion まとめ｜凪野静寸

ComfyUI-Impact-PackのSEGSとは何か

一連の連投は今回で終わりの予定前々回の記事の「検出した顔をimg2imgで修正する際、512x512にサイズ指定して顔を切り抜く」を試した際に調べた、SEGSに関する情報が主な内容です。 SEGSに関する記事ComfyUI-Impact-Packのノードで使用されている、Impact Pack独自のデータフォーマットです。情報は少ないのですが、まとまった記事がいくつかあります。しかしSEGSのフォーマット自体を調べた記事が見つからなかったので、自分で調べました。 S

AI生成画像の顔を自動修正する（続き）

この記事の続きです。キリのいいところで終わらせたい… 前の記事の最後で挙げた改良案のうち、線画の特徴量をControlNetに追加して修正を行ってみます。ワークフローフロー図基本的には前回と同じで。拡張画像を顔検出し、その後段で顔画像をControlNetにかけます。その出力をDetailerに渡します。 Detailerに渡す顔画像に対し、ControlNetによりLineArt等の線画の特徴量を追加する、というのが今回の内容です。 ComfyUIのスクショより

AI生成画像の顔を自動修正する

手作業の顔修正を自動化してみたかったキャラ作成時の作業手順キャラ自体は作成済みなのですが、当時の手順をComfyUIで自動化できないかと挑戦しました。当時のキャラ作成の手順は以下のフローのように書けます。よいキャラを出すための乱数選抜に加えて、顔を切り抜く位置やマスクを手で調整するのが手間でした。周回ゲーム用にとキャラを80人以上作ったので、数が多いのも大変でした。顔の自動修正上記のうち、顔修正の部分を自動化したフローを考えました。次の3つの処理を組み合わせます

画像生成に使うモデルを検討する

この記事の続きです。モデル検討自作GUIで作成した画像の完全再現はできなさそうなので、この機会にモデルをいろいろ試すことにします。ゲーム制作用に使うことが念頭にあったので、画像の美しさ以外にも学習データセットの素性がよいモデルも探しました。モデルはCivitai等でいくつか見繕ってみました。画像の寸法も512x512から大きくして、1024x1024での生成を行いました。Colab環境では動かなかった寸法でも危なげなく生成されて、ちょっとうれしいです。背景画像

ComfyUIで自作GUIを再現する

画像生成できるスペックの新PCに買い替えたので、ComfyUIを導入することにしました。生成手順を自分で組めるのが楽しそうだったので。 ComfyUIのインストール以下の記事を参考にしました。 Windowsのスタンドアロン版をインストール動くパッケージがあるのならそれを使うほうが、ソースからのインストールを試行錯誤するよりも確実なので… Python環境がアプリケーション内で閉じているので、自PCで使う別のスクリプトに影響を与えないのも良い点です。モデルはCom

WindowsローカルでJupyerlabを動かす（後編）

前編からの続きです。前編ではjupyterlabと使用ライブラリのインストールを行いました。 Colab環境との違いに対応するため、ソースを一部変更します。ソース変更フォルダ作成 # 使用するnotebookでの実装の都合から、notebook-dirの下にcontentフォルダを作成しておくrootDir = "C:/Path/To/NotebookDir"content_dir = f"{rootDir}/content"os.makedirs(content_d

WindowsローカルでJupyerlabを動かす（前編）

先日PCが寿命を迎えました。お金はないものの、この機会に思い切ってそこそこのGPU（GeForce RTX 4060 Ti , VRAM 16GB）を積んだPCを買いました。計算性能はそれなりですが、VRAMの大きさが画像生成にとって魅力的です。 GoogleColabで作っていたノートブックを新PCのローカル上で動かせるようになったので、その方法をメモします。ゲーム制作の記事とは違い、狭い内容でもないのでnoteに書きます。目標・Diffusersを使用するノートブック

アイコンを作る

作ってみたものの。 UIとアイコンゲームに限らず、現在の道具には何かしらのアイコンや絵がついていて、道具の使い方や機能のヒントをユーザに示しています。制作中のゲームでも、メニューや操作のアイコンを表示することにしました。作ってみたキャラ絵をStable Diffusionに「発注」したように、私には絵を描く能力はありません。なのでアイコンのデザインもStable Diffusionで作りました。当初はアイコンを切り抜いて完成品にしようと思ったのですが、最終的にはS

立ち絵を立体的に見る

Stable Diffusionで立ち絵をいくつか作りました。手作業が入るとはいえ、量産の流れが出来るとそれなりに手が進みます。立ち絵ができたので、ゲーム画面作成に手を付けました。周回ゲーのようなものをUnityの2Dモードで作るつもりです。解像度やアスペクト比など、最初に決める必要のある設計項目がすでに多くて難しいですが、勉強を兼ねてやっていきます。高解像度化と深度推定立ち絵の量産に入って思ったのですが、やっぱり自作GUIにも生成画像の高解像度化機能を組み込ん

立ち絵を作ってみた

前回の記事である程度形にしたStable Diffusionの自作GUIを使って、ゲーム素材に使う立ち絵を作ってみました。正確には立ち絵を作る練習。幅990px ×高さ1320px の絵を作ります。作業の手順は備忘録として以前にも似た記事を書いたのですが、改めて手順を整理しました。 txt2imgで背景を作るまず背景画をtxt2imgで作成します。後の工程でほぼ背景は消えるので、ここで作る背景画はシード値の一種という意味合いではあるものの、キャラの絵に与える雰囲気を形に

StableDiffusionPipelineの改造に手を出した

マスクの向こう側の世界には何がある？まだ機能が足りない前回の記事の後、体調を崩しましたがすぐ治りました。疲労がたまっていたのかもしれません。さて先月にDiffusersベースの自作GUIをある程度作りこんだのですが、素材を作ろうとして機能が足りないところが出てきました。・768サイズのモデルで画像生成がうまく動かない → Diffusers公式のコミュニティパイプラインにあるLPW pipelineなら動作する (Long Prompt Weighting, カッ

ネガティブプロンプトだけで作ってみた

すみません、タイトルの絵はネガティブプロンプトにプロンプトとして"masterpiece one girl"だけ足してます別の遊びとして組んでいるプログラムが一段落したので、Stable Diffusionの自作GUIでちょっと遊びました。画像生成するとき、上手く書けていない画像の抑制をするためにネガティブプロンプトをよくつけます。自作ゲーム素材用に使うネガティブプロンプトをちょっと考えていたのですが、ふと魔が差し、ネガティブプロンプトだけで画像を作ったらどんな感じにな

DiffusersベースのStable Diffusion自作GUIをGitHubに置きました

依然として休養中ですが、生活に変化がありました。メインPCが戻ってきました。メインとは言え事務用PCの性能ですが、キーボードが打ちやすい…！自作GUIをGitHubに置きましたさてタイトルの通り、上の記事にもある自作GUIをGitHubに置きました。記事の後も修正を続けたり、Readmeという名の説明書を作ったりしました。GitHubを使うのも初めてなので、うまく出来ているかどうか。格好つけて完成した段階でまとめてrebase & pushしたものの、ちょこちょこミ

DiffusersベースのStable Diffusion自作GUIを使ってキャラ画像を作る

　上の記事の続きです。自分用のメモとして、自作GUIを使ったキャラ画像作成の作業の流れを書きました。　内容は自作GUIでの手順ですが、本家AUTOMATIC1111版でも手順は同じです。むしろ本家の手順を再現できるように自作GUIを組みました。背景にキャラをinpaint 　まず背景にキャラを書き込みます。latent noise等でinpaintするか、簡単な初期画像を書き込んでimg2imgします。　マスクはStableDiffusionでは白色が適用範囲となる

Diffusers/Stable Diffusion まとめ

フォローしませんか？

記事一覧