ComfyUIでOpenPose

画像生成AI熱が再燃してるからなんかたまに聞くControlNetとかOpenPoseを試してみたくなった。だから試した。天邪鬼だから一番有名なWebUIはなんとなく入れる気にならなかったからCimfyUIで試す。いや、もとはStreamDiffusionを画面でやれないか探してたら出てきたんだったか？
まあ、細かい経緯はどうでもいいや

実行環境はこれまでの操作でそろってるはずだから公開されてたnotebookを参考にいろいろやったvenv上で

from pathlib import Path

OPTIONS = {}

USE_GOOGLE_DRIVE = False  #@param {type:"boolean"}
UPDATE_COMFY_UI = True  #@param {type:"boolean"}
WORKSPACE = 'ComfyUI'
OPTIONS['USE_GOOGLE_DRIVE'] = USE_GOOGLE_DRIVE
OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI

if OPTIONS['USE_GOOGLE_DRIVE']:
    !echo "Mounting Google Drive..."
    %cd /
    
    from google.colab import drive
    drive.mount('/content/drive')

    WORKSPACE = "/content/drive/MyDrive/ComfyUI"
    %cd /content/drive/MyDrive

!git clone https://github.com/comfyanonymous/ComfyUI
%cd $WORKSPACE

if OPTIONS['UPDATE_COMFY_UI']:
  !echo -= Updating ComfyUI =-
  !git pull

!echo -= Install dependencies =-
!pip install xformers!=0.0.18 -r requirements.txt --extra-index-url https://download.pytorch.org/whl/cu121 --extra-index-url https://download.pytorch.org/whl/cu118 --extra-index-url https://download.pytorch.org/whl/cu117

で、適当にモデルをダウンロードしたり"C:\Users\ユーザ名\.cache\huggingface\diffusers"から持ってきたりして

!python main.py --fp16-vae --force-fp16

多分--force-fp16をつけないと自分の環境だとちょっと我慢できる限界を超える

起動はこれでいいとして、あとは拡張機能。
やりたいことをやるのに何がいるかわからなかったから適当に
多分最低限必要なのはOpenPoseEditorとAdvanced ControlNet

で、こんな感じにワークフローを組む

ワークフロー

あ、これはまだ画像保存しない時のやつか。まあ、最後の出力はお好みで

で、できるのがこれ

生成画像

プロンプトを自分で指定してないから自分で作った感は無いけど、まあ最初としてはこんなもんでしょう

マスクとか使いこなしてもう少し思った通りに画像作れるようにはなりたいところか？

で、マスクを試してみた

マスク

この辺と、Stable Zero123あたりでなんとなくやりたいことは出そろう気はする

上げた画像は元画像じゃなくなるか
ああ、だから他の人の記事はワークフローああいう感じか、なるほど