CoｍfyUI で Image-to-Video を試す

「ComfyUI」で Image-to-Video を試したので、まとめました。

【注意】無料版Colabでは画像生成AIの使用が規制されているため、Google Colab Pro / Pro+で動作確認しています。

前回

1. Image-to-Video

「Image-to-Video」は、画像から動画を生成するタスクです。
現在、「Stable Video Diffusion」の2つのモデルが対応しています。

・stabilityai/stable-video-diffusion-img2vid (SVD ) : 14フレーム
・stabilityai/stable-video-diffusion-img2vid-xt (SVD-XT) : 24フレーム

Video Examples

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) セットアップ。
前回と同様です。

(2) チェックポイントのダウンロード
「Stable Video Diffusion」のチェックポイントをダウンロードして、./modes/checkpoints/ に配置します。

#@title チェックポイントのダウンロード

# Image-to-Video
!wget -c https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd.safetensors -P ./models/checkpoints/
!wget -c https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors -P ./models/checkpoints/

(3) ComfyUIの起動。
前回と同様です。

(4) 「Video Examples」の画像 「image_to_video.webp」 を右クリックでダウンロード。

(5) ComfyUIのグラフを「Clear」でクリアしてから、「image_to_video.webp」を画面にドラッグ&ドロップ。
「Video Examples」のグラフが読み込まれます。

(6) 「Load Image」の「choose file to upload」をクリックし、1024x576のpng画像をアップロード。
左右の三角ボタンで、「input」フォルダ内の画像を選択することもできます。

(7) 「Queue Prompt」をクリック。
数分待つと、動画が生成されます。

ChatGPT 使いこなし＆活用術