![見出し画像](https://assets.st-note.com/production/uploads/images/123629132/rectangle_large_type_2_b3cd711597de0ee612751355b61b6e36.png?width=1200)
Google Clolab で Magic Animate を試す
「Google Clolab」で「Magic Animate」を試したので、まとめました。
1. Magic Animate
「Magic Animate」は、TikTok運営のByteDance等がリリースした、参照画像と一連のモーションから動画を生成する動画生成モデルです。
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) パッケージのインストール。
!git clone https://github.com/magic-research/magic-animate
%cd magic-animate
!pip install -r requirements.txt
(2) モデルのダウンロード。
!git clone -b fp16 https://huggingface.co/runwayml/stable-diffusion-v1-5 /content/magic-animate/pretrained_models/stable-diffusion-v1-5/
!git clone https://huggingface.co/stabilityai/sd-vae-ft-mse /content/magic-animate/pretrained_models/sd-vae-ft-mse/
!git lfs clone https://huggingface.co/zcxu-eric/MagicAnimate /content/magic-animate/pretrained_models/MagicAnimate/
(3) コンフィグファイルの編集。
「configs/prompts/animation.yaml」で、画像ファイルと動画ファイルを設定します。画像は透過pngはエラーになったので、透過なしにしてます。
・configs/prompt/animation.yaml
pretrained_model_path: "pretrained_models/stable-diffusion-v1-5"
pretrained_vae_path: "pretrained_models/sd-vae-ft-mse"
pretrained_controlnet_path: "pretrained_models/MagicAnimate/densepose_controlnet"
pretrained_appearance_encoder_path: "pretrained_models/MagicAnimate/appearance_encoder"
pretrained_unet_path: ""
motion_module: "pretrained_models/MagicAnimate/temporal_attention/temporal_attention.ckpt"
savename: null
fusion_blocks: "midup"
seed: [1]
steps: 25
guidance_scale: 7.5
source_image:
- "inputs/applications/source_image/monalisa.png"
- "inputs/applications/source_image/0002.png"
- "inputs/applications/source_image/demo4.png"
- "inputs/applications/source_image/dalle2.jpeg"
- "inputs/applications/source_image/dalle8.jpeg"
- "inputs/applications/source_image/multi1_source.png"
video_path:
- "inputs/applications/driving/densepose/running.mp4"
- "inputs/applications/driving/densepose/demo4.mp4"
- "inputs/applications/driving/densepose/demo4.mp4"
- "inputs/applications/driving/densepose/running2.mp4"
- "inputs/applications/driving/densepose/dancing2.mp4"
- "inputs/applications/driving/densepose/multi_dancing.mp4"
inference_config: "configs/inference/inference.yaml"
size: 512
L: 16
S: 1
I: 0
clip: 0
offset: 0
max_length: null
video_type: "condition"
invert_video: false
save_individual_videos: false
(4) 動画生成の実行。
数分でsamplesフォルダに動画が出力されます。
!bash scripts/animate.sh
関連
この記事が気に入ったらサポートをしてみませんか?