![見出し画像](https://assets.st-note.com/production/uploads/images/142588114/rectangle_large_type_2_5f61496e126687bb430542b138d20311.png?width=1200)
Google Colab で EasyAnimate を試す
「Google Colab」で「EasyAnimate」を試したのでまとめました。
【注意】Google Colab Pro/Pro+のA100で動作確認しています。
1. EasyAnimate
「EasyAnimate」は、高解像度で長い動画を生成するためのエンドツーエンドのソリューションです。transformerベースの拡散発生器を学習し、長い動画を処理するためのVAEを学習し、メタデータを前処理することができます。
Soraのような構造とDITに基づいて、動画生成用のdiffuserとしてtransformerを使用しています。モーションモジュール、u-vit、slice-vaeに基づいてeasyanimateを構築しています。将来的には、効果を向上させるために、より多くの学習プログラムを試みます。
![](https://assets.st-note.com/img/1717227407009-huaC7mMLxq.jpg?width=1200)
2. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) パッケージのインストール。
# パッケージのインストール
!git clone https://github.com/aigc-apps/EasyAnimate
%cd EasyAnimate
!pip install -r requirements.txt
(2) モデルのダウンロード。
# モデルのダウンロード
!wget -P ./models/Diffusion_Transformer/ https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/easyanimate/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512.tar
!tar -xvf ./models/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512.tar -C ./models/Diffusion_Transformer/
(3) app.pyを以下のように編集。
Colabで利用できるようにgradioのlaunchにshare=Trueを追加しています。
# launch gradio
app, _, _ = demo.queue(status_update_rate=1).launch(
server_name=server_name,
server_port=server_port,
prevent_thread_lock=True,
share=True # ←追加
)
(4) 実行。
# 実行
!python app.py
(5) リンクが表示されたらクリック。
gradioのUIが起動します。
(6) プロンプトを入力してGenerateボタンを押す。
90秒ほどで生成完了します。
EasyAnimateをお試し中https://t.co/HngxdwD0B4 pic.twitter.com/Xzypzued1G
— 布留川英一 / Hidekazu Furukawa (@npaka123) June 1, 2024
メモリ消費量は次のとおりです。
![](https://assets.st-note.com/img/1717227456442-N56wtrOF0q.png?width=1200)
3. Lora の学習
この記事が気に入ったらサポートをしてみませんか?