見出し画像

【ComfyUI】FLUX.1 の生成画像を「EasyAnimate」で動かす

Baku

  • FLUX.1の登場により、ローカルで高品質な画像生成が楽しめるようになりました。FLUX.1で生成した画像をそのままローカルで動画化できればもっと嬉しいです。

  • ということで、Alibabaグループが開発しているオープンウェイトの動画生成AI「EasyAnimate」をComfyUIで試してみました。

『EasyAnimate』
＊用途：動画生成（Image-To-Video, Video-To-Video, Text-To-Video）
＊開発者：Alibaba PAI
＊ライセンス：Apache-2.0（商用利用可能）
＊ComfyUIでの実装：kijai/ComfyUI-EasyAnimateWrapper、EasyAnimate公式ノード など（いずれもラッパー）

  • 最大144フレームの動画が生成でき、Stable Video Diffusionなど他のImage-To-Videoモデルよりも長尺動画に使えるのが特徴です。

  • 動画生成なので処理は重めですが、FLUX.1が動かせるくらいのローカル環境であれば生成可能だと思います。

ComfyUIカスタムノード

ワークフロー

  • 2024/08/20時点のComfyUI最新版で実行しました。環境によっては動かない可能性がありますので、あらかじめご了解ください。

  • 生成モデルは高解像度用（960x960程度）、中解像度用（768x768程度）、低解像度用（512x512程度）の3モデルがあります。サイズはどれも同じ（3.6GB）ですが、生成時のGPUへの負荷が異なります。

  • なおEasyAnimateのモデルと関連コンポーネントは、ワークフローの初回実行時に自動でダウンロードされます。

生成結果

  • 以下は、高解像度用モデルを使って1248x720x32で生成した例です（掲載のため縮小してGIF化）。2回生成したうちの良いほうを選んでいます。

縮小GIF

  • ほかのオープンな動画生成モデル（Image-To-Video）と比べると、全般的な動画品質は「DinamiCrafter」のほうが少し上、人物の顔に関しては「EasyAnimate」の方が破綻しにくい、という印象です。

  • ただDynamiCrafterは動画の尺がわずか16フレームなので、実用的な意味では100フレーム超まで対応できるEasyAnimateに分がありそうです。

アニメ絵でためす

  • Image-To-Videoの動画生成モデルはアニメ絵が不得意なものが多いです。EasyAnimateも同じですが、背景だけと割り切ればそれほど悪くなさそうです。

縮小GIF

最新のV4モデルもためす

  • なおEasyAnimateは2024/8/15にアップデートされ、新しくV4モデルがリリースされました。最大で1280x1280の動画が生成できるようです。

  • 記事作成時点で「ComfyUI-EasyAnimateWrapper」はV4モデル未対応なので、EasyAnimate公式が提供するComfyノードで試してみました。

縮小GIF

  • 簡単に試した範囲では微妙でした。モデル自体ではなく実装方法の問題という気もします。ComfyUI-EasyAnimateWrapperの方を使ったほうが良いかもしれません。