見出し画像

Deforum Stable Diffusion使い方ガイド

WIZARD AI | AIメディア

はじめまして、株式会社WAND エンジニアの田中です！

本記事では、AI研究シリーズ第2弾として、今AI業界で話題の、Deforum Stable Diffusionについて徹底解説いたします！

このnoteを読めばわかること

・Deforum Stable Diffusionで何ができるのか？
・Deforum Stable Diffusionの実際の使い方！

AI研究シリーズって？

株式会社WANDで行っているAIに関する研究やサービス開発で生まれた学びや知見を発信するシリーズです。

目次

1. Deforum Stable Diffusionとは？
2. Deforum Stable Diffusionでできること
3. 動画を作る原理
4. 具体的な使い方
5. プロンプトの設定
6. パラメータの調整について
7. 実際に動画を作ってみた
8. 参考文献

1. Deforum Stable Diffusionとは？

Deforum Stable Diffusionとは、Google Colaboratoryで、ズームや回転をさせながら画像生成を繰り返すことで、印象的な動画を作成することができるツールです。

例えば、こんなゼルダの伝説風の動画が爆速で作れます！

2. Deforum Stable Diffusionでできること

deforum-stable-diffusion は、具体的に以下の三つができます。

  • 2D画像のズームイン・ズームアウト

  • 3D画像のズームイン・ズームアウト＋回転(上下左右)

  • 動画をプロンプトの内容に応じて変化させる

3. 動画を作る原理

deforum-stable-diffusionでは、若干変化させた画像を生成し、繋げることで動画を生成します。
動画にする際に、拡大、縮小をすることで、ズームイン・ズームアウトができ、視点位置をずらすことで回転ができます。
また、プロンプトを変化させることで、徐々に変わっていく動画を作成することができます。

👉 プロンプトのサンプル

animation_prompts = { 0: "a beautiful apple, trending on Artstation", 20: "a beautiful banana, trending on Artstation", 30: "a beautiful coconut, trending on Artstation", 40: "a beautiful durian, trending on Artstation", }

4. 具体的な使い方


deforum stable diffusionは、Google Colaboratoryでデモが公開されています。
deforum-stable-diffusionコード(Google Colaboratory)

GPUの確認

GPUのスペックを確認できます。

モデルのパスの設定と出力先のパスの設定

モデルのパスの設定と出力先のパスの設定を行います。

デフォルトでは、Googleドライブの/AI/models/以下がモデルのパスとなり、/AI/StableDiffusion/以下が画像・動画の出力先となります。

環境設定

Pythonで必要なライブラリをインストールします。

Pythonの定義

実行するために、必要なPythonの関数を定義します。

モデルの読み込み

今回は、Stable Diffusionのモデルを読み込みます。
HuggingFaceからモデルをダウンロードしてください。(アカウント登録が必要です。)
sd-v1-4.ckpt
ダウンロードした後に、Googleドライブの「AI/Models」以下にsd-v1-4.ckptをアップロードします。
アップロードした状態で、model_checkpointをsd-v1-4.ckptに設定することでモデルを読み込めます。

生成動画の設定

Settings > Animation Settings > animation_modeから生成動画の設定ができます。

それぞれのモードの説明は以下です。
None：関連性のない2次元画像の生成
2D：2次元画像の生成
3D：3次元画像の生成
Video Input：入力動画の加工

5. プロンプトの設定

プロンプトは以下のように設定します。
Noneを選択した場合は、上記のpromptsが反映されます。
2D,3D,Video Inputを選択した場合は、下記のanimation_promptsが反映されます。

プロンプトを設定した後に、「RUN」「Create video from frames」を実行することで、動画が/AI/StableDiffusion/以下に保存されます。

6. パラメータの調整について

デフォルトでも実行できますが、パラメータについて深く理解したい方は、以下の記事がおすすめです。
https://note.com/kallibebe666/n/n854418156ae9

7. 実際に動画を作ってみた

Video Inputで実際に作ってみた動画です。
ダンサーが踊っている動画を加工して、メルヘンチックなパラパラ漫画にできました。


8. 参考文献

作り方のコツ
https://qiita.com/supertask/items/a63bb18ed13184d0959a
やってみた系
http://cedro3.com/ai/deforum-stable-diffusion/
Webでデモができる
https://replicate.com/deforum/deforum_stable_diffusion
パラメータの調整は以下がわかりやすい
https://note.com/kallibebe666/n/n854418156ae9

以上、「Deforum Stable Diffusion使い方ガイド」に関する解説でした。是非実際に使ってみてください！
最後までお読みいただきありがとうございました！

AIの最新ニュースを知りたい方はこちらもオススメ

最新AIニュースを毎日配信中！「LUMOS Lab 」Twitter

AI情報をまとめて知るなら！「LUMOS Lab 」note


AIに関するご相談はこちら

株式会社WANDでは、ChatGPTをはじめとするGenerative AIに関する研究開発機関「LUMOS Lab 」を運営しています。

実際に自分たちでサービス開発や研究をしているからこそわかる知見をもとにAIに関する事業開発コンサルティングをサービス提供しております。
「AIに関してディスカッションをしたい」「サービス開発をしてほしい」などございましたら、お気軽にお問い合わせください。

▼ お問い合わせフォーム


この記事が気に入ったらサポートをしてみませんか？