見出し画像

Stable Diffusionを用いてAI動画変換する方法

AI技術の進化は、私達の生活を根本から変える力を持っています。その中でも、特に注目を集めているのがAIによる画像生成技術です。"midjourny"などの新しい画像生成モデルが登場し、そのパフォーマンスと多様性に私達は驚かされてきました。この技術は、リアルな人物の顔を生成したり、絵画のスタイル変換を行ったりと、驚くべき成果を次々と生み出しています。

画像のスタイルを変換できる

という技術を聞いた時に、
日本で多くのエンタメに触れている皆様なら、
ぱらぱら漫画やアニメのイメージから、

動画のスタイルを変更できる

ことにすぐ気がつくかも知れません。

本記事で紹介する"Stable Diffusion"を用いたAI動画変換にはまさにその手法を用いています。動画をフレームに分割し、それぞれに変換をかけて再度動画に戻すことで動画全体を変換します。

GAN(generative adversarial networks、敵対的生成ネットワーク)を用いた動画変換は2018年頃からDeep Fakeなどの形で注目されて来ました。GANは、鮮やかで詳細な動画を生成する能力で知られていますが、訓練が難しく、モード崩壊(特定の種類のデータのみを生成する傾向)などの問題を抱えています。一方、今回紹介する動画変換にも用いられているDiffusion Model(拡散モデル)は、生成に時間がかかる分、訓練が比較的安定しており、さまざまな種類のデータを生成する能力があります。

まずは、次の変換まえの動画と、変換後の動画をご覧ください。

元データ
編集後データ

さらに高解像度化することもできます。フレーム毎にバラバラに変換するために、変換後の動画にバラツキが生まれ、1つの動画として一貫性の低くなりがちな動画変換ですが、本noteを読めば上の様な違和感の少ない動画作成が可能になります。

このような動画スタイル変換を通して、今後のAI技術の進化がどのような未来を切り開くのか、その一端を"Stable Diffusion"とともに体験してみませんか?
AI技術は日進月歩ですので、ここで説明するような面倒な処理はすぐに必要なくなるかも知れません。しかし、このnoteを読んでいただければ、技術の基本がわかるので、他のニュース・アップデートに対する理解も深まり、応用も簡単に実践できるでしょう。
それではこのnoteを通じて、その魅力と可能性を一緒に探っていきましょう。

そもそもStable Diffusionを触ったことがないという声もあったので、初心者でも取り組めるように画像変換から順を追って説明していますが、分かりにくい所はコメントいただければ追記いたします。


こちらが今回使用する動画のダウンロード先です。

素材の詳細

※ 動画変換の説明を主目的とする記事なので、教材として「動画AC」の動画を利用していますが、以下の利用規約の禁止事項にある通り、動画自体を主要コンテンツとする場合の加工等は禁じられている場合もあります。皆様の利用方法に応じて元となる動画をお求めください。

動画、または加工した動画データを含む二次的著作物を主要コンテンツとして、制作物に使用すること(動画を主要コンテンツとした映画やテレビ番組等を指しますが、これに限りません)、インターネットやそれに類する方法で公開または送信すること、およびソフトウエアやハードウエアに組み込んで頒布すること(例えば、アプリケーションソフト等の素材サンプルとしての組込、スクリーンセーバーへの組込等を行って頒布すること)はできません。また、テンプレートとしてハードウエア、ソフトウエア等に組み込んで、配信サービス等を行うことはできません。

「禁止事項」動画AC利用規約


本noteでは、画像変換、動画変換を通してmStable Diffusion Web UIの特徴や使い方を身に付けられるようにお伝えします。Stable Diffusion Web UIの上手な使い方を習得すれば、高品質な画像作成、動画作成を行えます。

1. Stable Diffusion web UIのセットアップ

この手順に関しては既にたくさんの人が紹介してくれているので簡単にまとめます。

画像変換はimage2image、img2imgなどと呼ばれ、簡単に検索するだけでもたくさんの画像変換ソフト・アプリに辿り着けると思います。Stable Diffusion Web UIはその中でも拡張性の点で優れたツールの一つです。

web UIのソースコードは以下のファイルからダウンロードできます。

READMEのInstallation and Runningに従って導入、実行してください。

https://github.com/AUTOMATIC1111/stable-diffusion-webui#installation-and-running

Stable Diffusion Web UIのプログラムは自分のパソコン上で実行する方法と、クラウド上で実行する方法があります。
私はPyCharmを使ってローカル実行しています。続く情報もローカル環境の場合で説明していきます。

ローカル環境のスペックが十分でない場合は以下のオンラインサービスに記載されている所で利用するのがお手軽です。Paperspaceの利用者が多い様に思います。
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Online-Services
一度セットアップさえ済んで仕舞えば、以下の手順に大きな違いはありません。

ここから先は

7,258字 / 45画像

¥ 9,800

この記事が参加している募集

この記事が気に入ったらサポートをしてみませんか?