AI・Shiori　実写高画質版「可愛くてごめん」生成！img2img+Python

昨日、ChatGPTにつくってもらったPythonのプログラムを使って、早速「可愛くてごめん」のミュージックビデオに再挑戦です。

前回のMVは、Stable Diffusionの拡張機能であるSD_CN_Animationを使って動画を生成しました。

これを見ていただくとわかりますが、動画の途中にいろいろな色が混ざってムラがあります。一度生成を開始すると動画が完成するまで途中経過がわからないので、完成して初めてこの色むらに気づくわけですが、今回の方法は、フレーム数だけ静止画を生成して、あとから動画につなげるため、途中の画像をチェックできるのが強みです。顔の感じも写真で確認できるので、完成した動画の完成度は上がりました。

モデル：chilloutmix_NiPrunedFp32Fix

完成動画

ちなみに、この実写版の元になっている映像はこれです。
アニメーションの方は白いセーターを着ていますが、実写版は背景を白にして黒い服の方がコントラストがはっきりしてよいのではないかと思い、変えてみました。

動画の作成手順は以下の通りです。

＜AI動画生成の手順＞

１．下記のPythonプログラムAを使って、基準となる動画からフレーム単位で静止画を取得する。

２．Stable Diffusionのimg2imgのBatch機能を使って、フレーム単位の静止画を1枚ずつ自動で画像生成する（Denoising strength：0.3）。
　→PROMPTに書かれた内容を反映した静止画が生成される。

３．PythonプログラムBを使って、静止画を動画に変換する。

Stable Diffusionのimg2imgのBatch機能使い方

１．img2imgで動画のPROMPTを入れる
２．Batchタブを開いて、
（１）PythonのプログラムAで作成した元動画のフレーム静止画のフォルダを「Input directory」に入力する。
（２）img2imgで生成した画像を保存するフォルダを「Output directory」に指定する。

３．各種設定をする

Sampling steps：20
CFG Scale：7
Denoising Strength：0.3 
※この値が凄く重要です。値が小さければ小さいほど、元の動画に近い画像が生成されるので、動きは正確にトレースしますが、元画像がアニメなので、実写感を出すには、この数値を大きくする必要があります。
ところが大きくすると今度は、元動画の動きとは違う動きになりやすく、ダンスが崩れます。今回は0.3くらいがよい感じでした。
Seed：この値は適当に入れます。
画像サイズ：元の画像と同じ縦横比率で設定します。