見出し画像

SunoAIで作った80年代風歌謡曲にAnimatediff v2で動画つけてみた

創作実験HIRO

先日SunoAIの名曲「博士、私バグです！」の80年代風アレンジバージョンが公開されましたが、SunoAIからの再生だけだとちょっと味気ないのでPVを作ってみました。せっかくなので前回より動画生成のクオリティアップかつ生成の効率化がしたかったので最近流行りのLCM-Loraの使い方を調べてやってみたのですがあまりいい結果に辿り着けず、最終的にAnimatediff v2で生成しました。
作った動画はこちらです。

動画生成に使用したワークフローは下記画像に埋め込まれていると思うのでダウンロードしてComfyuiに投げ入れれば確認できると思います。


AnimatediffとかってReadMe読んでもどんな条件で使えばいいのかとかよくわからず、使ってる人のワークフローをもらってそれをベースに色々変えていくみたいなことをしないとよくわからない理由でうまく生成できなかったりします。今回も前のワークフローをベースに他の人のを参考にしながら自分で組んでみたのですが一向にまともな動画が生成されず、試しにAI is in wonderlandさんが配布していたComfyuiグラフを読み込んでそのまま実行するといい感じに生成されて感動しました。

前回のPV用アニメーション生成はめちゃくちゃ力技でとりあえず何かできればいいと思ってやっていたので数秒のクリップ生成に数十分、下手すると数時間かかってました。しかもそれが必ずしもいい出来になるとは限らないので、効率は死んでます。それに対して今回のワークフローだとアップスケールなしの段階までは4秒のクリップで約2分、2倍のアップスケールに約4分でした。2分ぐらいであればちょっと何かしている間に終わるので、アップスケールまでやるかどうか判断しながら色々試すことも前より遥かに楽になりました。
本当は最初の一枚だけ生成して継続するかどうか判断したり、バッチで最初の一枚だけ大量生成して良さそうなシードとかで本番生成するとかしたいのですがやり方はまだ知らないのでこれからまた試行錯誤してみます。

そんなことをしている間に下記のような新しいアニメーション技術が出てきたりもするのでその辺りもまた使っていきたいなと思います。
これとか、

これとか。

あと、SunoAIボツネタはXで供養していこうと思うのでこちらもよろしく。
ボツネタとは言っても気に入ったのを厳選してあげてます。ボツにするのは惜しいけど歌詞間違いとかで使えなくてもったいない曲たちを上げていきます。


この記事が参加している募集

#AIとやってみた

35,663件

この記事が気に入ったらサポートをしてみませんか？