見出し画像

VroidStudioとStableDiffusionで音楽動画を作った時のメイキング


まずは完成品をご覧ください。


年齢制限かかってるのは歌詞が過激なので、念のためです。
以前グラシアス様のゲームを実況した時にYouTubeくんに「君、大丈夫? 年齢制限かけようね? 今回は見逃してあげるから」って言われたので、それ以来恐怖で微妙な内容の時は念のため年齢制限かけるようにしてます。
今回の中身は普通に音楽動画です。

この曲はグラシアス様が制作したフリーゲーム『クソカウンセリング9ゴウタイプC』の二次創作ファンミュージックです。

↓原作フリーゲームはこちら。原作の内容が過激すぎるんだ。

音楽は自作です。作曲AIは使ってないです。使ってるAIはミックスとか音圧整えるやつですね。ozoneとはizotopeとかその辺。
あとはChatGPTにコード進行と楽器の編成のアドバイスもらいました。
作詞は今回は全部自力。AI頼りませんでした。
英語翻訳にChatGPTを使いました。

さて今回の音楽動画。絵をたくさん用意したかったと言うことで、全部自分で描いてたら誕生日に間に合わないよね? と気づいてしまって。
同じく五月末誕生日の灰色さんのプレゼントの音楽動画も間に合わせたかったので、何もかもがギリギリでした。
で。今回やりたかったのはVroidStudioで作ったVRMデータをAIで絵にする……絵の下地にする、ということがやりたくて。
灰色さんの誕生日プレゼント音楽動画を作った時はCoPainterを活用しましたが。
こっちはCoPainterの便利さを知る前にごり押しで作ったものになります。

さて、具体的なメイキングいきます。
まずはVroidStudioでVRMデータを自作するところから始まります。

VroidStudioがあれば簡単に3Dモデルが作れますね!
が、まあキュウちゃんは服は簡単だったのですが、帽子は髪の毛でごり押しです。VroidStudioくん髪飾りや帽子とかもっと簡単に作れるようになってほしいな……。

さてまあこうして服のテクスチャ頑張りつつ、髪型や顔もその場のノリと勢いで再現出来たらデータを出力して、VRMポージングデスクトップで撮影します。

色々VRM撮影ツール試したけど、結局これが一番使いやすいですね。

コル音イムとのクロスオーバー

こうして記念撮影を楽しんでから、本作業に入りましょうね。

VRMデータ

まずVRMデータをVRMポージングデスクトップで撮影します。

その次にAIです。

プロンプトは画像から読み取りつつ高画質化、LoRAとなど
強さはこんな感じ
今回はcannyで。
tileは入れておくと色合いや諸々がキープされやすくなる。

っていう上記の設定でi2iすると

AIでi2i

こうなる。どうしても細かい所変わっちゃったり潰れたりするんですけど、どうせ加筆修正するから大丈夫です。

加筆修正

加筆修正してこうなりました。良いですね。ではこれをひたすら繰り返していきます。

VRMデータ
AIでi2i。髪の色変わっちゃった……。
加筆修正。顔かわいい
VRMデータ
AIでi2i。色は変わるし頭は潰れるし
加筆修正。サイズ大きくした。最初から大きくしてくれ。
VRMデータ
AIでi2i
加筆修正
VRMデータ
AIでi2i。どうしてそんなに色変わるのさ
加筆修正。加筆修正でごり押しだよ
VRMデータ
AIでi2i。色が……色が……
加筆修正。サイズ大きくした、だから最初から大きくしろよ
VRMデータ
AIでi2i。顔潰れちゃった
加筆修正。顔はあえて描かないことに。

こういう感じでした。
「どうせ加筆修正するから大丈夫だろ」精神があると大体のことには耐えきれます。
が、やっぱり元のデータは高品質でサイズも大きめに出力しておかないと、i2iした時にかなり悲惨なことになるので反省しました。
とりあえずi2iする前の画像は大きめに用意した方が良いですね。マジで。反省。
特に今回髪の毛の色が変わりがちだったのが気になりましたね。プロンプトと設定の問題かな。次やる時があれば改善してみましょう。

ある程度絵が完成したらAviutlでごり押しで動画を作ります。
基本ごり押しです。動画制作のセンスがいつもログアウトしている。

そんなわけで無事に誕生日までに動画は完成しました! よかったね!
やっぱりVRMデータ用意しておけば、イチから絵を全部描くよりかは楽です。楽です。
だけど今回は加筆修正がとても多かったですね。地味に手間ではあった。
もっと綺麗に簡単にi2iする方法があれば良いんですけど。
で、そこにCoPainterがあるじゃろ……?

ここまで読んでくださってありがとうございました!


この記事が気に入ったらサポートをしてみませんか?