Suno AIとChatGPTとGen-2 by Runwayを使ってアイドルPVを作ってみる

tubone

2023年12月22日 00:47

初めに

皆さんこんにちは。
EventHubでエンジニアをしております大坪と申します。
これはEventHub Advent Calendar 2023の22日目の記事です。

昨日は杉山さんの「2023年を振り返ってみた（by.パートナーチーム）」でした。こちらもご覧ください！

昨年のアドベントカレンダーでは「ゼロから始めるボカロP」と題して簡単な作曲方法を共有しました。
今年も似たようなテーマでNoteを書こうかなと思ったのですが…。
タイムリーにとんでもない生成AIが公開されました。

Suno AI

Suno AIとはマサチューセッツ州ケンブリッジを拠点とする音楽家と人工知能の専門家からなるSuno, Incによって開発された音楽生成AIです。

他の音楽生成AIと一線を画す特徴として曲のスタイルと共に歌詞を入力するだけで実際に歌付きの音楽が簡単に生成される（日本語も可能）、というものがありTwitterで一気にバズりました。
様々な名(迷)曲が作曲され続けられております。

今回はこのSuno AIを活用して、アイドルソングを作成し、他の生成AIなども活用してちょっとしたPVを作ってみようと思います。

まずは歌詞を作る

前回のアドベントカレンダーでもお話ししているのですが、私は歌詞を書くことができません。ですが、技術の進化がこの問題を解決してくれました。

そうです。Chat-GPTに歌詞を作成させればよいのです。

アイドルソングを作りたいです。 可愛い歌詞にしたいので歌詞を考えていただけますか？

早速Chat-GPTに聞いてみましょう。
それっぽい歌詞が返ってきました。

うーん…。微妙ですね…。もう少し歌詞のスタイルを指定していきます。

もう少し電波曲っぽい感じはいかがでしょうか？

なかなかいい歌詞が出てきました！なんかエンジニアっぽいテーマ性もあるちょっと近未来的な雰囲気が歌詞に出てきました。

Verse 1:
ピンク色の電波、キラキラ光る
魔法のように、心を打つよ
サイバーガール、夢に向かって
未来へ飛び込む、準備はOK

Chorus:
電波ジャンプ、飛び乗ろう
ハートのエネルギー、高まるよ
キラリ、キラリ、未来の星
私たちは一緒に輝こう

Verse 2:
コンピューターの世界、コードで繋がる
仲間と共に、強くなる
サイバーグラウンド、新しい冒険
夢の中で、私たちは無敵さ

Chorus:
電波ジャンプ、飛び乗ろう
ハートのエネルギー、高まるよ
キラリ、キラリ、未来の星
私たちは一緒に輝こう

Bridge:
バイナリの言葉、魔法のコード
私たちの歌声で世界変えよう
電波の力、友情の絆
永遠に続く、サイバーワールド

Chorus:
電波ジャンプ、飛び乗ろう
ハートのエネルギー、高まるよ
キラリ、キラリ、未来の星
私たちは一緒に輝こう

こちらで歌詞は完成となります。🎉

Suno AIで歌詞から曲を作る

さて、歌詞が完成したのでSuno AIに歌詞をインプットして曲を作っていきます。

歌詞の入力はCustom Modeを使うことで可能となります。
コツとして歌詞に Verse 1, Chrorusなど曲の展開がわかるようにしてあげると比較的曲がうまく生成されます。

また、電波系なアイドルソングを作ろうと思うのでスタイルはBPM 180, idol song, hard coreを指定します。
テンションの高いアイドルソングはBPM180くらいだと思います。

実際にできた曲がこちらとなります。

おお…!!! いい感じでそれっぽい曲になってますね..!!!
とりあえず、こちらをそのまま採用することにしましょう。

PV用の画像を作成する

さて、いい感じの曲ができたので今度はPV用の画像を作成します。
画像生成AIは色々ありますが、今回はDALL·E 3で作成していきます。
とりあえずサンプルでCDのジャケットを作成してもらいます。

おお！いい感じですね！ただ、男性の声は歌には乗ってなかったので、

なるほど！いい感じですね。
でもこのアイドルグループは全員女性です。

と入力して

いい感じでCDジャケットを作ってもらいました。

アニメではなく実写版も作ってみようと思ってましたが、ちょっと顔が崩れてしまうので今回はあきらめました。

この調子でどんどんPVに必要な画像を生成していきます。ひたすら生成します。

永遠にプロンプトを入力しひたすら同じような画像を生成させ続けるめちゃくちゃ虚無な時間…。

Gen-2 by Runway

PV用の画像がある程度出来上がったらGen-2 by Runwayの新機能「Motion Brush」を使って生成された画像を動かします。

動かしたいところをブラシでなぞって、動かす方向を指定します。

そうすると、4秒程度の動きのある動画に変換してくれます。

あとはひたすら先程作成した画像を動画にして、曲の長さまで素材を集めます。

完成！

というわけでそれっぽい曲が完成しました！

個人的にツボだったのは、車に乗っているアイドルグループの動画で、モーションを付けたらバックで走ってました。
(面白いから修正せずそのまま使ってます。)

総評とこれから

今回はいくつかの生成AIを使ってアイドルソング・PVを作ってみました。
それぞれのクオリティはまだまだなところもあるとは思いつつ、70点くらいのクオリティのものを際限なく作れる技術の発展に正直ビビりました。

正直な話を申しますと、これらの生成AIの技術について全然キャッチアップできてません。どういった仕組みで動いているかもよくわかりません..。

来年はしっかり勉強していきたいと思います！

最後に

EventHubでは、各ポジションの採用活動を強化しています。
ご興味がある方はぜひご連絡ください！

明日の記事はShiika Urataさんです！こちらもお楽しみに！

この記事が気に入ったらサポートをしてみませんか？