3時間49分で作成した、ゼロから生成AIで作るオリジナル楽曲とムービーの作り方
まずは完成した動画を見てください。楽曲の後半は手抜きをして黒背景になってますが、試作ということでご了承ください。
利用したAIツールとURL
chatGPT（歌詞作成、プロンプト作成） https://chatgpt.com/
suno ai （楽曲作成）https://suno.com/
レオナルド ai（画像生成） https://app.leonardo.ai/
runway Gen2（動画生成） https://app.runwayml.com/
Luma dream machine（動画生成） https://lumalabs.ai/
Domo AI（動画生成） https://www.domoai.app/
iMovie（動画編集作業）
今回初めて動画生成にチャレンジしているため、chatGPT以外は無料プランを使って試しています。そのため、作成動画にもウォーターマークや各ツールのロゴが入っていますがご了承ください。良いツールは検討して有料契約して本格的に使いたいと考えています。
制作の全体の流れ
1.ChatGPTで楽曲の歌詞作成を行う
chatGPTで希望の歌詞を依頼します。今回僕が依頼したのは以下の内容です。
「大阪ぽさが出てる、GPUがこれからデジタルオイルとして世の中に広く使われるものとして扱う歌の歌詞を書いて」
この中から、自分のイメージに合うフレーズを選択します。今回は以下のフレーズを使って、楽曲作成をしていくことにしました。
「デジタルオイル、燃やしていこう！
この街から世界へ、未来を描こう！
GPUの炎で、みんなをつなげるで！
あんたもわかるやろ、これが新しいエネルギーや！」
2. suno aiで楽曲を生成する
左上のSong descriptionのところに先ほどのフレーズを入れてCreateを押すと数分で2曲数分で作ってくれました。
歌詞もフレーズから拡張していい感じに生成されています。
[Verse] デジタルオイル 燃やしていこう この街から 世界へ飛ぼう 新しい夢 ここで生まれる みんなの声が 力になるよ
[Verse 2] GPUの炎 まだ灯して 未来の扉 ここで開こう 見たことない景色 見せてやる 君の笑顔が エネルギーさ
[Chorus] デジタルオイル 未来に燃える この手で掴む 新しい世界 繋がる心 ここで感じる 一緒に行こう 新しい旅
[Verse 3] 電脳の海を 潜ってみよう 新しい道 ここに拓こう 君の声が 波になるよ みんなを導く 光になる
[Chorus] デジタルオイル 未来に燃える この手で掴む 新しい世界 繋がる心 ここで感じる 一緒に行こう 新しい旅
[Bridge] ビットの風が 背中を押す 無限のチャンス ここで待ってる デジタルの花 咲かせていこう 新しい力 ここにあるよ
3.chatGPTでムービー素材の元になる画像のプロンプトを作成する
またchatGPTに戻り、画像生成のためのプロンプト作成を依頼します。以下のように依頼しました。
上記のオリジナルソング名を「デジタルオイル」とし、その曲に合うイラストを作成するプロンプトを複数出して欲しいです。サイバーな感じで、新しい未来を感じるようで、大阪ぽさを感じるイラストを複数作成してください。後ほどそれをもとに動画を作成してプロモーションムービーを作成します。
複数のプロンプトが生成されたので、それと使って画像生成していきます。
4.レオナルドaiを使って画像生成をする
レオナルドaiは現在無料でもある程度の枚数の画像が生成できるのでおすすめです。
サイトの中央にあるimage Creationのボタンを押して画像生成の画面に遷移します。
先ほどchatGPTに作ってもらったプロンプトを貼り付けて、Generateを押します。デフォルトで4枚の画像を出力するようになっています。
自分のイメージに合う画像を生成するまでchatGPTに戻ってプロンプトの生成を繰り返すと良いでしょう。ここは熟練の人と差がでる部分だと思います。
5.各種動画生成aiで動画を生成
とりあえず色々試したいと思って無料プランで触りましたが、無料プランでも十分に楽しめたのはRunwayのGen2でした。次点でLumaで、Domo AIはあまりピンときませんでした。ウォーターマーク等が付くのでちゃんとした制作物を作る場合は有料プランが必須です。
Runway Gen2
左のメニューからText/image to Videoをクリック
Gen2を選択（Gen3の方が高機能だけど有料プランが必須）して、画像のアップロードをする。
左メニューからcameraを選んでカメラのアングルやズームなどの設定をすることで画像から動きのある動画が生成されます。
また左のメニューのMotion Brushを使うと変化を加えたい部分を選択してその部分に動きをつけることができます。
このあたりも熟練の人とのスキル差がでてくる部分と思いますが、いろいろ試してみると良いでしょう。
Lumaで動画生成する場合は、生成窓の画像アイコンをクリックすると画像をアップロードできます。1枚でも2枚でもどちらでもOKです。
LumaはRunwayのGen2よりも動きが考えられたものになってましたが、生成時間が結構かかります。シンプルなものでも10分程度でキューの待ち状況にもよるのかもしれませんが、1時間たっても生成できないものもありました。
このあたりは無料プランだからということもあるかもしれません。ちなみにRunwayのGen2は2-3分くらいで生成してくれました。
6.動画編集ツールで楽曲と動画を編集
これはAIツールでは無いですしiMovieである必要もないのですが、手元で使えるものがこれだったので利用しました。Macユーザーは無料で使えるのでありがたいです。
自動で字幕をつけるツールもあるみたいなのですが、今回は自分でつけました。
動画生成に時間がかかってしまうので、本格的に作成しようとすると結構自時間がかかりますが、ちょっとしたものを作るだけなら簡単にできました。
おまけ
この動画を作った理由は、動画の生成AIを触ってみたかったというのもありますが、僕がアンバサダーを務めているIO.netという分散型GPUクラウドで動かせるものはないか確認したかったという目的もあります。
また、レオナルドAIはIO.netとパートナーシップを組んでおり、画像生成時のバックエンドのGPU提供を行なっています。
IO.netはGPUのairBnBのようなイメージです。
楽曲のイメージであるデジタルオイルはIO.netをイメージして楽曲を作りました。もし、IO.netに興味ある方いればDiscordに日本語チャンネルがあるのでぜひ覗きにきてください。
Discordへの参加は以下からできます。
この記事が気に入ったらサポートをしてみませんか？