［3］ 動画生成AIでミュージックビデオをつくる Live - 2023/11/11 Runway Gen-2
「動画生成AIでミュージックビデオをつくる Live」の3回目です。
今までの記録は以下をご覧ください。
11月4日（土）の記録
11月5日（日）の記録
6：ビデオ生成チェック
7：MVタイムライン設計
8：ストーリーに沿ったシーンの生成
11月11日（土）のアートワーク
9. 第3幕のストーリー調整
今までの作業で、イントロダクションから第1幕、第2幕まで編集しましたが、第3幕のシーンの一部を第2幕で使用してしまったので調整が必要になりました。
MV_Story_Timeline-ver3.pdf（PDF／2.3MB）
第3幕用の生成画像を選出する
Midjourneyに蓄積されている（今回のMV用）生成画像から、第3幕のシーンイメージ候補を探します。
歌詞の意味：
「Now that it's over you won't see me again」という部分で、関係が終わりを迎えたことが明確に示されています。このフレーズは、彼らの関係がもはや修復不可能であることを示しており、歌の主人公がその事実を受け入れ、前に進もうとしていることが感じられます。
候補の生成画像のSeed値を取得します。
右クリックして、メニューの「アプリ」→「DM Results」を実行。
元の生成画像のプロンプトにSeed値（ --seed xxxxxxxx）を付けると、同一の画像が生成されます。
center view profile , center view profile photography, crying with a sad expression on her face, film still, Meg super cute 18 year old Russian girl. Her name is Meg. She has brown ring hair and a plain white jacket. She's sitting on a train seat. shiny/glossy --ar 16:9 --style raw --seed 1322043988
Vary (Subtle：弱いバリエーション) とVary (Strong：強いバリエーション) を試しながら、さまざまなイメージを生成して、ストーリーボードにまとめていきます。
11月4日にまとめたMV「Never Your Friend (仮)」のストーリー案を確認しながら、修正箇所などを検討します。
第3幕：明日への飛躍
秋の金色の葉が時代の終わりを告げる中、
メグは人生をスーツケースに詰め込みます。メグの古い部屋の静けさの中で、2人は別れを交わします。
列車が発車して、ジェイクは一人、厳かな姿で立っています。
車内のメグは突然、泣き出します。スマホを取り出しメッセージを彼に送ります。
ジェイクのスマホにメッセージが表示されます。しかし、彼は中身を見ないで削除し、背を向けて歩き去ります。
車の汽笛が悲しげな音を響かせます。
第3幕の導入パートのラフイメージを作成していきます。
ストーリーボード用なので、2つの生成画像をPhotoshopで合成。
早朝の始発電車で、朝日が差し込むシーンをRunway Gen-2で試してみます。
プロンプトは「sunlight」で、モーション値はデフォルトの「5」でビデオ生成（カメラコントロールは使いません）。
再生時間：20秒
10. MVのシーンを提案してくれるGPTsを作成
ミュージックビデオのシーンを提案してくれるGPTs「MusicVideo Planning Alpha」を作成したので活用していきます。
GPTsは、特定の目的にあわせてChatGPTをカスタマイズできる機能で、今回の大幅アップデートして利用可能になりましたので、早速使ってみました。
とにかく簡単。ほんとに簡単です。ChatGPTを活用している人なら、特に覚えることもないので、すぐに活用できます。
GPTsの作り方（GPT Builderの使い方）は、新たにページを作成して紹介したいと思います。
下図がGPTsの開発画面（GPT Builder）です。
GPT Builderを使用すればプログラミングする必要がないので、事前に提供する情報をまとめておけば、すぐに作り始めることができます。
対話しながら作成できる「Create」モードより、事前に用意した情報を追加していく「Configure」モードの方が手っ取り早いのでお奨めです。
ミュージックビデオの歌詞やコンセプト、ストーリー、登場人物の設定などの詳細な情報を与えています。
日本語だと今のところ精度が落ちる（無視される部分がある）ので、英語にしています。
上記の情報は、GPT Builderの「knowledge」にアップロードします。
これで、私よりもMV「Never Your Friend (仮)」に詳しいアシスタントが誕生しました。
このミュージックビデオに関する全ての情報を理解しているGPTsなので、何を聞いても答えてくれます。多分、私より詳しいはず。
一切情報を与えず、いきなり「第3幕の構成に沿って、メグの性格を反映したシーンを考えてください」と聞いても、こちらが意図したとおりに考案してくれます。
以下の動画をご覧ください。
再生時間：28秒
今までは毎回、生成したい画像のイメージについて詳細に書き込んでいたのですが、このGPTs「MusicVideo Planning Alpha」を使うと、（このミュージックビデオの詳細な情報を学習しているので）簡単なやり取りで忠実度の高いプロンプトを提案してくれます。
便利だ！
MusicVideo Planning Alphaの共有リンク
※GPTsを調整したいので公開終了しました
これで第3幕のシーンを考えるクリエイティブな作業に集中できます。
今後は、プロジェクト（案件）ごとに、専用のGPTsを作成してワークフローに組み込めば、すごい効率化になるはず。
参考：
11. 第3幕を構成するシーンの生成
休憩していたら、Runway公式からこんな投稿が…
Motion Brushという新機能が近々、搭載されるようです。ブラシで塗った領域を動かすという… 凄いやつ。
Introducing, Motion Brush.
— Runway (@runwayml) November 10, 2023
A new way to add controlled movement to your generations.
Coming soon to Gen-2. pic.twitter.com/htyjf1gstz
もう、ほんとに2週間ごと新機能が搭載されたり、仕様が変わったりと、技術進化の速度が落ちません。
先ほど、GPT Builderで作成した「MusicVideo Planning Alpha」も大変役立っています。何の情報も与えずに、「第3幕のラストシーンのプロンプトを考えて」でOK！
第1〜3幕のシーン構成も登場人物の設定も全て理解しているので、短いプロンプトでカジュアルに指示できる。1週間早く、この機能が使えたら先週末でミュージックビデオ完成したと思います。そのくらい効率化できています。
MusicVideo Planning Alphaの共有リンク
※試して頂きありがとうございます、さらに調整します
今までの面倒かつ無駄な試行錯誤は何だったんだ〜というくらい、欲しいイメージを素早く生成できるようになった。
他の2つのプロジェクト（映画制作、ファッション雑誌の制作）でも、専用のGPTsを作成します！
GPTsで生成した初期プロンプト：
前回も解説したとおり、このままでは（意味のないワード、フレーズを含むため）使いづらいので、バリエーション展開したい場合はMidjourney Shorten Commandでカスタムプロンプトにします。
Film still, a White hair young man with a surfer boy-next-door look, standing alone at the edge of a train platform, gazing into the horizon. He has a phone in his hand with a new message notification visible, but he's ignoring it, showing a contemplative expression. The background features a coastal town with a departing train, its whistle echoing in the distance. The atmosphere is melancholic, capturing a moment of farewell and moving on --ar 16:9 --style raw
GPTsで生成したプロンプトをMidjourneyの「Shorten Command」で解析して、カスタマイズしやすいプロンプトに変更します。
※Shorten Commandについては、1回目の記録で解説しています。
カスタムプロンプト：
ワード、フレーズが整理され、編集しやすいプロンプトになりました。
Film still, a White hair young man with a surfer boy-next-door look, standing alone at the edge of a train platform, gazing into the horizon, has a phone, message notification, ignoring, contemplative expression --ar 16:9 --style raw
GPTsで生成した初期プロンプトと同じ生成結果です。プロンプトは半分に減りました。このカスタムプロンプトでシーンの画像を生成していきます。
ジェイクのヘアースタイルのバリエーション：
プロンプトにヘアスタイルの記述を追加しながら、シーンに合わせて微妙に変えていきます。
例えば「風になびく」シーンなら、Medium-Lengthが適しています。
見た目が重要で、シーンで映えるならMedium-LongやShortも有効です。
White hair young man
White Medium-Length hair young man
11月11日（土）のアートワーク
昨日は、GPTsの話題が中心になってしまいましたが、技術進化が速くて、月単位で制作ワークフローが刷新されていきます。
品質の向上も、作業スピードの高速化もまだまだ続くでしょう。
先週末から始めた「動画生成AIでミュージックビデオをつくる Live」の10日間で、2回も仕様が変わってしまったのですから….
今回の大型アップデートで、ChatGPT関連の解説本が古くなってしまいました。生成AI系の書籍は短命なので、発売されたら「すぐ買って」「すぐ読め」ですね…
12. 第3幕(40秒)の編集開始
いよいよ、第3幕の編集を開始していきます。40秒ありますので、シーンのつなぎで苦労することはないと思いますが、印象的なラストシーンを描くアイデアがまだ出ていないので、時間はかかりそうです。
設定集やストーリーボードは印刷して必ず壁に貼る
ミュージックビデオの設定資料やストーリーボードなどは全て印刷しています。PDFなどのデジタルだとディスプレイに依存するため、資料を一覧することができません。
大量のアイデアを結びつけていく作業で支障が出てしまうので、常に視界に入るように壁に貼っておきます。
第3幕のラストシーンは、頭の中の漠然としたイメージを視覚化し、何度も比較検証することになりますので、関連している全てのビジュアルの一覧が必須なのです。
キャラクター設定した2人を同一画面に入れる
メグとジェイクを同じに画面に入れるのはかなり難しいです。
茶系のロングヘアーと真っ白なセミロングヘアーの2人が正しく表現されないので、プロンプトで試行錯誤するより「後処理」で修正した方が速い。
今回は、Midjourneyのインペイントではなく、Photoshopの生成AI（Firefly）で修正しました（ジェイクの髪の毛の色を変更）。
Runway Gen-2でビデオ生成するときに「髪の毛が風でなびく」ようにするので、修正したヘアースタイルがキャラクター設定と一致しなくても問題ありません。
回想シーンのプランニング
第3幕の中盤で回想シーンを挿入したいのですが、セピア調にするだけでは「過去を振り返る」表現にならないので、フィルムの画質を採用することにしました。
70年代、80年代の設定ではないので、フィルム画質の回想シーンというのはあり得ないのですが、TikTokなどではZ世代がVHSビデオテープや16mmフィルムなどの古い画質のエフェクトを好んで使っているので、意外と成り立つ表現ではないかと。
今回は、ビデオ編集のプロセスでコントロールしやすいように、古いフィルムの質感を生成AIで表現するのはやめて、Premiere Pro用のモーションテンプレートを使うことにしました。
Adobe Stockのモーションテンプレートから以下を選びました（ライセンスを取得）。
ファイル番号: 675739745
このモーションテンプレート、1GB近く (994MB) あるので、ちょっと重たいですね…
ただ、期待どおりの効果が得られます。
残りは第3幕のラストシーンのみ！
MVプロトタイプ完成！
ミュージックビデオ・プロトタイプ、完成しました！
制作時間は「約38時間」(11月4日・5日・11日・12日 + 空き時間)です。
再生時間：1分40秒
Music : Never Your Friend (Adobe Stock #533372738 )
ミュージックビデオの映像は全て、生成AIによるビデオです。
後日、最終レポートを書きますので。
更新日：2023年11月12日（日）／公開日：2023年11月11日（土）
この記事が気に入ったらサポートをしてみませんか？