［速報］Runway Gen-2のリップシンク機能でラフなMVを作ってみる - Blog 2024/03/21

Runway Gen-2に実装されたリップシンク機能が利用可能になりましたので、早速試してみました。
先ほど、利用可能になったので、まだ数回しか実行していませんが、なかなか良いです。10秒を超えるビデオを生成しても一貫性を保ち、動画も破綻しません。

• Lip Sync - Runway Gen-2

Runway's Lip Sync feature allows you to select a face for use with your audio clips, resulting in a generative video where the chosen face speaks any voice lines contained in the uploaded audio track.

https://help.runwayml.com/hc/en-us/articles/27286560189075-Lip-Sync

ラフなMV制作

使用する画像は、Midjourney V6 (alpha) で生成。

Red, Hyper Realistic Photograph Studio White Background of a Super cute 18 year old Japanese girl. portrait photograph shot --ar 16:9 --style raw --stylize 125 --v 6.0

Midjourney V6 (alpha)

楽曲は先週、Suno AIで作成したものを使用。

Suno AI

Runway Gen-2

（1）「Generate Audio」をクリック。

Homeページの「Generate Audio」をクリック

（2）画像ファイルをドラッグしてアップロード。
　　 ここでは、Midjourney V6 (alpha) で生成した画像を使用。

Midjourney V6 (alpha) で生成した画像ファイルをドラッグ

（3）オーディオファイルを左上の領域にドラッグしてアップロード。
　　 ここでは、Suno AIで生成した楽曲 (MP3) を使用。

Suno AIで生成した楽曲データをドラッグ

11秒のMP3ファイルをアップロード。

再生して確認する

（4）「Generate」をクリックして実行。
　　 11秒あるので2分ほどかかる。

生成時間は、2分程度

11秒のビデオが生成された。
※55クレジット消費

生成されたビデオは「11秒」あるが破綻していない

同じ生成画像で、曲の続き「10秒」をアップロードしてビデオ生成。
※21秒のビデオ生成で105クレジットを消費。

Afrer Effectsで編集して完成。

2つの生成ビデオをAfrer Effectsで編集

ラフなMV完成

11秒、10秒と各々1発生成なので、試行錯誤なしで2回しか実行していません。動画の破綻はまったくないですね。

• 再生時間：21秒

• 再生時間：21秒

• ビデオ生成：Runway Gen-2

• 画像生成：Midjourney V6 (alpha)

• 音楽：Suno AI

• 編集：After Effects

• 制作日：2024/03/21

「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。

• 「動画生成AIの可能性」

更新日：2024年3月21日（木）／公開日：2024年3月21日（木）