![見出し画像](https://assets.st-note.com/production/uploads/images/134689409/rectangle_large_type_2_045c8a75443849d4a22bb5a6456cd107.png?width=1200)
[速報]Runway Gen-2のリップシンク機能でラフなMVを作ってみる - Blog 2024/03/21
Runway Gen-2に実装されたリップシンク機能が利用可能になりましたので、早速試してみました。
先ほど、利用可能になったので、まだ数回しか実行していませんが、なかなか良いです。10秒を超えるビデオを生成しても一貫性を保ち、動画も破綻しません。
Runway's Lip Sync feature allows you to select a face for use with your audio clips, resulting in a generative video where the chosen face speaks any voice lines contained in the uploaded audio track.
ラフなMV制作
使用する画像は、Midjourney V6 (alpha) で生成。
Red, Hyper Realistic Photograph Studio White Background of a Super cute 18 year old Japanese girl. portrait photograph shot --ar 16:9 --style raw --stylize 125 --v 6.0
![](https://assets.st-note.com/img/1711058124726-4JUr7OzJnz.png?width=1200)
楽曲は先週、Suno AIで作成したものを使用。
![](https://assets.st-note.com/img/1711058699058-dm1doMRO5j.png?width=1200)
Runway Gen-2
(1)「Generate Audio」をクリック。
![](https://assets.st-note.com/img/1711056923505-CgRe7Kr8Gs.jpg?width=1200)
(2)画像ファイルをドラッグしてアップロード。
ここでは、Midjourney V6 (alpha) で生成した画像を使用。
![](https://assets.st-note.com/img/1711056936886-8oomXNXIYX.jpg?width=1200)
(3)オーディオファイルを左上の領域にドラッグしてアップロード。
ここでは、Suno AIで生成した楽曲 (MP3) を使用。
![](https://assets.st-note.com/img/1711057168798-mSB4HDDLnc.png?width=1200)
11秒のMP3ファイルをアップロード。
![](https://assets.st-note.com/img/1711057166138-VgEzlIbYz4.png?width=1200)
(4)「Generate」をクリックして実行。
11秒あるので2分ほどかかる。
![](https://assets.st-note.com/img/1711057415835-bxOKiohVHC.png?width=1200)
11秒のビデオが生成された。
※55クレジット消費
![](https://assets.st-note.com/img/1711057419012-tlbo5ntYBL.png?width=1200)
同じ生成画像で、曲の続き「10秒」をアップロードしてビデオ生成。
※21秒のビデオ生成で105クレジットを消費。
Afrer Effectsで編集して完成。
![](https://assets.st-note.com/img/1711057423493-7woxsopd1R.png?width=1200)
ラフなMV完成
11秒、10秒と各々1発生成なので、試行錯誤なしで2回しか実行していません。動画の破綻はまったくないですね。
再生時間:21秒
再生時間:21秒
ビデオ生成:Runway Gen-2
画像生成:Midjourney V6 (alpha)
音楽:Suno AI
編集:After Effects
制作日:2024/03/21
「動画生成AIの可能性」マガジンをフォローしておくと、最近記事・最新情報の通知が届きます。
更新日:2024年3月21日(木)/公開日:2024年3月21日(木)
この記事が気に入ったらサポートをしてみませんか?