動画生成AIとUE5で作るレトロゲーム動画：Nostalgia1907
こんにちは。私はNostalgia1907というレトロゲームが大好きでここ数年、デモを作成しています。今回は備忘録的な投稿です。
2023年の構成
3Dエンジン：Unity
画像生成：DALL-E2
音声合成：VoicePeak
2024年の構成
3Dエンジン：Unreal Engine 5.3
画像生成：Midjourney
動画生成：Runway Gen-2、Haiper AI
音声合成：VoicePeak（継続使用）
今年の制作プロセスを記します。
1. 海の舞台：UE5で船を動かす
UnrealEngine 5.3を使って、CGTraderから購入したTitanic号の3Dモデルを使用しました。リアルな海の表現のために以下のアセットを導入しています：
Waterline Pro：美しく軽量な波の表現
M5 VFX Vol2. Fire and Flames：迫力ある爆発エフェクト
エフェクト実装について
Waterline Proは見た目は素晴らしいものの、船との相互作用で波を生成するのに苦労しました。一方、爆発エフェクトは比較的スムーズに実装できました。
動きの演出
船、爆発エフェクト、カメラワークはすべてシーケンサーで制御しています。BluePrintは使用せず、細かな動きまでコントロールしています。
2. 人物シーンの生成：Midjourney
船以外のシーンは、MidjourneyとRunway Gen-2、Haiper AIを組み合わせて制作しました。
Midjourneyで基本となる画像を生成
Runway Gen-2、Haiper AIの「Image To Video」機能で動画化
他の画像生成AIも試しましたが、Midjourneyが最も高品質な結果を出しました。
3. 静止画を動画に：Runway Gen-2、Haiper AI
Runway Gen-2とHaiper AIは、Midjourneyで生成した画像をベースに動画を作成するのに最適でした。ただし、思った通りの動きを得るまでには何度も生成が必要でした。
制作のコツ
テキストベースよりも、高品質な画像からの変換の方が良い結果に
納得いかないシーンは、別のシーンで代替することも
※Runway Gen-2、Haiper AIの双方を課金して使用しました。使用割合は半々ぐらいです。
4. 感情が入った声：VoicePeak
キャラクターの声はVoicePeakで生成しました。極端なパラメータ設定で感情表現を強調し感情が入った音声になったと思います。
5. その他
最後の波のシーンのみBlenderを使用しています。
また冒頭のモールス符号は「Attention Nostalgia Crew, please be advised that your ship has now been hijacked.（ノスタルジアクルーに告ぐ。貴客船はただいま乗っ取られたことを通告する）」というメッセージをLEARN CW ONLINEで変換して使用しました。
未来への展望
今年は動きにフォーカスした作品に挑戦しました。技術の進化は目覚ましく、来年はさらに何が可能になるのか、期待と不安が入り混じる思いです。
この記事が気に入ったらサポートをしてみませんか？