見出し画像

LumaAIでセリフ音声付きの超ショート映画を作る方法

yachimat

前回はCMを作りましたが、セリフ入りの映画にも挑戦してみました。

この記事ではその作り方をまとめています。

完成品


使ったもの

  • Midjourney（画像）

  • Luma Dream Machine（映像）

  • ElevenLabs（セリフ音声）

  • Udio（音楽）

  • Canva（編集）

プロジェクトの流れ

Midjourneyでの画像生成

最初に行ったのは、Midjourneyを使ってハリー・ポッター風のシーンをいくつか生成することです。

プロンプト例　

a movie scene like Harry Potter, a wizard of fire and a wizard of snow is fighting in a medieval town, close up

正直凝ったことはやっていません。

最初の段階では、特に詳細な構想や脚本を用意せずに、単に世界観を設定してイメージを膨らませました。

これは非常に重要なステップであり、現在の精度では、まず完璧な脚本を作成してから映像を作るのは難しいため、生成された画像を見ながらインスピレーションを得て、ストーリーを構築するスタイルが適していると感じます。

脚本ありきになると、思った通りの動画にならないことも多くガチャ地獄に陥ります。笑

Luma Dream Machineでの映像制作

Luma Dream Machineを使用して、生成した画像を元に映像を制作しました。

ほとんどの生成はどこか破綻しているので実は切り抜いています。5秒の中でも細かく分けて使える素材を探すイメージです。

失敗例

ゴブリンじみたハリー・ポッター😅
フェモラルマッスル魔法、空気椅子

NG集はほかにも沢山あります。

プロンプト

全体的にプロンプトは短めにしました。複雑なことを期待するとなかなか実現されないので。

dramatic camera workが、効いてるかどうかは正直微妙です。

上記の通り、世界観とシーンをなんとなく思い浮かべながら生成し、ストーリーはあとから考えました。

たとえば最初はドラゴンを出すつもりはありませんでした。が、急に言ってもないのに出てきたので、じゃあまあ使ってみようかなと。

ElevenLabsでのセリフ音声

前回のCM制作時に試せなかったセリフを今回初めて試してみました。

ElevenLabsを使ったセリフ音声の追加は非常に簡単で、無料範囲内で実施しました。(映画のセリフなので、尺自体は短いのが有り難かったです)

しかし、セリフをどのようなトーンで話してほしいかを伝えるのは難しく、演技をさせるのは至難の業です。

Speech to speech機能を使えばある程度解決できますが、自分の演技力が求められることになります🤣

Udioでの音楽制作

今回も音楽のプロンプトをChatGPTに考えてもらいました。生成された音楽は映画の雰囲気にぴったり合い、プロジェクト全体を引き立てる役割を果たしました。

プロンプト

A high-intensity, dramatic orchestral piece for a battle scene between wizards in a Harry Potter movie. The music should be fast-paced and dynamic, with powerful crescendos and ominous undertones to convey the urgency and danger of the fight. Incorporate mystical and magical elements using instruments like the celesta, choir, and harpsichord, alongside traditional orchestral components such as strings, brass, and percussion. The piece should ebb and flow with the action, building tension during intense moments and providing brief, quieter interludes to heighten the drama before launching back into the fray.

実際にここまで長い必要はないと思いますが、どこまで長いプロンプトがいけるのかも試したかったのでやってみました。

音楽はポン出し、採用したのは前者です。後者はちょっと盛り上がりに欠けるため。

Canvaでの編集

編集にはCanvaを使用しました。操作が非常に簡単で、直感的に使えるため、短時間で編集作業を終えることができました。

さくさく、快適で大好きです


生成AIに自由に出力させて、編集力でカバーしよう！

私はゲームボーイの魔界塔士の頃からサガが好きです。

あの多様な世界観をどうやって作っているのだろうとおもっていたのですが、先日プロデューサーである河津さんはインタビューで

「細かい注文はしないです。ベストなものを作ってくれたら、それをつかった料理を考えるんです」

じゃあ牛肉作ってって言って豚肉が出てきたら？

そこは「おい！牛肉っつったろ！」って言いつつ「豚肉もったいないなぁ、何か使えないかなぁ」と考えちゃいますね

的なことを言ってました。

こんな人のとこで働けたら最高だなと思っちゃいましたね。

AIに関してもマイクロマネジメントせずに、最高のものを出してもらったら、それを最高の料理にしてやるってスタンス、ありかもしれないですね。

少なくとも私はそんな感じで行きたいと思ってます。なので、私の漫画集は「サガ」の名前を勝手にいれちゃってます🤣


でもやっぱり脚本は大事…！

さて映画の音声もAIで作れるようになっても、脚本はまだまだです。今回のは完全にノリで自分で考えています。

脚本にはこういう部分的な活用はありですが

まだストーリーのヤマとオチつけさせる、カタルシス出させるなどは難しいです。

ここに関しては地味に「良い脚本とは」を勉強するしかないと思います。

というわけでこちらのマガジンでは名作の脚本を13フェーズ理論で分析して応用できるポイントを探っています

興味があったら是非フォローしてくださいね！

この記事が参加している募集

#創作大賞2024

書いてみる

締切:

この記事が気に入ったらサポートをしてみませんか？