漫画風の動画を生成する！（RunwayGen-3×Midjourney×DomoAI）

こんにちは！株式会社ニジボックス　UX・ディレクション室、室長の吉川です。
今回は「漫画風の動画を生成する！」がテーマです！

私がもともと漫画家からキャリアをスタートしたこともありまして（謎キャリアですが。。）昨今の生成AIの進化において、より自分なりの表現をしたいと思うようになり、このテーマに挑戦したいと思いました。

そして、試行錯誤の結果、できた動画がこちら！

どうでしょう？かなりいい感じに出来たと思っています。
最終的に、Runway Gen-3とMidjourneyとDomoAIを組み合わせるという方法が一番良かったです。
今回は、この動画の作成方法を惜しみなく詳しくお伝えします！

1.Runway Gen-3で元動画を生成

まずは元となる動画をGen-3で生成します。
ChatGPTに作りたい動画のシーンを伝え、適切なプロンプトを作ってもらいます。

▼ChatGPTへの指示

Runwayで動画を作りたいので、プロンプトをつくってほしい

カメラ動作：シーン設定：追加情報 というプロンプト構成にしたい

シーンは日本のドラマ風のシーンで女性が雪の中、寒さに耐えながら好きな人を待っているシーン
女性の顔のアップ をドラマチックな演出で作りたい

ここでポイントはAIにプロンプトを生成してもらうということ

最初にプロンプトを作る手間を省くだけでなく、もし思い通りの動画にならなかったときに「この辺おかしいからプロンプト直して」と指示を出せばいいだけなので、自分で作るより修正の手間を考えるとAIでやるのが吉！

そして、できたプロンプトがこちら

カメラはゆっくりと女性に向かってズームインし、顔のアップにフォーカスする。最初は全身が見えるショットから始まり、徐々に女性の表情を捉えるクローズアップに移行。女性の周りに降る雪がカメラに映り込み、シーンの寒さを強調。シーンは日本のドラマ風。寒い冬の日、雪が静かに降り積もる中、街の路地裏で女性が好きな人を待っている。背景にはぼんやりとした街灯の光が差し込み、静かな雰囲気を醸し出す。女性は厚手のコートを着ているが、それでも寒さに震えている。手はポケットに突っ込み、顔は赤くなり、目には涙が浮かんでいる。彼女の表情には期待と不安が入り混じっており、ドラマチックな音楽がシーンの感情を高める。背景の音には遠くでかすかに聞こえる車の音と、風に吹かれる雪の音が含まれる。

これを英語に翻訳し、プロンプトは完成。
そしてこのプロンプトをRunway Gen-3に投入！
出来た動画がこちら！

これでRunway Gen-3の出番は終了です。

2.Midjourneyで漫画風のイラストを作成

さて、次は漫画風のイラストをつくります。
これを後から上記の動画にマージします。

上記でRunway用に作ったプロンプトをMidjourneyにもいれるのですが、さらにテイストを指定します。

2024年4月から実装された「スタイルリファレンス機能」を使い、好みの漫画風のスタイルをプロンプトに反映させイラストを生成するのです。

やり方は簡単！
まずはテイストを参考にしたい画像（今回は漫画画像）をMidjourneyのDiscordにアップし画像のURLを取得

その後
画像生成をする通常のプロンプト（つまりRunwayの動画用に作ったプロンプト）の後ろに「 --sref (テイストを参考にしたい画像のURL) --sw 1000」
と付け加えます。※swはどのくらいsrefの要素を引き継ぐか？で1000がMAXです。
※今回スタイルリファレンスのやり方は詳しく説明しませんので、もし上記ではわからない。という方は他の記事を参照ください！

Runway用のプロンプトとテイストを参考にしたい画像のURLを組み合わせて生成した画像がこちら！

これでMidjourneyの出番は終了！さぁ、最後に組み合わせます！

3.DomoAIで動画とイラストを合成し漫画風の動画を生成

最後はDomoAIの出番です！

2024年6月に追加された「Fusion style v2」を使います。

まずは左上からPromptエリアに、Runwayで入れたプロンプトを（このプロンプトは計3回使いましたね。使いまわせて便利！）

スタイルは「Fusion style v2」を指定。これを指定することで、下に「参照画像」というエリアが現れ、その画像を参照してくれます。

参照画像にはMidjourneyで作った画像をいれます。

そして右の動画アップエリアにはRunwayで作った動画をアップロード。
あとは、下の「生成」ボタンを押せばOK！

その結果できた動画が最初にお見せしたこちらです！

かなり満足する出来となりました！！
※このやり方に行きつくまで1日くらい試行錯誤してましたが。。w

4．最後に

いかがでしたでしょうか？
AIツールはどんどん進化し、来週にはどんなものが出ているかわからない状況になってきました。
その中で、そろそろ、その人の個性や独自性が求められる状況になってきたのでは？となんとなく感じています。

自分なりの表現、自分が気持ちのいい表現を今後より突き詰めていきたいと思っています。

最後までご覧くださりありがとうございました！では、また次回！