Runway AIで作る動画の特徴を考察

連日Runway AIの動画生成についての記事を投稿しておりますが、本日も動画生成について記事を書きます。
Runway AIとは、テキストや画像から動画を生成できる革新的なAIツールで、動画を生成している心臓部分には、Runway社が開発した、Gen-1とGen-2とよばれる動画生成AIが使用されています。Gen-1はテキストから画像を生成したり、AIによる動画の自動編集をすることができます。Gen-1をベースに新たに作り出されたGen-2は、テキストから動画を生成したり、動画+テキスト、動画＋画像をもとに新たな動画を生成することができます。Gen-1よりもGen-2は生成速度や精度が向上しており、商用利用も可能になりました。
テキストだけで動画が作れることができるようになったことで、Gen-2が非常に注目されておりますが、Gen-2だけですべてを賄えるわけではなく、まだまだGen-1が活躍するというのが使用した感想です。

Gen-2の使用感について

Gen-2はなんといっても文字だけで動画が作れることが魅力のAIです。頭の中で想像した映像を正確に文章にすることができればその映像を動画にすることができるます。
私が動画を生成した限りでは、まだコンテンツとして完璧な動画を生成できていないため、もっと生成を繰り返して適切なプロンプトを入力できるように工夫をしなくてはいけないと考えています。

Gen-1を使うことについて

Gen-2をで動画生成をする際にプロンプトが定まらず、思い通りの動画が生成できない場合は、Gen-1の出番です。Gen-1は動画から動画を作ることができます。動画を1から作るスキルがなくてもスマホでムービーを撮影することはできるはずです。理想とする映像を演じてムービーを撮影し、そのムービーをプロンプトとして動画を作成することで、テキストのプロンプトから動画を生成するよりも簡単に動画を作ることができます。

Gen-1とGen-2を組み合わせて動画を作る

テキストのみで動画生成を完結できるのが私の理想です。そのためにプロンプトの見直しを続ける必要があるのですが、少しでも簡単に理想の動画を作るためにはGen-1とGen-2を組み合わせるのが効果的ではないかと考えています。冒頭でGen-2は動画＋テキスト、動画＋画像をプロンプトとすることができると説明しました。これをマルチモーダルシステムと呼ぶのですが、Gen-1である程度動画の骨組みを作り、その動画をGen-2のプロンプトに利用します。加えて編集の内容をテキストで捕捉すると、理想の動画に近づけることができます。マルチモーダルシステムにてプロンプトとして使用するテキストについても、工夫することで動画の仕上がりが大きく変わるので、こちらもコツなどを研究を進めます。

活動紹介

神戸三宮で勉強会を開催しております。
現在生成系AIの勉強会を毎月2回開催しておりますのでご興味のある方はぜひご参加ください。

以下公式サイトです。

【神戸三宮】生成系AIを学んで使う！生成系AI入門講座