気になる生成AI備忘録-vol.6-

■気になる生成AI備忘録とは
個人的に気になる生成AIのポスト(X)をまとめた備忘録を共有する連載シリーズです。

より気になるもの・深追いしたいトピックは当サイト『はじめての生成AI比較.com』にてUP予定…とは考えているものの、サイトのほうはサイト名の通り、生成AI初心者の方向けです。

そのため、なかなか更新進まずで（汗）

こちらnoteでは、基本的には脱初心者目線のコンテンツとして捉えて頂ければと思います。

今回紹介するのは

「Direct-a-Video」

動画生成AIですが、気になるのでピックアップしました。

さっそく、Direct-a-Videoの論文といっていいのか定かではありませんが、概要など書かれているページです。

https://direct-a-video.github.io/?ref=aiartweekly

↑の英文をわかりやすく日本語で言い表すと

Direct-a-Videoは、ユーザーが同時にカメラワークとオブジェクトの動きをコントロールできる革新的なフレームワークです

といった意味合いになります。

正直、これが理由で気になるリストに入れました。

少しでも動画生成AIに触れたことがある方であれば、ピンと来たんじゃないでしょうか。

もう少し詳しく説明すると、

Direct-a-Videoは、ユーザーがカメラとオブジェクトを別々に制御可能な動画生成AIフレームワーク

ということです。

私も全ての動画生成AIに触れたわけじゃありませんが、現状多くの動画生成AIは、ユーザーがカメラワークとオブジェクトの動きを完全に独立して制御することは出来ないかと思います。

↑↓←→、ズームイン・アウト、といったある程度のカメラワークが可能だったり、テキストプロンプトによって間接的には制御可能、、、とは言えるかも知れませんが、完全ではありません。

この、カメラワークとオブジェクトの動きを独立して制御できる点ですが、動画編集ソフトのように、動画の構成を細かく調整できるものだと思います。

具体的にわかりやすい例を挙げると、まずカメラワーク制御については

A dog walking in the park
（公園を散歩する犬）

というプロンプトで動画生成するとなると、AIは犬が公園を散歩している（歩いている）シーンの動画を生成するかと思います。

ですがカメラワークはAIが決定することになります。

先ほど少し触れた↑↓←→、ズームイン・アウトといった、ある程度のカメラワークが可能な動画生成AIもあります（Runway、PIKAなど）が、カメラがズームインするとオブジェクトもそれに合わせて大きくなる可能性が高いです。

Direct-a-Videoの概要等書かれているページに目を通す限り、ユーザーがカメラワークとオブジェクトを完全に別々に制御できるという点は、かなり画期的なことだと言えるでしょう。

「完全に」というのが未だ実際に触ったわけではないですし、「本当ならすごいなぁ」といった感じでもあります。

それでも例えばPixVerseで、img2mov（画像から動画生成）の場合、テキストプロンプトとStrength of motion（動きの大きさ）によって動画生成が可能ですが、Direct-a-Videoは、より細かくカメラワークとオブジェクトの動きを制御できる、と考えるだけでも画期的なのではないかと。

個人的に期待できそうな点としては、ざっくり言っても他動画生成AIで不可能だったことが可能になる、という点だけでも期待できそうなのですが、ユーザーは、より創造性が発揮できることにつながるでしょうし、綿密な動画表現が可能になるかと考えられます。

Direct-a-Videoは、まだ開発段階ですし、日本で私たちが普通に触れるようになるのがいつなのかは明確なアナウンスはありませんが、ひとまず気にして待ちたいと思います。

Direct-a-Videoによって、もう一段高、動画生成AIでの動画制作の可能性を大きく広げる存在となってくれればいいですね。

品質面でいうと画質も非常に気になるところではありますが、概要等が書かれているページを観る感じでは、現状のテスト・デモ段階でこれなら悪くはなさそうではあります。

↑このように（ページで観ると動いています）、Direct-a-Videoの概要等書かれているページには、カメラの動きなど、動画で確認することができるので、興味がある方は一度チェックしてみてはどうでしょうか。