【映画制作に革新をもたらすAIツール】英語解説を日本語で読む【2024年1月19日｜@Theoretically Media】
この動画は、AI技術の進化によって動画制作や映画制作の分野がどのように変わっているかを紹介しています。Runway MLのMotion Brushがアップデートされ、背景やキャラクターの動きを自然に表現できるようになりました。Domo AIは、アニメーションやスタイル変更が可能なDiscordベースのビデオジェネレーターです。invideo AIのVideo Makerは、プロンプトから全てのビデオ要素を作成でき、SonicVisionLMはビデオからサウンドエフェクトを生成します。FMA-Netはアウトフォーカス映像を修正するツールです。これらの進歩により、動画制作におけるモーションコントロールやエフェクト生成が格段に進化しています。
公開日：2024年1月19日
※動画を再生してから読むのがオススメです。
Hey everyone, well, we've got some really big news in the world of AI video and film making.
みなさん、AIビデオと映画製作の世界で本当に大きなニュースがあります。
Namely, our ability to control motion has increased by 5x.
具体的には、私たちのモーション制御能力が5倍に増加しました。
Plus, I've got a look at a new AI video generator and restlyzer.
さらに、新しいAIビデオジェネレーターとリスタイラーを見てみました。
This is going to be one that will be particularly interesting to you if you are looking for an animated look.
これは、アニメーションのような見た目を求めている方に特に興味深いものになるでしょう。
I've got an absolute game changer when it comes to sound effects and fley, whether the video is AI generated or traditionally filmed.
AI生成されたビデオであろうと伝統的に撮影されたビデオであろうと、音響効果とフレイにおいて、私はまったくのゲームチェンジャーを手に入れました。
Plus, a really amazing video deblur tool that pretty much signals the end of out-of-focus shots.
さらに、ピントの外れたショットの終わりを告げる非常に素晴らしいビデオデブラーツールもあります。
Alright, let's dive in.
さあ、始めましょう。
Kicking off, Runway ML has introduced an update to Motion Brush, allowing for five separate individual Motion Brushes to be applied to any image reference.
まず、Runway MLはMotion Brushのアップデートを導入しました。これにより、任意の画像リファレンスに5つの個別のモーションブラシを適用することができます。
Having this level of motion control does solve a lot of problems for AI video.
このレベルのモーション制御を持つことは、AIビデオにとって多くの問題を解決します。
For example, taking this kind of Shira-inspired shot that I generated in PixVerse the other day.
たとえば、先日PixVerseで生成したこのようなシラにインスパイアされたショットをご覧ください。
And look, nothing against PixVerse, I think it's great, it's free, and I did do a whole video on it earlier this week that is linked down below.
そして、PixVerseには何の問題もありません。素晴らしいですし、無料です。先週のビデオでも紹介しましたので、下のリンクからご覧いただけます。
But we do have that sort of typical image reference to AI video look, which is the background is slightly moving, parallaxing.
しかし、私たちは典型的な画像リファレンスからAIビデオの見た目を持っています。背景がわずかに動いている、パララックス効果があるというものです。
She's kind of turning, and she's kind of got that fixed Mona Lisa gaze.
彼女は少し回転しており、固定されたモナリザのような視線を持っています。
But running the same image over to Gen-2 and adding in the Motion Brush, you can now see that we have up to five different brushes that we can apply all of our directional motion controls onto.
しかし、同じ画像をGen-2に渡してMotion Brushを追加すると、方向性の異なるモーションコントロールを最大5つのブラシに適用できることがわかります。
So, giving this a shot with brush one here, I'm just going to brush her face.
では、ここでブラシ1を使って彼女の顔にブラシをかけてみましょう。
We'll give that a very slight horizontal turn to the right.
それをわずかに右に水平に回転させてみます。
And then move up to brush two, where I'm just going to fill in the crowd of commoners over here, and then give them some ambience.
そして、ブラシ2に移ります。ここでは、こちらの一般人の群衆を埋めるだけでなく、彼らに雰囲気を与えます。
And you do also have access to all of your camera motion controls as well.
また、すべてのカメラモーションコントロールにもアクセスできます。
So, we can add a slight zoom out on this, you can pan, you can tilt, or do whatever.
したがって、これに少しズームアウトを追加することができますし、パンやチルトなども行うことができます。
And with that, we have a pretty decent shot, definitely much more lively than that original parallaxing image.
これで、かなりまともなショットができました。元のパララックス効果のある画像よりもずっと活気があります。
She kind of ends up looking like Charlie's Theron, doesn't she?
彼女はチャーリーズ・セロンのように見えませんか？
Well, now I want a Shira movie starring Furiosa.
さて、今度はフュリオサが主演のシラの映画が見たくなりました。
I mean, come on, now that's on equal footing with the Bruce Lee Terminator movie.
つまり、ブルース・リーのターミネーター映画と同じくらいの価値があるということです。
So obviously, that is just with two brushes.
明らかに、これは2つのブラシで行ったものです。
I haven't gotten a chance to fully dive into everything because frankly, I'm juggling a lot of stuff.
正直言って、私は多くのことを同時にこなさなければならないため、すべてに十分に時間をかける機会がありませんでした。
Luckily for us, friend of the channel Jeff Synthesized has.
幸いなことに、チャンネルの友人であるジェフ・シンセサイズドが詳しく調査してくれました。
So Jeff put together this cool reel showcasing all five brushes at work.
ジェフは、すべての5つのブラシがどのように機能するかを示すクールなリールを作成しました。
You can see the eyes here are one brush, eyebrows another, hair another, the lips are another, and the body is another.
ここでは、目が1つのブラシ、眉毛が別のブラシ、髪が別のブラシ、唇が別のブラシ、体が別のブラシとなっています。
And then, when you put all of that into motion, you get a shot like this.
そして、それをすべて動かすと、このようなショットが得られます。
This, in a separate shot, and I'm just going to scrub through this onecause the shot goes by very quickly.
これは別のショットで、とても早く過ぎていくので、ただスクラブしていきます。
Jeff applies two different brushes to each eye and manages to get the crosseyed look.
ジェフは、それぞれの目に2つの異なるブラシを適用し、斜視のような見た目を実現しています。
So yeah, there's definitely a lot of creative possibilities, but this is the one that really blew me away.
ですので、確かに多くの創造的な可能性がありますが、これが私を本当に驚かせたものです。
These City shots are really nice, especially the second one.
これらの都市のショットは本当に素晴らしいです、特に2番目のものです。
Yeah, that looks really, really good.
うん、本当にとても良いですね。
And once again, that was attained with five separate brushes.
そして再度言いますが、これは5つの別々のブラシを使用して達成されました。
As a caveat, I do want to point out that it still takes a number of generations to get to something that you like.
ただし、気を付けておきたいのは、自分の好みに合うまで何世代もかかるということです。
For example, take making this image of Godzilla, which I used for a thumbnail a little while ago, and bringing that into Motion Brush.
たとえば、少し前にサムネイルに使用したゴジラの画像をモーションブラシに取り込むと、次のようなものが得られます。
I ended up with stuff like this, which is good for about the first second and then gets a little bit weird.
私は最終的にこんな感じのものになりましたが、最初の1秒くらいは良いんですけど、ちょっと変になります。
We got the return of scandalous Godzilla, where he kind of morphs into somebody doing a deadlift but kind of shimmying the glutes as well.
ゴジラのスキャンダラスな復活ですね。彼はまるでデッドリフトをしている人物に変身し、お尻を揺らしているようです。
Yeah, I don't know why Godzilla's so obsessed with like La face and an Oakland booty, but clearly Godzilla likes him round.
うーん、なぜゴジラがラフェイスとオークランドのお尻にこだわるのかはわかりませんが、明らかにゴジラは丸いものが好きなようです。
After about eight Generations, I ended up here, which I like.
約8世代後、私はここにたどり着きましたが、私は気に入っています。
there are some issues like his hand, or is it a paw?
彼の手のような問題がありますか、それとも足ですか？
Does Godzilla have a paw or is it his hand?
ゴジラは足（paw）を持っているのか、それとも手（hand）なのか？
I'm going to call it his paw.
私はそれを彼の足（paw）と呼ぶつもりです。
His paw kind of turns into smoke here, but I think I could take an earlier iteration and probably comp them in together and then mask the better paw in.
彼の足（paw）はここで煙に変わるのですが、以前のバージョンを使って合成し、より良い足（paw）をマスクすることができると思います。
Ultimately, having this much control over motion is a really huge step in the right direction.
結局のところ、このように運動を制御できることは、正しい方向に向けた非常に大きな進歩です。
The updated Motion Brush is available now over at Gen-2, so get moving.
アップデートされたモーションブラシは現在Gen-2で利用可能ですので、動き出しましょう。
Moving on brings us to today's sponsor, and this is relevant to your interest, and we're going to have some fun with it, so you know, don't completely zone out.
次に進むと、今日のスポンサーに移りますが、これはあなたの興味に関連しており、楽しい時間を過ごすことができますので、完全に無関心にならないでください。
This is video video maker by invideo AI, and you can access this from the ChatGPT store.
これはinvideo AIによるビデオメーカーです。ChatGPTストアからアクセスできます。
This is a tool that will allow you to create entire videos from a prompt, and that includes the script, the narration, video b-roll, stills, and titles.
これはプロンプトから完全なビデオを作成するためのツールであり、スクリプト、ナレーション、ビデオBロール、静止画、タイトルを含みます。
It's a lot of fun to use too since it is GPT based, and it's conversational.
それはGPTベースなので使うのも楽しいですし、会話形式です。
Briefly, to access it, you will obviously need to have access to the ChatGPT store, but you come up to this Explore GPTs here.
簡単に言えば、アクセスするためにはChatGPTストアへのアクセス権が必要ですが、ここでExplore GPTsを選択します。
And then, if you just search for video maker, it should be the first one.
そして、ビデオメーカーと検索すると、最初のものが表示されるはずです。
Yeah, there's, apparently, I guess, 25,000 users using this as well.
そうですね、25,000人のユーザーが使用しているようです。
Double click on that and that brings us to more or less a standard ChatGPT chat.
それをダブルクリックすると、ほぼ標準的なChatGPTチャットに移動します。
Now, the obvious use case for video maker would be for something like video presentations or explainer videos for YouTube shorts, but that doesn't mean you can't push it into some creative directions.
ビデオメーカーの明らかな使用例は、YouTubeショートのビデオプレゼンテーションや説明ビデオなどですが、それは創造的な方向にも展開できます。
We'll take a look at that in just a second.
それについてはすぐに見てみましょう。
Yeah, just because something sponsored does not mean I'm not going to play around with it a little bit.
そうですね、スポンサーがついているからといって、私がそれで遊ばないわけではありません。
So, let's first try something out on the kind of typical side.
では、まずは典型的な側面で何か試してみましょう。
It's currently 20° and snowing where I am, so I'm thinking about summer vacation and somewhere tropical.
現在の気温は20度で、雪が降っていますので、私は夏休みとトロピカルな場所を考えています。
So, giving it the prompt, please create a YouTube short video for the top four beach vacation locations, and then running that pretty quickly, you'll have a custom link that you can then hit.
ですので、プロンプトに「トップ4のビーチバケーションスポットのためのYouTubeショートビデオを作成してください」と入力し、それをすばやく実行すると、カスタムリンクが生成されます。
From there, you'll end up on a login page.
そこから、ログインページに移動します。
I've actually already logged in, so I'm just going to hit continue, and really does not take a lot of time before you have a full video.
私はすでにログインしているので、続行をクリックします。ビデオを作成するのにはあまり時間はかかりません。
Welcome to a whirlwind tour of four of the world's most stunning beach vacation locations.
4つの世界で最も素晴らしいビーチバケーションスポットへの旅へようこそ。
First stop, the Maldives, a paradise of over a thousand islands.
まずは、モルディブ、1000以上の島々の楽園です。
So yeah, definitely not bad, but here's what's kind of cool is that you can swap and change things out.
そうですね、悪くはないですが、ここで面白いことは、交換や変更ができるということです。
So let's say that I don't like that first Beach location, I can just prompt for a different one.
例えば、最初のビーチの場所が気に入らない場合、別の場所を指定することができます。
So asking it to change the first vacation location to Fiji and hitting the generate button.
最初のバケーションスポットをフィジーに変更して生成ボタンを押すと、次のような結果が得られます。
First stop, Fiji, a paradise of both private and public Islands known for its refined beaches and clear warm waters.
まずは、フィジー、プライベートとパブリックの島々で知られる楽園、洗練されたビーチと透明で温かい水が魅力です。
It's an idyllic Escape for any Beach lover.
ビーチ愛好家にとって理想的なエスケープです。
we can also change our voice to a British accent.
また、声をイギリス訛りに変えることもできます。
Welcome to a whirlwind tour of four of the world's most stunning beach vacation locations.
4つの世界で最も素晴らしいビーチバケーションスポットへの旅へようこそ。
I mean, that does sound pretty British to me.
まあ、それは私にとってかなりイギリス訛りのように聞こえます。
Admittedly, I am not an expert.
正直に言うと、私は専門家ではありません。
My knowledge of British accents is pretty much limited to Doctor Who and like British crime dramas.
私のイギリス訛りに関する知識は、ドクター・フーとイギリスの犯罪ドラマぐらいです。
By the way, Slow Horses on Apple TV, pretty good.
ところで、Apple TVの「Slow Horses」はかなり良いですよ。
So moving on to a creativity experiment, I wanted to see if we could get video maker to make a guide to surviving the zombie apocalypse, and indeed it delivered.
では、創造性の実験に移りましょう。ビデオメーカーにゾンビのアポカリプス生存ガイドを作らせることができるか試してみたかったのですが、実際にできました。
The first 24 hours are crucial.
最初の24時間が重要です。
It's no longer about evading the mindless pursuit of the undead but about facing the stark realities of a world devoid of its modern comforts.
もはや無意識の追跡を回避することではなく、現代の快適さを欠いた世界の厳しい現実に直面することになります。
Now, it is still AI, so you're going to end up running into some weird things here and there, such as at some point in the video it decided to throw this shot in which, feels a little tonally off.
ただし、これはまだAIですので、ビデオの中で時折奇妙なことに出くわすことがあります。例えば、ビデオの中で少しトーンが合わないショットを挿入することになりました。
As a note, you also probably notice the giant watermarks.
注意として、巨大な透かしもおそらく気づくでしょう。
We'll talk about that in one second.
それについては後ほど話します。
But to swap this shot out, you just simply come down to this edit button, and you'll have not only your shot but your associated line that's underneath that, which you can edit as well.
ただ、このショットを交換するには、この編集ボタンに移動するだけで、ショットだけでなく、その下にある関連する行も編集することができます。
In order to swap out this shot, this is about finding shelter, I can search, say, something like shelter survival, and, yeah, maybe this guy Building A Fire.
このショットを交換するために、例えば「避難所サバイバル」と検索し、この「火をおこす男性」のようなものを選択します。
Hit the replace button, apply change, and sure enough, our shot has now been replaced.
「置き換える」ボタンをクリックし、変更を適用すると、ショットが置き換えられます。
Once you're happy with your video, you simply hit the export button, and you can then download it without watermarks.
ビデオに満足したら、エクスポートボタンをクリックして、ウォーターマークなしでダウンロードできます。
If you are part of the plus plan.
もしプラスプランの一部である場合。
To note, you can still download this for free with watermarks, but obviously if you're looking to publish this, you should probably think about the Pro Plan, which actually is fairly affordable at $20 a month.
注意として、透かし付きでこれを無料でダウンロードすることもできますが、明らかにこれを公開しようとしている場合は、おそらくプロプランを考えるべきです。実際、月額20ドルとかなり手頃です。
It actually is fairly reasonable considering the cost of subscribing to a stock video library.
実際、ストックビデオライブラリに加入する費用を考えると、かなり合理的です。
Once again, you can find video maker simply by searching video maker in the ChatGPT store.
ビデオメーカーはChatGPTストアで「ビデオメーカー」と検索することで見つけることができます。
My thanks to Invideo for sponsoring this video.
Invideoにこのビデオのスポンサーをしていただき、感謝しています。
The link is down below.
リンクは下にあります。
Moving on to a new and pretty cool AI video generator, we have Domo AI.
新しくてかなりクールなAIビデオジェネレーター、Domo AIに移りましょう。
I know that there are a lot of AI video generators popping up, but Domo does do something think pretty unique.
たくさんのAIビデオジェネレーターが出てきていることは知っていますが、Domoはかなりユニークなことをします。
It is Discord based.
Discordベースです。
Yes, I hear you Discord haters.
はい、Discord嫌いの人たちがいることは知っています。
Look, sometimes things are on Discord.
でも、時にはDiscord上にものがあるんです。
To use it, you simply come down to one of the generate video rooms.
使うには、単にビデオ生成ルームの一つに移動するだけです。
You can then issue a command.
その後、コマンドを発行することができます。
So using this kind of coraline inspired image, issuing the command SL animate, we will then be presented with three options or two options, I'm sorry, namely we can choose the intensity of the animation at low, medium, or high.
ですから、このコーララインにインスパイアされた画像を使って、SL animateというコマンドを発行すると、低、中、高のアニメーションの強度を選ぶことができます。
And then, the generation times.
そして、生成時間です。
We get this, which looks pretty good.
これを得ることができます。かなり良さそうですね。
Now, if it were just this, it really wouldn't be noteworthy.
今、これだけだったら、それほど注目されるものではありません。
But where Domo really flies is when you take a piece of video like this stock footage, which I truthfully, I do not know what is happening here.
しかし、Domoが本当に優れているのは、このようなストック映像の一部を使うときです。正直、ここで何が起こっているのかはわかりません。
It's like the weirdest superhero team up of all time.
これは史上最も奇妙なスーパーヒーローチームの結集のようです。
It is also now my favorite piece of stock footage ever.
これは今、私のお気に入りのストック映像です。
So, issuing the forward slide command and loading that piece of footage in, and we can change this video now to everything from anime Styles down to kind of a Grand Theft Auto sort of look.
ですから、forward slideコマンドを発行してその映像を読み込み、このビデオをアニメスタイルからグランド・セフト・オートのようなものまで変えることができます。
So, here it is under the anime preset, which looks pretty good.
ですから、これがアニメのプリセットの下にあります。かなり良さそうですね。
It does struggle a little bit with the guy's beard, but the thing is that it does go up to a whopping 10 seconds.
ただし、この男性のひげには少し苦労しますが、それでも最大で10秒まで行くことができます。
Here's the thing, I think the Illustrated style, this looks really good and not something that I've seen from any other AI video generator.
ここで言いたいのは、イラストスタイルは本当に良く、他のどのAIビデオジェネレーターでも見たことのないものです。
As an FYI, Domo is not free.
ちなみに、Domoは無料ではありません。
The basic plan runs at $9.99, but it does offer you 45 free credits to try it out.
基本プランは9.99ドルで、試してみるために45の無料クレジットを提供しています。
The linked to Domo is down below.
Domoへのリンクは下にあります。
Let me know if you would like to see a full Deep dive into it.
もし詳細な解説を見たいと思ったら、教えてください。
Moving over to sound, which is half the picture, yeah, this one really blew me away.
音に移ると、それが映像の半分なんですけど、これは本当に驚きました。
This is called SonicVisionLM.
これはSonicVisionLMと呼ばれています。
So, what this basically does is, via a prompt, will create sound effects by analyzing video.
基本的には、ビデオを分析して音効を作成するためのプロンプトです。
So, yeah, it's basically AI Foley.
つまり、AIフォーリーです。
It's kind of hard to wrap your head around until you see it or rather hear it in action.
それを見たり、むしろ聞いたりするまで、それを理解するのは少し難しいです。
Luckily for us, the team actually put together an example using one of my favorite movies, Leon the Professional.
幸いなことに、チームは実際に私のお気に入りの映画、レオンを使って例を作りました。
So, I know that was kind of short, but the important thing to take away from that is those sounds weren't there, but rather generated via a prompt of door opening, squeaky footsteps of leather shoes, etc.
短かったかもしれませんが、重要なことは、それらの音は元々存在しなかったということです。代わりに、ドアが開く、革靴のキュッキュッという足音などのプロンプトによって生成されました。
That's wild.
それはすごいですね。
Here's another example of Rose essentially killing Jack by not letting him on the stupid door booat.
ここには、ローズがばかげたドアの上にジャックを乗せないことで実質的にジャックを殺す別の例があります。
You can blow that whistle all you want, Rose, we know what you did.
どんなに笛を吹いても、ローズ、私たちはあなたがしたことを知っています。
So, while this may not seem like the flashiest of AI advancements, trust me, there is some assistant editor out there right now that's going like, This is going to save me hours.
ですから、これは最も華やかなAIの進歩ではないかもしれませんが、信じてください、今、助手編集者の中には、「これは私の時間を節約する」と思っている人がいるでしょう。
Bit of trivia, by the way, if you ever hear rain in a TV show or movie, chances are that's not recorded rain, it's actually frying bacon.
ちなみに、もしテレビ番組や映画で雨の音を聞いたら、それは録音された雨ではなく、実際にはベーコンを焼いている音です。
True story.
本当の話です。
Rounding out, out of focus shots are now a thing of the past.
最後に、ピントの外れたショットはもはや過去のものです。
Now, granted, most cameras these days, from your phone to DSLRs, have really, really advanced autofocus features.
今は、ほとんどのカメラ、スマートフォンから一眼レフまで、非常に高度なオートフォーカス機能を備えています。
But every once in a while, you leave it on the wrong focus mode and you end up with a bunch of out of focus footage.
でもたまに、間違ったフォーカスモードにしてしまって、ピンぼけの映像がたくさん撮れてしまうことがあります。
Well, that time is now over thanks to FMA-Net or Flow-Guided Dynamic.
しかし、それはもう過去のものです。FMA-NetまたはFlow-Guided Dynamicのおかげで。
I'm not reading that whole thing, you can read that whole thing.
全部読むわけじゃないから、あなたが全部読んでください。
So, yeah, pretty impressive.
だから、すごく印象的だよ。
This is obviously the original source footage and now, the FMA-Net results, yeah, it looks really, really good.
これは明らかに元のソース映像であり、今、FMA-Netの結果です。うん、本当にとても良いです。
Now, I'm pretty sure all of this was shot intentionally out of focus, but yeah, it looks really, really good.
今、これらの映像は意図的にピンぼけに撮影されたと思うけど、うん、本当にとても良い感じだね。
So, like, really punching in here, you can see that it even sort of tries to pick up details in the license plates.
だから、ここで本当に拡大してみると、ナンバープレートの細部まで捉えようとしているのがわかるよ。
Now, I should note that this is not an upscaler, nor obviously is it a stabilizer.
ただし、これはアップスケーラーではなく、明らかにスタビライザーでもありません。
Both of which are available.
どちらも利用可能です。
We did take a look at a very affordable video upscaler in the last video.
前回の動画で非常に手頃な価格のビデオアップスケーラーを見てみました。
That link is down below.
リンクは下にあります。
But overall, very impressive work by the team.
全体的に、チームの素晴らしい仕事です。
The code is available and, the link to this paper is down below.
コードは利用可能で、この論文へのリンクも下にあります。
I guess that's it for me for today.
今日はこれで私の出番は終わりです。
I do thank you for watching.
ご視聴いただき、ありがとうございました。
My name is Tim.
私の名前はティムです。
この記事が気に入ったらサポートをしてみませんか？