【AI技術の最前線：ビデオ編集から映画製作まで】英語解説を日本語で読む【2024年1月20日｜@Curious Refuge】
この動画では、複数の革新的なAIビデオツールが紹介されています。Runwayからは最大5つのモーションブラシを使用できる新機能、PixVerseからは無料で4Kビデオを生成できるツール、SonicVisionLMからはビデオに自動サウンドエフェクトを追加できるツールが発表されました。Leonardo AIはリアルタイムでのAIペインティングを、スイスのチームは3Dオブジェクトを操作できるツールを、韓国の研究チームはスタイルトランスファーを行うツールをそれぞれ発表しました。また、Mootionはテキストや映像からモーションを生成するツールを提供します。
公開日：2024年1月20日
※動画を再生してから読むのがオススメです。
There's a new AI video tool that is better than some of the paid options.
有料のオプションよりも優れた新しいAIビデオツールがあります。
Runway just announced a brand new Motion Brush feature, and there's a tool that automatically adds sound effects to your videos.
Runwayはちょうど新しいモーションブラシ機能を発表しました。また、ビデオに自動的に効果音を追加するツールもあります。
This is your AI film news of the week.
これが今週のAI映画ニュースです。
I want to kick things off by talking about a brand new video generation tool that is completely free.
まず、完全に無料の新しいビデオ生成ツールについて話したいと思います。
It's called pick verse, and the results are actually pretty dang impressive.
それはピックバースと呼ばれ、その結果は実際にかなり印象的です。
The cool thing about this tool is it actually creates the videos in 30 frames per second, and you can upres them to 4K without having to send them into an external tool like Topaz Video.
このツールの素晴らしいところは、実際に30フレームでビデオを作成し、Topaz Videoのような外部ツールに送らずに4Kにアップレスできることです。
So let's take a look at some of these examples here.
では、ここでいくつかの例を見てみましょう。
So we have like this shot of a woman just looking at the camera, this shot of a train coming into a station which frankly looks pretty dang realistic, we have this shot of what looks like a spacecraft window, and the cool thing is you can see there's that parallaxing with the clouds.
カメラを見つめる女性のショット、駅に入ってくる電車のショット（実際にはかなりリアルに見えます）、宇宙船の窓のように見えるショットがあります。そして、クラウドとの視差効果も見ることができます。
So there's many fantastic examples of pix ver that you can check out.
ピックバースの素晴らしい例がたくさんありますので、ぜひチェックしてみてください。
I want to show you how easy it is to actually use their program.
実際に彼らのプログラムを使うのはどれほど簡単かをお見せしたいと思います。
All you have to do is go to their website and click get started on the web and sign in to the account.
ただ、彼らのウェブサイトに行って、ウェブで始めるをクリックしてアカウントにサインインするだけです。
So they have an explore page right here where you can check out some of the videos that other people are generating, we'll go to create.
彼らはここに探索ページを持っています。他の人が生成したいくつかのビデオをチェックできます。そして、次に「作成」に移りましょう。
So this is your creation window, and like many of the other tools, you have the ability to type in a prompt like we could say a giraffe at sunset.
これがあなたの作成ウィンドウです。他のツールと同様に、サンセットでのキリンなどのプロンプトを入力することができます。
You can add in negative prompts, so you know no morphing, no distortion, no variations in lighting, things like that.
モーフィングなし、歪みなし、照明の変動なしといったネガティブなプロンプトも追加できます。
And then there are a few styles that you can select from along with aspect ratio.
そして、アスペクト比と一緒にいくつかのスタイルを選択することができます。
So I've actually already created a video of a giraffe at sunset, and I'm going to go ahead and play this for you here.
実際に私はすでに夕焼けのキリンのビデオを作成しており、ここで再生します。
Again, this video was text to video, so this was not using an input image.
このビデオはテキストからビデオに変換されたものですので、入力画像は使用していません。
So let's take a look at the example here.
では、ここで例を見てみましょう。
So you can see that there's clearly something wrong with these giraffes, and their legs are like morphing, and generally speaking, I'm not loving the results that we're getting from pixers using text to video at this point, but I do love the image to video.
これらのキリンには明らかに問題があり、足が変形しているように見えますし、正直なところ、テキストからビデオを使用したpixersの結果にはあまり満足していませんが、画像からビデオを作成することは大好きです。
So let's take a look at that.
では、それを見てみましょう。
To do image to video, you just go back to create.
画像からビデオを作成するには、作成画面に戻ってください。
And then go to image to video.
そして、画像からビデオに移動してください。
So now you have the opportunity to add in an image.
ですので、今、画像を追加する機会があります。
So, I actually created a series of images inside of Midjourney, downloaded the images, and now I'm going to upload them inside of PixVerse.
実際に私はMidjourney内で一連の画像を作成し、それらの画像をダウンロードし、今度はPixVerse内にアップロードします。
So now that our image is uploaded, we can type in a prompt.
画像がアップロードされたので、プロンプトを入力することができます。
I'll say a giraffe eating food.
私は「食べ物を食べるキリン」と言います。
And you have the ability to change the seed number and the strength of motion.
そして、シード番号とモーションの強度を変更することができます。
I like turning the strength of motion up to about 0.7, I find that that kind of gives you the best overall movement, generally.
私はモーションの強度を0.7くらいに上げるのが好きです。それが最も全体的な動きを与えてくれると思います。
But of course, it depends on what your shot specifically is.
もちろん、具体的なショットによります。
And then all you have to do is hit create.
そして、作成ボタンを押すだけです。
The cool thing is, whenever you hit create, you actually have the ability to render up to four videos at a time.
面白いことに、作成ボタンを押すたびに、最大4つのビデオをレンダリングすることができます。
And again, this is completely free.
しかも、これは完全に無料です。
There's not a paid version of this tool just yet.
まだこのツールの有料版はありません。
So once you're done creating a video, you'll see all of your video examples inside of your my videos page.
ビデオを作成したら、マイビデオページにすべてのビデオの例が表示されます。
And you can simply click on any of the pieces of footage that were created.
そして、作成された映像のいずれかをクリックするだけで表示できます。
We'll say this one.
この映像を選びましょう。
And there's this button right here that says upscale.
そして、ここに「アップスケール」というボタンがあります。
If you click that upscale button, it will actually interpret that footage, which is natively in about a 600p format, and it will upscale it to 4K automatically.
そのアップスケールボタンをクリックすると、ネイティブで約600pの形式である映像を自動的に4Kにアップスケールします。
You don't have to download it and render it in a tool like Topaz Video.
Topaz Videoのようなツールでダウンロードしてレンダリングする必要はありません。
So I actually created a demo of the upscaled footage from PixVerse.
実際に、PixVerseのアップスケールされた映像のデモを作成しました。
Again, I didn't do any other post-processing to this footage.
もちろん、この映像には他の加工はしていません。
I added a quick little vo and some music.
簡単なボイスオーバーと音楽を追加しました。
Let's take a look.
では、見てみましょう。
Behold the giraffe, a bold and majestic animal.
見よ、ジラフ、大胆で威厳のある動物だ。
Giraffes are the epitome of grace with their, oh God, that one was missing ahead.
ジラフは優雅の象徴であり、ああ、なんてことだ、あのジラフは先に進んでいない。
Okay, I'm a little disheveled now.
まあ、ちょっと乱れてしまったな。
Giraffes love to eat, never mind.
ジラフは食べるのが大好き、いや、気にしないで。
I'm too distracted now.
今は気が散ってしまった。
At least that one is cute.
少なくともあの子はかわいい。
Oh great, now there's a tiger.
おお、すばらしい、今度はトラがいる。
Maybe he's the culprit.
彼が犯人かもしれない。
So as you can see, PixVerse is not perfect.
だから、PixVerseは完璧ではないとわかります。
There, of course, is areas for the tool to improve, but it's pretty darn good, especially considering that it just dropped on the market.
もちろん、改善の余地はありますが、市場に出たばかりを考えると、かなり良いです。
I highly encourage you to check out PixVerse.
私はPixVerseをぜひチェックすることをお勧めします。
You'll find a link below this video.
ビデオの下にリンクがあります。
And that brings us to our game of the week.
そして、今週のゲームに移りましょう。
So I created three videos in three different tools, and essentially I want you to tell me which one of these videos was created in Pika Labs, which one was Runway, and which one was PixVerse.
私は3つの異なるツールで3つのビデオを作成しました。基本的には、これらのビデオのうちどれがPika Labsで作成されたもので、どれがRunwayで作成されたもので、どれがPixVerseで作成されたものかを教えてほしいです。
The first person to get the answer right will win some merch from Curious Refuge.
正解を最初に答えた人にはCurious Refugeのグッズがプレゼントされます。
So let's take a look at example number one, example number two, and example number three.
まず、例１、例２、例３を見てみましょう。
If you think you know the answer, let us know in the comments.
答えがわかると思ったら、コメントで教えてください。
Also, a big shout out to adenatrix for winning last week's competition.
また、先週のコンテストで勝ったadenatrixにも大きな拍手を送ります。
There's also a new tool called SonicVisionLM that basically allows you to automatically create sound effects for a video.
SonicVisionLMという新しいツールもあります。これはビデオに自動的に効果音を作成することができます。
Now, it is a white paper, and so in order to use this tool, there's some code.
ただし、これはホワイトペーパーですので、このツールを使用するにはいくつかのコードが必要です。
It's a bit advanced to get it going on your machine, but I think it really does highlight the future of basically being able to go into a tool, upload your footage, and get a rough soundscape for your film.
自分のマシンでそれを始めるには少し高度ですが、これは映画のためのラフな音風景を手に入れる未来を本当に強調していると思います。
So there's some pretty cool examples inside of the demo.
デモの中にはかなり面白い例もあります。
Like, for example, we have this guy hitting this Trader Joe's bag.
例えば、この人がTrader Joeの袋を叩いている例があります。
I mean, it seems pretty darn realistic.
まあ、かなりリアルに見えますね。
And there's actually some interesting examples from real-world films.
実際には、実際の映画から興味深い例もあります。
So we have first Leon the Professional and one from Titanic.
例えば、最初に「レオン」、次に「タイタニック」です。
So there you go.
それでは、どうぞ。
Those are some pretty interesting results.
それはかなり興味深い結果ですね。
Now, obviously, we are in the early stages of this tool, but I can imagine that pretty soon you will be able to upload footage and get realistic sound effects that sound pretty darn good.
今はまだこのツールの初期段階にいるわけですが、近いうちに映像をアップロードしてかなり良いリアルな効果音を得ることができるようになるでしょう。
Last week, we also launched a brand new course at Curious Refuge called AI advertising by Dave Clark.
先週、私たちはCurious Refugeでデイヴ・クラークによるAI広告という全く新しいコースを開始しました。
Dave is an industry legend, and his work basically goes viral every single week.
デイヴは業界の伝説であり、彼の仕事は毎週バイラルになっています。
He has decades of experience in the ad agency world, working with brands from Snapchat to Pepsi.
彼はSnapchatからPepsiまでのブランドと一緒に働いており、広告代理店の世界で数十年の経験を持っています。
And in this course, Dave and I have teamed up to show you how to use AI to create advertisements and marketing campaigns using the latest tools.
そして、このコースでは、デイヴと私が最新のツールを使って広告やマーケティングキャンペーンを作成するためのAIの使い方を紹介します。
The beta session will go on sale on January 31st, and the course will officially start on March 5th.
ベータ版のセッションは1月31日に販売開始され、コースは正式に3月5日に開始されます。
Now, there are already hundreds of people interested in this course, so it will likely sell out.
このコースに興味を持っている人はすでに何百人もいますので、おそらくすぐに完売するでしょう。
So just be sure to sign up on the waitlist to get notified when the course immediately goes on sale.
ですので、コースが即座に販売開始された際に通知を受けるために、ウェイトリストにサインアップしておくことを確認してください。
We also dropped a new podcast yesterday with Dave Clark, where we talked about some of his viral successes and what his strategy is whenever he's working on an AI project.
また、昨日デイヴ・クラークとの新しいポッドキャストも公開しました。そこでは彼のバイラル成功のいくつかや、彼がAIプロジェクトに取り組む際の戦略について話しました。
It's a really great talk.
本当に素晴らしい話です。
You can find a link below this video.
このビデオの下にリンクがありますので、ぜひご覧ください。
Runway also announced a brand new Motion Brush feature that allows you to have up to five different Motion Brushes inside of your scene.
Runwayはまた、シーン内で最大5つの異なるモーションブラシを使用できる新しいMotion Brush機能を発表しました。
There's some pretty cool examples online from people like Nicholas Nert and Ane Akash.
ニコラス・ネルトやアネ・アカシュなどの人々から、オンラインでかなりクールな例がいくつかあります。
Let me show you how to use this new Motion Brush tool.
この新しいモーションブラシツールの使い方を見せましょう。
So all you have to do is go to start with image.
まず、画像で始める必要があります。
I will select an image from our assets, but of course, you can just drag and drop to upload an image.
私たちのアセットから画像を選択しますが、もちろん、画像をアップロードするだけでも構いません。
I created this inside of Midjourney.
私はMidjourneyの中でこれを作成しました。
So now we can go in here to our Motion Brush, and before, all we could do is use one Motion Brush to basically change our scene.
では、ここでMotion Brushに移動しましょう。以前は、基本的にシーンを変更するために1つのモーションブラシしか使用できませんでした。
Now we can use up to five, so it's really, really cool.
今では最大5つまで使用できるので、本当に素晴らしいです。
So for this scene, I think I want her hair to move.
このシーンでは、彼女の髪を動かしたいと思います。
So I'm just going to select her hair here, and we'll turn up the ambient motion to maybe about five.
彼女の髪を選択し、アンビエントモーションを５くらいに上げましょう。
Now we can go to Motion Brush number two, and let's say we want her clothes to move a little bit.
次に、モーションブラシの2番目に移動し、彼女の服を少し動かしたいとします。
So I'm just going to kind of outline her clothes here, and we'll turn up the ambience just a little bit, so maybe like two.
彼女の服を輪郭を描いてみましょう。そして、アンビエンスを少し上げてみましょう。２くらいでいいです。
And now we can go to brush number three and brush the background.
そして、ブラシの3番目で背景を塗りつぶします。
So I'll just quickly brush the background here, and we can turn the ambient motion to about five as well.
背景を素早くブラシで塗りつぶし、アンビエントモーションも５くらいにします。
And so the cool thing is we can actually go in here and change the overall movement as well.
そして、素晴らしいことは、全体の動きを実際に変更できるということです。
So we can go to our hair, and let's say we want it to move to the left just a little bit, just, you know, to have it breezing in the wind.
髪の毛に移動を加えてみましょう。少し左に動かしたいとしましょう。風になびかせるために、ちょっとだけです。
And we'll go ahead and hit save, and we can add in a prompt here.
保存して、ここにプロンプトを追加しましょう。
So we'll say a woman standing in slow motion, abstract morphing background.
スローモーションで立っている女性、抽象的な変形背景といった具体的な説明をします。
And of course, we can go in and adjust camera controls.
もちろん、カメラのコントロールを調整することもできます。
I'm not going to do that for this example, and we'll click generate.
この例ではそれを行いませんが、生成をクリックします。
Okay, so let's take a look at our result.
では、結果を見てみましょう。
So we have this woman standing here, looking at the camera, and, you know, her hair is blowing in the wind, the clothes are moving just a little bit, the background has this abstract shape.
この女性がここに立って、カメラを見ていて、髪が風になびいていて、服が少し動いていて、背景には抽象的な形があります。
Now, the cool thing is we can go in and adjust this even further.
さらに、これをさらに調整することもできます。
So if we don't like, let's say, the background moves too much, you can turn down the ambient motion without adjusting the movement on the hair or the clothes.
例えば、背景があまりにも動くといった場合、髪や服の動きを調整せずにアンビエントモーションを下げることができます。
So that overall movement will stay locked in, but we can adjust our scene as we see fit.
その全体の動きはロックされたままであり、シーンを自由に調整することができます。
So this tool is really powerful, and I can't wait to see even more examples of it in action.
このツールは本当に強力であり、さらなる活用例を楽しみにしています。
And speaking of Runway, they will be hosting their second 48-hour film competition on February 5th.
話はRunwayに戻りますが、2月5日に彼らは2回目の48時間映画コンテストを開催します。
The first one was absolutely incredible, and they've upped the bar for this one.
最初のコンテストは本当に素晴らしく、今回はさらにレベルが上がっています。
The winning person or team will win $5,000, and there's also an audience favorite that will win $5,000 as well.
優勝者またはチームは5,000ドルを獲得し、また、観客のお気に入りも5,000ドルを獲得します。
And the winners will also receive 1 million generation credits that they can use inside of Runway.
優勝者はまた、Runway内で使用できる100万のジェネレーションクレジットも受け取ります。
And on that note, the Curious Refuge team will be launching our own AI filmmaking competition very soon.
そのノートについて、Curious Refugeチームはまもなく独自のAI映画製作コンテストを開催します。
That will be our biggest one yet.
それはこれまでで最大のものになります。
We can't wait to share the details with you.
詳細を皆さんと共有するのが待ちきれません。
Be on the lookout for that very soon.
それについては、すぐにお知らせしますので、お見逃しなく。
I'd also like to give a quick thank you to Pika Labs for inviting me to do a quick workshop inside of their Discord channel.
また、Pika Labsによる私のDiscordチャンネル内でのワークショップへの招待に感謝の意を表したいと思います。
They're hosting some livestreams from time to time.
彼らは時折ライブストリームを開催しています。
You can check out their Discord channel to see when the next livestreams are happening.
次のライブストリームがいつ行われるかを確認するために、彼らのDiscordチャンネルをチェックしてみてください。
Nick St. Pierre also shared this last week, a really interesting use of the tile function inside of Midjourney.
Nick St. Pierreも先週これを共有しました。Midjourney内のタイル機能の非常に興味深い使い方です。
So basically, Midjourney does have the ability to create equa-rectangular photographs.
基本的に、Midjourneyは等方向写真を作成する能力を持っています。
So that's a photograph that's used for 360 imagery.
つまり、360度のイメージに使用される写真です。
And using the tile tag, you can actually make it to where both ends perfectly align.
そして、タイルタグを使用することで、両端を完全に整列させることができます。
Basically, all you have to do is create an image in Midjourney, up-res it using a tool like Magnific, and there you go.
基本的には、Midjourneyで画像を作成し、Magnificのようなツールを使ってアップリザーブし、それで完成です。
Now you have a 360 image that you can preview.
これで、プレビューできる360度のイメージが手に入ります。
Let me show you how it's done.
どのように行うかをお見せしましょう。
We're going to hop over to Midjourney.do/imagine, and we'll say equa-rectangular photograph of a modern apartment in Paris.
Midjourney.do/imagineに移動し、パリのモダンなアパートの等方向写真と言います。
And we'll make sure that we have the aspect ratio set to 2x1 and dash dash tile, so that the edges line up with themselves.
アスペクト比を2x1に設定し、ダッシュダッシュタイルを付けて、エッジが自己整列するようにします。
So when you do tile, the left and right side will perfectly line up, which is very important.
タイルを行うと、左右の側面が完全に整列します。これは非常に重要です。
So let's go ahead and create our result.
さあ、結果を作成しましょう。
Okay, great.
OK。素晴らしいですね。
So we have four examples here.
ここには4つの例があります。
I'm just going to pick the one that makes the most sense.
一番意味が通じるものを選ぶだけです。
I'll pick number one.
1番を選びます。
So we'll up-res number one and download it.
1番をアップリザーブしてダウンロードします。
Always when you're downloading, open in a browser.
ダウンロードする際は、ブラウザで開いてからコンピュータに保存してください。
And then save to your computer.
さあ、Magnificに移動して画像をドロップしましょう。
Now, we'll go over to Magnific and we will drop in our image.
この場合は、アップスケールのために倍にします。
And for this one, I'm going to times for upscale.
この場合、アップスケールのために倍にするつもりです。
We'll keep everything base for now and then click upscale.
今のところ、すべてをベースにして、アップスケールをクリックします。
And while we wait, we can take a look at this image I used earlier using Magnific.
待っている間に、以前に使用したこの画像をMagnificを使って見てみましょう。
Basically, Magnific just goes in and adds in more details to make the overall image more realistic.
基本的に、Magnificは詳細を追加して全体のイメージをより現実的にします。
This is really important for making your scene believable.
これはシーンを信じられるようにするために非常に重要です。
And whenever you put on those VR goggles, the images that you see are much more realistic if you use a tool like Magnific.
そして、VRゴーグルをかけると、Magnificのようなツールを使用すると、見える画像はよりリアルになります。
Now, there are some problems that can happen in the edges whenever you use Magnific to upres, so that is one of the limitations of using this tool.
Magnificを使用してアップレスする際には、エッジで問題が発生する可能性がありますので、それはこのツールを使用する際の制限の一つです。
So if you ever run into an issue like that, I do recommend going over to Photoshop to clean up those edges.
ですので、もしもそのような問題に遭遇した場合は、Photoshopに移動してそのエッジを修正することをおすすめします。
Okay, cool.
OK。いいですね。
So now we have an image.
では、今私たちは画像を持っています。
You can see this is our before, and this is our after.
これがビフォーで、これがアフターです。
Much more realistic.
ずっとリアルになりましたね。
So we'll go ahead and download that to our machine.
では、それをマシンにダウンロードしましょう。
There's a link below this video to a tool that basically can allow you to preview 360 images inside of your browser.
このビデオの下に、ブラウザ内で360度画像をプレビューできるツールへのリンクがあります。
I'll just grab our image that we upred and drop it in.
私たちがアップレッドした画像を取得して、ドロップします。
And so now we can explore our virtual world here.
そして、ここで仮想世界を探索することができます。
So let's take a look around this apartment.
では、このアパートメントを見てみましょう。
And you can see that, yeah, looks like a Parisian apartment.
そして、見ての通り、パリのアパートメントのようですね。
It actually looks like a 360 image from those like home tour tools that are inside of Zillow.
まるでZillowの中にあるホームツアーツールからの360度画像のようです。
And you know, you can look around this apartment and check it out.
そして、このアパートメントを見回して、チェックすることができます。
There's even a reflection in the mirror, which is just absolutely crazy.
鏡には反射もあり、それは本当にすごいです。
And we have pillows on this couch.
そして、このソファにはクッションがあります。
Now, is it perfect?
でも、完璧ですか？
Of course not.
もちろん、そうではありません。
There's definitely room to improve.
改善の余地は確かにあります。
But the fact that this 3D World never existed and now we have a high-res version of it is really interesting, especially when you're thinking about the future of generative AI as it relates to VR entertainment.
しかし、この3Dワールドが存在しなかったのに、今ではハイレゾのバージョンがあるという事実は、特にVRエンターテイメントにおける生成AIの将来を考えると非常に興味深いです。
Now, there's another tool called Skybox AI that we've showcased on this show that does a very similar result.
今、この番組で紹介したもう1つのツール、Skybox AIというものがありますが、非常に似た結果を出します。
But I thought this specific workflow was really interesting.
ただ、この特定のワークフローは本当に興味深いと思いました。
And I'm sure we're going to see many more instances of 3D worlds generated from artificial intelligence this year.
そして、今年は人工知能によって生成された3Dワールドのさらなる例を見ることができるでしょう。
Leonardo AI also came out with the ability to do realtime AI in painting.
Leonardo AIもリアルタイムAIペインティングの機能を発表しました。
And this is the first iteration of that specific feature that I've come across.
そして、これは私が出会ったその特定の機能の最初のバージョンです。
I think it's pretty darn cool.
かなりクールだと思います。
Let me show you how to use it.
使い方をお見せしましょう。
So we'll go to Leonardo's website and we'll go to realtime canvas.
Leonardoのウェブサイトに行き、リアルタイムキャンバスに移動しましょう。
So I like that great couch in the Parisian apartment.
私はそのパリのアパートメントの素晴らしいソファが好きです。
Let me see if I can quickly put one together here.
ここでそれをすばやく作ってみましょう。
I'll time lap so you don't have to follow me this entire time.
私が一緒にやる必要はないので、タイムラプスします。
But let's just quickly create a rough sketch of a couch.
でも、ソファのラフなスケッチをすばやく作成しましょう。
And now we have this couch here.
そして、これでソファができました。
And the cool thing is we can now go to this in paint feature and now paint directly over the couch.
そして、クールなことは、このインペイント機能に移動して、直接ソファの上にペイントできることです。
So at first, all we have to do is go in here.
まず、ここに入るだけです。
Let's just say we want a yellow pillow on the couch.
例えば、ソファに黄色のクッションが欲しいとします。
I'll just go to yellow here and we'll just paint in yellow.
ここで黄色に行って、黄色でペイントします。
And you can see that nothing is really happening.
そして、何も起こっていないことがわかります。
Well, if we type in what we want to see, then it will be in your scene.
では、見たいものを入力すれば、シーンに表示されます。
So we'll say a yellow pillow, and there you go, the yellow pillow appears right on the couch.
黄色の枕と言いましょう。そうすれば、黄色の枕がソファの上に現れます。
We can do the same thing over here.
同じことをこちらでも行えます。
So let's add in another yellow pillow, and now we have two yellow pillows inside our scene.
では、もう1つ黄色のクッションを追加しましょう。そうすると、シーン内に2つの黄色のクッションがあります。
We can right click and save this image to our computer and use it on whatever project we want.
右クリックしてこの画像をコンピュータに保存し、任意のプロジェクトで使用することができます。
So I think this specific tool is going to be very helpful for concept artists in the future because obviously you can roughly sketch something and it will create a highres version of your sketch.
この特定のツールは、将来的にはコンセプトアーティストにとって非常に役立つと思います。おおよそのスケッチをするだけで、スケッチのハイレスバージョンが作成されますからね。
But then having the ability to go in further and customize and really get the scene to be exactly what you want through prompting is a very unique and creative use of this technology.
しかし、さらに進んでカスタマイズし、シーンを自分の望むようにする能力を持つことは、この技術の非常にユニークで創造的な使い方です。
And so the folks at Leonardo are doing some really cool things.
そして、Leonardoのチームは本当にクールなことをしています。
A team from Switzerland put together a really interesting demo of a tool they are working on in collaboration with Google where essentially you can add in 3D objects to a gaussian splattered scene.
スイスのチームがGoogleとの共同作業で取り組んでいるツールの興味深いデモを作成しました。このツールでは、ガウス分布されたシーンに3Dオブジェクトを追加することができます。
So this is a scanned 3D environment, and you can place a 3D object in that scene just by painting.
これはスキャンされた3D環境であり、ペイントするだけでそのシーンに3Dオブジェクトを配置できます。
So this is like in painting inside of tools like Midjourney or Photoshop, but in 3D.
これは、MidjourneyやPhotoshopのようなツールの中でのインペイントですが、3Dで行われています。
And the cool thing is you can actually walk around that object inside of 3D space.
そして、クールなことは、実際に3D空間内でそのオブジェクトを歩き回ることができるということです。
So that has huge implications for the future of AR and VR entertainment.
これは、ARやVRエンターテイメントの将来にとって非常に重要な意味を持っています。
There's some really interesting demos over on their website where they basically composited in things like butterflies and Ottomans and cups into the overall scene.
彼らのウェブサイトには、バタフライやオットマン、カップなどを全体のシーンに合成した非常に興味深いデモがあります。
Now, is it perfect?
でも、完璧ですか？
Absolutely not.
まったくそうではありません。
There's a long way to go.
まだまだ改善の余地があります。
But it is really darn impressive.
しかし、本当に素晴らしいです。
Once you get some compositing passes onto these Generations, the results are going to be absolutely breathtaking.
これらの生成物にいくつかのコンポジットパスを追加すると、結果は息をのむようになります。
There's also a new tool that basically allows you to scan somebody and place them inside of an image with a lot more accuracy.
また、新しいツールがあります。これにより、より正確に誰かをスキャンして画像の中に配置することができます。
So it's really interesting, and it's completely free.
本当に興味深いですし、完全に無料です。
Basically, it's connected to Stable Diffusion and allows you to create your own Laura model almost automatically.
基本的には、Stable Diffusionに接続されており、自分自身のLauraモデルをほぼ自動的に作成することができます。
So all you have to do is drag and drop images.
だから、やることは画像をドラッグアンドドロップするだけです。
You can use one image if you want, but more images are better.
1枚の画像を使ってもいいですが、複数の画像の方が良いです。
I uploaded just 10 images of my face that I just took little selfies very quickly and uploaded them to the tool.
私はちょっとした自撮りを急いで撮って、たった10枚の顔の写真をアップロードしました。
So you can see we have this example that I generated earlier of me as a 3D animation character.
だから、私が以前に生成した私自身の3Dアニメーションキャラクターの例が見えます。
I think it looks kind of like me.
私に似ているような気がします。
It's not exactly like me, but I mean, not bad for an AI tool.
完全に私に似ているわけではありませんが、AIツールとしては悪くないと思います。
So for this example, I'm going to say a man with the IMG tag that will basically tell the tool to recall my face in the woods realistic shot on film.
この例では、森の中でリアルなショットの映画で私の顔を呼び出すためにIMGタグを付けた男性と言います。
Basically, we want it to be realistic.
基本的にはリアルにしたいです。
And we can go in here and set specific styles.
ここで特定のスタイルを設定することもできます。
We'll say cinematic since we're trying to go for cinematic realism.
シネマティックと言います。シネマティックなリアリズムを目指しているので。
But there are many different styles that you can go in and mess with here, fantasy art, comic books, things like that.
しかし、ここではファンタジーアートやコミックブックなど、さまざまなスタイルを試すことができます。
And we'll click submit.
そして、送信をクリックします。
Okay, cool.
わかりました、いいですね。
So the image was created, and you can see we have basically it kind of looks like me in the woods wearing a hoodie here.
画像が作成されました。森の中でフードを着ている私に似ているように見えます。
And we have another image here, and my eyes are basically completely crossed.
もう1枚の画像もありますが、私の目は完全に交差しています。
But I do find it to be really interesting that you can generate an image with your specific face so easily.
ただ、自分の顔を使って画像を生成できるというのは本当に興味深いと思います。
So you're not having to get into Stable Diffusion and train all these custom models and do all that hyper technical stuff that can be quite challenging for day-to-day creatives to accomplish.
日常的なクリエイティブの人々にとっては、Stable Diffusionに入ってカスタムモデルをトレーニングしたり、ハイパーテクニカルな作業をする必要がなくなります。
You can actually just use this specific tool to generate imagery with the subject that you need.
実際には、必要な被写体でイメージを生成するためにこの特定のツールを使うだけです。
So you can play around with this tool by clicking the link below this video.
このビデオの下のリンクをクリックして、このツールで遊んでみてください。
I would love to see some of the clones of yourself that you're able to create.
あなたが作成できる自分自身のクローンのいくつかを見てみたいですね。
A research team from South Korea came out with a new tool that basically allows you to do style transfers.
韓国の研究チームが新しいツールを開発しました。これにより、スタイルの転送が可能になります。
Now, this is different from other tools like Runway Gen-1 that completely changes the style.
今回は、Runway Gen-1のような他のツールとは異なり、完全にスタイルを変えるのではなく、全体の映像をそのままにすることができます。
This one specifically allows your overall footage to remain the same.
このツールは、具体的には全体の映像をそのままにすることができます。
It just changes the lighting and style of the footage to match a specific reference image that you input.
それは、入力した特定の参照画像に合わせて映像の照明とスタイルを変更するだけです。
So in some of these examples, they'll go in and change the color of flowers or the lighting of an overall scene.
したがって、これらの例のいくつかでは、花の色や全体のシーンの照明を変えることがあります。
So I think this is a very interesting and practical use case.
私はこれが非常に興味深く実用的なユースケースだと思います。
Essentially, you're able to relight and restylize your scene even further.
基本的には、シーンをさらに再照明や再スタイリングすることができます。
I imagine that whenever you integrate AI tools like this with traditional color grading software, people inside a post-production workflow are going to have more control than ever before.
私は、このようなAIツールを従来のカラーグレーディングソフトウェアと統合すると、ポストプロダクションのワークフロー内の人々がこれまで以上に制御できるようになると思います。
I also came across this really interesting example of a gaussian splatted scene that was generated from just three images.
また、たった3つの画像から生成されたガウシアンスプラットされたシーンの非常に興味深い例にも出会いました。
It looks like an almost photorealistic apartment.
それはほぼ写真のようなリアルなアパートのように見えます。
Of course, there's some distortion, but the scan is really interesting.
もちろん、いくつかの歪みがありますが、スキャンは非常に興味深いです。
And it got the team thinking a lot about what the future of recreating environments is going to look like.
それによって、チームは環境再現の未来がどのようになるかについて考えるようになりました。
Especially when you consider historical events where maybe there was some photography but no footage where people could actually capture kind of what the overall essence of this space was like.
特に、写真はあるけれども実際にその空間の全体的な本質を捉えることができる映像がない歴史的な出来事を考えると、人々がその空間の全体的な本質を捉えることができるようなものはありませんでした。
Well, it seems like in the future, we might be able to walk around in old environments using tools like this one.
将来的には、このようなツールを使って古い環境を歩き回ることができるかもしれません。
There's also a motion capture tool that I want to show you.
また、紹介したいモーションキャプチャツールもあります。
It has a lot of really interesting features.
非常に興味深い機能がたくさんあります。
It's called Mootion, and it's been around for a while, but they did release a few new features this week that I think you should know about.
それはMootionと呼ばれ、しばらく前から存在していますが、今週いくつかの新機能がリリースされましたので、知っておくべきだと思います。
So they kind of build themselves as this all-in-one tool that allows you to prompt in motion or upload footage and get Motion in return.
彼らは、モーションを促進したり映像をアップロードしたりしてモーションを得ることができるオールインワンのツールとして自己紹介しています。
So for example, if we typed in Reading, we could actually get a 3D character reading a book with fairly realistic motion.
例えば、Readingと入力すれば、本を読んでいる3Dキャラクターをかなりリアルな動きで得ることができます。
We can also do the same thing with a guy speaking at a seminar.
同じことをセミナーで話す男性にも適用することができます。
So we have this guy, and he's just being really expressive with his body language.
この人物は、体の動きでとても表現力豊かです。
And I came across this one, I thought it was absolutely fantastic.
そして、私はこれを見つけたとき、本当に素晴らしいと思いました。
This is a person jumping out of an airplane.
これは飛行機から飛び降りる人です。
It's so good, it's a person being a plane, but I'm not seeing a lot of jumping out of inside of that generation.
とても良いです。人が飛行機になっていますが、その世代の中から飛び出しているのはあまり見えません。
Now they also have motion capture, which is really interesting.
さらに、非常に興味深いモーションキャプチャもあります。
So in this example, we have this woman who is dancing.
この例では、踊っている女性がいます。
Very typical AI demo, right?
非常に典型的なAIデモですね。
And then we have the video motion capture here, and you can see that the video motion capture is really good.
そして、ここではビデオモーションキャプチャがあり、その品質は非常に良いです。
So, it does rival some of the best motion capture tools out there like Move AI.
それによって、Move AIのような最高のモーションキャプチャツールと競合することもあります。
And we also have some motion capture from some 3D animations.
また、いくつかの3Dアニメーションからのモーションキャプチャもあります。
So, we have this character running here, and then we have the motion captured result which looks basically just as good.
このキャラクターが走っている様子があり、そのモーションキャプチャの結果もほぼ同じくらい良いです。
So, it's really interesting to see the results here.
ここでの結果を見るのは本当に興味深いです。
Of course, you can download the fbx files and take them into 3D applications, which is cool.
もちろん、fbxファイルをダウンロードして3Dアプリケーションに取り込むこともできます。
And they're also beginning to experiment with actually prompt in a scene and having a 3D character interact with that 3D animation movement.
そして、実際にシーンを促進して3Dキャラクターがその3Dアニメーションの動きと対話することを試み始めています。
So, we have this video here of Nicola Tesla dancing, and you can see that he's just doing a perfect gangdom style here.
ここでは、ニコラ・テスラが踊っているビデオがありますが、彼は完璧なギャングダンスを踊っています。
So, you can see how this specific tool, especially whenever the 3D model generation and the image bases get even better, is going to be a huge part of animation in the future.
このような具体的なツールは、特に3Dモデル生成と画像ベースがさらに向上すると、将来のアニメーションの重要な要素になるでしょう。
And again, tools like Midjourney are looking to do 3D models very, very soon.
そして、Midjourneyのようなツールも非常に近い将来に3Dモデルを提供する予定です。
So, I imagine we will see many more instances of tools just like this one hitting the market in the coming months.
ですので、今後数ヶ月でこのようなツールが市場に登場する機会がますます増えると思われます。
And that brings us to our AI films of the week.
そして、それに続いて今週のAI映画について話しましょう。
So, the first film I want to shout out is called Urban Melancholy by Julie Designs.
まず、私が紹介したい映画は、ジュリー・デザインズによる「Urban Melancholy」という作品です。
Julie did a great job with the green color grading that kind of has that vintage aesthetic.
ジュリーは、ビンテージのような雰囲気を持つグリーンのカラーグレーディングに素晴らしい仕事をしました。
And we'll actually have Julie on the podcast very soon, and we will more than likely ask her about this project.
実際に、私たちはまもなくポッドキャストでジュリーを迎える予定であり、おそらくこのプロジェクトについて彼女に尋ねるでしょう。
The next film I want to highlight is called Sister of Battle created by Brett Stewart.
次に紹介したい映画は、ブレット・スチュワートによって作成された「Sister of Battle」という作品です。
It really does feature some of the most sharp and photorealistic AI renders that I've seen up to this point.
これは、これまでに見た中で最も鮮明で写実的なAIレンダリングを特徴としています。
And I was so inspired by the work that Brett did that I actually reached out to him and asked him some of his secrets.
ブレットが行った仕事にとても感銘を受けたので、実際に彼に連絡を取り、彼の秘密のいくつかを尋ねました。
And he was kind enough to let me share that with you with a video tutorial that we will drop next week.
そして、彼は親切にもそれをあなたと共有することを許可してくれました。次週に公開するビデオチュートリアルでお伝えします。
So, I can't wait to share how you can get really nice crisp high-resolution AI video from AI generation tools.
ですので、AI生成ツールから非常に鮮明で高解像度のAIビデオを手に入れる方法を共有できることを楽しみにしています。
The next film that I want to shout out is called Borrowing Time, and it was created by the instructor of our AI advertising course, Dave Clark.
次に紹介する映画は、「Borrowing Time」という作品で、私たちのAI広告コースの講師であるデイヴ・クラークが作成しました。
Dave did what I think is the best example of an AI-generated film concept.
デイヴは、AIによって生成された映画のコンセプトの最良の例だと思います。
Essentially, it's this really interesting example of a Sci-Fi time travel film that also takes place in the segregation area and kind of follows the pattern of racism inside of the United States.
基本的に、これはアメリカ合衆国の人種差別のパターンに沿って、隔離地域で行われるサイエンスフィクションのタイムトラベル映画の非常に興味深い例です。
I think it's a really interesting concept for a film, and I can totally see this project being greenlit and created inside of Hollywood.
私はこれが映画の非常に興味深いコンセプトだと思い、ハリウッドで制作される可能性があると思います。
There are some really cool examples of visual effects inside of this project, so I think Dave knocked it out of the park.
このプロジェクトには、非常にクールなビジュアルエフェクトの例がいくつかありますので、デイヴは素晴らしい仕事をしました。
And our student project of the week comes to us from a student that goes by Prompt Try Repeat, which I think is a funny and very suiting name for someone who works in AI video.
そして、今週の学生プロジェクトは、Prompt Try Repeatという名前の学生から提出されました。AIビデオで働く人にとって、面白くて非常に適切な名前だと思います。
And they did a really great job at creating an AI fashion film that features consistency and a good shot selection.
彼らは一貫性と良いショット選択を特徴とするAIファッション映画を本当に素晴らしい仕事で作り上げました。
So, fantastic job on this project.
素晴らしい仕事をしてくれてありがとう。
Thank you so much for watching this episode of AI film news.
AI映画ニュースのこのエピソードをご覧いただき、ありがとうございました。
You can, of course, get AI film news directly to your inbox by subscribing over at curiousrefuge.com.
もちろん、curiousrefuge.comで購読することで、直接AI映画ニュースをメールで受け取ることができます。
And if you're interested in our new AI advertising course, you can click the link below this video and sign up for the waitlist that will drop on January 31st.
また、新しいAI広告コースに興味がある場合は、このビデオの下のリンクをクリックして、1月31日に公開される待ちリストにサインアップすることができます。
Thank you so much for watching.
ご視聴いただき、ありがとうございました。
We'll see you in the next one.
次回をお楽しみに。
この記事が気に入ったらサポートをしてみませんか？