【NVIDIA新技術発表：人間のように学び、動くロボットの誕生】英語解説を日本語で読む【2024年3月20日｜@TheAIGRID】
2024年のNVIDIA GTCイベントでは、ロボティクス分野で驚くべき発表がありました。特に、新しい基礎モデル「GR00T」が発表され、これにより人型ロボットの広範囲な応用とさらなる開発が可能になります。この技術は、人間の動きを観察することで学習し、日常タスクを助けることができるロボットの開発を目指しています。また、NVIDIAの新しいジェットソン・ソア・ロボティクスチップを搭載した「Thor」という人型ロボットも紹介されました。このロボットは、ビデオや仮想現実の形で人間の例を学習し、物理的な世界に適応する方法を学ぶための「Isaac強化学習ジム」を利用します。さらに、NVIDIAの技術により、ロボットは自然言語の指示に従って動作を生成することも可能です。
公開日：2024年3月20日
※動画を再生してから読むのがオススメです。
Ladies and gentlemen, boys and girls, the NVIDIA GTC event for 2024 was absolutely incredible and they announced something incredible in terms of robotics.
みなさん、2024年のNVIDIA GTCイベントは本当に素晴らしく、ロボティクスに関して驚くべきことを発表しました。
There are so many announcements that were made and a few key things and a few sneak peeks that people didn't even realize.
多くの発表があり、いくつかの重要なポイントや、人々が気づかなかったいくつかの予告がありました。
This video is going to give you the key insights and a few things that you perhaps missed if you weren't completely eagle-eyed.
このビデオでは、もしも完全に鷲の目でなかった場合に見逃してしまった重要な洞察といくつかのポイントをお伝えします。
Let's take a look at the first NVIDIA announcement in which they are announcing a new foundation model, something called GR00T, that is going to enable the wild scale application of these humanoid robots and further development.
まず最初にNVIDIAの発表を見てみましょう。彼らは新しい基盤モデル、GR00Tというものを発表しています。これにより、これらの人型ロボットの広範囲な適用とさらなる開発が可能になります。
Take a look because this is pretty incredible.
これを見てください。本当に素晴らしいです。
We are starting to do some really great work in the next generation of robotics.
私たちは次世代のロボティクスで本当に素晴らしい仕事を始めています。
The next generation of robotics will likely be humanoid robotics.
次世代のロボティクスはおそらく人型ロボティクスになるでしょう。
We now have the necessary technology and, as I was describing earlier, the necessary technology to imagine generalized human robotics.
私たちは必要な技術を持っており、先ほど説明したように、一般的な人間ロボティクスを想像するための技術を持っています。
In a way, human robotics is likely easier and the reason for that is because we have a lot more imitation training data that we can provide the robots because we are constructed in a very similar way.
ある意味、人間ロボティクスはおそらく簡単であり、その理由は、私たちが非常に似たように構築されているため、ロボットに提供できる模倣トレーニングデータがはるかに多いからです。
It is very likely that the human robotics will be much more useful in our world because we created the world to be something that we can interoperate in and work well in and the way that we set up our workstations and manufacturing and logistics, they were designed for humans, they were designed for people, and so these humanoid robotics will likely be much more productive to deploy.
人間型ロボットは、私たちが相互運用し、うまく機能することができるように世界を創造したため、非常に有用になる可能性が非常に高いです。私たちが設定した作業ステーションや製造、物流の方法は、人間のために設計されていました。したがって、これらの人間型ロボットは、導入すると非常に生産性が高くなる可能性があります。
While we're creating, just like we're doing with the others, the entire stack starting from the top, a foundation model that learns from watching video, human image, human examples, it could be in video form, it could be in virtual reality form.
他のものと同様に、ビデオを観察し、人間の画像や例から学習する基礎モデルから始まる、全体のスタックを作成しています。これはビデオ形式でも、仮想現実形式でも構いません。
We then created a gym for it called Isaac reinforcement learning gym, which allows the humanoid robot to learn how to adapt to the physical world, and then an incredible computer, the same computer that's going to go into a robotic car.
それから、Isaac強化学習ジムと呼ばれるジムを作成しました。これにより、人間型ロボットが物理世界に適応する方法を学ぶことができます。そして、ロボットカーに搭載される同じコンピューターがあります。
This computer will run inside a humanoid robot called Thor.
このコンピューターは、Thorと呼ばれる人間型ロボットの内部で実行されます。
It's designed for transformer engines.
これはトランスフォーマーエンジン向けに設計されています。
We've combined several of these into one video.
これらをいくつか組み合わせて1つのビデオにまとめました。
This is something that you're going to really love.
これは本当にお気に入りになるものです。
Take a look.
ご覧ください。
It's not enough for humans to imagine, we have to invent and explore and push beyond what's been done, push beyond what's been done.
人間が想像するだけでは十分ではなく、私たちは発明し、探求し、これまでにないことを推し進めなければなりません。
We teach it, then help it teach itself.
私たちはそれを教え、それ自体が学ぶのを手伝います。
We broaden its understanding to take on new challenges with absolute precision and succeed.
新たな挑戦を絶対的な正確さで受け入れ、成功させるために、私たちはその理解を広げます。
We make it perceive and move.
私たちはそれを認識させ、動かします。
You, this is where inspiration leads us, the next frontier.
あなた、これが私たちを導くインスピレーションの先にある次のフロンティアです。
This is NVIDIA project group, a general purpose foundation model for humanoid robot learning.
これはNVIDIAプロジェクトグループであり、ヒューマノイドロボットの学習のための汎用基礎モデルです。
The group model takes multimodal instructions and past interactions as input and produces the next action for the robot to execute.
グループモデルは、多様なモーダルの指示と過去の相互作用を入力とし、ロボットが実行する次のアクションを生成します。
We developed Isaac Lab, a robot learning application to train group on omniverse Isaac Sim, and we scale out with Osmo, a new compute orchestration service that coordinates workflows across dgx systems for training and ovx systems for simulation.
私たちは、Isaac Labを開発しました。これは、Osmoという新しいコンピュートオーケストレーションサービスと共に、omniverse Isaac Simでグループをトレーニングするロボット学習アプリケーションです。dgxシステムとovxシステムを横断してワークフローを調整する新しいコンピュートオーケストレーションサービスです。
With these tools, we can train group in physically based simulation and transfer zero shock to the real world.
これらのツールを使うことで、物理ベースのシミュレーションでグループをトレーニングし、ゼロショックを現実世界に転送することができます。
The group model will enable a robot to learn from a handful of human demonstrations so it can help with everyday tasks and emulate human movement just by observing us.
グループモデルにより、ロボットはわずか数回の人間のデモンストレーションから学習し、日常のタスクを手伝ったり、私たちを観察するだけで人間の動きを模倣することができます。
This is made possible with NVIDIA's technologies that can understand humans from videos, train models in simulation, and ultimately deploy them directly to physical robots.
これは、NVIDIAの技術によって実現されており、ビデオから人間を理解し、シミュレーションでモデルをトレーニングし、最終的にそれらを直接物理ロボットに展開することができます。
Connecting group to a Large Language Model even allows it to generate motions by following natural language instructions.
グループを大規模言語モデルに接続することで、自然言語の指示に従って動作を生成することさえ可能になります。
Hi jr1, can you give me a high five?
お兄さん、ハイタッチしてくれる？
You're big, let's high five.
あなたは大きいから、ハイタッチしましょう。
Can you give us some cool moves?
かっこいい動きを見せてくれますか？
Dirt, check this out.
ダート、これを見てごらん。
All this incredible intelligence is powered by the new jetson thor robotics chips designed for group.
このすべての信じられないほどの知能は、グループ向けに設計された新しいジェットソン・ソー・ロボティクス・チップによって動作しています。
Built for the future, with Isaac Lab, Osmo, and group, we're providing the building blocks for the next generation of ai-powered robotics.
未来のために作られ、アイザック・ラボ、オスモ、そしてグループと共に、次世代のAI搭載ロボティクスの基盤を提供しています。
About the same size, the soul of NVIDIA, the intersection of computer graphics, physics, artificial intelligence, it all came to bear at this moment.
ほぼ同じサイズで、NVIDIAの魂、コンピュータグラフィックス、物理学、人工知能の交差点、すべてがこの瞬間に集結しました。
The name of that project, general robotics 003.
そのプロジェクトの名前は、ジェネラル・ロボティクス003です。
I know now, the next one here was Aptronic.
今、次に来たのはアプトロニックだとわかりました。
Aptronic is, I would say, a rather underrated humanoid robot because it is really, really good.
アプトロニックは、私が言うには、かなり過小評価されているヒューマノイド・ロボットです。本当にとても優れています。
Of course, the recent robot humanoid robot that has been breaking the industry was figures new humanoid robot, but Aptronic's new demo here is genuinely very, very impressive.
当然、最近の産業を席巻しているロボットヒューマノイドロボットは新しいヒューマノイドロボットでしたが、ここでのAptronicの新しいデモは本当に非常に印象的です。
You can see that apollo is showcasing the dexterous capabilities taught by human demonstrations and the task is fully autonomous.
アポロが人間のデモンストレーションによって教えられた巧みな能力を披露しており、そのタスクは完全に自律しています。
One interesting trend that we've been seeing amongst humanoid robotics is that things have been getting more and more autonomous as time has progressed.
ヒューマノイドロボティクスの中で見られる興味深いトレンドの1つは、時間の経過とともにますます自律化していることです。
I think we're starting to move away from the teleoperated era.
私たちは遠隔操作の時代から離れ始めていると思います。
Of course, we do need that to gather more data, but I do think that it is rather fascinating to see real-world robotics and a humanoid performing actions in one-time speed that is, of course, fully autonomous on an end-to-end neural net.
もちろん、より多くのデータを収集する必要がありますが、実際には、完全に自律的なエンドツーエンドのニューラルネットワークで行われるリアルワールドのロボティクスとヒューマノイドがアクションを実行するのを見るのは非常に魅力的だと思います。
And with NVIDIA's new group system, I think we're going to be seeing the rapid development of these humanoids faster than we have anticipated, as many have pointed out.
NVIDIAの新しいグループシステムとともに、私たちはこれらのヒューマノイドの急速な開発を予想以上に見ることになると思います。
This year is going to be the year of the humanoids in which we get a rather big boost in terms of the software development that will help them perform tasks in a very great way, and in terms of what they're able to do long term.
今年は、ソフトウェア開発において非常に優れた方法でタスクを実行するのを助ける、そして長期的に何ができるかについても大いに役立つであろうヒューマノイドの年になると思います。
I think what we're seeing here with Aptronic, which is an actual humanoid robot that can not only also walk very impressively, it can also do a variety of other things.
ここで見ているAptronicは、印象的に歩くだけでなく、さまざまな他のこともできる実際のヒューマノイドロボットだと思います。
I think this is something that is very, very impressive as it makes its kind of juice or whatever it is there.
これは非常に印象的なものであり、その種類のジュースや何かを作るという点で特に印象的だと思います。
And then of course something rather fascinating.
そしてもちろん、何か非常に魅力的なものがあります。
There's another thing that i want to talk about later that i'm literally so excited about.
後で話したいもう1つのことがあり、本当に興奮しています。
There was another thing which is of course agility robotics.
もちろん、アジリティ・ロボティクスというもう一つのことがありました。
If you don't know about agility robotics, they are a robotics company that have actually been around for quite some time and recently they've done something that i think is rather impressive.
アジリティ・ロボティクスについて知らない方のために説明すると、実際にかなり長い間存在しているロボティクス企業で、最近、かなり印象的なことを成し遂げました。
I mean take a look at this demo.
このデモをご覧ください。
The most interesting thing about this demo that you can all see is that this is a humanoid robot that has an internal monologue.
このデモの最も興味深い点は、内部で独り言を言う人型ロボットであることです。
I guess you could call it a scratch back.
これをスクラッチバックと呼ぶことができるかもしれません。
I guess you could call it its thought pad.
これを思考パッドと呼ぶことができるかもしれません。
But this is where the robot is using an LLM to develop reasoning steps before it does whatever task it does.
しかし、このロボットは、タスクを行う前に推論ステップを開発するために大規模言語モデルを使用しています。
And you can see that in the bottom left hand at the start of the clip that it says i should Figure out what commands i can use then i should get a sense of my surroundings i will acknowledge my co-host and inform them about the freshly cooked gpus.
そして、クリップの最初に左下に表示されているのは、「どのコマンドを使用できるかを考え、周囲の状況を把握し、共同司会者に気づき、新しく調理されたGPUについて彼らに通知するべきだ」ということです。
And we've seen demos like this before but we can see that you know the agility robotics robot now actually does have an updated gripper arm.
私たちはこれまでにこのようなデモを見てきましたが、アジリティ・ロボティクスのロボットは実際に更新されたグリッパーアームを持っていることがわかります。
This was something i really did want to cover but this video presents the best opportunity because it now means that these agility robots are getting some major upgrades.
これは私が本当にカバーしたかったことでしたが、このビデオが最良の機会を提供してくれるので、これはこれらのアジリティ・ロボットがいくつかの大規模なアップグレードを受けていることを意味します。
I'm actually a super fan of the agility robot because i think that they are super impressive considering that they are doing some real world humanoid robot work already which means that in their next update potentially their next iteration they're going to be even faster and even better than we can imagine.
私は実際にアジリティ・ロボットの大ファンです。彼らはすでに実世界でのヒューマノイド・ロボットの作業を行っていることを考えると、非常に印象的だと思います。つまり、彼らの次のアップデートでは、おそらく次のイテレーションでは、私たちが想像する以上にさらに速く、さらに優れていることになるでしょう。
I think the future for agility robotics is one that is going to be rather rather impressive.
アジリティ・ロボティクスの未来は、かなり印象的なものになると思います。
Let's talk about something that most people did miss as nvidia's ceo was on the stage gleefully looking at the you know of course pretty adorable disney humanoid robots.
ほとんどの人が見逃したことについて話しましょう。nvidiaのCEOは、もちろん非常に愛らしいディズニーのヒューマノイド・ロボットを楽しそうに見ていました。
I noticed something rather impressive in the background.
背景にはかなり印象的なものがあるのに気づきました。
Did you all take a look at this in the back of this image you can see that there is a robot that looks sleek it looks like it's kind of black and gray and white but it is an updated version of 1x robotics neo robot.
この画像の後ろを見てみましたか？そこには、スリークで、黒と灰色と白のように見えるロボットがありますが、これは1xロボティクスのネオ・ロボットの更新されたバージョンです。
This is the infamous robotic startup that is backed by open ai and this is the first time we've seen an updated image on their webpage.
これは、OpenAIに支援されている悪名高いロボティック・スタートアップであり、これは彼らのウェブページで初めて更新された画像を見たということです。
Well it's not actually on their webpage this is the first time we've seen an updated image of their robot since around summer and since then we've not really seen that updated image and it seems like this is going to be the new version of their humanoid robot because the face seems a little bit different and i'm wondering if we're about to get a major upgrade.
実際、これは彼らのウェブページにはないのですが、これは夏頃以来、彼らのロボットの更新された画像を見たのは初めてで、その後、その更新された画像をほとんど見ていないようです。そして、顔が少し違うように見えるので、大規模なアップグレードが行われるのではないかと思っています。
Of course we know that nvidia's new ai system where you can train these robots and you are able to effectively train them a lot more effectively i think that this is going to be super fascinating considering this is a rather rather effective humanoid robot and i genuinely cannot wait for some future demos.
もちろん、私たちはnvidiaの新しいAIシステムについて知っています。これにより、これらのロボットをトレーニングすることができ、効果的にトレーニングすることができます。これは非常に興味深いことだと思います。これはかなり効果的なヒューマノイド・ロボットであり、将来のデモを本当に楽しみにしています。
Now we didn't see this robot actually in the system.
今、私たちは実際にこのロボットをシステム内で見ていませんでした。
We only saw Agilities, we only saw Aptronics, and I think we saw another system, and I wasn't really sure what that one is.
私たちはAgilitiesを見ただけで、Aptronicsを見ただけで、もう1つのシステムを見たと思いますが、その1つが本当に何かはよくわかりませんでした。
But one thing I do want to come to now is, of course, Disney's robotics.
しかし、今言いたいことの1つは、もちろん、ディズニーのロボティクスです。
Not actually humanoid, Disney's robotics, because I honestly have to give Disney's robotics team a major round of applause.
Disneyのロボティクスは実際には人型ではないので、率直に言ってDisneyのロボティクスチームに大きな拍手を送らなければなりません。
What they've been able to do with their animatronics and their robotics team is honestly nothing short of amazing.
彼らが彼らのアニマトロニクスとロボティクスチームで成し遂げたことは、正直言って驚くべきことです。
And when I was watching on stage, I tweeted out that Disney robotics is one of the most underrated teams in the world.
そして、私がステージで見ているとき、私はツイートして、ディズニーのロボティクスは世界で最も過小評価されているチームの1つだと書きました。
I really do wonder what would happen if they actually took a stab at humanoid robotics for household applications and other industry-wide applications like Boston Dynamics, 1X Robotics, and Figure is doing.
本当に興味深いのは、もし彼らが家庭用やBoston Dynamics、1X Robotics、Figureなどが行っている他の業界全体の応用のために人型ロボティクスに本気で取り組んだらどうなるかということです。
Because their movements are genuinely so lifelike.
なぜなら、彼らの動きは本当に生き生きとしています。
Like when I was watching the robot walk around, I genuinely thought I was watching a movie.
ロボットが歩き回っているのを見ているとき、本当に映画を見ているような気がしました。
It just didn't seem like it was reality.
それは現実のようには思えませんでした。
I think the future is here, and I think the future is going to be one of the most fascinating times, especially during this time.
未来はここにあると思いますし、特にこの時期には最も魅力的な時代の1つになると思います。
Because it's not like we're being born and these things already exist.
私たちが生まれてこれらのものがすでに存在しているわけではないからです。
We are watching the real-time development and the, of course, rapid change of these robotics systems.
私たちはリアルタイムでのロボティクスシステムの開発や、もちろん急速な変化を見ています。
And the entire humanoid robot space is truly about to just change completely.
そして全体的なヒューマノイドロボットの領域は完全に変わろうとしています。
And I think that, you know, being able to witness this is truly impressive.
そして、これを目撃できることは本当に感動的だと思います。
We're going to take a look now at, you know, the architecture and how this is essentially a new industrial revolution with NVIDIA NeMo and the AI Foundry, the NIMs, the Black Hole platform.
今、NVIDIAのNeMoやAIファウンドリー、NIMs、ブラックホールプラットフォームを使った新しい産業革命であるというアーキテクチャを見てみましょう。
And I think this is something that is really impressive.
これは本当に印象的なものだと思います。
And let me know if there's anything that I did miss in this amazing, stunning robotics update from NVIDIA.
この素晴らしく驚くべきNVIDIAのロボティクスの最新情報で見逃した部分があれば教えてくださいね。
Super good, super good.
とても良い、とても良いです。
Well, I think we have some special guests.
特別なゲストがいると思います。
Do we see?
見えますか？
Hey guys.
みなさん、こんにちは。
I understand you guys are powered by Jetson.
あなたたちはJetsonによって動いていると理解しています。
They're powered by Jetsons, little Jetson robotics computers inside.
彼らはJetsonによって動いている、中には小さなJetsonのロボティクスコンピュータが入っています。
They learn to walk in Isaac Sim.
彼らはIsaac Simで歩くことを学びます。
Ladies and gentlemen, this is Orange and this is the famous Green.
皆さん、これがOrangeで、これが有名なGreenです。
They are the BDX robots of Disney.
彼らはディズニーのBDXロボットです。
Amazing, Disney research.
素晴らしいですね、ディズニーの研究。
Come on, you guys, let's wrap up.
さあ、皆さん、片付けましょう。
Let's go.
行きましょう。
Five things.
5つのこと。
Where are you going?
どこに行くのですか？
I sit right here.
私はここに座ります。
Don't be afraid.
怖がらないでください。
Come here, Green.
こっちに来て、Green。
Hurry up.
急いでください。
What are you saying, Green?
何を言っているのですか、Green？
No, it's not time to eat.
いいえ、まだ食事の時間ではありません。
I'll give you a snack in a moment.
もうすぐおやつをあげますね。
Let me finish up real quick.
ちょっとだけ仕上げさせてください。
Come on, Green.
さあ、Green。
Hurry up.
急いでください。
Stop wasting time.
時間を無駄にしないでください。
Five things.
5つのこと。
First, a new industrial revolution.
ますます進化する新しい産業革命。
Every data center should be accelerated.
すべてのデータセンターは加速されるべきです。
A trillion dollars worth of installed data centers will become modernized over the next several years.
数兆ドル相当の設置済みデータセンターが、今後数年で近代化されるでしょう。
Second, because of the computational capability we brought to bear, a new way of doing software has emerged.
二つ目に、私たちが持ち込んだ計算能力のおかげで、新しいソフトウェアの作り方が生まれました。
Generative AI, which is going to create new and new infrastructure dedicated to doing one thing and one thing only.
新しいインフラを作成するために専用のインフラを作成するジェネレーティブAI。
Not for multi-user data centers, but AI generators.
マルチユーザーデータセンター向けではなく、AIジェネレーター向けです。
These AI generation will create incredibly valuable software.
これらのAI生成物は非常に価値のあるソフトウェアを作成します。
A new industrial revolution.
新しい産業革命。
Second, the computer of this revolution.
二つ目に、この革命のコンピューター。
The computer of this generation, generative AI, trillion parameters, Blackwell, insane amounts of computers and computing.
この世代のコンピューター、ジェネレーティブAI、兆のパラメーター、ブラックウェル、膨大な量のコンピューターと計算。
Third, I'm trying to concentrate, okay, good job.
三つ目、集中しようとしています、わかりました、よくやった。
Third, new computer creates new types of software.
三つ目、新しいコンピューターが新しいタイプのソフトウェアを作成します。
New type of software should be distributed in a new way.
新しいタイプのソフトウェアは新しい方法で配布されるべきです。
So that it can, on the one hand, be an endpoint in the cloud and easy to use, but still allow you to take it with you.
それが、一方ではクラウド上のエンドポイントで使いやすくなり、それでも持ち運ぶことができるようになるためです。
Because it is your intelligence.
それはあなたの知性だからです。
Your intelligence should be packed, packaged up in a way that allows you to take it with you.
あなたの知性は、持ち運ぶことができるようにパッケージ化されるべきです。
We call them NIMs.
私たちはそれらをNIMsと呼んでいます。
And third, these NIMs are going to help you create a new type of application for the future.
そして第三に、これらのNIMsは、将来の新しいタイプのアプリケーションを作成するのに役立ちます。
Not one that you wrote completely from scratch, but you're going to integrate them like teams create these applications.
完全にゼロから書いたものではなく、チームがこれらのアプリケーションを作成するようにそれらを統合するでしょう。
We have a fantastic capability between NIMs, the AI technology, the tools, NeMo, and the infrastructure, DGX Cloud, in our AI Foundry, to help you create proprietary applications, proprietary chat bots.
私たちのAIファウンドリーにおいて、NIMs、AI技術、ツール、NeMo、およびインフラストラクチャであるDGX Cloudの間には、独自のアプリケーション、独自のチャットボットを作成するのを手助けする素晴らしい能力があります。
And then, lastly, everything that moves in the future will be robotic.
そして最後に、将来動くすべてはロボットになります。
You're not going to be the only one, and these robotic systems, whether they are humanoid arms, self-driving cars, forklifts, manipulating arms, they will all need one thing: giant stadiums, warehouses, factories.
あなただけではありませんし、これらのロボットシステムは、人間の腕、自動運転車、フォークリフト、操作アームなど、巨大なスタジアム、倉庫、工場が必要とするものです。
There can be factories that are robotic, orchestrating factories, manufacturing lines that are robotics, building cars that are robotics.
ロボット工場、工場を統括するロボット、車を製造する製造ラインなど、ロボティクスである工場が存在する可能性があります。
These systems all need one thing, they need a platform, a digital platform, a digital twin platform, and we call that omniverse, the operating system of the robotics world.
これらのシステムはすべて1つのものが必要です、デジタルプラットフォームが必要です、デジタルツインプラットフォームが必要です、そして私たちはそれをオムニバースと呼んでいます、ロボティクス世界のオペレーティングシステムです。
These are the five things that we talked about today.
今日話したのはこれら5つのことです。
この記事が気に入ったらサポートをしてみませんか？