【AIニュース】NVIDIA、ビジュアル AI の最新の進歩を発表＆自動運転技術で優勝
NVIDIA、ビジュアル AI の最新の進歩を発表
（CVPR）カンファレンスにおいて、NVIDIAの研究者たちは、新しい視覚的生成AIモデルと技術を発表しています。これらの進歩は、カスタム画像生成、3Dシーン編集、視覚言語理解、自動運転車の知覚など、さまざまな分野にわたります。
「人工知能、特に生成AIは、画期的な技術革新を表しています」と、NVIDIAの学習と知覚研究担当バイスプレジデントであるJan Kautz氏は述べています。
「CVPRで、NVIDIAリサーチは、プロのクリエイターを強化する可能性を秘めた強力な画像生成モデルから、次世代の自動運転車を可能にする自動運転ソフトウェアまで、私たちが可能なことの限界を押し広げている方法を共有しています。」
発表された50以上のNVIDIAリサーチプロジェクトの中で、2つの論文がCVPRの最優秀論文賞のファイナリストに選ばれました。1つは拡散モデルのトレーニングダイナミクスを探求し、もう1つは自動運転車用の高解像度マップに関するものです。
さらに、NVIDIAはCVPRのAutonomous Grand ChallengeのEnd-to-End Driving at Scaleトラックで優勝し、世界中から450以上のエントリーを上回りました。この成果は、NVIDIAが包括的な自動運転車モデルに生成AIを活用した先駆的な取り組みを証明しており、CVPRからイノベーション賞も受賞しました。
注目すべき研究プロジェクトの1つに、JeDiがあります。これは、クリエイターがテキストから画像への生成における最先端のアプローチである拡散モデルを、ほんの数枚の参照画像を使用して特定のオブジェクトやキャラクターを描写するように迅速にカスタマイズできる、新しい技術です。従来のカスタムデータセットでのファインチューニングに比べて、時間のかかるプロセスが不要になります。
もう1つの画期的な技術に、FoundationPoseがあります。これは、オブジェクトごとのトレーニングなしで、ビデオ内のオブジェクトの3Dポーズを瞬時に理解し、追跡できる、新しい基盤モデルです。FoundationPoseは新しいパフォーマンス記録を樹立し、ARやロボット工学の新しいアプリケーションを可能にする可能性を秘めています。
発表された進歩
JeDi: 少数の参照画像を使用して拡散モデルを迅速にカスタマイズできる新しい手法
基礎ポーズ: オブジェクトごとのトレーニングを行わずに、動画内のオブジェクトの 3D ポーズを瞬時に理解して追跡できる新しい基盤モデル
NeRFDefor: 単一の 2D スナップショットを使用してニューラル ラディアンス フィールド（NeRF）によってキャプチャされた 3D シーンを編集する方法
ビラ: 画像、ビデオ、テキストを理解する上で最先端のパフォーマンスを達成する新しいビジョン言語モデルのファミリー
NVIDIAの研究チームの実績
NVIDIAの研究チームは、CVPRチャレンジでエンドツーエンドの自律運転システム「Hydra MDP」を使って優勝しました。
詳細
課題の背景: エンドツーエンドの自律運転は、安全で信頼性の高い一般的な自律性を実現するために重要ですが、現実世界のナビゲーションは困難です。現在の自律運転車（AV）の開発は、物体検出、追跡、軌道予測、経路計画、制御のモジュール方式です。しかし、この方法は現実のシナリオでは限界があります。
Hydra MDPの特徴: NVIDIAの研究者は、統一されたトランスフォーマーモデルの下で正確な知覚と堅牢な意思決定を行うエンドツーエンドの運転システム「Hydra MDP」を開発しました。このモデルは、車両の1秒間の軌道履歴とカメラおよびLIDARデータを取り込み、次の4秒間の最適な車両経路を生成します。
システムの優位性: Hydra MDPの簡略化されたエンドツーエンドアーキテクチャは、コード量の削減と性能の向上を実現します。このモデルは、現実世界およびシミュレーションデータから学習でき、珍しい状況や危険なシナリオの処理が容易になります。また、人間の運転を模倣することで、より快適で予測可能な運転体験を提供します。
NVIDIA Omniverse Cloudとの連携: Omniverse CloudのセンサーRTX APIを使用することで、AV開発者は物理ベースの仮想環境でAVモデルのテストと検証が可能です。
将来の展望: Hydra MDPはまだ始まりに過ぎず、NVIDIAの研究はエンドツーエンドシステムと生成的物理AIの分野でのブレークスルーを推進しています。
※本記事は海外記事を要約しています。 引用元↓
https://www.artificialintelligence-news.com/2024/06/17/nvidia-presents-latest-advancements-visual-ai/
https://www.youtube.com/watch?v=wfpLLSz5iWY