ピッキングロボをシミュレーションから現実へいかにして現実のギャップに対処するか

Nvidia技術ブログ
By Bingjie Tang and Yashraj Narang

ロボットハンドがピースを組み立てる様子を、シミュレーションと実機を並べたビデオ紹介。
シミュレーションは、ロボットが新しいスキルを習得するために不可欠なツールだ。
スキルは、知覚（カメラ画像から世界を理解する）、計画（問題を解決するための一連の行動を策定する）、制御（ロボットの位置や姿勢を変更するためのモーターコマンドを生成する）が含まれる。

ロボット組み立ては、自動車、航空宇宙、電子機器、医療機器業界ではいたるところで行われている。
ロボットが組立作業を行うためのセットアップは、時間とコストのかかるプロセスであり、ロボットの軌道を設計し、周囲の環境を慎重に制約する必要がある。

ロボット工学の他の分野では、シミュレーションは特にAIの開発に不可欠なツールとなっている。
しかし、ロボット組み立てでは、幾何学的に複雑で公差の厳しい部品同士が高精度で接触します。
この接触が多い相互作用のシミュレーションは、長い間、計算が困難であると見なされてきました。

NVIDIAの最近の開発により、リアルタイムよりも高速なシミュレーションが可能になりました。
高速シミュレーションにより、強化学習（RL）の強力な最先端技術の利用が可能になります。
仮想ロボットがシミュレーションでインテリジェントな試行錯誤を通じて有用なスキルを学習します。
RLを使用することで、人間の専門知識の必要性を最小限に抑え、ばらつきに対するロバスト性を高め、ハードウェアの消耗を減らすことができます。
SIM-to-Realとは、シミュレーションから現実世界へのスキルの移行を意味する言葉です。

RLを使用する際の最大の課題の1つは、シミュレーションでロボットが学習したスキルが、通常、実世界のロボットにうまく伝達されないことです。
シミュレータと実世界の物理、モーター信号、センサー信号の微妙な不一致がこの問題を引き起こす。
さらに、実世界のロボットは、シミュレータでは見たことのないシナリオに遭遇するかもしれない。
これらの問題を総称してリアリティギャップと呼びます。

IndustRealとは？
リアリティギャップを解決するために、私たちはIndustRealを開発しました。
IndustRealは、ロボットがシミュレーションで組立作業を解決し、その能力を実世界に転送するためのアルゴリズム、システム、ツールのセットです。

IndustRealの主な貢献は以下の通りです：

複雑な組立作業をRLで解くためのシミュレーションロボット用アルゴリズム一式。
現実とのギャップに対処し、学習したスキルを実世界で展開する際に安定させる方法。
シミュレーションで訓練された組立スキルをエンド・ツー・エンドでシミュレートからリアルへ転送する実世界ロボットシステム。
研究者やエンジニアがシステムを再現するためのハードウェアとソフトウェアのツールキット。

IndustRealKitは、ロボット組立の確立されたベンチマークであるNIST Task Board 1にインスパイアされた3Dプリント可能なCADモデルの資産セットです。

IndustRealLibは軽量なPythonライブラリで、NVIDIA Isaac Gymシミュレータで学習したスキルを実世界のFranka Emika Pandaロボットアームに展開します。

ロボットはシミュレーションと実世界でペグを挿入し、ギアを組み立てます。
図1. ロボットは、ペグを挿入し、歯車を組み立てるためのシミュレーションベースのポリシーを実行する（上段）。

学習アルゴリズムと展開方法
本研究では、シミュレーションにおけるRLを用いた組立スキルの学習を支援する3つのアルゴリズムを提案する。また、実世界のロボット上でスキルを実行するための展開方法を提案する。