Kaolin 入門 (1) - 事始め

「Kaolin」について、まとめはじめました。

1. Kaolin

「Kaolin」はNVIDIAが提供する3D深層学習のためのライブラリです。様々な3D表現を扱うためのPyTorch APIを提供し、微分可能レンダラー、3D表現の変換、データローディング、3Dチェックポイントなどの機能が提供さｒています。

2. Kaolinの機能

「Kaolin」の機能は、次のとおりです。

◎ 微分可能レンダラー
モジュール化および最適化されたメッシュ微分可能レンダラーを用いて、最先端のインバースグラフィックスアプリケーションを開発することができます。

◎ 3Dデータの読み込み
機械学習モデルを学習するための大規模な3Dデータセットを簡単に読み込むことができます。OBJやUSDフォーマットのインポート／エクスポートを行うことができます。

◎ GPUに最適化された3D演算
高速で信頼性の高い変換操作を使用して，3D表現の変換を行います。GPUに最適化された3D損失関数の実装や、3Dデータに対するその他の操作の機能が提供されています。

◎ 3Dチェックポイント
メッシュ、点群、ボクセルグリッドの3DチェックポイントをUSDフォーマットでエクスポートし、モデルの学習をインタラクティブに視覚化できます。

3. Omniverse Kaolin App

「Omniverse Kaolin App」は、3Dデータや学習結果を高忠実度でレンダリングし、インタラクティブに視覚化することができるアプリケーションです。

◎ モデルの学習の視覚化
「Kaolin python API」を使用してエクスポートされた3Dチェックポイントの繰り返しをスクラブして、モデルの学習状況を把握できます。3D出力を検査して開発中のモデルをデバッグし、最終結果の美しいレンダリングを作成します。

◎ 合成データのレンダリング
RTXレイ＆パストレーシングを使って大規模な学習データセットをレンダリングし、セグメンテーションマップ、バウンディングボックス、デプスマップ、法線などの有用なグランドトゥルースラベルをエクスポートします。

◎ 3Dデータセットの検査
3Dデータセットのサンプリング、レンダリング、検査を簡単に行うことができ、学習データについての直感を得て、矛盾点を特定することができます。

4. 参考

NVIDIAGameWorks/kaolin

次回