Kaolin / メインモジュール

「Kaolin」のメインモジュールに目を通してみます。

1. rep

サポートされている3D表現は、次のとおりです。

・三角メッシュ
・四角メッシュ
・ボクセル
・ポイントクラウド
・符号付き距離関数（SDF）

2. conversions

3D表現の変換をサポートします。

3. models

提供されるモデルには、次のとおりです。

◎ DGCNN [Paper], [Original implementation]
ポイントクラウドによるカテゴリ分類、セマンティックセグメンテーション、パーツセグメンテーション。

◎ DIB-R [Paper], [Original implementation]
補間ベースの微分可能レンダラーを使用した3Dオブジェクトの予測学習。

◎ GEOMetrics [Paper], [Original implementation]
単一の画像からのメッシュオブジェクトの再構築。

◎ Image2Mesh [Paper], [Original implementation]
単一のRGB画像からの3Dメッシュモデルを生成。

◎ Occupancy Network [Paper], [Original implementation]
関数空間での3D再構成の学習。

◎ Pixel2Mesh [Paper], [Original implementation (TensorFlow)], [Re-implementation]
単一のRGB画像から3Dメッシュモデルを生成。

◎ PointNet [Paper], [Original implementation], [Re-implementation]
ポイントクラウドによる3D分類とセグメンテーション。

◎ PointNet++ [Paper], [Original implementation], [Re-implementation]
ポイントクラウドによる3D分類とセグメンテーション。

◎ MeshEncoder
シンプルなメッシュエンコーダ

◎ GraphResNet
Residual Connectionsによるメッシュエンコーダ

◎ MeshCNN [Paper], [Original implementation]
メッシュによる3D分類とセグメンテーション。

◎ VoxelGAN [Paper], [Original implementation]
3D生成。敵対モデリングによるオブジェクト形状の確率的潜在空間の学習。

◎ AtlasNet [Paper], [Original implementation]
低解像度のポイントクラウドまたはイメージからメッシュを合成。

4. graphics

「Kaolin」は、微分可能レンダラーを構築するための柔軟なモジュール式のフレームワークを提供します。個々のコンポーネントを新しいものに簡単に置き換えることができます。
以下の微分可能レンダラーの実装も提供します。

◎ DIB-R [Paper], [Original implementation]
補間ベースの微分可能レンダラーを使用した3Dオブジェクトの予測学習。

◎ SoftRas [Paper], [Original implementation]
画像ベースの3D推論のための微分可能なレンダラー。

◎ Neural 3D Mesh Renderer [Paper], [Original Chainer implementation], [PyTorch re-implementation]
ニューラル3Dメッシュレンダラー。

5. metrics

実装された指標と損失関数

◎ メッシュ
・Triangle Distance
・Chamfer Distance
・Edge Length regularization
・Laplacian regularization
・Point to Surface distance
・Normal consistency

◎ ポイントクラウド
・Sided Distance
・Chamfer Distance
・Directed Distance

◎ ボクセル
・Intersection Over Union (3D IoU)
・F-Score