AzureKinectを試す

本日、日本マイクロソフト株式会社からAzure Kinectが届いたので早速触ってみました。サンプルはこちら。

02_AzureKinect - Google ドライブ

購入は公式サイトから行いました。

Azure Kinect 開発者キットを購入する – Microsoft

今回テストした環境は以下です。

About TouchDesigner
License : Non-Commercial
Version : 64-Bit Build 2020.20625

About Machine
OS : Windows 10 64 Bit
GPU : nvidia Geforce 1080Ti
CPU : Intel Core i7-8700K
メモリ : 32GB

下準備

まずはSDKなどをインストールして動作確認します。

インストールはこちらから。

Azure Kinect DK documentation

Azure Kinect Viewerというのがインストールされるのでそれで動作確認をしましょう。

Azure KinectおよびAzure KinectとPCの間の接続がうまく行ったのを確認したら準備完了です。

ポイントクラウドを表示する

Kinect Azure TOPがデバイスをグラブするので、まずはKinect Azure TOPを置きましょう。

カラーのポイントクラウドを表示するにはポイントクラウド（XYZ座標をRGB値で書き込んだ）のTOPと、ポイントクラウドとピクセル位置が正しく重なったカラー画像が必要です。

Kinect Azure TOPは一枚しか画像を取得できないので、1個のAzure Kinectから複数枚の画像を取得する場合はKinect Azure Select TOPで他の画像を取得することになります。

自分はKinect Azure TOPのでポイントクラウド画像を取得し、Kinect Azure Select TOPでカラー画像を取得しました。

カラー画像のほうは"Align Image to Other Camera"フラグをオンにすると、TouchDesignerのほうでポイントクラウド画像とピクセルレベルで位置が合った画像に補正してくれます。便利。

あとはこれをBoxとかSpehereとか小さい粒のGeometryでInstancingするだけ！

良い感じに一発で描画されました。早い。

ボーントラッキングを表示する

ついでにボーントラッキングもやってみました。こちらもAzure Kinect TOPを設置したあとにKinect Azure CHOPを使ってボーンのポジション情報を取得します。今回のボーン情報は1人あたり32点も取れるようです。結構多くて大変なのでInstancingで対応しました。

まず最初にSelect CHOPでフレーム数を除きます。次に3つのSelect CHOPを使ってtx、ty、tzでそれぞれ抜き出して、Shuffle CHOPで一本のArray（配列）にまとめてしまいます。そのあとMerge CHOPで合流させてtx、ty、tzの3チャンネルで、各配列要素が32個ある状態にして、これで関節部分にSphereをInstancingするようにしました。

こちらも表示自体は意外とさっくりできました。これを何かのモデルのボーンと対応づけはじめると若干面倒かもしれませんが・・・。

マシンスペックのおかげもあるでしょうが、数十万のポイントクラウド＋GPUベースのボーントラッキングが60FPSで動いています。