iPad ProのLiDARを使って、AR表示を試してみた

iPadで3Dスキャンを行うためには、Appleの「ARKit」を利用します。そこで今回は、ARKitで用意されているサンプルプログラム 「Scanning and Detecting 3D Objects」を試してみました。

実際には、「LiDAR」を搭載しているiPadのARKitを使って物体の3Dスキャンを行った上、そこに3D CADモデルを重ねてAR表示をやってみました。LiDARは「ライダー」と読み、「Light Detection and Ranging」の略称。レーダーを使ったセンシング技術の一種です。

図1、2 は対象物（ペン立て）を3Dスキャンし、点群を取得しているところ、図3はさらに取得した点群に対象物の元の3D CADモデルを重ねて表示しているところです。iPadを動かすと、そのカメラの視点の動きに応じて3D CADモデルの表示も追従してくれます。

図1：対象物（ペン立て）をスキャンし点群を取得

図2：対象物（ペン立て）をスキャンし点群を取得

図3：取得した点群に対象物の元の3D CADモデルを重ねて表示

しかし実際には追従に失敗することも多いです。図1、2 のスキャン中の画像を見ると、対象物の平面上では点群をあまり取得できておらず、丸穴の縁や角など、撮影画像上で陰影の変化がある箇所に点群が集中しています。そのためか、3D物体の認識と追従ができない場合が多いです。実は、この点群の取得結果は、LiDARを搭載していない iPhoneで実行した場合と印象はさほど変わりません。

Appleの発表によれば、LiDARが計測した深度と、カメラとモーションセンサからのデータを組み合わせ、さらにA12Z Bionic のコンピュータビジョンアルゴリズムとの複合でスキャンを行っているとのことです。LiDARを搭載していない iPhoneの場合と比べて、計測結果は多少なりとも改善されているのかもしれませんが、できることはあまり変わりがない印象です。

LiDARであれば、本来は密な点群を取得できるはずで、上の図の場合では物体の平面上でも点群を取得できるでしょう。また、もちろんカメラも搭載しているので、色も取得できるはずです。MicrosoftのKinectなどの場合のように、色情報付きの密な点群を取得できるSDKの用意もあれば、スキャナとしての利用が広がると思うのですが……。

iPadのように、誰もが知っていて、しかも購入したら誰でもすぐに使えそうな機器で3Dスキャンができるということは、これまでになかったことです。せっかくのLiDARの性能を十分に活かすことができる開発環境が提供されることを期待しています。

（プロノハーツ 中村泰敏）