Object Captureのエリアモード - 空間のスキャンが可能に #WWDC24

セッション公開前の期待

WWDC24の "Discover area mode for Object Capture" というセッションタイトルを見て、「エリアモード」という命名から、もしやObject Captureでオブジェクトだけではなく空間／シーンのキャプチャーを正式サポートしたのか、とWWDC初日からこのセッションの公開を楽しみにしていた。

ちなみにこちらが昨年Object Captureで空間のキャプチャーを試みたもの：

こちら、iPhone片手持ちで標準カメラアプリで普通に歩きながら撮影した動画から、iOS/macOSのAPIだけで（有料アプリは使用せず）生成した3Dモデルです。作り方は↑の発表資料を参照。 #iosdc #iosdc2023 pic.twitter.com/gKwygnBmmQ

— 堤修一 / Shuichi Tsutsumi (@shu223) September 3, 2023

やっと昨日同セッションが公開されたので見ていく。

Discover area mode for Object Capture - WWDC24 - Videos - Apple Developer

⚠️ 本記事の画像、引用部分は基本的に同セッションからの引用です。

エリアモード

バウンディングボックスフローの問題

同セッションの "Introduction" は、これまでのObject Captureのおさらいから始まる。

そして以下のように問題点を投げかける：

しかし、バウンディングボックスフローでは簡単にキャプチャできないオブジェクトもある。

来たー！

そうそう、これまでのObject Captureは

こういう感じで必ず対象物をバウンディングボックスで囲む必要があり、このフローだと、「空間（エリア）」はキャプチャーできないという問題があった。

まさにその問題について去年書いた記事がこちら：

このバウンディングボックスを指定するステップをスキップできるのであれば、Object CaptureのAPIで空間フォトグラメトリ用の撮影が可能、ということになる。

空間をキャプチャーしたい場合はカメラのプレビュー内でバウンディングボックスの指定などできないからだ。

こちらはWWDCではなく去年私が書いた記事からの引用

エリアモードの発表

で、これに対して登場したのがエリアモード。

屋外の凹凸のある地形や、歩いて回りきれないオブジェクト、2.5次元のサーフェスなどを簡単にキャプチャできるようになりました。エリアモードで作成したモデルは、Apple Vision Proの3D環境やアーティスティックなプロジェクトでの使用に最適です。

名前を見て期待していた通り、やっぱり欲しかった機能のようだ。そしてvisionOSでも使えますよと明言されている。