見出し画像

Apple Vision Pro本体のセンサー系ハードウェアをながめてみる

blkcatman

この記事は、「MESON Apple Vision Proアドベントカレンダー # 2」10日目の記事です。前日の記事はこちらになります。

久しぶりにVRデバイスとしてApple Vision Proを個人で買いました。購入したガジェットとしては過去最高額を更新しました。

ソフトウェア開発は現在行っている最中ですが、まずはエンジニアとしてApple Vision Proを構成している要素として、センサーや入力処理に利用しているハードウェア構成を知っておきたいと思い、記事にしました。
また、おまけとして本体についているボタンやスピーカーもついでに紹介したいと思います。

パートとしては以下の通り、本体についているボタンやカメラ、スピーカについて、下記に紹介していきます。


ボタン関連

Apple Vision Proの操作は主に自分の手を使って操作(ハンドジェスチャー)するのですが、一部ボタン操作が必要になるケースがあります。

1. Digital Crown

Apple Vision Proを被った際に右手で操作するボタンです。主に以下の操作で利用します。

  • ホームビューを開く

  • 視点位置のリセット(コンテンツを中央に配置)

  • (イマーシブ表示時のみ)ダイヤル調整で現実空間と仮想空間の表示比率を調整

2. トップボタン

Apple Vision Proを被った際に左手で操作するボタンです。トップボタン単体では以下の操作に利用します。

  • (バッテリー装着後)本体の電源を入れる

  • キャプチャー(空間写真、空間ビデオを撮影する操作画面)を開く

また、トップボタンとDigital Crownを同時に押すことで以下の操作が可能になります。

  • スクショを取る

  • 本体の電源OFF

  • 強制再起動

カメラ、センサー関連

Apple Vision Pro本体が行う空間認識やMR表示のためのパススルー用カメラ、ハンドジェスチャーに利用するカメラなど、5種類のデバイスが目的別に複数個配置されています。大半はセンサーとしての用途になっています。

3. LiDARスキャナ

Apple Vision Proで主に空間認識用に使用されているToF方式のデプスセンサーです。投光器とセンサーが縦に並んでユニットになっています。iPadのLiDARは5m先まで検出できていたので、同等以上のスペックは持っていると思われます。

4. TrueDepthカメラ

補助的な空間認識用と、空間写真、空間ビデオ撮影時などの被写体の顔や体の特徴認識に使用されると思われる、ストラクチャードライト方式のデプスセンサーです。他の用途にも利用されている可能性はあります。向かって右側が投光器で、左側がセンサーで1対になっています。

5. メイン(Passthrough)カメラ

外界を見るためのカメラです。センサー用の赤外カメラとは違い、可視光カメラになっています。

6. 周辺カメラ(正面、下方)

ヘッドトラッキング用やハンドジェスチャー用の赤外カメラです。下方に配置されているカメラはハンドジェスチャの死角をカバーするために配置されているためと思われます。

7. IR投光器

赤外カメラをセンサーとして使用する場合、特にハンドジェスチャー認識用に手の形を取りたい場合はなるべく手をシルエットとしてとらえられるように補助の光源を利用することがあります。おそらくその用途としてApple Vision Pro本体に搭載しているのかと思われます。

8. 周辺カメラ(側面)

ヘッドトラッキング用の赤外カメラです。ハンドジェスチャの死角をカバーするために配置されているためにも使用されていると思われます。

(おまけ)スピーカー

Apple Vision Proの操作のためのボタンやセンサーとは異なりますが、ちょうど耳の前方あたりにスピーカーが配置されています。この配置は初代のHoloLens、Meta Quest ProやBose Framesに見かけました。この構成のデバイスはいずれも販売終了や後継機でオミットされていますが、このスピーカー配置は音質が非常に高いため、Apple Vision Proで採用されたのだと思われます。

さいごに

ハードウェアに関してはAppleの過去デバイスの集大成で、過去技術の集大成がApple Vision Proという印象を改めて持ちました。一つのデバイスで多種多様のセンサーつけるとハードソフトの両面で不具合が出てくるのですが、ここまで整合性を保って製品として出しているのには驚嘆しました。

Apple Vision Pro向けのアプリ開発そのものは、以前のiOSのフレームワークに近い構成のフレームワークが提供されており、以前にARアプリの開発をしたことがある方はあまり悩まなくて済むようになっています。
またUnityを利用してアプリ開発をする場合、フレームワークが統合化されているため、以前のARアプリの開発ノウハウがそのまま流用できます。(特にARFoundation周りはそっくりそのまま使えます。)
よってApple Vision Proが搭載している各ハードウェアを意識せずに開発ができるため、現在かなり速い速度でアプリ開発ができるようになっています。

ソフトウェア開発ではフレームワークによる手厚いサポートがあり、ハードウェアの性能は引き出せる状態になっているので、今後はアプリとしてのアイデア勝負になってきそうです。

この記事を読んでいて、MESONについて気になった方は、以下の公式ページも見て頂けると嬉しいです。


この記事が気に入ったらサポートをしてみませんか？