Meta Connect 2日目、開発者必見の新機能群(プロダクト責任者Rams執筆)

Meta Connect 2023、2日目は、開発者向けの技術系の話が多かったため当社プロダクト担当部長 Ramsekarが担当しました。

Get a firsthand peek into the mixed reality world we’re building next. Join Meta Leadership as they walk through all...

Posted by Meta for Developers on Thursday, September 28, 2023

Ramsekar
KaleidozoneのCOOとして、16以上のVRゲームを開発し、インドで26のVRゲームセンターを運営した。外科医や自動車工場作業員のトレーニングなど、10以上のVRアプリケーションを開発し、VRへの深い理解とネットワークを持っている。

プロダクト担当部長　Ramsekar

• クエスト2とクエスト3の機能比較

参考:UploadVR (当社加筆修正)

開発者向けの3つのエキサイティングな発表

グラフィック（GPUが2倍）

• 解像度が向上: 開発者は最適化についての心配を多少和らげ、顧客に対してより質の高いアウトプットを提供できるようになるだろう。

• レンダリング遅延の改善

ハンドトラッキング(75%改善)

これまでハンドトラッキングにおいては、手やコントローラーが見えなくなってしまうエリア(背中に手を回す際など)がたくさんありました。Quest3のカメラ位置からすると、Quest2に比べてより多くのエリアをカバーできるようになる。
当社のトレーニングにおいては、従業員がハンズフリーで作業する必要がある場合や、工具を持ったり、対象物をピッキングして配置したりする必要がある場合に有効である。

カラーパススルー

クエスト2では1MPのカラーカメラが1台だったのに対し、デュアル4MPカラーカメラにより、「パススルー」機能が向上し、MRでのコラボレーションがより現実的となった。この新しいパススルー機能は、ゲームだけではなく、企業がリモートワークを再構築することを可能にするかもしれない。

SDKアップデート、パッケージ、ツール（開発者向け）

• ムーブメントSDK
  ヘッドセットとコントローラーは上半身しか追跡できないが、ムーブメントSDKは「歩く、走る、ジャンプするといった実際の動作をする人々の大規模なデータセットで訓練された機械学習モデル」を使って、脚の位置を割り出す＝上半身の動きに基づいて、脚をシミュレートすることができる。*ただし、膝を上げたときはわからない。AIが生成した脚を、今後はアプリやゲームに追加することができる。

• メタ・プレゼンス・プラットフォーム
  プラットフォームのMR機能は、10倍以上のピクセルと新しいAIを搭載した深度エンジンによるパススルーの改善で、向上した。

AIを活用した複合現実感でアプリを充実させよう

• パススルー ：物理空間の快適な3Dビジュアライゼーション

• 空間アンカー：物理空間に仮想コンテンツを配置し、持続させる 

• シーン: ユーザーの物理空間との豊かなインタラクションを持ち、環境を意識した体験を構築する。

メタによれば、今年の後半には、パススルーからMRアプリへの移行が、黒いローディング画面なしで自然に行えるようになる。

さらに、Metaはこれを次のレベルに引き上げるため、Mesh APIを導入した。Mesh APIを使えば、ゲームのキャラクターが目の前に立っているだけでなく、部屋の中を移動したり、環境とインタラクションを行える。また、リビングルームの壁を宇宙に変えたり、アバターの森を出現させたりすることもできる。

• メタXRシミュレーター
  新しいMeta XRシミュレーターが登場し、実物のヘッドセットなしでVR/MRアプリをテストできるようになった。今後はバグ検知においてを、タッチコントローラーの入力をキーボードやマウスと統合してテストすることができる。

• PCでのXRシミュレータの3D環境出力
  Meta Quest 3とMeta Connect 2023は、VR開発の新たなベンチマークとなった。MRユーティリティキットや深度API、Meta XRシミュレーターの詳細など、今後のブログもお楽しみに。