WWDC24 の visionOS の セッションまとめ
「WWDC24」の「visionOS」のセッション をまとめました。
1. 優れたvisionOSアプリの設計
没入感を取り入れ、目と手に合わせて設計し、奥行き、スケール、空間を活用して、魅力的な空間コンピューティングアプリを作成する方法を学びます。優れたvisionOSアプリの例をいくつか紹介し、そのデザイナーがプラットフォームの新しい体験を作成するためにどのようにアプローチしたかを探ります。
2. visionOSのオブジェクトトラッキング
オブジェクトトラッキングを使用して、現実世界のオブジェクトをvisionOS アプリの仮想アンカーに変換する方法を学びます。オブジェクトトラッキングを使用して、最初から最後まで空間体験を構築する方法を学びます。CreateMLで機械学習を使用して参照オブジェクトを作成し、Reality Composer Pro、RealityKit、ARKit APIでターゲットオブジェクトに関連するコンテンツをアタッチする方法を学びます。
3. Reality Composer Proでインタラクティブな 3Dコンテンツを作成
Reality Composer Proのタイムラインビューで3Dコンテンツに命を吹き込む方法を学びます。逆運動学、ブレンドシェイプ、スケルタルポーズを使用して、キャラクターとオブジェクトが互いに、また周囲の世界と相互作用するアニメーションストーリーを作成する方法を学びます。また、組み込みアクションとカスタムアクションの使用方法、アクションの順序付け、トリガーの適用、自然な動きの実装方法も紹介します。
4. iOS ・ macOS ・ visionOS 向けのRealityKit API
RealityKitの新しいクロスプラットフォームAPIが、iOS・macOS・visionOS 向けの没入型アプリの構築にどのように役立つかを学びます。新しいホバー効果、ライトとシャドウ、ポータル横断機能を確認し、実際の例で動作を確認します。
5. ARKitで強化された空間コンピューティング体験の作成
ARKitの最新機能を使用して、魅力的な没入型体験を作成する方法を学びます。部屋の追跡とオブジェクトの追跡を使用して、周囲との関わりをさらに深める方法を探ります。また、このプラットフォームでアプリが環境の照明の変化にどのように反応するかについても説明します。空間体験をより直感的にするハンドトラッキングと平面検出の改善点をご覧ください。
6. RealityKitオーディオで空間コンピューティングアプリを強化
RealityKitオーディオを使用して、空間コンピューティング体験を向上させます。空間オーディオによって3Dの没入型体験が実現する方法を学びます。アンビエントオーディオ、リバーブ、3Dコンテンツに特徴を加えるリアルタイムのプロシージャルオーディオなど、RealityKitオーディオAPIがアプリの魅力を高める方法を学びます。
7. 魅力的な空間写真と動画体験の構築
空間写真と動画をアプリに取り入れる方法を学びます。さまざまな種類の立体メディアを調べ、iPhone 15 ProのiOSアプリで空間動画をキャプチャする方法を見つけます。visionOSの新しいQuickLookプレビューアプリケーションAPIなど、空間メディアを検出して表示するさまざまな方法を見つけます。また、写真や動画を空間的にするメタデータとステレオの概念を詳しく調べます。
8. VisionOS向けTabletopKitの紹介
TabletopKitを使用して、visionOS向けのボードゲームを一から構築します。ゲームの設定方法、RealityKitを使用して強力なレンダリングを追加する方法、そしてほんの数行のコードを追加するだけでFaceTimeで空間ペルソナを使用してマルチプレイヤーを有効にする方法を紹介します。
10. visionOSでパススルーを使用してMetalをレンダリング
visionOSのMetal体験を拡張する準備をしましょう。レンダリングされたコンテンツをパススルーを使用して人々の物理環境に統合するためのベストプラクティスを学びます。レンダリングされたコンテンツを物理世界に合わせて配置する方法、追跡可能なアンカー予測を使用して遅延を減らす方法などを学びます。
11. visionOSでのマルチビュー動画再生
AVExperienceControllerを使用してApple Vision Proで複数の動画を再生する方法を学びます。導入のベストプラクティスを確認し、スポーツ放送をさまざまな角度から視聴したり、複数のゲームを同時に視聴したりするなど、優れたユースケースを調べます。また、アプリで魅力的で直感的なマルチビュー体験を設計する方法を学びます。
12. visionOS向けEnterprise APIの紹介
visionOS向けの新しい Enterprise API を使用して、Apple Vision Proで従業員と顧客の生産性を向上させる空間体験を作成する方法をご覧ください。
13. ボリュームと没入型空間の詳細
visionOSでボリュームと没入型空間をカスタマイズする強力な新しい方法を見つけましょう。ボリュームのサイズを変更し、ボリュームの周りを移動する人に対応する方法を微調整する方法を学びます。座標変換の力を利用して、ボリュームと没入型空間を相互作用させます。人々がDigital Crownで没入感を調整したときにアプリが反応するようにする方法と、周囲の効果を使用して没入型空間体験のパススルーの色合いを動的にカスタマイズする方法を学びます。
14. 空間Web向けの最適化
Web上でvisionOSの機能を最大限に活用する方法を学びます。選択ハイライトの改善や、空間写真やパノラマ画像を全画面で表示する機能など、最近の更新内容をご覧ください。WebSpeechによるディクテーションやテキスト読み上げ、WebAudioによる空間サウンドスケープ、WebXRによる没入型体験など、既存のWeb標準を活用する方法を学びます。
15. visionOSでのゲーム入力
visionOSでゲームに優れた入力を設計および実装する方法を学びます。システムジェスチャによって、プレイヤーがゲームとスムーズにやり取りできるようにする方法を学びます。また、カスタムジェスチャとゲームコントローラをサポートするためのベストプラクティスを調べます。
16. visionOSでの没入型アプリ用のカスタム環境の作成
Apple Vision Pro向けに、視覚的に豊かでパフォーマンスの高いカスタマイズされたアプリ環境を作成する方法を学びます。デザインガイドラインを学び、専門家の推奨事項を入手し、あらゆるデジタルコンテンツ作成ツールで使用できるテクニックを調べて、没入型環境の構築を開始します。
17. カスタム環境でのメディア視聴の没入感の強化
ドッキング領域、リバーブ、仮想環境プローブなどのReality Composer Pro コンポーネントを使用して、メディア視聴エクスペリエンスを拡張します。反射、周囲の色合い効果、SharePlay、没入感環境ピッカーを使用して没入感をさらに強化する方法を学びます。
18. visionOS のインタラクティブな体験のデザイン
Encounter Dinosaursのデザイナーから、Apple Vision Pro向けの魅力的なインタラクティブな物語体験をデザインする方法を学びます。これらのタイプの体験が既存のアプリ、メディア、ゲームとどのように異なるかを確認し、視聴者を新しい世界に導く物語をデザインする方法を探ります。あらゆるスペースとサイズに適応するストーリーを作成し、すべての人がアクセスできるように複数のレベルのインタラクションを提供し、アニメーション、空間オーディオ、カスタムジェスチャを使用して人々を体験にさらに没入させる方法を学びます。
19. visionOSでのカスタムホバー効果の作成
ユーザーが見たときにビューを更新するカスタムホバー効果の開発方法を学びます。不透明度、スケール、クリップ効果を組み合わせた拡張ボタン効果を作成する方法を確認します。快適でユーザーのアクセシビリティニーズを尊重する効果を作成するためのベストプラクティスを見つけます。
20. 空間コンピューティング向けの3Dアセットの最適化
最適化された3Dアセット作成のためのエンドツーエンドのワークフローについて詳しく説明します。デジタルコンテンツ作成ツールでメッシュ、マテリアル、テクスチャを最適化するためのベストプラクティスを紹介します。シェーダーグラフ、ベイク処理、マテリアルインスタンスを活用して、パフォーマンスを最適化しながら3Dシーンを強化する方法を学びます。ネイティブ ツールを活用してアセットをより効率的に操作し、アプリのパフォーマンスを向上させます。
21. オブジェクトキャプチャのエリアモード
オブジェクトキャプチャのエリアモードでは、オブジェクトのキャプチャ機能を拡張してエリアのキャプチャと再構築をサポートすることで、iOSでの新しい3Dキャプチャの可能性が実現します。再構築用の新しいmacOSサンプル アプリを使用してiOSキャプチャの品質を最適化する方法を学び、Apple Vision Pro、iPhone、iPad、またはMacのQuick Lookを使用して最終結果を表示する方法を学びます。独自のカスタム画像処理パイプラインを作成できる新しいAPIなど、3D再構築の改善について学びます。
22. iOS ・ iPadOSゲームのvisionOS導入
iOS・iPadOSゲームをvisionOS独自の体験に変える方法をご覧ください。3Dフレームや没入型の背景で没入感 (と楽しさ) を高めます。また、立体視やヘッドトラッキングでウィンドウに奥行きを追加して、プレイヤーをあなたの世界にさらに引き込みます。
23. WebXRで没入型のWeb体験を構築
WebXRによって、visionOSのWebサイトに完全に没入型のエクスペリエンスを追加できる仕組みをご確認ください。visionOSの入力機能を最大限に活用するWebXRエクスペリエンスを構築する方法と、シミュレータを使用して macOSでWebXR体験をテストする方法を学びます。
24. visionOSでのHealthKitを使い方
HealthKitを使用して空間キャンバスを最大限に活用するエクスペリエンスを作成する方法を学びます。プラットフォーム上のHealthKitの機能について学び、既存のiPadOSアプリをvisionOSに持ち込む方法を見つけ、ゲストユーザーセッション中にHealthKitを管理する特別な考慮事項を調べます。また、SwiftUI、Swift Charts、Swiftの同時実行性を使用してHealthKitで革新的なエクスペリエンスを作成する方法も学びます。
25. visionOSのQuick Lookの新機能
visionOSのQuick Lookがアプリのファイルプレビューと編集エクスペリエンスをどのように向上させるかについて説明します。アプリ内とウィンドウ化されたQuick Lookの統合、およびアプリのウィンドウ化されたQuick Look エクスペリエンスをカスタマイズする最新のAPIについて説明します。また、Quick Look内で3Dモデルを表示するための最新の機能強化についても説明します。
26. USDとMaterialXの新機能
AppleプラットフォームでのUniversal Scene DescriptionとMaterialXサポートのアップデートをご覧ください。これらのテクノロジーが3Dコンテンツの作成と配信の基盤となる仕組みや、優れた空間エクスペリエンスを作成するためのワークフローを効率化する方法を学びましょう。RealityKitとStormでの USDとMaterialXのサポート、システム提供ツールの進化などについて学びましょう。
27. SharePlayで空間ペルソナテンプレートをカスタマイズ
visionOS SharePlayエクスペリエンスでカスタム空間ペルソナテンプレートを使用して、アプリに対するペルソナの配置を微調整する方法を学びます。SharePlayを使用してサンプルアプリでカスタム空間ペルソナテンプレートを採用し、参加者を座席間で移動し、シミュレータで変更をテストする方法を紹介します。また、エクスペリエンスを輝かせるカスタム空間テンプレートを設計するためのベストプラクティスも紹介します。
28. RealityKitデバッガー
RealityKitデバッガーを紹介し、この新しいツールを使って空間アプリのエンティティ階層を検査し、不正な変換をデバッグし、不足しているエンティティを見つけ、コードのどの部分がシステムに問題を引き起こしているかを検出する方法を学びます。
29. SwiftUIの新機能
SwiftUIを使用して、あらゆるAppleプラットフォーム向けの優れたアプリを構築する方法を学びます。iPadOSのタブとドキュメントのまったく新しい外観と操作性をご覧ください。新しいウィンドウAPIでウィンドウ管理を改善し、visionOSアプリの没入型スペースとボリュームをより細かく制御できます。また、表現力豊かなグラフの作成、テキストのカスタマイズとレイアウトなどに役立つその他の魅力的な改良点についても説明します。
この記事が気に入ったらサポートをしてみませんか？