”いつでもどこでもARだ！”ナイアンティックSVP ブライアン氏 "AR Anytime, Anywhere!" Brian, SVP, Niantic

AWE2023キーノートをレポートします。元シリコングラフィック社の氏は世界随一のプロフェッショナルと言えるでしょう。

AWE2023 Keynote Report. Formerly of Silicon Graphics, Brian is arguably the world's foremost professional in the industry.

Brian McClendonはNianticでAR、マッピング、リサーチ、webAR（8th Wall）などを含むARGeoを率いている。彼は、Google EarthとなるKeyholeの創業チームの一員だった。バムはGoogleでGoogle Maps、Google Earth、Street Viewを構築したGeoチームを率い、その後Uberでエンジニアリングをリードした。
Brian McClendon leads ARGeo at Niantic, which includes AR, mapping, research, and webAR (8th Wall). He was part of the founding team of Keyhole, which became Google Earth. Bam led the Geo team that built Google Maps, Google Earth, and Street View at Google, and later led engineering at Uber.

位置情報ARゲーム『ポケモンGO』の重要性や、シリコングラフィックスやディズニー・クエストでのVR開発について触れた後、私がナイアンティックで携わった経験について説明しました。その中で、最新のゲーム『paradox』について紹介し、リリースが成功したことを述べました。このゲームはNianticが長い時間をかけて開発し、ビジュアルARの進化を示しています。皆さんはこのゲームを既に知っていると思いますが、非常に楽しみながらプレイでき、私自身もレベル20になりました。
After mentioning the importance of the location-based AR game "Pokémon GO" and the development of VR at Silicon Graphics and Disney Quest, I described my experience at Niantic. In the course of his presentation, he introduced his latest game, "paradox," and mentioned its successful release. This game has been developed by Niantic over a long period of time and shows the evolution of visual AR. I am sure you all already know this game, but I enjoyed playing it immensely and have reached level 20 myself.

Peridotの可能性

私たちのゲーム体験を形作るため、モバイル端末での可能性を考えました。『Peridot』は、世界の意味理解を実現し、地面や壁の位置を把握するだけでなく、周囲の物体にも反応し、面白いことができます。食べ物を探し出す掘削など、多くの機能があります。これはリアルタイムで信頼性の高い意味理解ニューラルネットワークの成果です。Peridotには、リアルタイムマッピングや位置情報ベースの拡張現実感も搭載されており、特定の場所ではさまざまなことが起こります。オクルージョンやボールの追跡など、楽しさも満載です。これらの機能はビデオ作成やAR体験の共有に最適です。ナイアンティックの研究チームとPeridotチームの連携により、これらの機能が開発されました。最近、CVPRでの5つの論文が採択され、生産性の点では他の研究企業よりも2〜3倍高いと評価されています。これにより、PeridotやプラットフォームにはオクルージョンやNERF機能、エースリローカリゼーションなどの基盤技術が組み込まれています。さらなる成果が期待されます。これらの論文は楽しい内容なので、ぜひ読んでみてください。

Possibilities with Peridot

To shape our gaming experience, we considered the possibilities on mobile devices. Peridot" can not only make sense of the world and understand the location of the ground and walls, but it can also react to objects around it and do interesting things. It has many functions, including digging to locate food. This is the result of a real-time, reliable semantic understanding neural network; Peridot also includes real-time mapping and location-based augmented reality, so many things can happen in a given location. There are also fun features such as occlusion and ball tracking. These features are great for video creation and sharing AR experiences. Niantic's research and Peridot teams worked together to develop these features. Recently, five papers in the CVPR have been accepted and are rated two to three times higher than other research firms in terms of productivity. This has allowed Peridot and its platform to incorporate fundamental technologies such as occlusion, NERF functionality, and ace relocalization. Further results are expected. These papers are enjoyable and I encourage you to read them.

AR SDK

NianticのAR SDK についてまとめると、これは開発者のフィードバックを基に作られた新しいバージョンで、Niantic独自のAR機能とUnityのAR Foundationと組み合わせて使用できます。XRマネージャーを利用して機能を拡張し、既存のシステムを上書きすることができます。これにより、AR Foundationのドキュメントやチュートリアルを使用しながら、Nianticの高度なAR機能を活用できます。SDK3では、LIDARを必要とせずにクロスプラットフォームで深度の改善が行われており、また、リモートコンテンツオーサリングシステムも追加され、VPSの場所に3Dメッシュを配置することができます。さらに、コードを書かずにVPSや新機能をテストできるサンプルプロジェクトも提供されています。これにより、より簡単に開発が行えるようになりました。NianticのAR DK 3.0は、開発者の要望に応えた改善点を含み、AR開発において大きな進化を遂げています。

NianticのVPとARマップ

ここでは、NianticのVP（Visual Positioning）とARマップについて話します。Nianticは、ポケモンGOやIngress、Scanner Verseから得られたスキャンデータを統合し、人間スケールのマップを提供しています。高解像度のデータ収集と優れたマッピングアルゴリズムにより、非常に正確な位置合わせが可能です。また、開発者は独自に公共の場所でスキャンを行い、1時間以内にその場所での体験を開発することもできます。これにより、建物や場所に対して精密なAR体験を短時間で開発できます。さらに、Maps SDKも紹介されており、UnityやiOSで利用できるようになりました。これにより、ワールドスケールのマップを組み込んだアプリケーションを簡単に作成できます。Skate TricksやRealmのような既存のゲームもMaps SDKを導入し、グローバルなAR体験に拡張されました。また、ARも活用して新たなゲーム体験を作り出すことができます。これらの機能は、既存のゲームに追加することで、開発を迅速かつ効果的に進めることができます。Nianticは、VPとARマップを通じて、次世代のゲーム体験を実現しています。

メタバース展開は？

8th Wallは、メタバース展開として、さまざまなプラットフォームで動作するクロスプラットフォームのウェブベースコンテンツを提供しています。Meta Quest Proや他のミックスドリアリティデバイスにも対応し、一度書けばどこでも展開できます。また、液体都市とInWorldによって開発されたOwlというAIキャラクターのアプリケーションも注目されています。さらに、8th Wallは共有ARを実現し、最大100人のプレイヤーが参加できるロビールームを提供しています。AR DK 3では、AR VPSの同期により、高パフォーマンスなインタラクティブ体験を複数のプレイヤーが共有できます。これにより、8th Wallの開発者はより多くの人々にコンテンツを提供できるようになります。

ARとVRを組み合わせる

8th Wallは、メタバース展開を通じて、クロスプラットフォームのウェブベースコンテンツを提供しています。ARとAIを組み合わせたアプリケーションや共有ARの導入により、開発者はさらに多くのユーザーにコンテンツを提供できるようになりました。また、ARとVRを組み合わせることで、多人数での体験を実現し、ネットワーク効果を得ることも目指しています。さらに、ARメッシュの導入により、高解像度な仮想現実体験を提供し、同時にARとVRを共有することが可能になります。これにより、ARが広く普及し、誰もが利用できるようになることを目指しています。

To summarize about Niantic's AR SDK, it is a new version built on developer feedback and can be used in conjunction with Niantic's own AR features and Unity's AR Foundation. XR Manager can be used to extend functionality and override existing systems. SDK3 offers cross-platform depth improvements without the need for LIDAR, and a remote content authoring system has also been added, allowing 3D meshes to be placed at the VPS location. In addition, sample projects are provided to test the VPS and new features without writing code. This makes development easier, and Niantic's AR DK 3.0 includes improvements in response to developer requests and represents a major evolution in AR development.

Niantic's VP and AR Map

Let's talk about Niantic's VP (Visual Positioning) and AR maps, which integrate scan data from Pokémon GO, Ingress, and Scanner Verse to provide human-scale maps. High-resolution data collection and superior mapping algorithms allow for very accurate positioning. Developers can also independently scan a public location and develop an experience at that location in less than an hour. This allows for the development of precise AR experiences for buildings and locations in a very short time. Additionally, the Maps SDK was also introduced and is available for Unity and iOS. Existing games like Skate Tricks and Realm have been extended to global AR experiences with the introduction of the Maps SDK. AR can also be leveraged to create new game experiences. These features can be added to existing games to make development faster and more effective, and Niantic is enabling the next generation of gaming experiences through VP and AR Maps.

What about metaverse deployment?

8th Wall provides cross-platform web-based content that runs on a variety of platforms as part of Metaverse Deployment, including support for Meta Quest Pro and other mixed reality devices, so you can write once and deploy anywhere. Also of note is an application for an AI character named Owl, developed by Liquid City and InWorld. In addition, 8th Wall enables shared AR, offering a lobby room for up to 100 players, and AR DK 3 allows multiple players to share a high-performing interactive experience through synchronized AR VPS. This allows 8th Wall developers to bring their content to a wider audience.

Combining AR and VR

8th Wall offers cross-platform web-based content through metaverse deployments, and the introduction of combined AR and AI applications and shared AR allows developers to bring their content to an even wider audience. The company also aims to combine AR and VR to create multi-user experiences and achieve network effects. Furthermore, the introduction of AR mesh will provide a high-resolution virtual reality experience and enable the sharing of AR and VR at the same time. By doing so, we aim to make AR widely available and accessible to all.