RealityScan最新アプデ情報(9/29)

RealityScanとは、Epic Games / 旧Capturing Reality社から今年後半リリース予定のスマホスキャンアプリです。
今回の目玉はAVFoundationの制約がかかっていたフレームサイズですが、iOS16からは広角カメラの最大値を取得できるようになったことです。

本記事の概要

2022年9月27日リリースのv1.0.1(85)アップデート内容から気になった部分をピックアップ

気になった更新部分

【更新】IMG_ARKit_XXXXXXXXX.xmp メタデータの記述内容が一部変更されました。XMPメタデータはカメラ位置情報を保持しています。

<x:xmpmeta xmlns:x="adobe:ns:meta/">
    <rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
        <rdf:Description xcr:Version="3" xcr:Skew="0" xcr:AspectRatio="1" xcr:FocalLength35mm="27.229803" xcr:PrincipalPointU="-0.001567416720920139" xcr:PrincipalPointV="0.0018639337448846725" xcr:PosePrior="initial" xcr:DistortionModel="perspective" xcr:DistortionCoeficients="0 0 0 0 0 0" xcr:DistortionPrior="exact" xcr:CalibrationPrior="exact" xcr:Coordinates="absolute" xmlns:xcr="http://www.capturingreality.com/ns/xcr/1.1#">
            <xcr:Rotation>0.9844042 0.17588241 0.0036689823 0.08223032 -0.4416011 -0.89343536 -0.15551937 0.8798031 -0.44917694</xcr:Rotation>
            <xcr:Position>-3.3937402 3.7327492 0.49257275</xcr:Position>
        </rdf:Description>
    </rdf:RDF>
</x:xmpmeta>

前バージョンとの変更点は、ARプレビューが再度有効になりカメラ位置・角度などもメタデータへ記録されるようになりました。

計測は概ね一致している（実スケール42.5cm, RSスケール44cm）

RealityCaptureと共通フォーマットで、スケールも適用されています。

【追加】autoBox.xml RealityCaptureのReconstruction Region(.rcbox)と同一の構造体です。

<ReconstructionRegion globalCoordinateSystem="+proj=geocent +ellps=WGS84 +no_defs" globalCoordinateSystemWkt=""
   globalCoordinateSystemName="local:1 - Euclidean" isGeoreferenced="1"
   isLatLon="0" yawPitchRoll="0 -0 -0" widthHeightDepth="5.0289363861084 1.40948069095612 1.86957383155823">
  <Header magic="5395016" version="2"/>
  <CentreEuclid>
    <centre>-4.80120229721069 4.61634731292725 -0.190263167023659</centre>
  </CentreEuclid>
  <Residual R="1 0 0 0 1 0 0 0 1" t="0 0 0" s="1" ownerId="{D32058A2-D0B3-4534-B956-6DF57FD0F882}"/>
</ReconstructionRegion>

【追加】cameras.txt 撮影を行ったiPhoneのカメラデータのようなものが記録されています。

["IMG_ARKit_255917430","-10.47","63.25","-0.4262","-3.398","3.731","0.4978","0.756","1.33", …]

• 先頭はRealityCaptureでいうところのLayersの名称のようです。

• 末尾の1.33はセンサーサイズでしょうか？

ARKitで取得可能なフレームサイズがiOS 16から変更されています。
検証端末はiPhone 12 Pro Maxですが、Geometry Layerは約276万画素（1440×1920）から約1200万画素（3024×4032）と大きく変更されました。

【更新】IMG_ARKit_XXXXXXXXX.jpg 解像度UP
【追加】IMG_ARKit_XXXXXXXXX.jpg.depth.TIF 前々バージョンから復活
【追加】IMG_ARKit_XXXXXXXXX.jpg.labels.TIF 前々バージョンから復活
【追加】IMG_ARKit_XXXXXXXXX.jpg.thumb

geometry/depth/label/thumb画像 depthのみレベル補正済み

【追加】map.arexperience バイナリを読んでみるとiOSのARKitのメソッド名がヒットします。
【追加】project.json RealityScanプロジェクトで取得したデータ類をJSONで保持した構造体。
【追加】pointcloud.bin おそらく、名前通りARプレビュー撮影中の点群をストアしているものと思われます。

pointcloud.bin バイナリエディタで開いた様子 (Visual Studio Code + HEX Editorエクステンション)

感想

iOS 16がパブリックリリースされ、ARKit関連のアップデートが早くも行われて開発の意欲が高いことが伺えました。RealityScanとRealityCaptureの生成結果で品質が変わるのか気になります。
正式リリースが待ち遠しいですね。