見出し画像

【初心者向け】iPhone 3Dスキャンパーフェクトガイド

iwama

こんにちはiPhone3Dスキャンを日本中に普及させる男ことiwamaです。

2020年の10月にiPnone12Proシリーズに初めてLiDARセンサーが搭載され、現在では様々な業界でiPhoneの3Dスキャンが活躍し始めています。

そこで今回はiPhone3Dスキャンって何？でどういうアプリがあるの？などの初心者向けの解説を行っていこうと思います。

※この記事は2024年5月11日に更新作業を行なっています。


3Dスキャンについて学ぼう

そもそも3Dスキャンって何？

現実にある物体や空間をデジタル3Dデータ化する技術の事を(このnote内では)3Dスキャンといいます。

3Dスキャン技術には様々なモノが存在していますが今回はその中でもiPhoneで行える3Dスキャン技術である2種をざっくり解説していきたいと思います。

フォトグラメトリをざっくり解説

フォトグラメトリを簡単に説明してしまうと、様々な角度から撮影した写真を元に3Dモデルを作成する技術となります。

Reality Captureを使いフォトグラメトリを行っている風景

使用する機材はカメラ(スマホカメラから一眼レフカメラ、ドローンカメラ)、パソコン(ゲーミングPC推奨)、フォトグラメトリソフト(代表的なモノだとReality CaptureやMetashape)が必要となります。

LiDARスキャンをざっくり解説

LiDARはLight Detection and Ranging(光検出と測距)の略称となっており、LiDARスキャンはレーザー光の跳ね返りを元に距離を測る技術を使って3Dモデルを作成する技術となります。

LiDAR単体では色情報を取得することができない為、別途カメラ映像を用いて色付けを行っています。

3Dスキャンのまとめ

基本的にはカメラ(写真)から3Dモデルを作成するのがフォトグラメトリ、レーザーを飛ばして3Dモデル化するのがLiDARスキャンと考えてもらえばOKです。

※厳密に言えばフォトグラメトリは3Dスキャンとは違ったりするんですが、このnote内では3Dスキャンとして一括りにしています。

3Dスキャン技術の使用用途

3Dスキャン技術は現在様々な分野で活用されています。
ここでは3Dスキャンの活用事例の一部を紹介させていただきます。

測量用途

建設業における地形測量ドローンや航空機にLiDARスキャナーを搭載してLiDARスキャンしたり、ドローンに搭載したカメラを使用したフォトグラトリを行うことが多いです。

最近では災害現場の現地状況を把握するのに活躍して話題になりました。

ゲーム等の3Dモデル

ゲームや映画等のCGモデルとして活用されています。
最近ではFF15内の料理は現実の料理をフォトグラメトリしたデータが使用されています

デジタルアーカイブ

老朽化した価値のある建物を解体前に3Dスキャンを行い、デジタルデータとして保存が行われています。

近年では旧都城市民会館がフォトグラメトリでデジタルアーカイブされたりと多数事例が存在しています


従来3Dスキャン技術の問題点

さて現在様々な分野で活用されている3Dスキャン技術ですが、3つほど問題点があると考えています。

必要な機材が多い

LiDARスキャンの場合はLiDARスキャナー・三脚・データ処理用のソフト・データ処理用の高性能PCが必要となります。

フォトグラメトリもカメラ・フォトグラメトリソフト・データ処理用の高性能PCなど様々な機材・ソフトを揃える必要があります。

この様に3Dスキャンを行うために用意する機材が多数に渡ります。

お金がかる

フォトグラメトリはスマホのカメラや無料ソフトである程度は行えますが、それでもある程度性能が良いPCが必要だったりと初期投資にかかります。

LiDARスキャンに至ってはLiDARスキャナーだけで100万以上(普通に1000万を超えたりします)かかるなど、初期投資だけでも結構な出費になります.

トライ＆エラーに時間が掛かる

最近ではネット上でも解説されている方が増えていますが、基本的には 3Dモデル化までに時間がかかるのでトライ&エラーを積み重ねるのが大変となります。

問題点の総括

従来3Dスキャン技術は品質の良い3Dモデルを作成することが出来ますが、コストなどの問題から活用できる人はある程度限られていたのかなと思います。

iPhoneで3Dスキャンが出来る時代が来た！

まず百聞は一見に如かず、iPhoneの3Dスキャンとは一体どういうものかを体験してもらいましょう！

このようにたった2分でホテル1室を3Dスキャンすることが出来たりします。

iPhoneで行える3DスキャンはLiDARセンサーを利用したLiDARスキャンとiPhoneのカメラを利用したフォトグラメトリがあります。

iPhone LiDARスキャンって？

2020年10月に発売されたiPhone12ProにARや写真撮影の補助用にLiDARセンサーが搭載されました。
LiDARセンサーが搭載されたモデルはiPhone12,13,14Pro/ProMaxとiPad Pro(2020年モデル以降)のみとなっています。

iPhone LiDARスキャンの特性は以下の3つとなります。

小さいものはスキャンできない

専用の3Dスキャナーとは比較にならないレベルでレーザーの照射密度が低くなっています。照射密度が低い=細かい部分を認識できないという事です。

その為iPhone LiDARスキャンは比較的大きいものや空間のスキャンをする場合に向いており、小さいもの(特に15cm以下)のスキャンは苦手としています。

5mという短いスキャンレンジ

iPhone LiDARスキャンは空間に向いていると書きましたが、産業用のLiDARスキャナーと比べると圧倒的にスキャンレンジが短くなっています。

Apple公式ではLiDARは5mまで照射可能と書いていますが、iPhone LiDARスキャンを行う場合は3m以内まで近づく事が推奨されています。

移動しながらのスキャン

iPhone LiDARスキャンは移動しながら3Dスキャンを行います。

死角になる部分もサクッと3Dスキャンできる利点もありますが、動き方により3Dモデルの品質が左右されるため、品質の良い3Dモデルを作成する場合は慣れが必要になります。

iPhoneフォトグラメトリって？

iPhoneフォトグラメトリはiPhoneに搭載されたカメラを使用するためLiDARスキャンに比べて現行で販売されている全てのiPhoneで行うことができます。

iPhoneでフォトグラメトリを行う場合は以下の3つに注意する必要があります。

撮影可能枚数に上限がある

PCで処理する従来フォトグラメトリはマシンスペックが許す限り何枚でも写真を使えます。

iPhoneフォトグラメトリの場合はアプリの制限で100枚～300枚以内でしか写真を使えません。

その為、サイズが大きく形状が広いものをiPhoneフォトグラメトリするのは難しくなっています。(特に空間は難しいです)

カメラの性能

フォトグラメトリで作成される3Dモデルの品質は写真に依存しています。

従来フォトグラメトリはスマホカメラから一眼レフカメラまで幅広く対応しているので、使用機材次第ではかなりの高品質を狙えます。

対してiPhoneフォトグラメトリはiPhoneで撮影した写真を使うため、従来フォトグラメトリ×一眼レフカメラよりは品質が劣ります。

写真撮影時細かい設定が行えない

iPhoneフォトグラメトリに使用する写真は3Dスキャンアプリ上で撮影を行いますが、細かい設定は行えません(全てオート)。

一部アプリ(Trnio/TrnioPlus)は外部のカメラアプリや一眼レフカメラで撮影した写真を使用することができます。

iPhone3Dスキャンのメリットは？

ここまでiPhone3Dスキャンの説明を行ってきましたが、マイナスポイントが多く、あれ？iPhone3Dスキャンって使えない？となる方も多いと思います。

そこで今までのマイナスポイントを帳消しにするiPhone3Dスキャンのメリットをお伝えしましょう！

超小型超軽量

片手で持てるサイズ＆200g程度と他の3Dスキャナーと比べて圧倒的に小型軽量となっています。

特にポケットに入れて持ち運ぶ事が出来るため、何時でも何処でも3Dスキャンが可能になります。

iPhoneだけでOK

iPhone3DスキャンはiPhone単体で完結するため他に用意する物はありません。

なので普段はiPhoneとして使いながらも、すぐに3Dスキャナーへ切り替える事ができます。

コスパが良い

他の3Dスキャナーは3Dスキャン機能に特化していますが、iPhone3DスキャンはiPhoneの一機能となっています。

なので他の3Dスキャナーと比べた場合、圧倒的なコストパフォーマンスを発揮すると思います。

またアプリも無料～年1万円以下とかなりリーズナブルになっています。

メッシュ？点群？何が違うの？

iPhoneで3Dスキャンを行う場合、メッシュスキャン、点群スキャンの2種類に分かれます。

メッシュ、点群どちらも3Dモデルデータにはなりますが、それぞれに特徴があるので、まずはその特徴を紹介していきましょう。

メッシュ(ポリゴンメッシュ)

メッシュ(ポリゴンメッシュ)は皆さんが良くゲームや映画などのCGでみるタイプの3Dモデルです。複数の面が連結して3Dモデルが出来ています。

基本的にiPhone3Dスキャンで作成される3Dモデルはメッシュモデルとなっています。

点群

点群は3次元座標を持った点の集合体です。1つ1つの点にXYZ値とRGB値が存在しており、それらが千点、一万点、百万点の集合することで3Dモデルを形成しています。ので困ったらメッシュスキャンを行うことを推奨します。

初心者にオススメのiPhone3Dスキャンアプリ

現在メジャーなiPhone3Dスキャンアプリは10種類存在しています。

今回はその中でも初心者でも使いやすい3Dスキャンアプリを1つ紹介していこうと思います！

Scaniverse

・対応機種:
LiDARスキャン＋フォトグラメトリ＋splatモード
iPhone12Pro以降のProシリーズ
iPad Pro(2020年)以降のProシリーズ
フォトグラメトリ＋splatモード
iPhone12以降のiPhoneシリーズ
最新のiPadシリーズ
フォトグラメトリ
iPhoneXS以降のiPhoneシリーズ
A12以降のプロセッサを搭載したiPad
・料金:無料
・出力形式:
メッシュ=OBJ,FBX,GLB,USDZ,STL
点群=PLY,LAS
splat🟰PLY (3DGS）
・公式HP

特徴

Scaniverseは現状提供されているアプリの中では唯一NoLiDARスキャンが可能となっているアプリとなります。このNoLiDARスキャンは幅広い機種でLiDARスキャンと同様なスキャンが行える為、3Dスキャン入門に最適なアプリだと思います。

上記の3DモデルはLiDARセンサーの搭載されていないiPhoneXSでスキャンされた3Dモデルとなっています。このようにLiDARセンサーが無くても高クオリティの3Dスキャンが行えます。

またDetail処理（フォトグラメトリ）を行うことで小さい被写体も3Dスキャンすることが可能です。特にこのフォトグラメトリはiPhone単体で処理を行うため3分程度でスキャンから3Dモデル生成までを行うことができます。これは3Dスキャンアプリでも最速の生成速度となります。

無料の3DスキャンアプリとしてはUIも分かりやすく、スキャン対象に応じて推奨のスキャン距離を選択可能となっています。

Scanivesrse独自の機能としてはローカルで行える3D Gaussian Splatting機能（splatモード）が存在します。より詳しい解説は下記記事に書いてありますが、今までの3Dスキャンでは表現できなかった半透明の物体や細かい部分の表現も可能な3Dシーンの生成を可能とする技術です。この3DGSは基本的にクラウド処理でしか行えませんでしたが、Scaniverseはそれをローカル処理で行えるようにしています。そのため従来の数分の一程度の時間で3Dシーンを作成できます。

より詳しい内容はこちらの専用解説記事を参照してください


他のスキャンアプリはどうなの？

今回は初心者でも扱いやすいスキャンアプリをピックアップしましたが、それ以外のスキャンアプリもそれぞれ特徴があります。

その為他のスキャンアプリがどうなのか気になるという方は以下のnoteの目次からiPhone3Dスキャンアプリの簡単な紹介に飛んでください。

3Dスキャンは安全第一！ヨシ！

スキャン前に周囲の確認を行う

スキャンする前にスキャン対象とスキャン対象の周辺を確認し、人が立ち入る危険性がないか、転倒・転落の危険性がある場所はないか、足場が滑らないか等を確認することが重要です。

万が一危険性を取り除けない場合はスキャンを諦めることを強く推奨します。

他人に迷惑がかかる場合はスキャンを中止する

3Dスキャン行為は他から見ると若干怪しい動きになります。その為人通りが多い場所や近くに小さな子供がいる場合などはスキャンを中止する方が良い場合もあります。

スキャン時にスキャン画面を注視しない

スキャン中はやはりスキャン画面を確認しながらスキャンしたい所ですが、動きながらスキャン画面を注視するのは事故の元です。

歩きスマホだめ、絶対。

3Dスキャンに向いていないモノ

  • ガラスや薄いレース生地等の透明・半透明なモノ

  • 鏡や磨かれた金属の表面等の表面が反射するモノ

  • 枝葉(風で吹かれた場合)や動物等のスキャン中に移動するモノ

  • 単色や同じパターンの模様が続いているモノ

  • 細かいパーツや線や紙等の薄い、細いモノ

  • LiDARスキャンは全体的に小さいモノ、特に15cm以下のモノ

  • フォトグラメトリは表面がツルツルしているモノ

スキャン前の準備

スキャン対象を観察する

スキャン対象に上記の3Dスキャンに向いていないモノがないか確認しましょう。

底部が丸い物体はスキャン中に動いてしまう場合があるのでストッパーを設置しましょう。

単色や同じパターンが連続しているモノは柄付きのマスキングテープを貼り付けましょう。

スキャン対象の周辺を整理する

iPhone3Dスキャンを行う場合は空間、物スキャン問わずスキャン対象の周辺を移動します。

その為、問題なく移動できるようにスキャン対象周辺はしっかりと整理しておきましょう。

十分な明るさを確保する

3Dスキャンする場所、物は十分な明るさがあるようにしましょう。

特に3Dスキャンは影がテクスチャに反映されてしまうため、スキャン中の影が写り込まないようにスキャン(撮影)するか、全体に満遍なく光が当たるようにしましょう。

屋外でスキャンする場合は影が発生する晴れよりも影がでない曇りの日がオススメです。

カメラレンズを綺麗にする

カメラレンズに指紋や汚れがついている場合があります。スキャン結果に悪影響を与えるためしっかりと清掃を行いましょう。

レンズ部分の汚れをティッシュやハンカチで拭うと汚れが悪化する場合があるため、メガネ拭きなどで清掃しましょう。

スキャン対象が動かないようする

スキャン中に対象物が動いてしまった場合ほぼ100％失敗します。

その為お子さんや動物は眠っている間にスキャンする事をオススメします。

また風が吹いている屋外でスキャンする場合は枝葉や雑草が揺れてスキャン結果に悪影響を及ぼす場合があるため注意してください。

iPhoneLiDARスキャンのコツ

スマホカバーを外す

iPhoneLiDARスキャン中はかなりの勢いでiPhone本体が発熱します。

iPhone本体の温度が一定以上を超えた場合システム側で強制的に処理性能を落とす為スキャン品質が低下します。

その為iPhoneの排熱を邪魔するスマホカバーを外すことが推奨されます。

広い範囲をスキャンしない

iPhoneLiDARスキャンで広い範囲をスキャンすると、エラーが発生してアプリが強制終了する場合があります。

その為1度にスキャンする範囲は10m×10m程度にしておきましょう。

もし万が一広い範囲をスキャンしたい場合は複数の区画に分割して、CGソフト等で合成するようにしましょう。

iPhoneは両手でしっかりと保持する

手ブレはテクスチャや3Dモデル自体に悪影響を与えます。

手ブレを減少させるためにiPhoneは両手でしっかりと持ちましょう。

スキャン対象との距離は3m以内

iPhoneのLiDARセンサーの最大照射距離は5mですが、実際にLiDARスキャンを行う場合は3m以内でスキャンを行うと良いでしょう。

3m以上離れてスキャンした場合、上手くスキャンできない、品質が悪い等の悪影響が大きいためです。

スキャン画面に余計なものを映さない

スキャン中は画面に余計なもの(スキャン範囲外の遠景や関係ない人、物)を映さないようにしましょう。

特に動いている人や自動車等はスキャン結果に悪影響を与える場合があります。

スキャン中はゆっくり動く

スキャン中はゆっくりと移動しましょう。これは普段歩いている速度の3分の2～半分程度を意識すると良いでしょう。

iPhoneを動かす場合もゆっくりと、ゆっくりと動かしましょう。

同じ場所を2回以上スキャンしない

LiDARスキャン中に同じ場所を2回以上スキャンした場合、ゴーストと呼ばれる2重のメッシュが生成される場合があります。

その為一度スキャンした場所を2度スキャンしない様なルート構築が必要になります。

スキャン後はすぐに3Dモデルを確認する

LiDARスキャン後はすぐに3Dモデルを生成し、正常にスキャン出来たかを確認しましょう。

iPhoneフォトグラメトリのコツ

写真同士が70%以上同じ場所を映すように撮影する

写真を撮影する場合は70％以上同じ場所が映る(オーバーラップする)ように撮影しましょう。

この70%以上は縦横どちらも70％以上になるようにします。

物の撮影はドーム状を意識する

物をフォトグラメトリする場合は水平方向だけでなく、垂直方向も重要になります。

撮影する時は物の中心位置を基準にしてドーム状になるように撮影します。
この時上に行くほどiPhoneを傾けて撮影を行います。

物の撮影は1周16枚以上を意識する

水平方向を撮影する場合は1周で16枚以上の写真を撮影する様に意識しましょう。

この1周16枚は角度にすると22.5度となります。

垂直方向もこの22.5度を意識すると良いでしょう(真上を含めると5段分)。

最初は写真を多めに撮影する

フォトグラメトリの処理に使用する写真の枚数が増えるほど時間はかかりますが成功しやすくなります。その為最初は可能な範囲で多めに撮ると良いでしょう。

形状の変化が大きい部分は特に念入りに撮影すると成功しやすくなります。

撮影時はiPhoneと身体を動かす

写真を撮影する時は一定の位置からカメラを傾けて撮影してはいけません。

写真を撮影する場合は身体を動かしてカメラの位置を変える必要があります。

使えない写真を削除する

撮影した写真の中にブレたりボケたりする写真がある場合は正常に処理が行われない場合があります。

その為処理開始前に写真を確認し、問題がある写真は削除しましょう。

実践編

iPhoneフォトグラメトリの動きとしては以下のような例があります

ポイントとしては

  • 被写体から15cmは離れる(ピンぼけ防止)
    スマホの向きは動かしてOKなので横でも縦でも逆さでも気にしない
    横に回転ではなく縦にドーム状を意識して撮影

  • 裏側は感で撮影、最後に少し裏側を再撮影して補助

  • 器(特に陶器製で色が単色)は再現が難しいので諦めも肝心

またScaniverse以外の3Dスキャンアプリを使用してフォトグラメトリを行う場合は以下の記事を参考にすると良いかもしれません

スキャンが上手くいかない場合

○○をスキャンしたいけど上手くいかないという場合は別途解説記事を作成
しているのでそちらを参照してください。

スキャンしたモデルを共有する方法

相手がApple製品ユーザーの場合

USDZで3Dモデルを出力→メッセージ等でそのままUSDZのファイルを送ることで簡単に閲覧が可能になります。

SNSで共有する

SNSで共有する場合は、アプリ機能(対応アプリはまとめ表で)を使用して動画化するのがオススメです。
大体10秒～20秒程度の動画が作成される為SNSとの相性が良いと思います。

アプリ機能を使用する

AndroidユーザーやWindowsユーザーに3Dモデルを見せる場合は、アプリ機能のクラウド共有機能を使用すると簡単に見せることが出来ます。

Sketchfabを利用する

3Dモデル単体を美しく見せたい場合は、ユーザー登録が必須となりますがSketchfabもオススメです。
ほぼ全てのアプリがSketchfabへ直接データをアップロード可能となっており、光源やテクスチャの詳細設定が可能となっています。

STYLYを利用する

複数の3Dモデルを組み合わせたい場合は、STYLYがオススメです。
スキャンアプリ各種の使い方からSTYLYまでのアップロード方法、STYLY自体の使い方も解説した記事も日本語で公開されています。

DOOR NTTを利用する

VR空間で3Dモデルを見せたい場合は、DOOR NTTがオススメです。
こちらも3DスキャンしたモデルをDOOR NTTにアップロードする方法などが日本語で詳しく解説された記事があります。

あとがき

今はiPhone/iPadでしか使えない3Dスキャンアプリも多いですが、一部のアプリはAndroid端末にも対応し始めています。

その為今はiPhone3Dスキャンと呼んでいますが、いつの日かスマホ 3Dスキャンに改名する日が来るのかな～と勝手に妄想しています。

みなさんもこのnoteを機に3Dスキャンというものに興味をもっていただけたら幸いです。

※本記事は筆者(iwama)の独自調査による内容が多く、実際とは異なる場合もあります。

※本記事の内容は2024年5月現時点の内容となっており、最新の情報とは違う場合があります。

いいなと思ったら応援しよう！