見出し画像

iPhoneでお手軽フォトグラメトリ(3Dスキャン)を体験しよう！

iwama

皆さん！3Dスキャンしてますかーーーーー！?
どうもiPhone3Dスキャン大好きおじさんです。今回はiPhone×フォトグラメトリについてお話をしていこうと思います。
(トップ画も2D写真じゃなくて3Dモデルになってますｗ)
3Dスキャン全般の説明に関してはこちら↓を参考にしていただけると幸いです。

※記事内容はあくまで個人の意見なのでそこら辺を理解して貰えるとありがたいです

フォトグラメトリの基礎知識

フォトグラメトリって何？

フォトグラメトリは日本語で写真測量と呼ばれており、普通のカメラなどで撮影された複数枚の写真から3Dモデルを作成する技術となっています。 フォトグラメトリ自体は結構長い歴史を持つ技術となっており、国土の地形を測る測量分野や考古学分野、事故・犯罪現場の状況保存、災害現場の状況把握、ゲーム分野など幅広く活用されている技術です。
下リンクは上から順に
・エジプトのピラミッド内部をフォトグラメトリした事例
・ベイルートの爆発現場をフォトグラメトリした事例
・ファイナルファンタジーのゲーム内でフォトグラメトリを活用した事例
となっています

ただ言葉でフォトグラメトリだ！3Dスキャンだ！と言われても一体何のことかピンとこない方が殆どだと思うので↓の動画を見てもらうとイメージが付きやすいかなと思います。

動画上で3Dモデルがグリングリン動いていると思いますが、これはBlender等で作成した3Dモデルではありません！(重要)この3Dモデルは現実にあるオブジェクトをiPhoneで撮影した【複数枚の写真】から3Dモデルを作成しています。フォトグラメトリ...すごいぞ！

フォトグラメトリに必要なもの

さて上の動画を見てフォトグラメトリすごい！試したい！と殆どの人が思ったはず(？)なのでフォトグラメトリを始める場合のスターターセットを紹介したいと思います。
フォトグラメトリを始めようとする場合、

  • パソコン 写真サイズや枚数が少なければ普通のノートPCでも問題ないが、枚数が増えてくるとゲーミングパソコンレベルの高性能機が必要になる

  • カメラ カメラ自体に指定は無いので普通のデジカメやスマホカメラでも問題はない、ただ品質を求める場合は一眼レフカメラを使う必要が出てくる

  • ソフト これがないと始まらないフォトグラメトリソフト、無料で使えるオープンソースのmeshroomから1ライセンス40万円するプロ用のReality Captureだったりと色々なソフトが存在する

Reality Captureというフォトグラメトリソフトの使用状況

が必要となります。 ここで注目したいのはオブジェクトを撮影する機材と3Dモデルを構築する機材が別になっている点と品質の良いモデルを作成したい場合は滅茶苦茶お金がかかるということです(多分100万円ぐらいすると思う)

フォトグラメトリの面白さを体感しよう！

プロが作成したフォトグラメトリモデルは現実とそっくり、下の記事は実際にフォトグラメトリで作成されたVRCワールドとなります。滅茶苦茶綺麗なので一度ワールド探索してください。

フォトグラメトリの難しいところ

ただそんなフォトグラメトリにも欠点があり、

  1. 現地で撮影した後にPCで処理する必要があるので結果がその場で分からない→トライ&エラーをするのが中々難しい

  2. 設定項目が多いので何をしたら良いかが分からない

  3. 基本的にパソコンが必要となるので、機材を揃えるのが大変

  4. 使いやすいソフトは基本有料(一部お試しで無料だったりもするけど…)

という感じで結構始めるまでのハードルが高いかな～と個人的には思ってたりします。

iPhoneでフォトグラメトリが可能になったぞ！

Object Captureという黒船の襲来

2021年にAppleが開催したWWDC21でObject Captureという代物が発表されました。 このObject CaptureはApple公式から提供されるフォトグラメトリAPIとなっており、無料でフォトグラメトリができてしまうというものでした(ただしソースコードで提供されるため普段使っているGUI形式での操作はできません)

作成できる品質に関しても他有料フォトグラメトリソフトには劣るものの、かなり綺麗なフォトグラメトリが可能となっており、iPhone/iPadで撮影された写真以外にも普通のデジカメや一眼レフカメラで撮影された写真も処理可能となっています。
下2つはsketchfabにアップロードされているObject Captureで生成された3Dモデルになります。素人目から見たら滅茶苦茶綺麗ですよね？

現在iPhoneアプリでフォトグラメトリをする場合殆どのアプリがこのObject Captureベースにしてフォトグラメトリをしています(例外はTrnioのみ) なので基本的にTrnio以外のフォトグラメトリアプリを使用した場合、出来上がる品質に大差はないと思っています。

iPhoneフォトグラメトリの良い所

  • iPhoneだけでフォトグラメトリができる
    普通のフォトグラメトリはパソコンとカメラが必要ですが、iPhoneフォトグラメトリはその名の通りiPhoneだけでフォトグラメトリができます

  • 初期費用が安い
    普通のフォトグラメトリに比べて用意するのがiPhoneとアプリ(0円～年6600円)のみなので実質0円でフォトグラメトリを試すことが出来ます

  • (当社比較で)簡単にフォトグラメトリが出来る
    普通のフォトグラメトリソフトは設定項目などが色々と存在しており慣れるまで大変ですが、iPhoneフォトグラメトリは出来上がるモデルの品質の設定のみなので滅茶苦茶簡単です(撮影が簡単とは言っていない)

  • 現地でスキャン結果が分かる
    これはiPhoneフォトグラメトリ特有の良さだと思っており、撮影→クラウド処理→現地で確認という作業フローが可能なので、トライ&エラーの回数を増やすことができます

iPhoneフォトグラメトリの欠点

  • 撮影できる枚数に制限がある
    アプリ側の仕様で100枚～200枚が撮影枚数の上限となっています。そのため広い範囲のスキャンなどは難しいと思います

  • スキャン品質は他フォトグラメトリソフトより劣る
    金額を考えると当たり前かも知れませんが他のフォトグラメトリソフトよりスキャン品質が劣るという情報があります

  • 撮影した写真の現像が出来ない
    基本的にアプリ内で写真撮影をする訳ですが、ガチフォトグラメトリのようにRAWデータの色調変更は出来ないため、撮影した写真そのままで勝負するしかないのが難点です

iPhoneフォトグラメトリをオススメしたい人

iPhoneフォトグラメトリは滅茶苦茶手軽にフォトグラメトリが出来るというのが一番の推しポイントです。なのでこれからフォトグラメトリを始める人やフォトグラメトリに興味がある人がサクッとフォトグラメトリを体験する手段になるのかなと思います。

また単純に写真の代わりとして3Dスキャンをするという新しい選択肢にもなってきたのかな？と思っていたり...(3D飯テロしようね！)

iPhoneでフォトグラメトリできるアプリ

主要なフォトグラメトリ(もできる)アプリは4つあり、それぞれフォトグラメトリ機能であればLiDARセンサー非搭載のiPhoneでも使用可能となっている。

  1. Polycam
    アプリリンク:Polycam - LiDAR 3D スキャナー
    ホームページリンク:https://poly.cam/
    価格:6600円/年
    object     masking機能:有り
    スキャン1回辺りの撮影枚数:200枚
    月撮影上限:150回

  2. Metascan
    アプリリンク:Metascan - 3D Capture
    ホームページリンク:https://metascan.ai/
    価格:5500円/年
    object     masking機能:有り
    スキャン1回辺りの撮影枚数:200枚
    月撮影上限:150回

  3. WiDAR SCAN
    アプリリンク:WiDAR SCAN
    ホームページリンク:https://www.wogo.ai/
    価格:880円/月　    　※但しデータ出力及び週5回までのスキャンは無料
    object     masking機能:有り
    スキャン1回辺りの撮影枚数:100枚
    月撮影上限:100回(課金時)　※週5回までのスキャンは無料(重要)

  4. Trnio
    アプリリンク:Trnio 3D Scanner
    ホームページリンク:https://www.trnio.com/
    価格:610    円
    Trnioは独自の処理システムを使用しているため他アプリと比較不可


Polycamの特徴

  • 自動でラップ率を計算して写真撮影をしてくれるオートシャッター機能が存在する(但し自動でシャッターをきる都合上ブレやすくなる欠点も…)

  • ワールドマップにスキャンしたデータを配置可能

  • RAWデータ(Polyacamアプリで撮影した画像データ)の出力が可能

Metascanの特徴

  • フォトグラメトリアプリの中で一番ビデオ出力機能が充実している

  • クラウドにアップロードしたモデルをQuest2でVR表示可能

WiDAR SCANの特徴

  • 週5回まで無料でフォトグラメトリ可能

  • 複数のモデルをアプリ内で合体可能

Trnioの特徴

  • 買切り＆月のアップロード上限が存在しないのでフォトグラメトリし放題

  • 初心者でも簡単にフォトグラメトリできるARkitモードが存在している

個人的なアプリの使い分け

これはあくまで私個人の使い分けに近いですが、

  • iPhone12Pro/13ProユーザーでLiDARスキャンとフォトグラメトリ両方始めたい方やお金を払う前にフォトグラメトリを経験して見たい方はWiDAR SCANがオススメです

  • LiDARセンサー非搭載iPhoneでお手軽にフォトグラメトリを始めたい方はTrnioがオススメです

  • 料理や小物などをスキャンしてSNSにアップロードしたい方はビデオ出力機能が高性能なMetascanがオススメです

  • 外出先ではiPhone上で処理して品質を確認→帰ってきたらReality Captureなどで本処理したいというセミプロユーザーにはRAWデータ(画像データ)を出力可能なPolycamがオススメです

という感じですね。自分の好みにあったアプリを探すのも面白いですよ！それぞれ1月だけの課金もできますしね！

iPhoneフォトグラメトリを体験しよう！

スキャン出来ないものってあるの？

iPhoneフォトグラメトリはスキャン出来るもの出来ないものがはっきり分かれています。 まずはスキャン出来ないものを見ていきましょう。

  1. 透明・半透明なオブジェクト
    フォトグラメトリは写真に売っているものが全てです。なので写真に映らない(にくい)ガラスや半透明なプラスチックを復元することはできません

  2. 表面に光沢が存在していたり反射率が高いもの
    磨かれた金属、滑らかな陶器、鏡、水面などが該当します。これらの物体を複数の角度から撮影した場合、表面に映る景色や模様が違ってみえます。そうするとフォトグラメトリソフトで処理する場合に、違う物体と認識されてしまい正常に処理できなくなります

  3. 細かったり薄かったりするもの
    電線や糸、葉っぱや紙などは正常に処理できない場合が多いです。一応アップにして複数の角度から撮影すると上手くいく可能性もありますが、あまりおすすめは出来ません

  4. 表面色が単色や特定のパターンが連続するオブジェクト
    まず複数の写真でパズルすると想像してください。色々な模様が入っているものは並べやすいですが、牛乳パズルのように無地のものを並べるのはほぼ不可能ですよね？フォトグラメトリも同じで模様などに変化が無いと正常な処理が出来ません

  5. 形状が特に複雑なもの
    特に境界線があるという訳ではありませんが、形状が複雑なプラモデルなどは失敗しやすいです。写真の枚数を増やすことで綺麗にスキャンすることもできますが、iPhoneフォトグラメトリには最大200枚という撮影枚数上限があることに留意してください

  6. 動いている動物や子供、走行中の乗り物などの動的物体
    フォトグラメトリは基本的に位置やポーズが固定されていることが必須条件になるので、これらをスキャンするのは不可能です

スキャンしやすい物って？

  1. 岩や石像ざらざらとした質感のもの

  2. 絵が描いてあったりと模様がはっきりしているもの

  3. 形状がそこまで複雑ではない物

  4. ある程度の大きさがある物

練習用としてはぬいぐるみや100円ショップに売っている置物、街中においてある銅像などで試すと良いかなと思います。

スキャンする時の撮影方法は？

iPhoneフォトグラメトリでスキャンを行う場合は3つの撮影方法が存在しています

オブジェクトを中心にカメラを移動させて撮影する方法

撮影時のイメージ図

iPhoneフォトグラメトリをする場合は大体これになるかなという撮影方法です。また初めてフォトグラメトリを体験する方などはここから試すことをおすすめします。 基本的にはタイトル通りのオブジェクトを中心にぐるっと一周しながらカメラで写真撮影をするイメージです。カメラを移動させるための空間が必要になりますが特別な機材も必要にならないため一番シンプルかつ成功しやすい撮影方法だと思います。

ターンテーブルを使用して撮影する方法
1番より上級者向けの撮影方法です。こちらは1番と違いカメラではなくオブジェクト自体を回転させてカメラは特定位置に固定させ撮影する方法です。 撮影環境としてはターンテーブルという回転する土台(100円ショップでも売っているらしい)を使用して撮影します。またターンテーブルの側面を明るい単色の布やカバーなどで囲いましょう(そのまま撮影すると失敗します) 利点としては照明環境やカメラを三脚に固定できるのでブレのない写真を撮影できます。またカメラと人が移動する必要が無いので省スペースで済むことです。 欠点としては機材や撮影ブースを準備・設営するのが面倒くさいという部分です。

オブジェクト自体を回転させて撮影する方法
これはPolycamとMetascanに存在しているObject Maskingという機能を使う必要があります(なので課金が必須になります) 1,2番と違いこの方法ではオブジェクトそのモノを移動・回転させて撮影します。そのため2番以上の省スペースでフォトグラメトリができますが、精度自体は1,2番より劣ることが多いです。(撮影方法は後述) Object Maskingを使用する利点は360度全てをフォトグラメトリ可能なので、本来スキャンできない土台に接している部分も3Dモデル化可能です。

どういう写真を撮影すれば良いの？

フォトグラメトリを成功させる為の必須条件が写真同士の重なり(オーバーラップ)を意識することです。

オーバーラップのイメージ図

画像のような感じで1枚目と2枚目の写真が70％以上重なっているかを意識しながら写真撮影しましょう。この写真同士の重なりは最低でも50%(これ以下はほぼ間違いなく失敗します)、理想的なのは70%以上であるとApple公式でも記載されています。

四角形の箱をフォトグラメトリすると想定して、どう撮影すればいいかを考えてみましょう。

上記画像左は画像同士のオーバーラップが存在していない為確実に失敗します。 中間の場合それぞれオーバーラップは存在していますが、手ブレなどが１枚でも発生した場合正常なオーバーラップを確保する事が難しくなるので失敗してしまうことがあります。 画像右は撮影した写真の数枚に手ブレが発生していたとしても他の写真で補完することが出来るため成功確率が高くなります。
※画像自体はあくまで真上から見た視点ですが、横から見た視点も同じような考え方です。

今度はオブジェクトではなく部屋をフォトグラメトリする場合の撮影方法を考えてみましょう。

上記画像左は部屋の中心から一回転して撮影する方法です。一見して移動量も少なく簡単そうに見える撮影方法ですが、この撮影方法だと失敗します(一応理由としては適切な視差を得ることができないからという感じです) 部屋や空間全てに言えることですが、画像右のように撮影位置を移動しながら撮影しましょう。※フォトグラメトリ界隈ではこの移動方法をカニ歩きと呼んでいたりいなかったりする。
生成されるテクスチャに関しても斜めに写っている部分は歪んでしまうことが多いので、平行に撮影することを意識すると綺麗な3Dモデルを作成することができると思います。

https://twitter.com/iwamah1/status/1474218310728585219?s=20

光源の位置は大丈夫か？

iPhoneフォトグラメトリで気をつけたい部分の一つが光源の位置と明るさです。

上記画像で考えた場合、太陽光に当たっている表面は明るく、太陽光に当たっていない裏側は暗いというのはイメージが湧くと思います。 フォトグラメトリは写真を元に3Dモデルを作成する技術の為、フォトグラメトリした3Dモデルにも上記の明暗がそのまま反映されてしまいます。

他にも問題はあり、スキャンするオブジェクトが白色のオブジェクトだった場合、太陽光が反射して正常にフォトグラメトリできない可能性が存在しています。 また逆光状態で撮影してしまうと写真が白飛びしてしまいフォトグラメトリに使えない写真になってしまいます。 そのためフォトグラメトリを行う場合は、

  • 近くに強すぎる光源は存在していないか

  • 撮影対象が光を反射しないか

  • 撮影時に逆光にならないか

を把握しておくと良いと思います。

屋外で理想的な撮影を行いたい場合は正午の太陽が直上に来るタイミングか曇りの日(ベストコンディション)、屋内ではリングライトを活用すると上手くいきやすいです。

その他撮影のコツ

  • 被写体の土台が反射しやすい物体(光沢のあるテーブル)などは失敗しやすいです。別途新聞紙などを下に敷くようにしましょう

  • 写真がぶれない様にしっかりとカメラを固定しましょう

  • ブレた写真は削除しましょう

  • iPhoneは縦でも横でも問題ないので撮影しやすい向きで撮影しましょう

  • 写真を撮影する際は出来る限り一筆書きになるよう撮影しましょう

  • 撮影後は一旦プレビューを確認して死角がないか確認しましょう

  • 写真の枚数は多少多めに撮影しましょう！多い分には後から消去できますし、基本的に枚数が多いほうが精度は良くなります(処理時間も長くなりますが…)

実際のフォトグラメトリ風景動画

まずは普通のフォトグラメトリ(1番から)

割とこんな感じで撮影しても成功します！なのでまずは挑戦してみましょう！

次はobject maskingを使用したフォトグラメトリ風景

割と雑に撮影したけど成功しちゃった(？)例ですｗ

Trnioの使い方に関してはこちら(↓)の記事中段で詳しくまとめているのでそちらを参照してください。

【超重要】安全対策ヨシ！ご安全に！

フォトグラメトリは一度ハマると抜け出せない魅力があります。...ただ怪我をしてしまうとフォトグラメトリは出来ません！なので楽しい3フォトグラメトリ生活を送るためにも気を付けて頂きたい事が3つあります！

  1. スキャン前に周囲の確認をしよう！
    ここで確認したいのは周囲に障害物が存在していないか？段差が存在していないか？人は存在していないか？という部分です。特に屋外で撮影する場合は一般の通行人が撮影箇所に立ち入り可能性も存在しています。事前確認をしっかりとして危険個所を認識しておきましょう。

  2. 撮影中は画面を注視しない！
    歩きスマホって危険ですよね？つまりそういうことです。
    フォトグラメトリ時は画面だけでなく外もしっかりと確認し、プレビューなどで画面を確認する必要がある場合は一旦立ち止まってからにしましょう！

  3. 他の人に迷惑がかかる恐れがある場合はフォトグラメトリしない！
    これは撮影対象の周辺に人が大勢いたり、撮影対象が他の人の敷地だったりという部分です。
    (ここだけの話、フォトグラメトリ中の動きは割と不審者ムーブだったりするので子供が多い場所などでフォトグラメトリするのは少し注意が必要だったりします)

最後に

これで『iPhoneでお手軽フォトグラメト』の内容はおしまいです！お疲れさまでした。
フォトグラメトリ自体は昔からある技術ですが、やはり機材が多かったり高かったりと中々手を出しにくい技術だな～と思っていたのでiPhoneだけでフォトグラメトリできるってすげぇ！というのが記事を書き始めたきっかけです。
今はまだ精度が甘かったりとプロ向けとは言えませんが、逆に普通の人がちょっと子供の成長記録としてフォトグラメトリして、大人になったら赤ちゃんの頃の姿をＡＲ表示してみる！や自分が過去に住んでた家の中をフォトグラメトリしてみる！など色々な活用方法が生まれてくるのかなと思っています。
長文になりましたが、最後まで読んでいただきありがとうございました！


この記事が気に入ったらサポートをしてみませんか？