360度動画からフォトグラメトリ作成用画像を自動作成するアプリの製作:準備その2
写真は2月の初旬に歩いた三千院までの参道です。
今回はmesh roomを使ってフォトグラメトリをしてみた際の記録です。
TODO
・SwiftでWindows10の実行ファイルを作成し"ハロワ"を完了させる。・SwiftでWindows10用GUI付きアプリを作成しボタン等のUIツールを一通り実装してみる。
・macOS用の360度動画からフォトグラメトリ作成用画像を自動作成するアプリを作成する。
・Windows10用の360度動画からフォトグラメトリ作成用画像を自動作成するアプリを作成する。
アプリを作成する準備としてどういった役割でどのように利用されるのか考えてみました。
フォトグラメトリ製作の中でアプリが補助する作業明確にするため、利用の流れを一つ思い浮かべてみました。（個人・友人用なので限定して想定しています。）
想定する利用の流れ
360動画をmp4で用意してもらう。
（他ソフト、insta360 Studioなど）本アプリを利用して360動画からフォトグラメトリ用画像を作成
mesh roomを使ってフォトグラメトリを作成。
２番の工程を助けるのがこのアプリの役割となります。
アプリの機能が明確になったわけですが具体的にどういった画像がmesh roomにとって必要なのでしょうか？
数回ほどしかmesh roomでフォトグラメトリを作ったことがなかったので検証も兼ねて広域のフォトグラメトリに挑戦してみました。
その記録です。
記録
富士山近くで泊まったホテルの一室その１
動画データ詳細
動画の各フレームは正距円筒図(equirectangular)。
フレームサイズ：5760 x 2880
長さ：8秒
切り出し方
フレームサイズ：1500 x 1500
１フレームあたり：8枚。少し重なりながら１周できていた。
総数：80枚。
サンプルの時点で上下が切れてしまっていたので出力結果も上下(床や天井)が切れてしまった。
富士山近くで泊まったホテルの一室その２
動画データ詳細
動画の各フレームは正距円筒図(equirectangular)。
フレームサイズ：5760 x 2880
長さ：8秒
切り出し方
フレームサイズ：2880 x 2880
１フレームあたり：8枚。少し重なりながら１周できていた。
総数：80枚。
荒さはあるものの。天井と床も生成された。
サンプルの時点で画像が伸びていたので荒さに影響している可能性あり。
三千院参道：入口のみ
動画データ詳細
動画の各フレームは正距円筒図(equirectangular)。
フレームサイズ：5760 x 2880
長さ：13分20秒
切り出し方
フレームサイズ：2880 x 2880
１フレームあたり：8枚。少し重なりながら１周できていた。
総数：6416枚。そのうちの72枚を対象とした。
看板の裏側が立体にならなかった。原因としてはサンプルの時点で裏側のデータが欠けていたことが上げられる。歩き方(撮影の仕方)に問題を感じた。
最後に
2月初旬に1週間ほど滞在して作成に挑みました。参道全体を作成するのは時間の都合上できませんでしたが、作成を通して多くのことがわかりました。
(富士山近くで泊まったホテルの一室のデータは去年2022年8月です。)
特に素材画像数が少ないほうがDepthMapの生成に時間がかからないことがわかり、このことは重要そうです。適切な素材数を見極めて分けて作成するか。マシンを一つフォトグラメトリにあてて2週間ほど待つか(結果失敗したり満足のいかない出力の場合はかなりきつそうです。)。考える必要がありそうです。
また画像の切り出しは下記の記事を参考にmeshroom の提供するツールを使ったので、他の方法で切り出すことはできないか？。など検討の余地がありそうです。
最後までお読みいただきありがとうございました。
この記事が気に入ったらサポートをしてみませんか？