見出し画像

フォトグラメトリ関連の用語まとめ

ひき

概要

  • 前回、COLMAPとOpenMVSを用いて、3Dシーンの再現を試してみた

  • 写真(2D画像)から3Dシーンの再現について理解を深めるために、関連しそうな用語の整理をする

  • フォトグラメトリという用語をタイトルに使っているが、「写真測量法」という意味なので、的を得ていない感もあるが、伝わりやすいと思い使用している

用語

Photogrammetry

  • フォトグラメトリー

  • 写真測量法

  • 意味は「写真測量法」のようだが、可視光線カメラを用いて撮影した2D画像から、3Dのシーンやモデルを作成する、という意味で用いられることがあると感じる

  • コンピュータービジョン関連の記事では、Structure-from-Motion (SfM) や Multi-View Stereo (MVS)という、より具体的な用語の方が多く用いられる印象だ

Photogrammetry is the science and technology of obtaining reliable information about physical objects and the environment through the process of recording, measuring and interpreting photographic images and patterns of electromagnetic radiant imagery and other phenomena.

https://en.wikipedia.org/wiki/Photogrammetry

3D reconstruction

  • 3次元の再構築

  • 現実のオブジェクトの形を捕捉するプロセス

In computer vision and computer graphics, 3D reconstruction is the process of capturing the shape and appearance of real objects.

https://en.wikipedia.org/wiki/3D_reconstruction

Structure-from-Motion (SfM)

  • 2D画像から、シーンの3D形状を推測する処理

  • 複数の2D画像を必要とする

Structure from motion (SfM) is the process of estimating the 3-D structure of a scene from a set of 2-D images. SfM is used in many applications, such as 3-D scanning , augmented reality, and visual simultaneous localization and mapping (vSLAM).

https://www.mathworks.com/help/vision/ug/structure-from-motion.html

Mutiple view geometry (MVG)

  • 多視点の機何（学）

多視点幾何学とは、異なる視点から撮影された複数の画像間に対応関係があるときに、カメラや特徴量との関係を研究する分野です。

書籍「オーム社　実践コンピュータビジョン」

epipolar geometry

  • エピポーラ幾何

ステレオビジョンを扱う幾何学である。2台のカメラが異なる位置から3次元世界を映すとき、3次元空間上の点とそれらの2次元画像への投影の間には、画像点間の制約に関する多くの幾何学的関係がある。これらの関係は、カメラがピンホールカメラモデルで近似できるという仮定に基づいて導き出される。

https://ja.wikipedia.org/wiki/エピポーラ幾何

Multi-View Stereo (MVS)

  • ３枚以上の画像を使う場合

３枚以上の画像も同時利用するように拡張した手法，いわゆる多視点ステレオ

https://www.jstage.jst.go.jp/article/jsprs/55/4/55_259/_pdf

Bundle Adjustment (BA)

  • フォトグラメトリー、ステレオビジョンにおいて、バンドル調整(bundle adjustment)は、3D座標、相対モーションのパラーメータ、カメラのレンズの特徴の調整を同時に行う

  • 正確ではないが、カメラで撮影された複数の画像からカメラの姿勢と画角などを推測（調整）する、と理解すれば、大きくは間違っていないと思われる

In photogrammetry and computer stereo vision, bundle adjustment is simultaneous refining of the 3D coordinates describing the scene geometry, the parameters of the relative motion, and the optical characteristics of the camera(s) employed to acquire the images, given a set of images depicting a number of 3D points from different viewpoints.

https://en.wikipedia.org/wiki/Bundle_adjustment

ライブラリ

  • 他にもあると思われるが、以下の今回、確認したのは以下の3点

  • OpenMVGかCOLMAPで、SfMを行い、疎な点群を作り

  • OpenMVSでメッシュにすることができる

OpenMVG

  • 以下の機能を提供するライブラリ

    • 画像の編集

    • 特徴量の記述（特徴量の抽出）とマッピング

    • カメラのモデル

    • multiple-view-geometry

    • Structure-from-Motion

  • 密な点群を作るために、他のMultiple-View-Stereovision frameworkの入力にすることができる

The libraries provide easy access to features like: images manipulation, features description and matching, feature tracking, camera models, multiple-view-geometry, robust-estimation, structure-from-motion algorithms,
OpenMVG provides an end-to-end 3D reconstruction from images framework compounded of libraries, binaries, and pipelines.
The binaries solve unit tasks that a pipeline could require: scene initialization, feature detection & matching and structure-from-motion reconstruction, export the reconstructed scene to others Multiple-View-Stereovision framework to compute dense point clouds or textured meshes.

https://github.com/openMVG/openMVG

COLMAP

  • Structure-from-Motion (SfM) and Multi-View Stereo (MVS)を行う汎用目的なパイプライン

  • 主な機能は以下で、点群の生成まで一通り実行することができる

    • 特徴点の抽出

    • マッチング

    • Bundle Adjustment

    • 疎な点群の生成

    • 密な点群の生成

  • GUIで操作できるのもありがたい

    • 本格的バッチ処理はCUIで行いたいが、ちょっとした確認にはGUIの方が楽だ

COLMAP is a general-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline with a graphical and command-line interface.

https://colmap.github.io/

OpenMVS

  • コンピュータービジョン科学者向けのライブラリ

  • 特に、Multi-View Stereoによるシーンの再現の分野をターゲットにしている

  • 密度の高い点群、面、テスクチャ付きの面を計算することを実現するライブラリ

  • カメラの姿勢のリスト、粗い点群、歪み補正された画像の入力を必要とする

  • Structure-from-Motionのツールで作られたものであれば処理できる

  • COLMAPの密な点群もサポートする（歪み補正された画像とプロジェクトファイル）

  • SfMをした後に作成したあと、メッシュにしたいときに利用できる

OpenMVS (Multi-View Stereo) is a library for computer-vision scientists and especially targeted to the Multi-View Stereo reconstruction community.

https://github.com/cdcseacave/openMVS/wiki

dense point-cloud reconstruction for obtaining a complete and accurate as possible point-cloud
mesh reconstruction for estimating a mesh surface that explains the best the input point-cloud
mesh refinement for recovering all fine details
mesh texturing for computing a sharp and accurate texture to color the mesh

https://github.com/cdcseacave/openMVS/wiki

OpenMVS pipeline needs as input a set of camera poses and the corresponding undistorted images, plus the sparse point-cloud generated by the Structure-from-Motion pipeline. There are currently three ways to generate the necessary input:

https://github.com/cdcseacave/openMVS/wiki

OpenMVS can process any scene, calibrated by any Structure-from-Motion solver, as long as it receives as input the camera poses, the sparse point-cloud and the corresponding undistorted images.

https://github.com/cdcseacave/openMVS/wiki

COLMAP dense output (undistorted images and project files) is supported by OpenMVS.

https://github.com/cdcseacave/openMVS/wiki

この記事が気に入ったらサポートをしてみませんか？