見出し画像

フォトグラメトリを使った動画を創る！

STUDIO DUCKBILL

STUDIO DUCKBILLのduckbillです。趣味で映像制作をしている人です。2019年5月末に映像制作に活用しようとフォトグラメトリを始めてから一年経ちました。(記事執筆時点)
この一年フォトグラメトリの3Dモデルを使った様々な動画を作ってきました。何をどう撮るか、作ったモデルをどう動画制作に活用したのかについて代表的な作例をピックアップして説明します。
この記事ではフォトグラメトリ自体の説明やツールの使い方にはあまり触れません。どうやって撮ったの？に関してはTwitterのスレッドを開いていただけると大抵書いてあります。

フォトグラメトリ？〜3Dモデルにするということ

フォトグラメトリは日本語では写真測量と訳されますが、測量用途にかぎらず写真から三次元形状を復元すること全般にも使われています。異なる視点の複数の写真を解析することにより三次元上の座標を推定します。フォトグラメトリのソフトは色々ありますがduckbillはReality Capture（以下RCと略）というソフトをメインに使っています。この記事の作例のモデルはほぼ全てRCで作成されています。動画はRCの機能で出力したもの、BlenderやTwinmotion、Unityでレンダリングしたものなど様々です。

小さい世界に入り込む～マクロ撮影と深度合成

草花や木の実、昆虫等をマクロで撮った写真を見るとその精緻な構造や色彩の豊かさに驚くこともしばしばです。マクロ写真を使えばそういう小さい物もフォトグラメトリで3D化することができます。マクロ写真はピントが合う範囲がとても狭いですが、明るく照明をあて出来る限り絞って撮った写真か、複数の写真のピントがあった部分を合成した(被写界)深度合成写真を使うと3Dモデルとして再現し、好きな角度から拡大表示して観察することができます。

自然景観は一期一会〜ネイチャーフォトグラメトリ

梅や桜の花、向日葵、紅葉など季節ごとの自然景観を3Dで残せたら楽しいですよね…。でも自然景観はフォトグラメトリには難しいターゲットなんです。少しでも風が吹いたら草花が動いてしまうし、一部だけ撮り直しや追加撮影しようと思っても植物が成長したり落葉の状態が変わったりでうまくいかないことが多い。植物を撮るのは風がないタイミングに一発勝負です。

あの公園や街角を再現する～広域フォトグラメトリ

公園の四季の移り変わり、旅先で見かけた風変わりな建物、変化する街角。記録に残したい風景を広域にわたって数百枚以上の写真に撮影し、3Dモデルを作ります。広域フォトグラメトリのモデルには記憶に残したい時間と空間が閉じ込められています。

巨大建造物や構造物を撮る～超広域フォトグラメトリ

船舶や橋梁、都市のビル群など巨大なモノの存在感には圧倒されます。フォトグラメトリを使うと全体をなんらかの方法で撮影さえできればどんなに大きいモノでも3Dモデルにすることができます。Google Earthなら地球全体のフォトグラメトリ。

リアル背景のMV、イメージVを創る～空想観光動画

MMDなどでキャラクターにダンスさせるのはできるけど、好きな場所でキャラに演じさせたいと考えた途端にハードルの高さが跳ね上がる。実写動画を背景にするとカメラワークは撮影時点で決まってしまう。背景モデリングはアセットを使ったとしてもどれほど時間がかかることやら。そんな悩みをフォトグラメトリが解決してくれる…かもしれない。

その世界にダイブしてみよう〜VR動画で見る

広域フォトグラメトリで箱庭世界ができるとその世界に入ってみたくなるのは世の必定。フォトグラメトリを背景にしたVR動画もいくつか作っています。HMDで見ると立体視になります。

点の雲はモノの魂〜点群で動画を作る

フォトグラメトリでは処理過程で写真から特徴点を抽出しその点を集めて点群を作ります。点群は撮影対象の特徴そのもの、つまりアイデンティティ、魂ではないかと思うのです。点群を可視化した動画には不思議な存在感があります。・・・とカッコいいこと書いてますが、上手くメッシュ化できない時の逃げ道の一つなのは内緒です。

空から自然を望む～ドローン空撮

ドローンを使った広域フォトグラメトリは死角が少なく太陽に邪魔されず撮影高度、俯角を調整する事で好きなスケールで十分なカバレジとオーバーラップで空撮できるため高品質にできます。ドローンでなければ撮影できないダイナミックな自然景観を捉えた作例です。

夜の光をキャプチャ～優秀なカメラのお陰です

最近のミラーレスカメラは優秀です。高感度で撮影してもノイズが少なく、手ブレ補正もしっかり効いて夜景写真もバッチリ撮れます。そんな夜間に撮影した写真からフォトグラメトリを作ると電飾や照明、窓灯りの光までキャプチャすることがでます。

全天球を丸ごとスキャン～360度カメラでご安全に

フォトグラメトリを始めると大抵の人が360度カメラを使ってウォークスルー動画を撮ってそれをソースにすれば楽々フォトグラできるんじゃないか？と閃きます。それは間違いではありませんが正しくもありません。撮影の後処理の面倒や出来たモデルの品質の低さに目をつむれる場合のみです。解像度不足、動画のブレ、暗所ノイズ、スティッチ影響などでディテールの失われたモデルになりがちです。それでも360度カメラを積極的に使いたい状況があります。全天球撮れているので足元が危ない場合でもカメラ位置に気をつけて注意して歩くだけでいいというメリット。時間が無いがどうしても撮りたいという時もさっと撮れて撮り漏らしの心配がないのもいいです。

美味しいモノの記憶～食べ物をさっと撮る

いくら食べても復活する視肉というものが中国の伝説にあります。フォトグラメトリでスキャンした食べ物は食べたはずなのに電子の世界に存在を続けます。VRで「視る」ことしかできないがいくら食べてもなくならないのでこれも一種の視肉かなと思ったり。
食べ物を撮る時は可能な限り短時間で撮影します。美味しいうちに。レストランなら迷惑かけないようにしないとね。

そこに境界はない～マッチムーブしてみる

同じ場所の実写動画とフォトグラメトリをマッチムーブで位置合わせして合成すると面白い映像ができます。とっても手間がかかり技術も必要ですが頑張り次第で映画で見たあれもこれもできるかも…

水中を覗く～防水カメラで手軽にUnderwater

そのカメラ防水ですか？水に突っ込んで撮影してみませんか？
アクションカメラやアウトドア系タフネスカメラを使って水中をゆっくり動画撮影すれば水中フォトグラメトリが作れます。
フォトグラメトリは写真が傾こうが天地が逆になろうがアライメントさえ出来ればモデルが作れます。水中にカメラをつけた自撮り棒をいれるだけでもOK。

創作の世界は無限～フォトグラメトリで動画を創る！

ここまで見てきたような色々な撮り方や演出、CG技術、動画編集技術を組み合わせてフォトグラメトリを素材に使った様々な動画を作ることができます。
何を創造するかは想像次第で無限に広がります。

制作ワークフロー

以下のワークフローで動画を作っています。

作り方202003


最後に・・・

この記事で引用した動画はSTUDIO DUCKBILLのTwitterで公開しています。これでこの一年間で制作した動画の1/3ぐらいです。難しく、手間のかかる制作にシフトしているので以前より制作スピードは落ちていますが、今も趣味の時間を使って日々動画を作り続けています。
ご質問、ご感想などがあればTwitterの @duckbillstudio にお問い合わせください。

いいなと思ったら応援しよう！