見出し画像

フォトグラメトリを使った動画を創る！Part２

STUDIO DUCKBILL
STUDIO DUCKBILLのduckbillです。趣味で映像制作をしている人です。
前回記事のPart1ではフォトグラメトリでどのようなモノや場所、環境を3Dモデル化し動画制作に利用したかという観点で作例をまとめました。
今回はフォトグラメトリの写真撮り方と撮影機材に焦点をあててPart1以降の半年間（2020年6月～11月)で作成した動画をまとめます。
フォトグラメトリ処理にはReality Captureを使用しています。この記事ではフォトグラメトリ自体の説明やCG制作方法、各種ツールの使い方には触れません。

点群とメッシュ混在で作成した鎌倉五山浄智寺の動画とSketchfabの3Dモデルです。

このようなCG動画のフォトグラメトリの写真をどういう機材でどうやって撮って動画にしたかについて書いていきます。

マクロ撮影で細部を撮る

オリンパス Tough TG-5のカメラ内深度合成で多肉植物の鉢植えを撮影しました。Blenderでレンダリングした動画です。

植物の葉が複雑に込み入っており通常のマクロ撮影では被写界深度が浅くボケて撮影できない部分や死角が増えそうだったので深度合成にしました。撮影枚数は５００枚です。以下のリンクからSketchfabで3Dモデルを見ることもできます。

ターンテーブルを利用し非常に細かく細部まで色々な方向から死角を無くすように撮影しています。植物は揺れてしまうので普通はターンテーブルは使えません。肉厚な多肉植物ならではです。

画像1

α7IIIとマクロレンズ（タムロンの90mmマクロ。タムキューのFマウントをマウントコンバータで装着）で撮影したヤクルトです。底面もモデル化されていますが、ターンテーブル撮影時にヤクルトの方を立てたり倒したりしたりして底面まで撮って3Dモデル化しています。表面の水滴やインクのにじみまでモデルやテクスチャに反映されました。

画像3

スマートフォンの写真で撮る

スマホの写真でもフォトグラメトリは問題なく可能です。iPhone12 Proの写真から作成したニンニクのフォトグラメトリです。iPhoneは固定しニンニク側をターンテーブルで回転させて撮影してました。

この花はiPhone側を三脚に装着し、三脚側を花の周りで移動させて撮影したものです。細かい部分を再現するため900枚以上の写真を撮影しましたがiPhoneのHDR写真の高い輝度幅の効果で白飛びしがちな花びらを上手くモデル化することができました。（カスミソウの細い枝は流石に無理でした。）

フレンチトーストを周囲からぐるっとiPhoneで74枚撮影しました。お皿は特徴点が少なく反射もあり穴が空いたり欠けがちですが、周囲の粉砂糖が特徴点となりほぼ完ぺきに再現できました。

RCフレンチトースト

次も食べ物です。iPhone 12 Proでお皿ごとに別々に撮影して制作したモデルをBlenderでレイアウトし、Cyclesでレンダリングして動画を作成しています。

スマートフォンの動画で撮る

スマホの動画からでもフォトグラメトリを作ることができます。写真で撮るより再現品質は劣りますが丁寧に撮影すればそこそこ奇麗にでき、何より手軽でシャッター音が鳴らないという利点があります。
Reality Captureは動画を直接ソースとして入力することができ、動画から指定した間隔毎にPNGファイルが切り出されます。海鮮丼は至近距離からの46秒の動画のみがソースになっており、0.5秒間隔でPNG画像を抽出しています。

石部棚田は歩き撮りの３分間の4K HDR動画のみがソースです。iPhoneの手振れ補正がうまく働きかなり奇麗にできました。現地で収録した鳥の声が付いています。

動画の段階で動画編集ソフトで色味や明るさなどを調整してからReality Captureで処理しています。動画のカラーがフォトグラメトリのテクスチャにそのまま反映されます。動画編集ソフトを使って演出意図を持って前処理としてカラーグレーディングすることもできます。

RC棚田

iPhoneで歩き撮りする場合は落下のリスクがあるためスマホフォルダーに装着しして撮影しています。この写真では一脚に取り付けていますが、360度カメラ用のロッドや小型三脚など状況によって使い分けます。

スマホホルダー

スマートフォンの写真と動画を組み合わせる

もちろんスマホの写真と動画を両方使ってフォトグラメトリすることもできます。日本丸は写真600枚、動画600枚（主に地面撮り）を使っています。

HDRの効果もあるためか白い船体が白飛びせずに細かい特徴点が取得できています。マストとロープ、帆は複雑なためiPhoneの解像度と仰角のきつい視点からの写真のみでは再現できませんでした。

まるで上空からドローンで撮ったようですが、地上写真のみでもアライメントがきちんとできれば全体を俯瞰視点で確認することができます。日本丸の全長は97メートルありますので長い距離がかなり正確に再現できていることになります。

第一船渠

水車小屋も同じくiPhoneの写真と動画のみから生成されたフォトグラメトリです。小屋や石垣を写真で撮り、動画では地面を撮っています。解像度の低い動画の影響で水車小屋の再現度が落ちないように動画にはあまり小屋が映らないようにしています。

ミラーレスカメラで丁寧に撮る

ミラーレスカメラを使うと単に写真の解像度が高いというだけではなく、優秀なレンズと大きなセンサーで歪みが少なくノイズもボケも少ない隅々まで解像した写真が撮れます。

手振れ補正機能がカメラについていたとしても一脚を使うと更にブレを抑えることができます。菊の写真はα7IIIと20mm単焦点レンズを一脚に装着して121枚の写真を撮っています。一方向からしか撮影できない場合は撮影対象に正対し横移動しながら細かくアップで撮影すると細部まで再現することができます。カメラを上下左右に振りながら撮る必要はありません。

画像7

次は広域フォトグラメトリを少ない写真枚数で作成した例です。
α7III+20mm単焦点＋一脚で撮影した600枚の写真を使用しています。
きちんと解像したボケの少ない写真を使うと少ない写真でもかなり広い範囲を奇麗にモデル化できます。

本堂

Google Mapで確認すると境内の広場の長辺が90メートルあります。かなり広い範囲の地面を破綻なく再現できました。地面を複数の方向から撮ると段差ができることがありますが特徴点が取得できていないためであり丁寧に撮影するときちんとアライメントできます。カメラを進行方向正面を向けるのではなく可能な限り下向きにして地面を意識的に撮る必要があります。

距離測定

日時計を中心としたバラの花壇の様子をα7IIIで撮影した作例です。中心の日時計と周囲を別々にモデル化して、Reality Captureにインポートし直して部分的にモデル化に使用する写真と詳細度を変えるというテクニックを使っています。
全体を一度にモデル化した場合、日時計が多数の写真に写っているため再現性が低くなっていました。厳選した写真のみで日時計部分を別に作りました。

植物フォトグラメトリ撮影の最近の集大成。横浜で開かれていた里山ガーデンフェスタの花壇を限られた視点の写真からとても奇麗に再現できました。
植物撮影は天候次第。特に風次第です。α7III+20mm単焦点+一脚撮影。

Sketchfabで花壇の点群データをダウンロードすることができます。

スマートフォンとミラーレスカメラを組み合わせる

伊豆の浄蓮の滝とワサビ田を3D化しました。ワサビ田はα7IIIで撮影し、河原と滝はiPhone12 Proの動画撮影です。山葵の精細感と滝のぼんやりした感じの違いでソースの解像度に違いがあることが明白です。環境音も実際の浄蓮の滝で収録したものです。


次の作例では主要部分はα7IIIで撮影し、iPhone 12 Proの4K HDR動画で階段を撮ってアライメントしました。階段は踏面、蹴上、踊り場など面が多く、高低差のため一度に撮れる範囲が狭く撮影に苦労します。スマホをロッドに装着し少し高い所から俯瞰で動画撮影すると撮影の労力が軽減できます。再現品質は低くなるものの重要でない部分はこういう撮り方もあります。
大雄山最乗寺の御真殿と高下駄周辺です。Blenderで被写界深度を設定してレンダリングしました。

ドックヤードガーデンは制作中のモデルです。こちらはiPhone動画側の割合が多すぎで再現性とテクスチャが今一つなので撮り直しすることにしました。動画に限らず質の低い写真を混ぜると品質低下するのできちんとフィルタリングしたり、再現性が低くても良い場所に動画を使うといった判断が必要です。

フォトグラメトリを使った動画を創る！！

フォトグラメトリで生成した広域の景観モデルを背景や主役に使って映像として作りこんだ作例をまとめます。

南伊豆の入間港から徒歩で山道を40分ほど歩いた先にある千畳敷のフォトグラメトリです。200メートルほどの高さの断崖の前に、広大な磯場が広がっている景勝地です。普通に動画化してもスケール感が伝わらないためジャーヴィスさんにフォトグラメトリ世界を歩いてもらって動画化しました。実際のサイズ比にあわせてあります。遠景は360度カメラの画像、波の音も現地収録です。

ドローン撮影620枚、地上撮影360枚ほどの割合で写真をアライメントしています。白い火山灰の地層を貫くマグマの地層と巨大な岩や、伊豆石の石丁場であった採石の跡などをうまく再現できました。

RC千畳敷

Mavic Miniによる撮影風景です。

三浦半島南端の盗人狩周辺をドローンと地上写真を組み合わせてフォトグラメトリで3Dモデル化し、twinmotionの海面のアニメーション機能を用いて隆起前の過去の景観を再現するCGを作成しました。動画中にテロップで説明が入っています。

以下の一連のツイートのスレッドで盗人狩りのフォトグラメトリの制作過程を説明しています。

古民家のフォトグラメトリを作成し、Twinmotionの四季や時間帯のアニメーション機能を用いて里山の風景のCGを作成しました。TwinmotionはUE4の描画エンジンが組み込まれており、このような映像制作がリアルタイムで行えるので非常に使いやすいです。

三浦半島の黒崎の鼻のフォトグラメトリを背景にユニティーちゃんに踊ってもらいました。Uniy URPで制作しています。

黒崎の鼻はSketchfabで3Dモデルを公開しています。

Blenderの大気シミュレーション＋フォトグラメトリの作例です。

少し変わった制作手法の動画

360度カメラで撮影した全天球の静止画とフォトグラメトリのモデルをBlenderで組み合わせました。

タイムラプス＋フォトグラメトリという映像作品です。

MMDの背景モデルをフォトグラメトリで作る

フォトグラメトリで生成した3DモデルをBlenderでPMXに変換してMMDモデルを作成しました。MMD用にはかなりのポリゴン数の削減が必要になりますがテクスチャが奇麗でリアルなため一風変わった背景モデルを作ることができました。

こちらは黒崎の鼻と佃嵐崎の磯のドローンを使った広域のフォトグラメトリを背景に使ったものです。これぐらい広い範囲の背景モデルをMMDでも使えれば色々な可能性が広がりますね。

海上から漁港の浜辺の景色をドローン＋ミラーレスで撮影して作成したフォトグラメトリの動画です。

最後に・・・

2018年11月にMMDを皮切りにCG制作を始めてから2年経ちました。興味がある部分だけをつまみ食いしていたらいつの間にか色々な事ができるようなったという感じです。まだまだやってみたいことが沢山残っているので広く浅く、時には深く動画制作を楽しみたいと思っています。
この記事の動画はSTUDIO DUCKBILLのTwitterとVimeoで公開しています。
ご質問、ご感想などがあればTwitterの @duckbillstudio にお問い合わせください。

この記事が気に入ったらサポートをしてみませんか？