初歩からのフォトグラメトリ～動画×RealityCaptureで人物のフォトグラメトリを実験～【写真からゲームで使える３Ｄキャラを作ってみよう！ vol.7】
■動画フォトグラメトリを最高の環境で実験
こんにちは、茶里です。フォトグラメトリを使って３Dキャラクターを作る記事の第7弾ということで、今回は動画を使用したフォトグラメトリをご紹介したいと思います。
いままで「初歩からのフォトグラメトリ」シリーズでは、回転台+デジタル一眼カメラを用いての、写真を用いたフォトグラメトリに焦点を当ててきました。しかし、じつはフォトグラメトリは動画（正確には、動画から切り出した静止画）でも作成が可能です。
前回までの記事でようやく必要な知識のご紹介があらかた終わりましたので、実験の成果を発表させていただきます。撮影自体は、ちょっと前に行ったものなので、いま見ると反省点も多いのですが、気付いたことや改善方法など含めご紹介したいと思います。
■今回動画撮影でお世話になったスタジオ
さて、実験を行うにあたり、中途半端な環境や機材を使ったのでは、結果の判断がしづらい（機材の問題なのか、撮影方法の問題なのか……等）と思い、最高に整った環境で、動画撮影を行わせていただきました。
こちらのワンストップスタジオ東京さまは、わかりやすい価格設定で、豊富な機材、最高に整ったスタジオが使用でき、さらにはプランによってはカメラマンまでついてくるという、動画撮影の素人にはメチャクチャありがたいサービスを提供してくださっています。
グリーンバックで撮影したい……
業務用の回転台をレンタルしたい……
影が出ないようなライティングにしてほしい……
ISO100、F10以上で撮影したい……
4K RAWで撮影したい……
など、茶里の面倒なオーダーにも親身になって相談に乗ってくださり、今回の大実験を、想像通りに実現してくださいました。
下のお写真をみて頂ければ分かる通り、照明のセッティングから、カメラのセッティングまで、自力では一生再現できないレベルのお仕事をしてくださいました。
注意いただきたいのですが、ここはフォトグラメトリの施設ではないので「フォトグラメトリやってください！！」と無理矢理お願いするのは避けましょう（この度はスタジオ様の親切心で、特別にご協力いただきました）。
上画像のように、既存のプランにないオプションを追加する場合は、所定の追加費用がかかりますので、ちゃんと把握したうえでご相談くださいね！！
そのうえで「良い環境で、プロレベルの動画撮影をしたいが、自分にはその技術も機材もない……」とお悩みの方には、これほど整った環境はないので、ぜひオススメさせていただきたいスタジオです。ワンストップの名のとおり、この場所で全ての撮影が完結します！！
お世話になりました、スタジオ関係者のみなさん、本当にありがとうございました！！
【スタジオ情報】
ワンストップスタジオ東京
東京都千代田区神田東松下町38
鳥本鋼業ビル地下
アクセス
東京メトロ銀座線：神田駅・3番出口 徒歩3分
JR：神田駅・東口 徒歩3分
都営地下鉄新宿線：岩本町駅・A1出口 徒歩3分
■使用画像と完成した３Dモデルのご紹介
さて、早速ですが使用画像と、完成した３Dモデルをご覧ください。撮影方法はいつも通り、被写体に回転台に乗っていただくスタイルですが、使用カメラがビデオカメラ（4K）であることが最大の違いです。
※ちなみに顔に点々がついているのは、今後ご紹介予定の「動画を用いたフェイシャルモーションキャプチャ」の実験のためです。こちらも近々記事化予定です！
回転台の上で１回転ぶん表情をキープしていただいて、その状態を動画で撮影し、Premiereで静止画を切り出したのが下記の画像です。
ご協力： 美葵さや加さま (instagram: @sayaka_miki811)
その画像をRealityCaptureに読み込んでAlignした様子がこちら。
静止画に比べ枚数豊富なので、Alignはそこまで苦労しない印象でした
そこから生成したメッシュがこちら。
完成したメッシュ。静止画と比べるとノイズが目立つのは仕方がないものの、
もうちょっと上手にできたと思う。今後の反省材料。
そして、これをクリーンアップ（やり方は前回の記事参照）して、テクスチャを貼り、さらにZbrushで微調整した様子がこちら。
テクスチャは比較的キレイにできました（耳周りの修正は今回省略）
この通り、クリーンアップ後はなかなかキレイな３Dモデルが作成できました。最初にできたメッシュは思ったより荒くなってしまいましたが、これは単純に被写体がちょっと遠かったのが主な原因だと思われます（後述）。
■動画からフォトグラメトリをする手順
さて、肝心のやり方なのですが、基本的には第4回でご紹介した手順と同じです。ただし、撮影した動画から静止画を切り出す必要があるのが大きな違いです。今回はその部分だけ、ご紹介したいと思います。
※注 じつは、RealityCaptureに直接動画を読み込ませる機能もあるのですが、いろいろ応用が利くので、今回はAdobeのPremiereやPhotoshopを使用する方法をご紹介します。
①Premiereに動画を取り込み、必要な部分だけトリミング
Adobe Premiere(ここで使用しているのはAdobe Premiere Pro 2021)に撮影した動画を取りこみ、静止画を切り出したい部分だけを残してトリミングします。
このように向きを修正しておくといいと思います
②グリーンバックを消す場合はUltraキーを使用
今回のように背景色が一様になっていれば、特に切り抜く必要もなかったりしますが、せっかくグリーンバックで撮影したので、Premiereのエフェクトである「Ultraキー」を利用して、緑色の部分を透過しました。
詳しいやり方は公式チュートリアルをどうぞ。Ultraキーの適用に成功すると、このように被写体以外の部分が色が変化します。
ここでは「強」に設定しました
③書き出し設定で出力形式を画像にする
書き出し設定の「形式」の部分で、PNGやJPGなどの画像ファイルを指定します。この後、画像をどう扱いたいかにもよりますが、Ultraキーで透過させた部分の透明情報を保持したい場合はPNGを指定します。
④フレームレートの設定で使用枚数を調整して出力
「フレームレート」の項目にあるチェックボックスを外すと、好きなフレームレートが選べるようになります。
今回撮影した動画は、回転台のスピードが60秒で1回転するくらいに設定されていたので、フレームレート1(1fps,1秒あたり1フレーム)だと画像が60枚、フレームレート5(5fps,1秒あたり5フレーム)だと画像が300枚出力されることになります。
今回はものの試しにフレームレートを5にして、1アングルあたり300枚ちょっと、3アングルで合計900枚くらいの画像を使用してフォトグラメトリしましたが、別に1アングル60枚、3アングルで180枚でも十分だと思います。
設定ができたら「書き出し」ボタンで出力開始です。
完了すると、こんな感じで背景の透過した画像が出力されます。
⑤（切り抜きはPhotoshopの「被写体を選択」でもOK）
上の例ではPremiereのUltraキーを利用して切り抜きましたが、第4回の記事の「■便利なPhotoshop CCの「被写体を選択」機能を使う」のセクションでご紹介させていただいた通り、Photoshopで切り抜く方法も有効です。
Ultraキーを使用した画像で上手くいかない時は、こっちの方法を使ってみるのも手です。
拡張した場合の出力結果です。これでも問題なくAlignできました。
⑥あとは、いつも通りRealityCaptureに取り込むだけ
あとは、いままでの記事でもご紹介したとおり、出力した画像をRealityCaptureにとりこんで、フォトグラメトリするだけです。
■反省点：もっと被写体に寄るべし！
さて、今回の撮影での最大の反省点は、被写体の遠さでした。これは、その後いろいろと経験を積んだいまだから言えることなのですが、
最近の記事で推奨している被写体のサイズから考えると、今回撮影した動画は少し被写体が遠く、その分、画像から得られる情報量が減っています。
それでも、ちゃんとキレイに完成したのは本当にワンストップスタジオ様に整えていただいた環境が素晴らしかったからなのですが、もっと被写体に寄ることができていたら……と思うとちょっと悔しいです。
みなさんが動画撮影でフォトグラメトリをする際は、顔が若干見切れるくらいのサイズ感で撮影してもいいかと思います（実験報告待っています！）
■結論：ちゃんと撮影できれば結構楽かも
ここからは、今回の結果を踏まえた筆者の推測を含むのですが、動画を使った手法で人物をフォトグラメトリするのは、方法を確立すれば結構楽かと思いました。
主な理由は、写真撮影するよりも、かかる時間が短いからです。回転台を止めては写真を撮り、を繰り返すいつもの方法に比べれば、動画を用いた手法は、回転台を回しっぱなしでよいので速く撮影が終わります。
ただし、静止画に比べるとどうしても画像の鮮明度は落ちるので、そこがテクスチャの品質におよぼす影響は考慮に入れる必要があります。今回は、完璧に環境の整ったスタジオを使う事でそれをクリアしましたが、あまり整っていない環境の場合、どうすべきかは、今後も研究が必要だと思いました。
そのあたりをクリアすれば、人物フォトグラメトリのハードルを大きく下げる手法になりえる可能性を感じさせる、そんな撮影でした。
■次回予告：全身のフォトグラメトリ方法！
さて、次回の記事ですが、次回こそ、前から予告していた、全身のフォトグラメトリを回転台を用いて行う方法をご紹介したいと思います。なるべく再現性が高い内容に調整しておりますので、どうぞお楽しみに！
この記事が気に入ったらサポートをしてみませんか？