禅寺をメタバースに作ってみる。パート２：フォトグラメトリー
皆さん、こんにちは。
この新しいビデオシリーズでは、私たちがメタバースにある禅寺のデジタルツインをどのように作っているかについて話しています。このビデオは、技術的なハウツー・マニュアルというよりも、メタバースとその構築方法について興味を持つ人たちにとって、役に立ち、かつ楽しいものになることを意図しています。
第2回目のエピソードでは、写真測量について、そしてその技術を使って寺院のある部分をどのように撮影しているかについて話しています。このビデオは以下に掲載されています。
フォトグラメトリーによる寺院の制作方法とその理由
写真測量とは、現実の世界にある3次元の物体を、何百枚もの2次元の写真にし、それをデジタルの世界で3次元の物体に戻す技術です。これはとても不思議なことだと思いませんか？なぜ、最初に2次元にしてから3次元の物体を作るのでしょうか？
答えは、カメラでは3Dの世界を見ることができないからで、写真測量で使う道具はカメラです。つまり、人間がどのように世界を見ているのかを、カメラを使ってシミュレーションしているのです。
写真やテレビの映像は2次元ですから、現実とはまったく違いますが、写真や映画、ゲームなどの立体的なものは、ほとんどの人が想像できないのではないでしょうか。本当の3Dであれば、写真や映画、ゲームの世界の中に入り込み、中を歩き回ることができるのです。これがVRの仕組みで、私たちの自然環境と同じように動くからです。しかし、人々は完全に平面であるメディアに慣れているため、VRヘッドセットを装着すると、目の前にテレビ画面のようなものが見えると思いがちです。そして、初めてヘッドセットを装着して、自分が部屋のような空間にいることに気づくと、完全にショックを受けてしまうのです。私たちは写真測量で現実世界の物体を撮影し、3Dの世界に表示できるようにしています。
では、なぜ世界を2Dにし、また3Dにするのか、不思議に思いますよね。それは、カメラにはレンズとセンサーからなる片目しかないため、完全に平らな世界しか見ることができないからです。ですから、理屈の上では、私たちの目と同じように、少し角度を変えて2枚の写真を撮れば、脳に奥行き感を与えることができるのです。この例えの「脳」とは、コンピュータのことです。
ビデオで説明したように、ある点を異なる角度から2枚撮影し、どの角度で撮影したか、2枚の写真の間にカメラがどのくらい動いたかがわかれば、コンピュータはその点がどのくらい離れているかを計算することができるのです。このとき、2枚の写真が重なって、両方の写真に点が写っている必要があります。そうすれば、コンピュータはその点を見つけ、その点からどれだけ離れているかを計算することができます。
では、実際にどうすればよいのでしょうか。対象物のできるだけ多くの点の距離を知る必要があるので、1つの対象物を何百枚、何千枚と撮影する必要があります。お寺の木彫りのパネルの場合、幅が数メートルしかないのに、数百枚の写真が必要でした。また、パネルは壁の非常に高いところにあるので、とても重くて危険なため、最高のカメラを使って撮影することはできませんでした。お坊さんのご好意で高いはしごを持ってきていただき、ハイエンドのスマートフォンを使ってハイアングルからさらに撮影しました。
3Dオブジェクトの計算に必要な写真が少ないと、コンピューターがオブジェクトに穴を空けてしまいます。その場合は、ポストプロダクションでスカルプトソフトを使って足りない部分を作る必要があります。しかし、そもそもフォトグラメトリを使うのは、複雑な形状を造形する必要がないためです。もちろん、数枚の写真を参考にゼロからパネルを造形することも可能ですが、一般的には3倍以上、あるいはもっと長い時間がかかりますし、非常に高度な造形技術が必要です。
フォトグラメトリを使用しない場合
では、なぜ写真測量で寺院の中をすべて撮影しないのでしょうか？残念ながら、カメラではうまく撮影できないものが多いんです。ガラスのような透明なものや、金属のような光沢のあるものなどです。例えば、陶器のオブジェには、金のついたものがたくさん写っています（下のこちらの3Dオブジェクトをご覧ください）。このモデルは写真測量で取り込んだものですが、一部は手描きで作成しています。金色の部分を再現するために、このボウルの突起したツマミの一つひとつを3Dペイントソフトで手描きする必要がありましたが、これは大変手間のかかる作業でした。これには、芸術性と技術力の両方が必要です。
モデルの撮影は、影や反射をすべて取り除く方法で行いました。ハンドペイントの後、PBRという技法を使うことで、3Dプレーヤーで光や反射が加わり、物理的に正しく見えるようになります。マウスでALTキーを押しながら左ボタンを押し、モデルを回転させてみてください。これで光を動かして、その効果を確認することができます。この技術がなければ、モデルは全く現実的でないマットな感じになります。
しかし、なぜカメラはガラスなど特定の表面を写すことができないのでしょうか？写真測量学の専門家であるジェームス・バスビーが、これをうまく説明しています。
「写真測量は、ある表面上の基準点の正確な位置を定義することで機能します。ですから、ガラスのボウルのような物体には、ソフトウェアが認識できるような表面のディテールがほとんどないのです。ガラスの表面の反射や屈折によって、そこにあるものはすべて混乱してしまいます。カメラのレンズに偏光フィルターを使用することで、何らかの効果が得られるという意見もあります。偏光フィルターを使用することで、不要な反射を取り除くことはできますが、表面のディテールはほとんど残っていないため、うまくスキャンすることができません。」
要するに、ソフトウェアがディテールの少ない反射面上のポイントを見つけることができず、3Dオブジェクトの作成に失敗してしまうのです。
また、寺院の内装のほとんどに写真測量法を使わない理由は、完璧な照明でない場合、遠すぎる場合など、撮影が困難な場合、結果が溶けているような非常に奇妙なものになってしまうからです。この上の鉢は、非常に強力なフラッシュと特殊な偏光フィルターを使って、超高級カメラで撮影されたものです。この方法で、すべての影と、まだディテールが残っている多くの反射面を撮影することができました。また、撮影時に自動的に対象物が少し回転する特殊なターンテーブルを使用し、上から、下からと様々な角度から何百回となく撮影しました。しかし、大きな部屋を撮影するのは非常に難しく、非常にかさばる特殊な機材が必要になります。このような寺院の部屋は非常に左右対称なので、手作業で内部をモデル化する方がはるかに簡単で早いのです。
本物の寺院のような錯覚を起こす
さて、この方法も完璧ではありません。例えば、コンピュータCADのモデルは非常に不自然に見えます。なぜなら、自然界には完全な左右対称のものはないからです。神殿にあるような柱でさえ、不規則な形をしているのです。柱の角は完全にシャープではなく、木の表面もさまざまなバリエーションがあるなど、さまざまな工夫がされています。そのため、リアルに表現するためには、さまざまな技法を駆使して、手作業でこれらのバリエーションを追加していく必要があるのです。
もうお分かりかと思いますが、このプロジェクトで作っているのは、完璧なデジタルツインではありません。私たちが作っているのは、デジタルツインの錯覚であり、オリジナルとは異なるものです。重要なのは、この錯視が非常に説得力があり、メタバースに載せたときに下呂の玉龍寺に足を踏み入れたような本当の感覚を得られるということです。
真の魔法は人である
スキャニングとモデリングは、メタバースの禅寺を作るための2つの要素に過ぎません。私たちは、この寺院がメタバースにおいて、また現実の展示会やイベントなどの物理的な場所において、さらに高品質な鑑賞ができるような最高の体験となるように努めています。その上で、このようなお寺で一番面白いのは、場所そのものではありません。何世紀にもわたってそこに住み、働いてきた人々や、訪ねてきた人々、そして現在の寺院で出会うことのできる人々が最も興味深い部分なのです。メタバースのソーシャルな側面が重要なのはそのためで、物理的に実際に行ったかのようにその場所を訪れることができるだけでなく、そこにいる本物の人々に直接会うことができるのです。人がいるからこそ、寺院は活気づくのです。
というわけで、メタバースにおける禅寺の作り方については、まだまだ書き足りません。
では、また次回
ハンス
この記事の著者は、VRクリエイティブエージェンシーであるミミール合同会社のCTOです。質問や相談は hans@mimir.world で受け付けている。
この記事が気に入ったらサポートをしてみませんか？