「現実を切り取る技術」から新しいコミュニケーションや表現が生まれてくる――フォトグラメトリワールドの"現在"「VoxelKei × 龍 lilea」インタビュー
複数の写真や動画を解析し、3Dモデルを立ち上げる技術「フォトグラメトリ」。
数年前までは高価なソフトが必要になる専門的な技術でしたが、近年では「iPhone 12 Pro」や2020年以降の「iPad Pro」にLiDARという技術が実装されたことでスマホだけでも簡易なフォトグラメトリが行えるようになったことで、一般的な認知度が上がっています。
写真や動画から3Dモデルを生成するため、まるで基底現実を切り取ったかのようなモデルを生成できるこの技術ですが、VRChatをはじめとしたソーシャルVRでは、そのフォトグラメトリに入ることができる「フォトグラメトリワールド」がいくつか存在しています。
これらのワールドの特徴は、フォトグラメトリで生成した3Dモデルをベースに演出や表現を加えることで、モデリングで制作されたワールドとは異なる形で「人の痕跡」や「空気感」を感じさせる空間になっている点にあります。
「フォトグラメトリ」と「VR」ふたつの技術が組み合わされることで「見たことあるけど見たことのない空間」を体験できる。
そうした「フォトグラメトリワールド」の魅力と可能性を、多くのフォトグラメトリワールドを制作されているVoxelKeiさんと龍 lileaさんにお伺いしました。
フォトグラメトリとの出会い──「手で作るか」「フォトグラメトリでつくるか」
─フォトグラメトリと出会うきっかけはどのようなものだったのでしょうか?
VoxelKei
もともとはCG屋さんだったので、手でモデリングする仕事をさんざんやってきていて、フォトグラメトリはその延長線上にあります。フォトグラメトリを一番最初に触ったのはAgisoft社のPhotoScan(現Metashape)というソフトでした。当時はPhotoScanとRealityCaptureが有名で、その辺りで新しく出てきた3DF Zephyrも触りましたね。
龍 lilea
自分が最初に触ったのは5~6年前ですね。はじめに触ったのは同じくPhotoScanでした。
なぜPhotoScanを触ることになったかというと、ある仕事で像みたいな形状のものを大量にモデリングしなければならない案件があって、それを制作するためでした。私は建築のモデリングがメインだったので流線形のものをモデリングするのがそんなに得意ではなくて、どうやってつくろうかと悩んでいた時に「フォトグラメトリ」という技術を知って、使ってみたという流れですね。
─なるほど。おふたりがフォトグラメトリに触れた時期は同じくらいなんですね。フォトグラメトリという技術自体は昔から認識されていたのでしょうか?
VoxelKei
そういうアプローチのソフトはずいぶん昔からあると言えばあるんですけど、5〜6年前くらいからコンシューマでも使えるようになってきたから使いはじめたという感じがしています。
僕はフライトシミュレータなどリアルタイムの3Dをやっていたので、GPUとかマシンスペックが上がってきて、フォトグラメトリでつくったメッシュでもリアルタイムに動かせるようになってきたというのが大きかったですね。あとは昔は値段もすごく高かったので。
龍 lilea
RealityCaptureも安くなったのは最近ですよね。1年前くらいはENTERPRISEライセンスは200万くらいだったのが、Epic Gamesが買収して40万くらいになって、ずいぶん安くなりました。40万も安くはないですけど(笑)
─技術自体はあったけど、だんだんとコストが下がってきたことで色々な人が使いやすくなったという背景があるということですね。お二人はフォトグラメトリのどういう部分に可能性を感じているのでしょうか?
VoxelKei
フォトグラメトリ自体の可能性でいうと、僕はもともと手でモデリングしていたのでそれが圧倒的に楽にできるというのがあります。
僕の中では「手で作るか」「フォトグラメトリでつくるか」は素材の用意の仕方の違いでしかなくて、その素材を使って何をつくるかというのはまた別の話になります。
「あーこれ手でつくるとめちゃくちゃ大変だな」というものがフォトグラメトリだと簡単にできるのが素晴らしく驚愕のメリットなわけなんですけど、それはつまり3Dのツールを使えるわけではない人でも誰でもできるということなんですよ。
それは良い点なんですけど、モデラーとしては散々苦労してつくってきた立体モデルが誰でもできるというのはある意味脅威で危機感を感じる(笑)
ただ僕としてはフォトグラメトリを使って、さらにもう一段工夫を加えてというのを模索している段階で、そういうところが面白いところですよね。
─今やiPhoneやiPadにLiDARが搭載され、誰でもできるという側面が強まりましたよね。
VoxelKei
一気に広がった感じがしますね。確かにiPhoneでできるようになってから敷居が下がりましたよね。
龍 lilea
Twitterで「#Photogrammetry」とかたまに検索するんですけど、数年前に比べると圧倒的に色々な投稿が増えましたね。昔は本当に限られた人がぽつぽつとしか投稿していなかったんですけど。
─数年前に比べてフォトグラメトリを取り巻く状況は変わってきたのでしょうか。以前に比べて「フォトグラメトリ」という言葉自体が通じるようになってきたなとは個人的に感じています。
龍 lilea
通じるようになりましたね。
VoxelKei
ただiPhoneで撮って立体化しても、それをどう使うかについてはこれからって感じですね。VRChatに持ってくるのはやはり一手間かかるので。とりあえずスキャンするところまでは誰でもできるようになったと思うのですが、iPhoneで見たりすることはできるものの、そのスキャンデータを何に使うかはこれから模索されていくんだろうなと思います。
龍 lilea
物撮りは特にやりやすくなりましたね。
流石にマヤカンをiPhoneでスキャンしようとするとしんどいと思うので、その辺は技術の使い分けはあると思うんですけど、数年後にはそれすらもできるようになっちゃっているかもしれません(笑)
「VR」と「フォトグラメトリ」
─今回のインタビューのテーマである「フォトグラメトリワールド」にも繋がるのですが「フォトグラメトリ」と「VR」というそれぞれの技術は近縁なわけではないと思っていて、そこを繋げたところに「フォトグラメトリワールド」の面白さがあると思います。
おふたりのフォトグラメトリとの出会いは伺いましたが、VRについては以前から興味を持たれていたのでしょうか?
VoxelKei
僕はOculus(現Meta)などが登場する前から、世界遺産などを立体化したいという野望がありまして。
海外旅行が好きだったので、世界遺産とか旅先の風景を丸ごと立体化して中を歩き回れるようなコンテンツとかをつくりたいなと大昔から思っていたんですよね。
ただ当時は立体的につくったとしても、使い道はPCの平面画面上で見るだけでした。なので見て歩くだけじゃいまいちパンチがないなと思っていたんですが、その割にはつくるのがめちゃくちゃ大変なんですよね。
そんな時にOculusが登場してVR空間に入れるようになり、それまでのPCの平面画面でFPSゲームみたいに中を動き回るのとは、まさに次元が違った体験ができる。VRをはじめて体験してみてそれを実感しました。
その流れからVRChatにきて一番凄いと思ったのは、ソーシャルな部分です。それまでOculus用のアプリケーションをつくってたりはしてたんですけど、マルチプレイをつくるのはすごく大変で一人で中を歩くだけになってしまう。仮につくれたとしても、そのアプリケーションを何人かで同時に立ち上げる必要があって、さらにクローズドな世界になっちゃうんですよね。
VRChatに自分のつくったワールドを持って来たら、まったく自分の知らない人もそこに入って楽しめるというのは革命的でしたね。
龍 lilea
私もVRChatより前からVR自体はやっていました。
これも仕事と繋がるのですがOculusの初代のDK1が出てきた時に、もともとCGはパースメインでやっていたんですけど「建築のビジュアライゼーションでVRで何できるんだろうか」というのを模索していたんです。その時はフォトグラメトリではなかったんですけど自分がつくったモデルをVRで1/1のリアルなスケールで入れて動き回れた時はかなりの感動がありました。
見た目としてはチープなものなんですけど、リアルなスケールで立体視で見れるというのは衝撃でしたね。
私が設計していたわけではないんですけど建築を設計する上で「空間の広さ」というのは図面で見てても分からない。図面が分からないからCGパースという手段があるんですけど、CGパースも二次元ですし、動画にしても二次元の画面で見るので、体感できる本当の広さというのは結局イメージがつかないんです。そこでHMDでVR空間に入って立体視できるのはすごい革新的だなと思って、積極的に触り始めました。
─おふたりともHMDを使ってVRで「中に入れる」という体験が衝撃的だったということですね。龍さんはそこからVRChatに来るきっかけはあったのでしょうか?
龍 lilea
実はフォトグラメトリより前に点群で遊んでいて。
3D City Experience Lab.というプロジェクトで公開された渋谷駅地下空間の3DのオープンデータをおもちゃにしてVR化するぞーというのをやって、phi16さんにシェーダーをつくってもらったりして、すごい面白かったんです。そういう流れはVRChatならではで「面白いおもちゃを手に入れたらみんなで料理するぞ」みたいな、勝手に集まってみんなでやるみたいなのは面白かったですね。
その活動が建築家の豊田啓介さんの目に留まって面白いなと思われたのか、豊田さんから東京藝術大学の点群データで遊んでみてよとお声がけいただいたんですよね。そこから、そのデータを立体で体験してみたいと思い、VRChatでワールドを公開するというプロジェクトが勝手に始まったりして公開されたのが「Point Cloud Geidai」ですね。
その経験が自分としてはかなり印象的というかフォトグラメトリワールドをつくるきっかけとしてはすごい大きかったなと思います。
─2018年頃に既にそういう活動をされていたところから、現在のフォトグラメトリワールド制作に繋がったのは面白いですよね。
龍 lilea
そうですね。私のはじめてのフォトグラメトリワールド「Zeniarai Benzaiten Shrine(以下、銭洗弁天VR)」はもう3年前になるんですけど、その時は広域のフォトグラメトリに挑戦するということ自体が初めてでした。
なので、完成したこと自体もすごい面白かったんですけど、単純に広域なモデルができたという感動以上に「擬似的に参拝する」とかそこにコミュニケーションが発生していることに感動しました。
あのワールドは満開の桜を配置した春バージョンだったり何回かアップデートをしているのですが、そのバージョンを公開した時にちょうどコロナ禍になったということもあったので、リアルでお花見できないときにバーチャル空間に集まってお花見できるとか、そういう可能性は感じました。実際の銭洗弁天はあんな桜満開じゃないんですけどね(笑)
そのように、つくっている時は想像していなかったようなコミュニケーションや使われ方が発生したのはソーシャルなVRであるVRChatならではな感じがしましたね。
─ワールドとして公開することで意外な使われ方やコミュニケーションが発生するというのはソーシャルVRならではですよね。
龍 lilea
今、こうしてマヤカンのフォトグラメトリワールドでインタビューを受けているのも面白い話ですよね。これは10年前には全然考えられなかったことで、これがもっと一般化すると楽しいだろうなと思います。
今はVRChat界隈の人には当たり前かもしれませんが、この業界にはいない人から見たら超近未来的なことをやっている面はあると思います。
─なるほど。ワールドが公開され続けたことで、私たちもこうしてインタビューをお願いすることになったんだと思うと面白い巡り合わせだなと思います。フォトグラメトリをワールドとして公開してみて、考え方が変わったことなどはありますか?
龍 lilea
車のエンジンルームをフォトグラメトリワールドとしてアップしたことがあるのですが、そしたらそうした分野の話が実際にきたんですよ。そのように遊びで上げたものを見た人が色々な活用方法に気づき繋がって広がっていく経験があって。
龍 lilea
つくったワールドはただ空間があるだけでなく「これは何に使えるのだろうか」という他の人のアイデアがここから沸き起こるものだったりすると面白いのかなと感じていて、ワールドをつくる時は技術的なチャレンジもそうなんですけど、コンテンツ的な新しい要素を盛り込んだりとかは考えたりしますね。
─そういうワールドの使い方という観点で言うと先日マヤカンのツアーに参加したのですが、現実のマヤカンを案内している人にバーチャルのマヤカンを案内してもらうという体験はすごく面白かったですね。
VoxelKei
前畑さんのような現実のマヤカンの案内をしている人の案内をこの空間で全国どこからでも体験できるというのはすごいですよね。
龍 lilea
現地の案内がどこからでもできるのは面白いですよね。
旧都城市民会館VRでもメディア芸術祭の時のイベントで建築ツアーを開催したことがあります。各地から集まって建築家の豊田啓介さんや構造エンジニアの金田充弘さんの解説を聞きながら館内を案内してもらったのですが、これはバーチャルならではですよね。
─そちらも参加したのですが、専門家の解説を聞きながらフォトグラメトリワールドを体験すると圧倒的に情報の解像度が上がるなと感じましたね。
現実を加工するフォトグラメトリワールド──「SpatialGate demo」
─おふたりは数多くのフォトグラメトリワールドをつくってきたと思いますが、中でも思い入れのあるものはありますか?
VoxelKei
マヤカンは空気感的な表現も実現できたという意味では、思い入れはありますね。
初期につくったフォトグラメトリワールドには実験的につくってそれだけというワールドも多いのですが、その中で「SpatialGate demo」というワールドが特に思い入れが深いです。
これはフォトグラメトリのワールドがふたつ重なって存在していて、ドラえもんのタイムマシンの入口みたいなゲートを通じてあっちの世界とこっちの世界をいったり来たりできるというワールドです。
フォトグラメトリが主題というわけではなく「ワープする」という体験を表現したいと考えてつくったのですが、ポリゴンでつくったいかにも仮想空間なワールドでやるよりも、より現実感のあるフォトグラメトリのワールドでつくったことでより不思議体験感が増したのではないかなという意味で思い入れ深いですね。
─すごそうですね。実際に行ってみますか。
VoxelKei
龍さんに見てもらったことありましたっけ。
龍 lilea
来たことなかったかも。なので、今純粋に面白いとな思っています(笑)
VoxelKei
片方は上陸が難しいことで有名な、伊豆諸島の青ヶ島の展望台ですね。もうひとつは近所の神社のフォトグラメトリです(笑)
─このワールドはどこから発想していったのでしょうか?
VoxelKei
このワープ装置が最初です。VRChatに来る前に『SpatialGate』『HoleLenz』というOculusやHoloLens向けのワープ体験ができるアプリをつくっていたんですけど、『HoleLenz』用のゲートをVRに持ってきたのがこのワールドのワープ装置ですね。周りの歪んでいるような効果はVRだけのやつなんですけど。
─なるほど。MRでの体験をVRに持ってくるというのはなかなか倒錯的な感じがしますね。
VoxelKei
別にMRでしかできないやつではなかったんですが、たまたま最初につくったものがHoloLens用だったという感じです。これは実写の風景っぽく見えるフォトグラメトリだからこそ脳がバグるというか、実際こういう装置があったらこんな感じかもなーという体験ができるんでしょうね。
VoxelKei
あとは自分が動いてゲートをくぐる瞬間の「違う空間が重なっている」ような感じはVRでしか体験できなくて、多分映像で見ても分からないと思うんですよね。映画とかではあると思いますけど、実際に体験したらこんな感じなんじゃないかなーというのをつくってみたのが、このワールドですね。
─このワールドを公開した時の反応はどうでしたか?
VoxelKei
一番最初に公開した時はもうちょっと粗いスキャンで向こう側も青ヶ島ではなく行き着けのキャンプ場だったんですけど、色々な人が来てくれてすごい楽しかったですね。
向こう側にいる人とこちら側にいる人が手を合わせたりできて。するとすごいエモい画が撮れるんですよね。そういう、すごい楽しんでくれている様子を見ると非常に嬉しかった覚えがあります。
─なるほど。こうやってワープ装置を手で持ったりできるのは現実空間を自在に取り扱うような不思議な感覚がありますよね。
VoxelKei
フォトグラメトリを使うと現実の空間をすごいリアルにつくれるわけなのですが、そこでリアルな世界ではありえないことが起こるのが面白いと思っていたので、そういう方向で模索していた表現のひとつですね。
マヤカンとかの空気感を出すというのは現場の雰囲気を演出も含めて現実の空間以上に増幅してやろう、みたいな現実側に増幅させるという方向性だったんですけど、このワールドは現実的だけど現実ではありえないことが体験できる空間という方向性でつくられています。
─ただマヤカンも現実側に増幅することで逆に非現実的な表現になっているという点で「現実的だけど現実ではありえないことが体験できる空間」というのは共通しているように感じて興味深いです。
龍 lilea
マヤカンは神々しさすらありますもんね(笑)
わたしも銭洗弁天VRに桜を咲かせてみたりとか、そういう形で現実空間をアレンジするのはやっています。
「空間的にはリアルなんだけど、でもちょっとありえない風景」というものですね。VoxelKeiさんがつくるありえなさとは違うテイストのありえなさですけど。
川越の街をフォトグラメトリした「Kawagoe KoEdo」も、非現実的ではないのですが雪を積もらせたお正月バージョンをつくってみたり、一度つくったフォトグラメトリワールドをアレンジして楽しめるというのも面白いところなのかなと思いますね。
VoxelKei
「桜」も「フォトグラメトリでつくられた空間」もどちらも現実の要素ではあるけど、その組み合わせはレアだったり、現実では見れないレアな組み合わせを体験できるというのは面白いですよね。
龍 lilea
「ありそうだけど、実際にはありえない風景」がつくれるんですよね。
VoxelKei
完全に現実とは離れてしまうという方法もあるし、要素は現実で組み合わせによって非現実さを出す方法があるというのは面白いですよね。面白いですし、めったに見れないシチュエーションをつくったりするのには役立つかもしれません。
「旅行」としてつくるフォトグラメトリワールド──「Miyakonojo Civic Center - VRAA02」
─現実をひとつの要素として扱えるというのは非常に面白いですね......次は龍さんの思い入れのあるフォトグラメトリワールドについて伺えればと思います。
龍 lilea
銭洗弁天VRは第一作という意味では思い入れはあったんですけど、チャレンジが多かったという意味では制作に1年近くかけて大変だった「Miyakonojo Civic Center - VRAA02(以下、旧都城市民会館VR)」というワールドに思い入れがあるので、そこに行きましょうか。
─よろしくお願いします。
龍 lilea
このワールドでは演出をかなり考えました。
銭洗弁天VRは単純にはじめてのトライだったのでワールドとして公開すること自体を目標にしていましたが、もともとフォトグラメトリワールドをつくるなら「旅行の疑似体験」みたいなものをつくれたらいいなと考えていたんです。
龍 lilea
旅行って行く前の計画をしている段階とか向かっている途中も気持ちが高揚していく感じで楽しいじゃないですか。なのでその辺りの感覚もフォトグラメトリワールドでも体験できたらというのがあって、スポーン地点でメインの場所にどーんと出るようにはしてないんです。
─このワールドは4つの部屋に分かれたエントランス空間を進んでいくごとにフォトグラメトリの対象となった建築の情報が徐々に明かされるような構成になっていますね。
龍 lilea
あえてエントランス空間みたいな導入部をつくっていて、導入部では先の模型のように、このワールドにあるものの片鱗をちらっと見せるみたいなことをしています。
─旅行の時に現地に向かう時にだんだんと高揚感が増していく感じを思い出します。
「思い出」を残すための工夫
─このワールドをつくるきっかけはどのようなものだったのでしょうか?
龍 lilea
旧都城市民会館のデジタルアーカイブは元々、VR化する話はおろかフォトグラメトリする話でもなかったんですよ。
豊田啓介さんからこのプロジェクトにお誘いいただいたんですけど「デジタル芸大面白いよね」というところから始まったので、旧都城市民会館もレーザースキャンするということで誘ってもらっただけだったんです。
それが実際に現地に行くまでの間で銭洗弁天VRをつくって公開したら、あれがかなり注目されたみたいで「あれ都城でできない?」ということになって「じゃあチャレンジしてみますか」となったんですよね。その辺も偶然というか分からないですけど、予定にはなかったものがこうしてできあがったというのは色々な巡り合わせでできあがったんだなという意味では思い入れがある作品ですね。
─さきほどの「ワールドとして公開していたら、思わぬところからアイデアが生まれてきた」という話と共通しますね。
龍 lilea
そうですね。また、このフォトグラメトリは技術的にも色々なチャレンジをしています。
それまでは写真だけでフォトグラメトリするということをやっていたのですが、この作品ではレーザースキャンのデータと一緒に処理してフォトグラメトリを生成するということもやっています。はじめはそういうことができるらしいというのを聞いていた程度だったので、じゃあどうやるのかを調査するところからはじめたので、1年がかりになりましたね。
─技術的なチャレンジもすごそうです。ほかにもこだわりのポイントはあるのでしょうか?
龍 lilea
コンテンツ的な面では「思い出に触れられるクリスタル」がこだわりのポイントですね。クリスタルを展開すると、こういうコンテンツが見られるようになっています。
龍 lilea
これは「都城市民会館1000の記憶プロジェクト」というFacebookで行われていた企画で、このプロジェクトでは建物に対しての思い出の投稿が1000近く集まっていてすごい感動的だったんですよね。
「これはぜひ色々な人に読んでもらいたい」と思ったので、プロジェクトの管理人さんに問い合わせし、このギミックができあがりました。
都城市民会館には建物のジオメトリ的な面白さがあると思うのですが、さらにそこで実際に過ごしてきた人たちの思い出に触れられると、この建物をより愛着を持って見て回れるのかなと思ったというのもありますね。このコンテンツは結構反響もいいです。
─クリスタルはこのワールドのそこら中にあるんですよね。場所ごとに色々な思い出があるのが興味深いです。
龍 lilea
庭の方に池があるんですけど、池のところは池で思い出があるんですよね。
VoxelKei
ここ、はじめてきました。中しか見てませんでした(笑)
龍 lilea
思い出の中に、小学生だったかな、子どもが池に落ちちゃったみたいな思い出も投稿されていたりするので、池に配置するとより親近感を持って見れるのかなと。
インタラクトすると、水に落ちる音とかもするんです。全部ではないんですけど、猫の話をしているときは猫の声が聞こえるようにしてたり、演奏会の話の時には演奏されている音とか入れてたり、思い出に紐づいて結構細かい隠し要素みたいなのを入れてたりするんですよ。
─なるほど。気づきませんでした.....
デジタルアーカイブとして残すことが未来に繋がる
─次は旧都城市民会館の中心であるホールにやってきました。
龍 lilea
自分も久々に来たので懐かしい気分になっています(笑)現実ではもう更地になっていて、なにもないですからね。
─この建物は取り壊しが決定した建物をデジタルアーカイブとして残すというプロジェクトでしたよね。
龍 lilea
そうですね。VRChatに公開したことでソーシャル的な意味で集まって楽しめるという側面もあるのですが、このプロジェクトはそうした建築の保存という観点で学術的・教育的な価値もすごいあるのではないかというコメントもちらほら頂いたりしていて、フォトグラメトリをそういう価値として活用できるのもひとつの可能性かなと感じました。
龍 lilea
エントランスに模型を置いたのもそんな意図はあって、こうして1/1のスケールで見れるのもいいのですが、模型で全体を俯瞰して普通は見れないようなアングルでディテールとかも自由に見れるというのもすごい意味はあるのかなと思って、その分ポリゴン数とテクスチャも増えて重くはなっちゃうんですけど模型バージョンもあえて置きました。
本当は模型の断面表示などもできたらよかったのですが、VRChat上では実装が難しかったので断念しちゃっています。Meta Questのアプリとして出しているものは実装しているのですが。
─ワールドが公開されて反響はどうでしたか?
龍 lilea
この建物のことを知らない人は知らない人で「こんなカタツムリみたいな変な建物があったのか」と驚かれながら楽しんでいる様子は面白かったです。
Twitterで拡散されて、VRChatやVRを知らない人でも「あの建物今はなくなっちゃったんだ」「なくなっちゃうんだ」とか「デジタルアーカイブされたんだ、行ってみよう」と界隈を超えて反響が届くということを観測できたので、そうした反響は嬉しかったですね。本人だけではなくて、それを家族で楽しんでみたとか、そういうのも嬉しい声でしたね。
─現地に行かないと「建物が取り壊されてしまう」などの情報はなかなか伝わりづらいですからね。
龍 lilea
私はできるだけVRChatに限らず色々な人に体験してもらいたいと思っていて、どの作品でも可能な限りマルチプラットフォームにしています。
この旧都城市民会館はVRChat・cluster・styly、あとVRじゃないですけどELF-SR1などの立体視ディスプレイやwebAR、あとはMeta Questのアプリと、最もマルチプラットフォームで対応している端末が多いんです。つくるのは正直大変ですけど、なるべく対応しているプラットフォームを増やすことで色々な人に届いたらいいなと思ってつくりました。
VoxelKei
フォトグラメトリで一回データつくったら、色々応用できると思われがちですけど、最終的なデバイスによってフォトグラメトリをつくる段階からつくり方が変わったりするので、色々対応するのは大変ですよね。
龍 lilea
そうですね。VRChatのポリゴン数のままclusterに持っていってスマホ対応するのは厳しいので、ポリゴン数を抑えないといけません。それぞれ最適化は行っていたりします。
ギミックもSDKがそれぞれ違うので、体験としては同じですけど、仕組みとしては違うのでつくったりしなければならないとか、この辺は苦労したポイントですね。
「よくこんなんつくったなー」と我ながら思いますね(笑)
─龍さんはいくつものこうしたデジタルアーカイブをされていますが、実際に取り組む前と後で考え方が変わった部分はありますか?
龍 lilea
はじめは試験的にやっていたんですけど、広域なエリアや建物もデジタルアーカイブできちゃうんだと思いましたね。そして、実際にできると反響も大きくて、こういう風に活用できるんだというのが見えてくるようになりました。
フォトグラメトリをはじめてからは、なくなってしまう建物の情報が耳に入ったらアーカイブしに行きたいと感じるようになりましたね。なくなってしまうものでも今残しておけば将来的には何かに活用できるとかそういう可能性があると思っているんです。
たとえば今撮っておいた写真が5〜10年後にはフォトグラメトリとは違う技術で3D空間化できるということもあり得るので、それを見越して、なくなってしまうものはなるべくデジタルアーカイブを残しておきたいなとは思いますね。
─昔撮った時は何の変哲もない日常的な写真だったものが今では歴史的に貴重な資料ということもありますからね。まず残すことは大事だというのは確かにそうだと思います。
龍 lilea
焼失してしまった首里城を色々な人から集めた写真でデジタルで復元するプロジェクト「みんなの首里城デジタル復元プロジェクト」では世界中から3万枚近く写真を頂いたんですけど、そこで頂いた写真はフォトグラメトリ用に撮った写真ではないんですよね。
観光で友達と撮った写真とか、そういう日常的な写真から消失してしまった首里城が復元できたというのは技術的にも可能性を感じて、だからこそとりあえずアーカイブしようと思っています。
私たちが今想像していないような将来の活用方法があるかもしれないと思うので。
なぜ「人の痕跡」を感じるのか?──認知としてのフォトグラメトリワールド
─龍さんの対談記事を読んで改めて思ったのですが、フォトグラメトリワールドに来ると、今龍さんがおっしゃったように「懐かしさ」や「人の痕跡」を感じたり、基底現実側のある種の重さのようなものを感じるのですが、こうした感覚はなぜ沸き起こると思いますか。フォトグラメトリワールドをつくられている側のお二人の考えがあれば伺えると嬉しいです。
VoxelKei
完全に僕の意見なんですけど、何の夢もない言い方をすると完全に視覚だけの情報なので「錯覚」かなと思っています。
マヤカンに行くと「かつて人がいた感じ」みたいな感覚を受ける人もいると思うし、僕もつくる時にそういう感じを実際受けますが、それは実際に行ったときにかなり近いという意味での見た目からの錯覚であると思うんです。かなり近いというところまで再現できるからそういう雰囲気を感じることができているということだろうと思っています。
後はマヤカンであれば空気感だったり、表現としてプラスした味付けの部分も大きいと思います。ライティングだったり見せ方によって体験者が受ける雰囲気も変わってくるので、その辺の味付けの影響も大きいとは思います。そういう場の雰囲気を感じる不思議さというのは、そこから受け取る情報がかなり実写に近いからだと思います。
あとはVR空間に入っているからというのは大きいでしょうね。平面画像で見たら写真も動画もフォトグラメトリも一緒ですが、VRデバイスを使って空間に入ることでスケール感や空気感、周りの環境に対する自分というのを感じられるというところがそういう不思議な感覚に繋がるんじゃないかなとふんわり思っています。
─なるほど。
VoxelKei
あと、個人的な感覚なんですけど、海外とか行った時に「海外きたな~」と思うのは、空港で飛行機から降りたときの「匂い」で異国感を感じたりするんですよね。そういう部分は今のところVRには要素としてはまったくないので、そこは足りないところだと思います。
ただ、風や振動というのもまったくないので、視覚だけでもそういう不思議な感覚を味わえるというのは、人間が視覚に頼っているというのも大きいと思うんですけど、逆に言えば「フォトグラメトリ」と「VR」というものを使うと視覚の部分だけでかなり現実に近いレベルに持っていけるのではないかということが言えるんじゃないかと思っています。
─フォトグラメトリだけでは足りなくてVRが合わさったことではじめてそういう感覚を得られるということですね。
VoxelKei
同じフォトグラメトリでもVRに使うことでそういうメリットが引き出せるという感じですね。
龍 lilea
気配、面白いですよね。
人の気配を感じるきっかけではないのですが、フォトグラメトリとフルスクラッチの違いって壁の跡や落書きがあるとか、そういう人為的な汚れだと思っていて。
たとえば、汚れとか落書きをフルスクラッチでつくって、かなりリアルに描いたとしても、それって人の気配をあまり感じないと思うんですよ。空間自体は綺麗でリアルでゲームみたいなものだったとしても、なんとなく客観的に「制作者が意図して描いたものなんでしょ」って見方が入ってしまう。
そういうのに比べてフォトグラメトリの場合は、それを見かけた時にそれは制作者の意図じゃなくて本当に現地に残されたもので、それがリアルに感じられるあたりは生々しさや気配を感じるところなんだろうなと思います。ワールド制作者の意図がそこにはないから純粋に感じ取られる部分があるのかもしれません。上手く言語化できているか分からないですけど......
─フォトグラメトリがすさまじく進化して、フルスクラッチでつくったものとほぼ変わらないレベルになった時はどうなるんでしょうね。それをフォトグラメトリと知らずに体験したらどう感じるのか。今のお話だとある意味でフォトグラメトリだと知っているからリアリティを感じるわけじゃないですか。
VoxelKei
なるほど。逆に言えばフルスクラッチで極めてリアルにつくっていたら、それが現実にあったものなのか作者の意図なのかが分からないということですよね。
─それでもリアリティを感じるのか。フォトグラメトリだからそれを感じるのか、というところは気になりますね。
VoxelKei
フォトグラメトリだと、ちょっと崩れてたりとかぐしゃぐしゃってなっていたりするのが、逆に妙に現実っぽいという人もいましたね。
フルスクラッチでつくるとどうしても整いすぎている状態になりがちじゃないですか。それに対してフォトグラメトリはノイズが多いというかぐちゃぐちゃしているからリアルに感じるというところもあるのかもしれないです。
前からフォトグラメトリワールドが写真で、手でつくったモデリングのワールドは絵画だと思っているんですよね。モデリングしてつくったものって作者のさじ加減が入っているんだけど、フォトグラメトリは写真みたいな感じで映されたものがそのまま残っているのがいいところでもあるとは思っています。
「普通の人が普通の風景を撮って、空間を集めていく」未来──フォトグラメトリの認知度を上げるには
─最初にフォトグラメトリを取り巻く環境はかつてに比べて格段に取り組みやすくなったという話がありましたが、世間的な認知度についてはどうなのでしょうか。また、データの活用も徐々に広がっているのでしょうか?
龍 lilea
以前よりは増えましたが、まだ認知度も活用の幅もそこまで広がってないと思いますね。
設計事務所とかも「点群は持ってるけど、データはでかいし何の活用もできずに眠っちゃっている」というデータがあったりして、スキャンした空間はもっと色々なかたちで活かせるんだというのがもっと広まっていけばビジネス利用によらず色々な空間の活用の可能性ができると思います。
「Point Cloud Geidai」をつくった時に色々な人とコラボしてあんな面白い空間になると思ってなかったですし、私一人が頭ひねってアイデア出してつくったワールドには限りがあって、こういうワールド化をして「色々な空間の活用できますよ」というのを示せると、体験した人から「こういうことやっている人がいるんだ。自分は別の技術と組み合わせてあんなことできそう」と私が想像もしなかったような広がりも出てくると思うんです。
─なるほど。
龍 lilea
私もフォトグラメトリとレーザースキャン、GMS測量、ドローンなどいろんな技術の組み合わせはしているので、そういうかたちで色々な方向に活用の幅があるんだぞということを示すことで、デジタルアーカイブをしようという行為自体が一般に広がると思っています。また、一般的に認知されるようになれば「デジタルアーカイブしたい」となった時に共通の認識ができているのでスムーズに事が運ぶようになると思います。
現状では「なくなっちゃうのでアーカイブさせてください」といったところで「レーザースキャンってなに」「フォトグラメトリってなに」という人にはむしろ怪しまれちゃったりするので、どう役立てられる技術なのかなどは認知度が上がるといいなと思っています。
まだフォトグラメトリをする人というのも限られていると思うのですが、技術と端末が普及し認知度が上がれば、もっと個人個人がカジュアルにアーカイブして活用するということができるようになると思うので、その辺りの広がりは期待しています。
私がやっているのはそうした状況になった時に、この技術がどう活用できるのかワールドをつくりつつ模索、提案してみているという感じですね。
─VRChatを見ててもフォトグラメトリワールド自体はまだ少ないですよね。
VoxelKei
CGクリエイターが手でつくったファンタジックなワールドとか綺麗なワールドとかの方が圧倒的に多いですもんね。つくる手間を考えるとフォトグラメトリの方が簡単で敷居も低いはずなんですけど、数は圧倒的に少ないですね。
─確かに不思議ですよね。VoxelKeiさんはそのあたりはどのように考えていますか?
VoxelKei
フォトグラメトリでつくったモデルの出口がもうちょっと増えてほしいな思っていますね。
色々な人のフォトグラメトリワールドを繋げていく「ProjectJAPANELAND」というプロジェクトをやっているのですが、あれは「こんな場所に行ってみたんだよ」という地元の友達に撮ってきた写真を見せたり送ったりして土産話するみたいな、そういう写真の見せ方と同じようにフォトグラメトリが使われるようになってほしいなと思いからはじめたものです。
スキャンする手段はだいぶ増えてきたので、比較的手軽にできるはずなのですが、それを見せる手段がまだ少ない。スマホで見せるなら写真の方がいいはずなんですよ。わざわざスマホでフォトグラメトリしたモデルを見せてもいまいち魅力が生かせないという気がするので、それだったら写真の方がいいはずなんですよね。
─スキャンする手段自体は簡単になったけど出口がない。確かにそうですね。
VoxelKei
あとこれは普通に僕も気になっているところなのですが、撮影禁止の場所ではない観光地などの写真を撮ってTwitterやブログにアップしたりとか普通にするじゃないですか。その時に写真ならOKだけど、フォトグラメトリだとその場所を立体化することになるので、それを勝手にアップしていいのかという問題については僕も知りたいところですね。
ちゃんとした施設だったりしたらもちろん許可はいると思うんですけど、公園とかで普通にスナップ写真撮るのと同列にフォトグラメトリが扱われないと普及しないと思うんですよね。
「写真はOKだけどフォトグラメトリはよく分からないからだめ」みたいな風になってしまうと撮る人も活用する人も少なくなってしまって、業務用しか生き残らなくなってしまうと思っています。
「ProjectJAPANELAND」は「普通の人が普通の風景を撮って、集めていく」というコンセプトなんですけど、それも事例が少ないからよく分からない状態でやっているんですよね。龍さんはいつもきっちり許可を取ってやっていて安心だなという感じなんですけど、僕の旅先で撮ったやつはスナップ写真を撮る感覚で撮ってきて立体化するって感じなので、堂々と出していいのか僕も分からないんですよね。
龍 lilea
同じ迷いは感じています。たとえ法的にOKだとしてもフォトグラメトリが「プライバシー的にどうなの」というかたちで広がっちゃうのはあまり望ましくはないですね。
法的にもまだ整備されていないところだと思いますが、その辺が整備されないと誰でも気軽にスナップ的にアーカイブするというような雰囲気になるまでは、自分はまだ慎重にやろうというのが今の状況ですね。
─フォトグラメトリを相手が知らない場合は許可をとるのも大変でしょうし、やはりフォトグラメトリをするのは色々なハードルがありそうですね。
VoxelKei
もっと手軽にフォトグラメトリできるようになった時に「自分たちの土地を自分たちの力で立体化してアーカイブ化したりコンテンツ化することができる」というのが一番ベストだと思うんですよね。その土地の人が気軽にスキャンして発信してということができるようになっていくといいなと思っているんです。
やっぱりそのためにはフォトグラメトリしたデータの出口がもうちょっと明確になっていくといいのかなと思います。
龍 lilea
この前「みんキャプ」というコンテストを開催していたのですが、その時は「toMap」という、点群やフォトグラメトリデータ、glbをアップロードできるプラットフォームを使っていました。そこでは「地面に縛る」と書いて「地縛する」という言いかたをしていて、iPhoneでスキャンしたデータを緯度・経度を持ったデータとしてマップ上に配置することができるのですが、あれもひとつの出口のひとつかなと思います。
VRで公開するとなるとUnityで開発できないといけなかったり、なかなかハードルが高いと思うのですが、手元のデータをアップロードするだけで共有できるプラットフォームが広がっていくと、iPhoneなどで撮ったフォトグラメトリデータがもっと身近なものになって認知度が上がっていくきっかけになるのではないかなと思います。
─確かに純粋にフォトグラメトリの認知度を上げていくには、そうしたプラットフォームが有効そうですね。
龍 lilea
国土交通省のPLATEAU [プラトー]や静岡県のVIRTUAL SHIZUOKAの取り組みなどが出てきて「デジタルアーカイブされたデータはこうやって都市空間などに活用できるか」というのはビジネスサイドでは分かりやすく見えてきたりはしていますよね。
ああいうノリで個人レベルで盛り上がるようなプラットフォームが色々なかたちで出てくると、スキャンのしやすさという面で許可が取りやすいとかの恩恵が出てくるのかなと思います。
─フォトグラメトリ版instagramとか、あったらいいですね。
龍 lilea
そうですね。インスタ映えする写真を撮るノリでフォトグラメトリが行われるようになるといいですよね。
「生きた空間」をつくる──まだ見ぬ表現の可能性を模索する
─さきほども話に出ましたが、フォトグラメトリに対して「フォトグラメトリワールド」はまだ実例も少ないように感じています。最後に、これから「フォトグラメトリワールド」で表現してみたいこと、また1ユーザーとしてどんなものが見てみたいなどのお考えがあればお聞かせください。
VoxelKei
フォトグラメトリをそのまま使うだけではなくて、もう一歩進んだ使い方をしたいなと思っています。
これは八丈島にある唐滝というちょっとした秘境にある滝つぼのフォトグラメトリをカットしてガラス球に入れたやつなんですけど。
VoxelKei
フォトグラメトリってどうしても止まっているというか、撮影した時の状態で固まっているのでハリボテ感を感じるところがあって。
マヤカンの空気が流れている感じを出したのも、ハリボテではなく「生きた空間」に感じさせたいというコンセプトがありました。この唐滝のフォトグラメトリもそういうコンセプトで、フォトグラメトリなんだけど水が流れて滝が流れていてちゃんと時間の流れが感じられて「生きている」という感覚を満たしたいなと思ってつくったやつですね。
─水が流れることによって、本当に現実を切り取ってVRに持ってきた感覚になりますね......
VoxelKei
どういうワールドを見たいかというと、これのもっとすごいバージョンを見たいし、つくりたいなと思っています。
あとやっぱりフォトグラメトリをいくら頑張ってデカいデータをつくってもVRに持って来ようとするとどうしてもポリゴン数やテクスチャの解像度を小さくしないといけなかったりするので、それが惜しいですね。それはマシンのスペックが上がれば解決する話なのかもしれないんですけど。
これは安土城跡の山の中にある一角なんですけど、これくらいの局所的な場所ならこれくらい高精細にできるわけです。
VoxelKei
このレベルでもっと広いワールドというかエリア全体をつくったりしたいんですよね。今もデータ自体はつくれるかもしれないのですが、それをVRに持ってくるのが大変で、持ってくる時に劣化しちゃうので。
Unreal Engine 5とかが向かっている方向は、そういう処理を自動でゴリゴリやってくれるわけだと思うんですけど、それにしてもどっちみちテクスチャ容量の問題はあると思うので、そういう部分が解決されていくといいなと思います。
この高精細さでVR空間ができると、今のフォトグラメトリワールドよりもさらにレベルが上がるのではないかなと思っていて、そういうワールドは僕もぜひ見てみたいと思いますし、このリアルさのワールドにVRで入ったら、感じ方はどう変わるのかというのは気になりますね。
さきほど話していたように現時点のフォトグラメトリワールドでも人の意識とか場の重さを感じるなら、このくらいのレベルになったらそれが変わるのか、それともあまり変わらないのかというのを自分で感じてどう感じるのかを僕自身知りたいですね。
─なるほど。
VoxelKei
今の話は大層な話でしたけど、あとはフォトグラメトリの見せ方ですね。
フォトグラメトリって写真や動画に続くものだと思っているんですけど、写真とか動画は人類古来から、いかにフレームの中に収めるかでテーマだったり絵的にいい感じになるかを表現する技術が練りに練られているわけじゃないですか。
それがフォトグラメトリになると、今度は対象の空間をどういい感じに立体的に切り取るかが二次元でいうフレーミングにあたるものになると思うんですよね。その時に球形に切り取るかキューブに切り取るかとか色々あると思うんですけど、どう切り取ったらいい感じの見せ方ができるのかというところを模索していきたいと思っていて、これはその一環としてつくったものです。
─めちゃくちゃ面白いですね......
VoxelKei
切り取り方や大きさ・範囲で全然変わってくるんですよね。その辺のノウハウというほどではないですけど、写真や映像がそうであったように「こうやればいいんじゃないか」というセオリー的なものがこれから練られていくんじゃないかと、と思ったりしています。
─この部分を見ると空間を削り取って持ってきた感があって、すごく面白い表現になっていますね。
VoxelKei
あえてこの辺に壁を持ってきて削りとったかのように感じさせたりしていますね。
これも地面しかないよりはここに樹があって断面が見えた方が、より球体でくりぬいた感じが感じられるんじゃないかと思い、あえてここに幹を入れたりしています。
─確かにどこを切り取るかでまったく印象が変わりそうな予感がします。
VoxelKei
あとフォトグラメトリってセオリー的には直射日光が当たってない時がベストというのがあるんですけど、その時の光をそのまま記録できるという意味でもこの光の感じのフォトグラメトリも僕は結構好きですね。これは太陽が斜めから差し込んでいる感じをパッケージしたという感じを表現できるといいなと思ってつくりました。
─既に驚きの表現が模索されていて衝撃を受けているのですが......龍さんはいかがでしょうか?
龍 lilea
こういう作品をもっと見たいですね。「VoxelKeiさん新作もっと出してください」が期待することですね(笑)
ただこれは冗談でもなく、趣味嗜好・技術的にすごいとかそういうのに限らず色々な人が色々なワールドをアップして「ProjectJAPANELAND」が盛り上がってピンだらけになってほしいとは思っていたりします。
龍 lilea
別にフォトグラメトリが破綻していたとしてもそれはそれで味だったりするので、もしハイクオリティなものをアップロードしなきゃと思っているのだとしたら、それはもったいないなと思います。
私はモデルの整備を根詰めて頑張ったりしているんですけど、そういうのをしなくてももっと気軽に共有とか公開ができるようになるといいなと思っています。クオリティに限らずその人の見せ方でいかようにもなったりすると思うので。
シェーダーが得意な人はシェーダーと組み合わせて面白い見せ方というのはあると思いますし、シェーダーに限らずフルスクラッチなモデルとフォトグラメトリを組み合わせたり、アイデア次第で見せ方は色々なので、そういうのを色々見たいなと思っています。
そのあたりの一助になればいいなという思いで、フォトグラメトリ手順書みたいなのを公開していたりします。あれの場合は広域なので、少し敷居が高いかもしれないんですけど。
─VoxelKeiさんのさきほどのを見ると別にワールドにしなくても部分的なフォトグラメトリでもVR空間に持ってくれば楽しくなりそうですよね。
VoxelKei
僕も色々な何の変哲もない場所をこうやってコレクションしたいなと思っているんですよね。
─今まではその辺の公園をフォトグラメトリしてもしょうがないなと思っていたんですけど、こうやってフレーミングできるとなると撮ってみたくなりますね。
VoxelKei
フォトグラメトリでもタイミング次第では画になるというか、写真と同様で同じ場所で撮っても画になる時と画にならない時があったりはしますよね。
─広域は難しそうですが、これくらいのフォトグラメトリなら僕でもできそうです。
VoxelKei
趣味とか個人レベルで軽くやるという意味ではこういうのもありじゃないかと思いますね。撮影も計算も楽なので、つくるのも楽ですし。
龍 lilea
今やっている「フォトグラメトリワールドとして公開する」という活動はもし空間をアーカイブして活用したいという人がいたら、そういう人の敷居を少しでも下げる助けや楽しさや役に立てたりに繋がっていけばいいなと思ってアウトプットしています。
なので私たちのフォトグラメトリワールドや活動が多くの人の目に留まって、少しでも数多くの色々な人のフォトグラメトリを見れるようになるといいですね。
─フォトグラメトリワールドをつくることによって新しいフォトグラメトリワールドが生まれる。そうなったら非常に楽しそうですね。
僕も色々な人の思い出の場所のフォトグラメトリワールドを見てみたいなと思いました。今日は長時間ありがとうございました!
複数の写真や動画を解析し、3Dモデルを立ち上げる技術「フォトグラメトリ」。私自身はフォトグラメトリすること自体が目的となっていて、生成したデータをどう活用するかというところまで考えられていないことに今回のインタビューを通して気づきました。
お二人は徹底して「フォトグラメトリはどう活用できるのか」「色々な人にフォトグラメトリに触れてもらいたい」と考えながら、その媒体として「フォトグラメトリワールド」をつくっているのだということが分かりました。
VoxelKeiさんに最後に見せて頂いたフォトグラメトリの表現の可能性、龍 lileaさんがおっしゃるフォトグラメトリとして残すことでそれが未来に繋がる可能性をもたらすことなど、これからこの分野で新しいものが見れると気づかされる、わくわくするインタビューになりました。
まだフォトグラメトリワールドを体験したことのない方は、今回のインタビューで来訪したお二人の下記のワールドにぜひ行ってみてください。
また、端末をお持ちの方はぜひ自分の身近な風景をフォトグラメトリすることからはじめてはいかがでしょうか?私も改めてはじめてみようと思います。
「Mayakan VRC」Created by: VoxelKei(フォトグラメトリデータ制作:大西さん)
「SpatialGate Demo」Created by: VoxelKei
「Miyakonojo Civic Center - VRAA02」Created by: 龍 lilea
取材に協力していただいたVoxelKeiさん、龍lileaさん、ありがとうございました。また、紹介させていただいたプロジェクトに関わる方々、フォトグラメトリのベースとなる基底現実の空間に携わる方々に感謝申し上げます。
この記事が気に入ったらサポートをしてみませんか?