見出し画像

「Border between reality and phantasm - 夢と現のあわい -」について

Techonor

NewViewAwards2021応募作「Border between reality and phantasm - 夢と現のあわい -」についてどこかで制作記事を書こうと考えていたのですが、タイミング良く？STYLYのアドペントカレンダーを見つけたのでこちらに参加する形で書かせていただきます。
始めに前提条件として私ことTechonor(てこな)はXRの世界全般は好きで追いかけてはいますが、技術者でもデザイナーでもないのでその辺りはよろしくお願いします。
（今回の作品制作のために使用したツールUnityやRealityCaptureなどの話は出て来ますが技術記事ではありません）

今回NewViewAwards2021応募のために制作した「Border between reality and phantasm - 夢と現のあわい -」はフォトグラメトリーで舞台を制作して実際にそこで演技をしたアクターさんの動きを体験者自身が自らの意思を持って楽しんで貰うというものがコンセプトになっています。
まずはNewViewAwards2021のテーマ「ポストリアリティとノーノーマル」という言葉を自分なりに考えてみることから始めました。
そして「リアリティ=現実」「ノーマル=正常」とした時にこれはまさにXRの世界のことだと考えました。
まずはそのXRの世界を自分はどう考えているかをお伝えします。

昨今の世界的事情やMeta社の影響などもあって世間の注目がオンラインの世界へ向けられることが多くなりました。
今までは一部のテック系やゲーム系の記事でしか目にすることがなかったXRの記事を、一般紙の記事でも目にすることも増えて来ました。
とはいってもその実態は一部の先取りメディアの記者が「話題のメタバースを体験してみた！（Meta社のHorizon WorkRooms)」なんて記事を書くようになったくらいではありますが…。
そして実際のところ世間一般の人たちがオンラインさらにはXRの世界で長時間過ごすようになったという事象は残念ながら観測されていません。
一時ブームとまで言われた「Zoom飲み」も既に死語でしょう。
（「オンライン開催のイベントが多くの観客を集めた！」というように、リアルで開催出来なくなった代替イベントが多くの注目を集めると言うことは多数見受けられます）

VRChatのWorldクリエイターの集まり

ここで一応私自身のことを書きますと最初の(！)VR元年前からVRに興味を持ちその後対象をXR全般に拡げて界隈を追いかけ続けて来ました。
VRHMDを手に入れてからはNeosVR、cluster、MozillaHubs、VirtualCastなどの各VRプラットフォームに機会があればイベント参加し、普段はVRChatがメインになりますがそこで長時間過ごしたりもしています。
因みにSTYLYのイベントには過去オンオフ問わずに時間が許せば参加して来たのと、最近VRChatのワールド制作も始めたのもありそこからSTYLYのシーン制作にもチャレンジしてみようと今回の制作に至りました。
そんな状態ですっかりはまっていると言えるVRの世界ですが、私自身を含めた少なくない人たちが一体何に魅力を感じそこに時間とお金を投資し（これはいわゆる金融取引などの投資ではなく、必要デバイスなどの機材を揃えるための投資という意味です）日々楽しんでいるのでしょうか？
当然人の数だけ言葉が並ぶとは思うのですが、私的には「従来の世界に囚われない可能性がある」「人や物や事更には技術との新しい魅力的な出会いがある」「そこで生まれた感情をリアルタイムで共有（場合によっては再現）出来る」かなと考えます。
主役はあくまで自分自身であり可能な限り主体的に制限なく行動が出来て、更にはその体験の感動を一緒に共有出来るその様なものであって欲しいと思います。

作品の舞台となるフォトグラメトリーで制作した神社

さて大きな主語のお話しはここまでにして、あとは世の中の優秀な方々にお任せしましょう！

※一応念のためここからは先は作品の作者として最低一度は「Border between reality and phantasm - 夢と現のあわい -」を体験してから読まれることをお薦めさせてください - 題名のリンクから飛んでそのままブラウザで体験出来ます - ※

既にお話した作品のコンセプトに則りそこから作品をいくつかの要素に分けてそれぞれをどの様に構築し実装していったかについて述べさせて頂きます。
まずコンセプトを以下の３つの要素に分解して体験を設計していきました。
１、作品の体験者に主体的に行動をして貰う
２、構築された世界に興味を持って貰う
３、体験したことに違和感を感じて貰う
当然これらは完全に独立したものではなく相互に関係性を持っているものではありますが、便宜上分けて解説していきたいと思います。
※ここから今回使用した技術名など明記したりしてますが、全てassetなりを利用して実装しているので私が開発したものは一点もありません※

自由に行動をしていただくよう促すテキスト

１、作品の体験者に主体的に行動して貰う
一般的なVRで体験するコンテンツは周囲の映像が全て体験者自身の意思に基づいて切り取られてしまうために、体験者をどのようにして設計通りに誘導していくか腐心しています。
ライドアトラクションとして強制的にイベントを体験させる設計にしてみたり、視線誘導などを使ってなんとか設計通りにイベントを体験して貰うよう手を尽くしてみたりと苦労をしていると聞き及びます。
これは何周目かのVR元年である今日でも当然考慮するべき事項ではあるのですが、今回の作品の設計段階にはあえて組み込むことをしませんでした。
体験のスタートこそこちらが用意した手順を踏んでいただくようにしていますが、その後は体験者の自由にしていただいて構わないというようにしました。
体験者がどのような行動を取るかについてこちらからは一切制限をしないので、こちらも勝手に用意したイベントを展開するという手段を執りました。
さらには少々乱暴ではありますが、用意したイベントは途中で止めることも再度始めから見ることも出来ないようにあえてしてあります。
（当初はスイッチなどで制御する方法も考えましたが、問題も多かったのでこのような実装方法になりました）
但し開始当初の狭い空間と（実はレイマーチングという技術でスカイボックスを投影しているので実際の空間より遥かに広く見えます）視界を遮る扉があるだけだったものが、御札を握りしめた次の瞬間最初の空間は消失し扉も開いて消えてしまいBGMが流れ出すようにしてあるので「あ？なんだかわからないけれど、何かが始まった？！」とは感じていただけるように工夫はしました。
そして全く予告もなしに視界正面にアバターが現れて厳かに近づいてくるなり「よくぞ参られました」なんて声を掛けて来るので「え？何これ？」と興味を引いてもらえる展開を用意してます。
そこからはアバターがNPCとして立ち位置や体験者の取る行動を含めて案内をしてくれるようにしてあるのでそれに従っていただければコンテンツとして楽しめるよう作りました。
もちろんその全てをガン無視していただいても問題はありません…。
（悲しくはなりますが…）

RealityCaptureでのフォトグラメトリー制作画面

２、構築された世界に興味を持って貰う
VRはあくまで体験のための装置だと思ったりしているので、世界を紹介するにしても可能な限りテキストなどに頼らない手段がいいと考えています。
（単純にVRHMD越しに文章を読むのは大変というのもあります）
今回の作品の舞台であるフォトグラメトリーのモデルはおよそ一か月半ほどを掛けて、撮影からRealityCaptureでの出力とUnityからVRChatに持ち込むまでの作業をしています。
私自身はモデリングが全く出来ないので配布されているアセットを利用するか基本的なオブジェクトを組み合わせる以外にVRコンテンツを制作する術がないのですが、フォトグラメトリーでしたら撮影する機材と（今回はデジタル一眼レフカメラを使用して撮影をしています）PCとフォトグラメトリーを生成するためのアプリ（PC用のRealityCaptureのPay Per Input版を利用しています、PPI版は機能無制限で出力時に入力したデータ量に対して課金されます、出力するまでは全て試し放題！）があれば魅力的なモデルが作れるので今回の舞台に使用することに決めました。
きちんと計算されて撮影、構築されたフォトグラメトリーはそれをVRで自由に見ることが出来るだけで充分魅力的なコンテンツたり得ますが、今回の作品はNewViewAwardsに応募する作品になるのでテーマの解釈と合わせてもう一つの要素を加えることにしました。
それは今回の舞台である神社に住まう主と従者という登場人物が（あえてリアル寄りではないモデルを選んでいます、ワンオフではなく既存の公開されている中からイメージに合ったモノを選び許諾を得たうえで使用させていただきました）客人である体験者に対してアクションを取り更にその世界を紹介させるという芝居的な展開を用意することでした。
ヒューマノイドタイプとは言えリアル寄りではないしかも人外のアバターが体験者に対して声を掛け案内をしつつその世界を自ら紹介していくことで、体験者は「なるほど、ここはそういう世界なんだな」と説明はないものの納得してくれるようにしたつもりです。
そのことによってイベントが終了した後に舞台を見学する時に、決して特別ではない神社が（実際に町中にある普通の小規模な神社です）意味を持っているように感じられたら面白いなと思っています。

モーションキャプチャーで実際に歩く

３、体験したことに違和感を感じて貰う
フォトグラメトリーにしても人のように自動で動くアバターにしてもVRで訪れたり出会ったことがなかったとしても、映画やゲームで実物と見まごうばかりのCGグラフィックが当たり前のように使われる現代では「なるほど、VRで見るとこんな感じなのか」と思うことはあっても今更特別な感情をもたらす程のことはないかもしれません。
もちろん実物と見まごうばかりのクオリティや大規模な範囲を再構築したフォトグラメトリーであったり、常人では可能ではないアクションを見せたり精緻な高いクオリティのリアルなアバターが登場すればもはやそれだけで「これは凄い！」という感想を得られるかもしません。
ただ今回の作品に関して見て感じていただきたいのはその方向ではないというお話をしていきます。

今回の作品には前述したNPC（NonPlayerCharacterの略です）が二体登場します。
NPCとは生まれはTRPGのゲームマスターが操作する参加者以外のキャラクターなのだそうですが、現在のゲームの世界においてはその世界に住まう住人たちとしてゲームプレイヤーをその世界へといざない、プレゼンスを高め場合によっては共に旅をしたりはたまた敵として立ち塞がったりとゲームを盛り上げてくれる存在です。
私が親しんでいるVRSNSの世界では考えられるありとあらゆる世界が再現されているのですが、そこにNPCが登場することはほとんどありません。
それもあってかVRSNSのプレイヤーたちは自らNPCよろしくその世界に合ったアバターに着替えてロールプレイとして役割を演じて楽しむということが良くあります。
それはある意味正しいともいえるVRSNSの楽しみ方なのですが、当然独りでVR世界を散策する場合にはこのような楽しみ方をするのは難しくなります。
（実際に一人で散策する時にはカメラを画角や構図を考えてセットして適切なアバターに着替えて演技をしつつ写真もしくは動画を自撮りしたりすることはあります）

今回はSTYLYのプラットフォームが舞台のNewViewAwards2021なので、基本は一人で作品を鑑賞する形になります。
（先日実装されたセッション機能を利用すれば当然大勢でワイワイ鑑賞出来ますが、残念ながらあのアバターなのでロールプレイは少々難しいです…）
そこで運用は別のVRプラットフォームVRChat上になりますがそこに構築された世界の上で移動、演技したアバターの動きを記録し再び同じレベルで再生することが出来るHUMR（HyakuashiUdonMotionRecorder）を利用してNPCを制作しそれをSTYLYに持ち込む形を採用しました。
Hyakuashiさんが制作したHUMRはVRChat上のアバターの情報を詳細に記録し再生することが出来るので、アバターの癖、VRChatのIKの制御（IK=Inverse Kinematics、３ÐCGのモデルの動きを再現する手法）などなどに精通したヒトの動きを記録すれば極端な話その魂まで残せるのではないかと考えています。
（実際に現実で芝居を演っている方から「魂を見ました」というコメントを貰うことも出来ました）


そして今回モーションアクトをしてくれた古紫絢音さんは単にその動きの繊細さだけではなく指先まで動きに魂を込められる方であり、私が知る限り今回の演技をして貰うにあたって最高の技術を持った方でもあります。
更には今回VRChatに舞台となるフォトグラメトリーの世界を持ち込みそこで演技をして貰った訳ですが、実は一番の難関は「IKをサポートするアニメーションに頼らずに全て実際に身体を動かして演技をして貰う」です。
四方から死角なくモーションキャプチャー出来る設備を持った広大なスタジオを借りてモーションを録れる訳はありません。
古紫絢音さんにはVRChatがサポートしている６点トラック（HMDの頭、コントローラーの両手に加え腰と両足にトラッカーを装着してモーショントラッキングをする手段）を装備した上で自宅の空間（二畳程度と聞いています）で演技をして貰いました。
更には文章で説明を受けてもおそらく意味が通じないと思うのですが、演技しながら神社の本殿から鳥居の先まで途中の階段を含めて50M以上の距離を本当に（現実の世界でという意味です）歩いて貰っています。
細かい技術的な方法はここでは割愛させていただきますが、ここまでの話で「？？？」なり興味を持つなりしたら是非改めて今回の作品の演技を見直してみてください。
沢山の違和感を感じていただけるのではと思います。

従者のセリフ、英語及びスペイン語字幕

アクセシビリティについて
これは上記の作品のコンセプトや要素とは全く別に制作時には出来る限り盛り込みたいと考えていました。
と言ってもVR作品である（視覚的に訴える部分が主役になっている）こともあり最低限の対応として字幕を付けることにチャレンジしています。
今回日本の神社を舞台にしていることと声優さんの負担を考えてNPCが話す言語は日本語のみにしました。
（声を当てていただいたMiyokoさんには本当に感謝です。動きに合わせてアテレコをしていただいたのですが、声出しのタイミングとかきっちり合わせていただいたのでモーションや字幕の調整なしに組み込むことが出来ました！）

音声は日本語のみにしましたがSTYLYのサービスは世界に開いて発信していることも踏まえて英語及びスペイン語の字幕、更には聴覚的に問題がある方と日本語を学びたい方向けに日本語の字幕を付けました。スタート時に希望の御札を選択してそれを握りしめる形でセリフは日本語ですが、音声に合わせた３か国語の字幕が現れるようにしてあります。

今回の作品「Border between reality and phantasm - 夢と現のあわい -」は過去も含めた他の多くのNewViewAwardsの作品とは異なる方向性を打ち出そうと考えて制作しました。
芸術性とか作家性とか思想とかそういったものを問わずに私や古紫絢音さんが普段親しんでいるVRSNSの世界の一端を切り取って見て頂けるように考えて制作しています。
フォトグラメトリーにしてもアバターにしてもフルトラッキングの動きにしてもレイマーチングや周囲の雲海のシェーダーにしてもUnityのタイムラインでのアニメーション制作や制御にしても、技術として見た場合VRSNSの世界に住まうヒトたちにとっては当たり前のように存在している技術だったりします。
更には今回これを制作するにあたって多くの人が関り協力してくれていますが、企画の段階から人材の確保そして打ち合わせにモーション録りデバッグなどは全てVRChat上でつまりは各人が自宅にいるまま行っています。
こうした流行りのDX的な取り組み方なども含めてVRの可能性を作品を通して感じていただけたらと言う想いを最後に記して。
拙い文章ですが、読んでいただきありがとうございます。

この記事が気に入ったらサポートをしてみませんか？