XRメタバースのプロトタイプを設計して、子供たちをバーチャル世界旅行に連れて行った話
REALITY株式会社の研究開発を担当する GREE VRStudio Laboratory リサーチインターンの山崎です。研究技術の社会実装に強い関心があり、前回のエントリでは、メタバース時代の触覚UXを六本木のミュージックバーで実証実験した学生の話。にて、オンラインライブの出演者が観客の存在をオンラインでも実感できる双方向化技術の実証実験について記しています。
本エントリでは森ビル株式会社が開催した KIDS' WORKSHOP 2021 でのワークショップ開発プロジェクト「みんなで（バーチャル）世界旅行」（以後KWS21）について、XR（クロスリアリティ）メタバースのプロトタイプの設計から本番の様子までを報告します。
KIDS' WORKSHOP 2021とは？
KIDS' WORKSHOP 2021はヒルズを舞台に未来を担う子どもたちに本物の体験を提供することを目的に2010年から森ビル株式会社主催で毎夏開催されてきました。
GREE VR Studio Laboratory では2020年から参加しており、2020年は WebVR の Mozilla Hubs を使った動画制作ワークショップを行いました。
KIDS' WORKSHOP 2021「みんなで（バーチャル）世界旅行」の誕生秘話について、森ビル株式会社の井上さんと GREE VRStudio Laboratory 白井ディレクターの対談記事はこちらになります。こちらもぜひご覧ください！
「みんなで（バーチャル）世界旅行」のUX設計
今回開発したXRメタバースのプロトタイプ「みんなで（バーチャル）世界旅行」は Zoom と Web ブラウザで動作するバーチャル世界旅行システムです。こどもたちは家から Zoom でワークショップに参加しながら、世界各地を仲間と一緒に自由に旅行する体験を楽しめることを意識して設計・実装しました。
バーチャル世界旅行で訪問した場所が、現実の場所であると認識してもらうシナリオ設計
例えば、東京から一瞬でフランスのモンサンミッシェルにワープして美しい世界遺産を見た体験をしたとしても、そこに到着するまでの過程が分からなければ「現実に行ける場所なんだ！」という実感が湧きにくく、「映像の中での出来事」になってしまうでしょう。
そこで今回は観光地だけでなく駅や空港にも力を入れました。ワークショップのスタート地点である「六本木ヒルズ」に集合して、ヒルズにある空港バス乗り場から→🚌 移動→羽田空港→🛫 移動→CDG空港→TGV列車移動→モンパルナス駅→TGV移動→モンサンミッシェル、のように、実際に移動する交通手段と同じ手順で目的地に辿り着くようなシナリオを設計し、要所要所で通貨の両替や買い物といった『ミッション』を導入して、「言語や文化がわからない」「迷子になる事を楽しむ」リアリズムと、未来感がある『ドローンバス』での移動を実装しました。
実際に六本木からモンサンミッシェルにたどり着くまでの旅路をご覧ください。
いかがでしょうか？東京からモンサンミッシェルまで、長い旅路を経て移動した感覚が表現できていたら嬉しいです！
訪問地で自由に行動し、一人ひとりの思い出を作る『探索モード』
勿論、訪問地での濃厚な体験も必要不可欠です。観光ガイドに載っているような風光明媚な景色や歴史ある荘厳な建築物の観賞は欠かせませんが、それと共に現地の街並みや住民の様子など、その場に行かないと体験できない「現地の日常」も旅行の大きな魅力です。
そこで訪問地を隅々まで自由に探検できる、『探索モード』を実装しました。
探索モードはGoogelストリートビューをインフラとしつつ、注目スポットに移動できるジャンプボタンも兼ね備えて、自由かつ効率よく訪問地を探索できます。
訪問地ではミッション（例：両替屋さんを探そう、お土産を写真に撮ろう）を出したり、アイテムを配置することで、参加者の自由度を保ちつつ、シナリオ制作者が見せたい場所へ自然に誘導することができます。
世界各地を仲間と一緒に旅行し、情景を仲間と共有できる『写真撮影機能』
せっかくリッチな旅行体験をしても、その体験を共有できる相手がいなければ、楽しみは大きく損なわれてしまいます。
そこで『写真撮影機能』を実装し、旅行先で撮影した写真を他の人と共有したり、それを画像ファイルとして保存して旅行後に家族や友達と旅の思い出と共に眺めて楽しむ、という体験を可能にしました。
この機能はXRメタバースにおける新しいUXとして重要な意味を持っています。XRといっても、ここでは「VR/AR/MR」というHMDの話ではなく「XR（クロスリアリティ）」つまり、現実とバーチャルの融合したリアリティを実現します。同時にワールドにいる参加者の存在を空間的に感じ、同じ空間にいるときにはアバターが映りこみます。近くにいる他のプレイヤーが写真を撮るときのシャッター音(SE)もちゃんと他のプレイヤーのブラウザで再生されます。SEが鳴ることで「何か大事なことがおきているな」という共感覚を設定でき、撮影された場所・回数によって子供たちの興味を高い精度で記録することができます。
またプレイ中のバーチャル空間に同じ目的地を選んだ参加者を示すアバターをリアルタイムで反映する『アバター表示機能』を実装し、一緒に旅行している感覚を演出しました。
この2つの機能により、誰がどこに居るのか一目でわかり、ガイドさんに付いていく、同じ場所で仲間と一緒に写真を取る、というインタラクションが可能となりました。
より深く実装技術に興味がある人へ
このバーチャル世界旅行システムはGoogleが公開している Maps Javascript API をベースに実装しています。以下のURLからで簡単なデモ（六本木ヒルズエリアのみ）が体験できますので、ぜひお試しください。
https://vibeshare-maptop-test.herokuapp.com/
ワークショップ本番
ワークショップ本番では全国から公募で集められた小学校5年生～中学校2年生の子供たちに参加していただきました。コロナ禍で海外はおろか旅行も自由にできない時代、今回はタイ・イタリア・フランスの各地に子供たちを連れて行くシナリオを用意し、ナビゲーターとともに3本並列で運用しました。
タイ・バンコクで「ピンクの象」に会いに行く
タイシナリオでは5.5トンの黄金の仏像があるワット・トライミットや、バンコク市内を一望できる丘の上に建設されているワット・サケットを巡りながら、最終目的地のピンクの象（ガネーシャ神）の前でお願いごとをします。海外旅行初心者にむけた設計で、観光地だけでなく、バンコクのスワンナプーム空港でお金を両替する、カオサン通りで宿を探す、といった、実際の旅行で欠かせない行動をミッションとして体験してもらうことで、実際の海外旅行に行ったらこんな感じ、ということを学んでもらいます。
タイシナリオの感想
バーチャルでも旅行気分🎵（小学5年生 Mikoさん）
タイに行きました。バーチャルでも旅行気分を味わえたのが良かったです。匂いとか味とかが分からなかったのは残念だと思いましたが、自分が好きなようにいっぱい写真を撮れたり、飛行機とかは普通は見れないコクピットで写真を撮れて良かったです。
友達がいるタイがどういう場所か分かってよかった！（小学6年生 ぜんピさん）
タイに行きました。日本と似ている場所がたくさんあって、ケンタッキーがあったり、人がまあまあ居たり、ショッピングモールがあったりと、あんま変わらないと思いました。タイに僕の友達が居て、どういう場所か分かったので良かったです。
思ったより日本と違ったタイ（中学1年生 NOBEさん）
タイに行きました。宗教が凄い独特で、動物を像にたくさん使っていたので、何故動物を神様として尊敬しているのか疑問に思いました。タイは日本とも近いしアジアなので文化も似ていると思ったけど、行ってみたら町も文化も違っていたので楽しかったです。
魅惑のイタリアベネツィア～宮殿と水の迷路～
イタリアシナリオでは街中に張り巡らされた水路が有名なベネツィアを舞台に、ゴンドラを使って水路を楽しく移動したり、サルーテ聖堂やドゥカーレ宮殿といったイタリアらしい華やかな建造物を見て回ります。シナリオの最後にはベネツィアの水路の水面の上昇・下降を題材に、地球温暖化に纏わる環境問題について参加者と意見を交わし、SDGsなども考えるきっかけを作れる設計になっています。
イタリアシナリオでの感想
地球温暖化で大変！（小学5年生 ひろさん）
イタリアのヴェネツィアに行きました。ヴェネツィアには世界遺産やきれいなところがいっぱいあるけど、地球温暖化で大変なことがわかった。地球温暖化について考えていきたいと思います。
水の都ならではの生活（小学6年生 Shunさん）
川がたくさんあって、家の入り口が船で行けるところにあったのが面白かった。また車や自転車が少なかったところが印象に残っている。今日旅行した、教会・宮殿の情報がわかりやすかった。コロナ禍だけど、バーチャルで旅行できたのが嬉しかった！
日本とイタリアの違い（中学1年生 Sophieさん）
ドゥカーレ宮殿が日本では体験できないくらい綺麗だったのが印象に残っています。日本は木造の建物が多いが、ヴェネツィアは石やレンガでできた建物が多いなと感じました。
天空の城へ！フランス電車旅
フランスシナリオでは天空の城ラピュタのモデルとなったモン・サン＝ミッシェルまでの旅を、フランスの高速列車TGVに乗り、フランスの西部の都市を寄り道しながら進んでいきます。メインのモン・サン＝ミッシェルでは古城を隅々まで探索できたり、荘厳な修道院や天空からの眺めがあったりと見どころ満載！TGVのターミナル駅であるパリ・モンパルナス駅から出発し、エッフェル塔があるビラケム駅やル・マン24時間レースの舞台であるル・マン駅、帰りにはディズニーランドがあるシェシー駅に立ち寄るなど、映えのある写真撮影と迷子になることを楽しめるような設計になっています。
フランスシナリオでの感想
実際に行く時のために いい下見になった！（中学1年生 Anaさん）
モンサンミッシェルの頂上からの眺め、エッフェル塔を下から見上げた大きさ、に感動。小さな街・ラヴァル、特徴的な家が多くて興味深かった。パリとモンサンミッシェルにまた行きたい。
フランス、実際に行きたくなる！（小学5年生 MAKOさん）
モンサンミッシェルの城下町、フランスらしい街並みが残っていてよかった。ディズニーランドのお城も日本とは違うキレイさがあって、実際に行きたくなりました。実際に行くなら、フランスの世界遺産を予習していきたい。
途中下車で歴史を感じた（小学6年生 KANさん）
フランス、モンサンミッシェルにいきました。クレープはフランスから来た食べ物だと知りました。TGVで途中下車したのですが、その土地それぞれの歴史があることに気がつきました。
ワークショップを振り返って
今回ワークショップを通して感じたことは、参加した子供たちが「海外旅行に行った」という体験を実感してくれたことです。ワークショップ中の子供たちが本当に初めてのものを見た反応をしていて、目を輝かせていたことが印象に残っています。
旅行後の感想でも、単に「綺麗だった」にとどまらず、「実際に行きたくなった」「もっとその国について知りたい」という感想が多くの子供たちから聞かれ、ワークショップでの体験がバーチャルと現実を繋ぐ架け橋となったことを実感しました。
開発者としての贔屓目線であることは否めませんが、このような感想が出てきた理由の一部に、空港や駅、移動モードを丁寧に実装した成果が現れているように感じます。こうした移動モードの有無で体験者の感想がどう変わってくるか、きちんと検証すると面白い結果がでてきそうですね！
また、イタリアシナリオでは訪問したベネツィアが直面している環境問題をクイズ形式で触れました。環境問題に直面している国や地域へのバーチャル旅行を通して、子供たちに環境問題について教科書で学んだことをより実感してもらう良いきっかけにもなったと思います。こうした学習効果は歴史や地理、その他の公害問題など、様々な分野で応用できそうです。
おわりに
今回は KIDS' WORKSHOP 2021 の舞台をお借りして、子供たちにバーチャル世界旅行を体験してもらい、バーチャルな旅行体験について色々な知見を得ることができました。このような機会をくださった森ビル株式会社様、事務局として尽力していただいたアガサス様に感謝申し上げます。
既にフォートナイトやマインクラフト、Robloxなどが子供たちの第3の居場所として普及しているように、これから色々なことを学び、経験していく子供たちにとって、XRメタバースは今のスマホのように当たり前の存在になっていくはずです。そんな彼らにバーチャル世界旅行を体験してもらい、「実際に行きたくなった」「もっとその国について知りたい」と目を輝かせてくれたことで、プロトタイプの方針が間違っていないことが分かり大きな収穫を得ることができました。
今後、コロナウイルスのような新たな感染症に限らず、こどもたちの学び（＝REALITYの将来のユーザ）にとってメタバース化は当たり前になってくると考えています。その中で旅行や学校教育などの活動も、オンライン・オフラインの利点を活かして実施される世の中も当たり前になるでしょう。誰もが簡単にオリジナルのバーチャル旅行やそのガイド、つまり「旅のしおり」のようなシナリオを作成できるようになれば、シナリオ自体を販売したり、それを使ってツアーガイドになったり、教材として歴史や地理、環境問題の実地学習に役立てたり、といった、「メタバース時代の、こどもでも作れるUGCコンテンツ」として旅行・教育産業へと繋がるポテンシャルを感じました。
さいごに：ディレクター白井より
山崎さんがラボで3年近く研究してきた触覚のエンタメサービス開発、熱狂共有技術「VibeShare」シリーズの集大成として、Webブラウザで子供でも利用できるXRメタバースによる『バーチャル世界旅行システム』（コードネーム: MapTop）を開発しました。この技術ははラボのUXプロトタイプであり、すぐにREALITYのサービスや製品に組み込まれる技術ではありませんが、KWS21実施後、オンライン学習の企業さんから旅行体験、英語教育、オープンキャンパスなどにこのバーチャル世界旅行システムを活用したいといったオファーもいただいております。直近では白井と山崎さんの母校である東工大とタイ・チュラロンコン大学との国際連携講義にも活用される見込みです。日本とタイの大学院生がこのプラットフォームを使ってどんなXR-UXやコンテンツを開発するのか楽しみです。
当初は山崎さんの開発するHapbeatという触覚デバイスをきっかけに「触覚をエンタテイメントサービスにするためにはどんな研究開発が必要だろうか？」という探求から、SIGGRAPH等の国際ステージでの数々の発表、ライブエンタメの最先端を沸かせるデモ、そして新型コロナウイルス感染症のリスクを乗り越えた上で、XRメタバースや子供たちの未来につながるPoCをたくさん作って発信することができました。KWS21での人件費や交通費、移動にかかる時間や事故のリスクを低く「行ったことがない場所へ人々を連れていく旅行体験」というコンテンツをユーザ側だけでも開発できる、現行のリアル・バーチャルの両方の良さを生かした設計は、幅広い方々にXR（クロスリアリティ）メタバースの魅力が提案できており、今後の可能性を大きく感じるところです。
さて、長く活躍された山崎さんですが、この冬から博士論文の執筆のためにラボのインターンを段階的に引退していく予定となりました。いままで長い間本当にありがとうございました！今後は今までの研究成果のとりまとめや、10月から始まった学生の研究開発応援プロジェクト「VTech Challenge 2021」 のメンターなどを通して後進の育成などもお手伝いいただきつつ、次のステップを探していくステージに入ります。山崎さんの今後のご活躍を応援するとともに、続くVRStudio LaboratoryやREALITYの後輩たちの熱狂的な研究開発をこれからも応援いただければ幸いです。
REALITY株式会社の採用情報はこちら https://reality.inc/jobs/
グリーグループの新卒採用窓口はこちら
新卒採用(2023年卒)もそろそろオープンだそうです！https://corp.gree.net/jp/ja/recruit/graduate/