ARグラスで商店街を水族館に / Tips
先日、MiRu place(筆者が運営しているVR/ARの事業です)の代表として、Nreal Lightという最先端のメガネ型のデバイス(ARグラス)を使用した屋外イベントのコンテンツ開発とイベントの運営に参加させていただきました。
先日ご紹介したソラ水族館
— daisuketaki@U. (@YUUU__jp) October 12, 2021
イベント情報を公開しました！
ARグラス(nreal light）を装着し
商店街のアーケードを丸ごとAR水族館にする企画です
予約受付開始です、奮ってご参加ください！
11/6-7 神戸@三宮センター街https://t.co/C9JfVvhnh8#078kobe #ar pic.twitter.com/ZfM6vJ5loL
空中を泳ぐ海の生物を見られる企画でしたがチケットは完売して大成功を収めました。
水族館というテーマがキャッチーだったことも功を奏したのか、老若男女問わず様々な方が参加してくださり、当日の反応もアンケートの内容もとても良かったです。
発展途上の技術であり事例はまだまだ少ないので今回の経験で得た知見を発信していこうと思います。
主にコンテンツのフレームワークのプログラミングと、親指と人差しを合わせることでライトを点灯させながら進む深海エリアの制作を担当しました。
ですが、ここでは当日にテクニカルサポートスタッフとしてイベントに参加して得た知識や小ネタを紹介しようと思います。
もちろん開発にも関係してくるような話はあるので少し長いですが最後まで読んでいただけたら光栄です。
Nreal Lightに関する技術的な内容は別に記事を書いていますので以下のリンク先から見ていただけたら幸いです。
一緒に開発させてもらって快く執筆の許可までしてくださった関係者様に心から感謝します。
イベント企画運営
株式会社U. daisuketakiさん
当日スタッフ
SAIちゃんさん
※神戸電子専門学校声優学科の方もボイスガイダンスを担当してくださりました。
もくじ
- Nreal Light(ARグラス)について
- イベント詳細
- 発生した問題と生み出された対策
1. 知られていなかったNeburaの裏技
2. 日中の屋外では見えにくい
3. 発熱によるシャットダウン
4. immersalによる位置合わせの盲点
5. ハンドトラッキングの落とし穴
- まとめ
Nreal Light(ARグラス)について
ARはカメラ越しにキャラクターを映すスマホのアプリなどでご存じの方も多いと思います。
そのARを画面越しではなくメガネ越しに映し出すことで立体的かつ本当に目の前に存在するかのように錯覚させるデバイスです。
発展途上ではありますがFacebookがARやVRを拡張させたメタバースと呼ばれる仮想空間に注力するためにMetaに社名変更したこともあって業界では注目を浴びています。
近い将来、このようなデバイスがスマートフォンの代わりに普及するとも言われています。
イベント詳細
参加者はNreal Lightを掛けて商店街を歩きながら空中を泳ぐ様々な海の生物を見ることができます。
約200mを4分割してDEPTH1からDEPTH3にかけて徐々に深くなっていき、深海を抜けたDEPTH4では光るクジラをはじめとする幻想的な世界が広がるようにしました。
Nreal Lightはスマホがベースなので、負荷を軽くしながらもどれだけ高い体験価値を提供できるかが鍵でした。
これまでの事例と比較しても珍しい規模かもしれません。
発生した問題と対策
1. 知られていなかったNeburaの裏技
Nreal Lightを使用するイベントを開催するにあたって、第一の問題。
それはNreal Lightを掛けている本人がアプリの起動を行わなくてはならないこと。
Nreal Lightのアプリはスマホのアプリなのに、スマホのホーム画面からアプリを起動してもNreal Lightが認識されずにアプリが正常に起動しません。
なのでNeburaというNreal Light専用のアプリを起動して、Nreal Lightを掛けている本人だけが見える画面でアプリを選択、起動する必要があります。
この時、スマホの画面は以下の画像のようなコントローラーになっているので第三者は何も確認することができません。
触ったことがある人ならまだしも、初めて触る人が大半のイベントの参加者に対してスタッフが画面も見ずに口頭で説明して起動してもらうのは少し難しいように感じます。
ちなみにコントローラーのホームボタンはNeburaのホーム画面に戻るだけなので、スマホのホーム画面に戻るために通常は本人がNeburaのホーム画面を操作してアプリを終了させるかNreal Lightを抜いてNeburaのMRモードを終了させる必要があります。
ですが、実は抜け道があります。
スマホの設定にもよりますが、コントローラー画面の下端から上方向に軽くスワイプしてください。
悪意のない雰囲気を醸しながら、ホーム画面に戻るUIがさり気なく下端に出てきます。
このUIにある真ん中のボタンでスマホのホーム画面に戻ってNeburaをバックグラウンドで開いたままスマホのホーム画面から起動したいアプリをタップするとNreal Lightが認識されて正常に起動できます。
この裏技を使用すればスタッフは参加者の人に画面が見えているかと音が聞こえているかを確認するだけで確実にアプリを起動することができます。
Neburaを起動した後にスマホのホーム画面に戻るタイミングですが、MRモードをタップしてNeburaのオープニングの音が聞こえたらスマホの本体が一瞬だけ振動するので、それが確認できてから上記の方法でスマホのホーム画面に戻ってアプリを起動するのがコツです。
皆さん知らなかったようで「知らない人も多いと思うので共有した方が良いですよ！」と言ってくださったのでご紹介させてもらいました。
-----
2. 日中の屋外では見えにくい
アプリの開発目的でNreal Lightを触ったことがある人なら恐らく知っているであろう問題。
日中でも屋内であれば問題なく見えるのですが、屋外だと3Dが薄れてしまうのです。
原因は単純に光なんですが、屋内や夜であれば鮮明に見えるのに屋外だと曇り空でも見えにくくなるので日光は感じている以上に強い光のようです。
現場は屋根付きの商店街だったこともあり、条件は良かったのですが少しでも良く見せたいと考案されたのがこちら。
少しわかりにくいですが、耳に掛けるテンプルと呼ばれる部分がないクリップ式のサングラスを糸で結んで装着しています。
こうすることで暗さを増加させられるので日光に負けず3Dが見えるという原始的な作戦。
これが割と効果ありました。
ただ、注意点としてはNreal Lightの左右と中心カメラを覆ってしまうとハンドトラッキングの精度が極端に落ちるので位置をずらして結ぶ必要があります。
また、クリップ部が使用中に擦れてNreal Lightのグラス部分に傷を付ける恐れがあるので試されたい方は自己責任でお願いします。
実際に一台だけ傷が付いてしまいました。
クリップ式のサングラスをNreal Lightの外側ではなく内側に入れて、糸で縛るのではなく鼻パッド部に引っ掛けて載せる方法も試してみました。
こちらは悪くはないですが、どうしてもクリップ式のサングラスが少し斜めになってしまうので足元が反射して映ってしまう問題がありました。
-----
3. 発熱によるシャットダウン
Nreal Lightはハイスペックなスマホだから動かせる代物で、かつ体験時間が最長50分という限界寸前の条件下。
負荷を軽くするよう気を付けていたこともあって開発時には特に問題なかったのですが本番前日に発覚したことがありました。
今回は特に参加者にスマホを操作してもらうことはなかったので落下防止も兼ねて画像に写っているポーチにスマートフォンを入れて首からぶら下げてもらう予定だったのですが、これがかなり熱がこもるようでDEPTH2ぐらいで何度もアプリが落ちました。
翌日までに可能な解決策としてスマホリングに紐を結び付けて首からぶら下げる作戦を提案したところ採用されました。
スマホリングを直接本体に貼らないよう注意書きがあったのでセロハンテープをかましましたが剥がれやすいので真似しない方が良いです。
最終的に直接貼ってみましたが熱の影響もあってか、2日目に何台か剥がれたみたいなのであくまで緊急の場合の対策として覚えておいた方が良さそうです。
ですがシャットダウンする確率は大きく減少しました。
あと、発熱の対策として予想外にも効果があったのが冷えピタでした。
熱暴走を防止するために、機材に冷えピタとか貼ってみるという、内部の暴走。#078kobe pic.twitter.com/qH6fdJg36Q
— SAIちゃん (@Saimmm) November 6, 2021
daisuketakiさん発案でしたが物は試しで貼ってみたところ、ほとんどシャットダウンしなくなりました。
これには思わず笑ってしまいました。
見た目は微妙ですが発展途上の技術の実験ということもあってか参加者の方からは特に何か聞かれたりすることはありませんでした。
別日で試しにスマホリングではなくポーチにスマートフォンを入れて冷えピタの代わりに保冷剤を入れてみたようですが効果は薄かったようです。
-----
4. immersalによる位置合わせの盲点
現実と3Dの位置合わせにはimmersalを採用しました。
DEPTH1からDEPTH4はそれぞれ別シーンとして作られていて、各シーンに数ヶ所のホットスポットを設けました。
商店街なのでホットスポットは店舗の看板になっていて、シーンが切り替わる度に参加者には指定した看板を見てもらうことで各シーンの海の生物が現れる仕組みにしていました。
これによって違和感なく位置の補正を行うことができました。
ですが、また本番前日に発覚したことで思わぬ盲点がありました。
夕方になると点灯する看板があって、点灯したら全く認識されなくなる事案が発生。
アプリがシャットダウンした時のために予備で設けていたホットスポットで対応しました。
確かな原因は不明ですが朝から夕方まで開催するイベントの場合は注意点です。
-----
5. ハンドトラッキングの落とし穴
本来なら手をNreal Lightの前にかざすと手を認識して操作したりできるハンドトラッキング機能。
沢山の参加者が来てくれたからこそ分かったことなのですが、どう頑張っても手が認識されない人が時々います。
原因は恐らくですが手もしくは指のサイズです。
最初に発生した方は華奢な小柄の女性でしたが、僕の手は認識していましたのでアプリ側の問題ではなさそうです。
別の時間帯で子連れで来られていた方がいらっしゃったので試しにお子様に手を出してもらって確認してみたところ、やはり認識しませんでした。
また、これとは反対に予期しないシチュエーションで手を認識して誤作動することもありました。
最初に人差し指と親指をくっつけてピンチ(摘まむポーズ)をすることで開始する演出があったのですが、何もしていないのに開始してしまうというものです。
ハンドトラッキングが手を認識さえしていれば先ほどの例とは対照的にかなり敏感で、ピンチしていなくても親指と人差し指が重なって見えたらピンチと判定されることが開発段階でわかっていました。
なのでピンチを約2秒間キープしているとピンチと判定するようにしていたのですが、それでも他の人の手を認識してしまったり、意図しない場面で手をNreal Lightの前にかざしてしまうことで不本意にピンチと判定されたものと思われます。
これも改善の余地がありますので今後の課題です。
-----
まとめ
色々とアクシデントもありましたが現場にも立ち会えたからこそ気が付いたことや得られた知識がありました。
これらは他のARグラスのイベントでも応用できることばかりです。
許可を取っていないのでお名前は伏せておきますが、事前に業界の著名な方々にも体験していただいてありがたいお言葉もいただき、参考になる貴重なお話も聞くことができました。
何より開発と運営を通じて色々な人と出会えたことが、かけがえのない財産となりました。
このような素敵な機会を与えてくださったdaisuketakiさんに心から感謝いたします。
今回の経験を活かしてMiRu placeでも面白いイベントを開催してXR業界を一緒に盛り上げていけたら幸せです。
イベントのアンケート結果の共有も許可をいただいているので、また別の記事にさせていただきます。
最後まで読んでくださり、ありがとうございました。
-----
メタバース(バーチャル空間)やNreal Lightのイベントの制作や運営など、VR/ARに関する様々なご要望にお応えする活動をしていますのでご興味があればお気軽にお問い合わせください。