Now in REALITY Tech #93 REALITY CON 2023 in Tokyoとアバターサイネージ
なかなか落ち着いた秋にならないな、と思っていたらあっという間に冬がやってきてしまいました。皆様いかがお過ごしでしょうか。紅葉を見に行きたいのですがなかなか時間が取れず、南国への旅行を検討しているようてんです。
今週の「Now in REALITY Tech」はUnityチームより、先日行われたREALITY CON 2023 in Tokyoとアバターサイネージの、主にはエンジニア観点でのお話をお送りします。
REALITY CON 2023 in Tokyoとアバターサイネージ
REALITY CON 2023 in Tokyoとは、先日2023.11.25（土）26（日）に東京スカイツリーのお膝元、ソラマチ スペース634で行われました、REALITYのオフラインイベントです。
アバターサイネージとは、そのREALITY CONの中での展示物で、「REALITYアバターを自分の動きにあわせて動かせる体験コーナー」です。
オフィスで動作確認を行なった際の動画を以下に掲載します。
/
— REALITY 公式 (@REALITY_app) November 16, 2023
自分のアバターを動かせる?!
『アバターサイネージ』をチラ見せ！
\
REALITY CONの大人気コンテンツ『アバターサイネージ』のテストをオフィスにて行いましたので、その様子をお届けいたします🎥
プロフィールから自身のQRを読み込んだら準備はOK！… pic.twitter.com/OtEroQwZDE
このアバターサイネージのシステムのお話と、実際の当日の運用の話を本エントリではつらつらと述べさせていただこうかと思います。
システム構成概要
アバターサイネージは、元々旧REALITY Studioのエントランスで稼働していた「Kinectを使ってVRMアバターで全身モーションキャプチャができる」システムに、「REALITYアプリのプロフィール画面のQRコードを読み込んでVRMを出力する」部分を追加したもので構成されています。
QRコードは(株)デンソーウェーブの登録商標です。
システムの構成要素と、特徴などについて説明します。
生産終了品であるKinect v2を使っているため、とてもインターネット上の情報が少なくなってきています。
Windows 10ではなんとか動作する模様です。Windows 11は避けました。
実際、今回最新環境でセットアップしたWindows 10 PC 4台のうち、1台のPCでは「Kinectが10秒に1回再起動する」問題が発生し、解決できませんでした。
REALITYアプリではなく、事情によりVRM形式を経由していますので、アバターの再現性が100%ではありません。
昨年は未対応のアイテムもいくらか出てしまいましたが、今年はなんとか逃げ切れたはず！
「1回もコーデを着替えたことのない方のサーバデータが不完全でロードできなかった」みたいなことはありましたorz
Kinect・モーションキャプチャアプリ・VRMエクスポータ・QRコードリーダ・サーバと複数の要素が直列に絡みますので、いかんせん安定稼働率は掛け算になります。「トラブルが発生した際にエンジニアでないと原因の推測が難しい」ことになりがちです。
QRコードリーダは「Webカメラ＋ZXing」のようなソフトウェア的鉄板の組み合わせもあるのですが、「Eyoyo PDF417」というUSB接続のハードウェアを導入しました。価格もおやすく大変オススメです。
スマホなどのディスプレイに対して数十cm離れた距離から安定してコードを読み込めます。
USB-HIDのキーボードとして動作します（他のモードにも設定が可能です）
1読み込み単位ごとの改行コードの指定や、さまざまなprefix, suffix文字列追加の設定が可能です。
キーボードイベントの取得にはUnityRawInputを利用させていただきました。Run in Backgroundフラグと組み合わせるとUnityランタイム/エディタにフォーカスが当たってない際でもキーボード入力を取得することができ、便利なやつです。
昨年からの変更点と、当日の運用について
システム面
とくになし、という表現が正しい気がします。ソフトウェア・ハードウェア構成ともにほぼ変更はありませんでした。
あえて挙げるとなると「アセットが2023年最新になっている」ことぐらいでしょうか。
運用面
「エンジニアは会場に待機しており、トラブル時には呼ばれて対応する（2022）」→「エンジニアはアバターサイネージコーナーに1名は張り付き、即時に対応する（2023）」
「5.5時間x1枠x1日」だった昨年と比較して、「1.5時間x6枠x2日」と制御単位・総時間が増えているため、トラブル発生時のリスクは上がっているな、と考え、メイン1＋サブ1の2名のエンジニアをアサインする形にしました。
「1当選枠に対して、最大4名まで利用可能（2022）」 -> 「1当選枠に対して、最大2名まで利用可能（2023）」
安定性やオペレーション時間の観点で今回は最大人数を2名に絞らせていただきました。
実態としては、「6人で3枠当選しているので、撮影者を4名配置して3回交代させてほしい」のようなチャレンジもあったりしました。「当選枠1つにつき最大2アバターまで利用可能」というルールの中では、原則がんばってみる形でやらせていただきましたがいかがだったでしょうか。
「ディスプレイ下部にKinectを配置（2022）」->「ディスプレイ上部にKinectを配置（2023）」
昨年はディスプレイアーム（？）やトラスの設計上、上に乗せられず下から見上げる形で配置となったのですが、今年は上から見下ろす形での配置となりました。
ボトムスの形状や色によっては足の認識が不安定のようなことは引き続きありましたが、空中に高く浮いて認識されてしまうケースは減らすことができたように思えます。
「PCの設置位置とQRコードを読み取る箇所は隣接（2022）」->「PCの設置位置とQRコードを読み取るアテンド担当者はディスプレイを挟んで左右別（2023）」
これは想定がなかったのですが、前日設営時に「展示物やイベント部の配信ブースの配置」と「電源系の物理位置」の都合により、気づいたらこうなっておりました。
慌ててUSB延長ケーブル（3m）をソラマチのビッ◯カメラに買いにいったのですが、元気に動作してよかったです。
その他よもやま話
撮影スマホ配置用テーブル
昨年挙がった反省点として、「ソロの方が動画をとるために地面にスマホを置いたりしていた」ので、それを回避するためにテーブルを用意させていただきました。
意図通り使っていただいてるケースもありましたが、当日はむしろ「荷物置き場」として活躍していたように思えます。
また映り込み反射ついては「アバターの背景色を黒から変更すれば改善されるのでは？」みたいな話もありまして、これについては「Kinectから卒業して作り直す際に一緒にどうにかしたい」と思っています。
2人同時体験をなんとか安定させるフロー
（Kinectのことをわかっている）エンジニアが試す分には安定していたためちょっと油断していたのですが、2人同時体験を安定させるまで、いろいろフローを改善しながらの2日間となりました。
（特に前半は）2名同時が安定せず、1名ずつの利用となってしまったケースについては申し訳ありません。
Kinectのトラッキング能力と今回のアプリでの実装により、「認識エリア内に入っている人数が変化した際に、Kinectに近い順に1人目, 2人目, 3人目…と認識される」動きになっていました。
そのため、ディスプレイ側からエリア内に入るこのような物理配置では、「後から入ってきた人が1人目として間違って認識されてしまう」トラブルが起きやすい状態でした。
これを踏まえて、最終的には上記写真のようなバミを作成しつつ、以下のようなフローとなりました。
1人目の方に入場いただき、荷物やスマホの準備後、【1】の位置に移動
骨格が認識されたら【2】の位置に移動して待機いただく
2人目の方に入場いただき、荷物やスマホの準備後、【3】の位置に移動
骨格が認識されたら、1人目の方に【4】の位置に後退していただいて体験開始
初見で制限時間がある中でお客様にお願いするには結構ギリギリのオペレーションかな、と思います。
もう少し安定してカジュアルに体験できるのが望ましいのですがこういう体験展示物はなんとも開発のコストとのバランスが難しいですね。
おわりに
当日その場での反応はもちろん、Xなどの投稿を見ても多くの方に楽しんでいただけたようで、ありがとうございました。
まだまだ余地はあるのですがそれなりに目論見通り改善もでき、2日間なんとか無事に運用できたのではないかと思っています。
次回こそは隙をついてKinectから卒業したいですね。また機会がありましたらよろしくお願いします！