見出し画像

立体視ディスプレイ×VTuber＝新しいプレゼンス -Loogking Glassを用いた会話体験「Portable Portal(仮)」-

癒色えも

先日、LINEヤフーグループのイベントスペース「Lodge」で開催された
「XR」をテーマにした体験イベント
「LODGE XR Talk Vol.16 Early Summer Special」にて

VTuberさんとその場で、ゴーグル不要・ヘッドフォンも不要でお喋りできるシステム「Portable Portal（ポータブル・ポータル）（仮）」を展示してまいりました😊

立体視ディスプレイでリアルタイムに「お互い顔を見て」お喋り可能。出演は「しいな」さん

今回はその体験とシステムの概要についてお伝えしていこうと思います♪


体験概要

立体視＋コミュニケーションがお手軽にできます

まずは展示のビジュアルをご覧ください😊✨

この時の出演は「黒崎こぎん」さん

たったこれだけの構成で、来場者のみなさまは
画面に映るVTuberさんとリアルタイムに「顔をお互い見ながら」お喋り等のコミュニケーションが出来ちゃいます😊✨

また、STREAM DECKのボタンから、映るアングルを切り替えたり
TwitterやYoutubeのQRコードをLooking Glass上に表示。その場でフォローやチャンネル登録も出来ちゃいます✨

先日の展示では、フォローやチャンネル登録してくださる方も複数人いらっしゃいました🙏ｱﾘｶﾞﾀﾔ

また「AR」ボタンでは、その時の出演者さんの「AR等身大パネル」を
アプリインストール不要で呼び出すことが可能なQRコードを表示し
スマホで読み込むことで、ARパネルを配置し写真が撮れます📷️✨

お喋りは勿論、ARパネルや「いいねボタン」等
インタラクティブな仕掛けを実装したことで、体験くださった方からはとても好評でした😊

スピーカーの出力も、実際に会場で人が喋るようによく通ってくれたので
なんと、出演者さんが展示デスクからそのままお客様の呼び込みもしてくださったりしていました。

「グレーのシャツを来たお兄さーん。ちょっと見てみて～♪」って
展示スペースから聞こえた方はビックリされたでしょうね笑
それもあって、そのまま体験くださったお客様は大喜び♪😊

Webカメラを通して、会場の様子もリアルタイムで見られるがゆえの
私も想像してなかった素敵な効果でした✨

出演者は1時間交代で計5人
・黒崎こぎんさん
・糸氏こももさん
・しいなさん
・サユリ＝ミナヅキさん
・iwamaさん
にご対応頂きました。ありがとうございました😊🙏

ハードウェア構成概要

さて、ここからはこのシステムの概要を説明してまいりたいと思います♪
まずはハードウェアからっ。

上記画像でも簡単に記しておりますが、改めて列挙しますと

・Looking Glass Portrait

これがないと始まらないっ。7.9インチの立体視ディスプレイです。
レンチキュラーレンズという「見る角度によって、違う画像が見える」仕組みで専用眼鏡がいらない立体視を実現しています。

リアルタイムでの3Dレンダリングは、色んな角度からの画像をリアルタイム生成しなきゃなので、今回の様なシステムですと、見た目よりPCに負荷が掛かります💦

発売は2021年。この分野のデバイスとしては比較的古い部類に入るものですが、最近のPCやスマホ等の性能アップにより、リアルタイムで表現できる幅が広がったことにより、再注目され始めている感触です。
今年はスマホサイズで解像度も上がった「Looking Glass Go」もリリースされましたので、これからが楽しみなデバイスです♪

・モバイルスピーカー

VTuberさんと「展示会の様な、ざわざわ騒がしい場所」でもちゃんと声が通るスピーカーということで探しました結果、以下のモバイルスピーカーを選びました。

結構いいお値段がしますが、普段使いでもいい音がしてQOLがちょっと上がって気がしますので「ヨシ！」です笑
お部屋で音楽を聞くのにもオススメですし、なにより展示会場で「呼び込み」ができるレベルの出力でしたので、文句なしの一品でした😊

・会議用マイク

スピーカーと同じくらい重要なのがマイク。
今回、できるだけハンズフリーで、完全なヘッドフリー（HMD無し）を一番大事にしてましたので「マイクを持ったりヘッドフォンを被らない」の大前提を守るため、できるだけ集音性能の高いマイクを選びました。

こちらも、なかなかお値段が張ります💦
しかも普段使いは、私が使う範囲ではできる場面があまり思いつきませんので、この企画専用のものとなります。もっと出番増やしたいですね…笑

喋る距離があまり遠いと、ノイズキャンセリングされるのですが
Looking Glassの立体感を感じられるくらいの距離でしたら概ね問題なく集音できましたので、十分な性能かとは思いました。

・Webカメラ

こちらは、普段遣い用のをそのまま持っていきました。

5年前くらいに買ったものです笑
この体験で使うのに、首振り制御等可能なものもあるといいかも？って思いました😊

裏側のハード構成

Mac miniを中心とした構成です

そして、展示では表でお見せしていない部分。
このシステムの全体を統括する役目として、Mac mini(2023 M2 Pro）でUnityを動かしています。Looking GlassやSTREAM DECK等もMac miniに繋いでいます。モニタはモバイルモニタです。

ハードとしては以上となります。
さてさて「Portable」の名の通り、本当に持ち運び可能なの？と疑問が湧く方もいらっしゃるかもしれませんね？

もちろん可能です💪
こちらのリュックの中にすべて入りました😊
（ちょっと重いですが💦）

左下のは、大きさ比較用の麦茶ペットボトルです笑

システム全体の概要・ソフトウェア概要

まずはざっくりシステム概要図を

設備概要と、データの流れをざっくり

まずは上の枠「遠隔地」とは、出演Vtuberさんのご自宅のことです。
VSeeFaceやWebcam Motion Capture 等のOSC送信機能付きモーショントラッキングソフトで、表情や身体のトラッキングデータをVPS上に用意した「モーションサーバ」宛に送信して頂いています。

モーションサーバ

OSCのモーションデータを中継するための仕組みで、node.jsで作っています。
Vtuberさんのご自宅から送られてきたOSCデータを受信するための「モーションレシーバ」と、展示会場PCに送るための「Websocketサーバ」の2つの機能で成り立っています。

サーバ、とある通り厳密には展示会PCがクライアントとなります。会場PCのIPが予めわからないですとか、そもそもポートが空けられない場合が殆どですので、サーバとして待ち受けし、クライアントにデータを送信する仕掛けにしています。

転送量を削減するための工夫として、OSCをバイナリ変換してから送る…等々の実装をしています💪

アバター表示アプリ

Vtuberさんのアバターを立体表示するためのUnity製アプリです。
アプリといっても、Editor実行ですが（苦笑）
モーションサーバから受け取ったモーションをリアルタイムで適用し、Looking Glassに表示しています。

モーションの適用は「EVMC4U」
ほんと、VMC関連ライブラリにはいつもお世話になっています😊
ありがとうございます。本当にありがとうございます…🙏

その他、STREAM DECKのボタンに応じてアングルを変更したりエフェクトを出したりの制御もここ。

また、Looking GlassのSDKそのままではアングル変更をリアルタイムに操作するのは難しかったので、そこは独自に実装しています。詳しく聞きたい方はDM等で🙏

STREAM DECKボタンが押された際はDiscordのチャンネルにメッセージ送信する機能も組み込んでいます。こちらはWebhookで。

Discord

音声・Webカメラの通話は実は全部Discordです。
下手に通話のシステムから作るよりは、ノイズキャンセリングやエコーバック防止等の仕組みがすでに揃っているのが、こういった展示会ではとても大きいのです。Krisp使えるのは本当に助かります🙏

以上が、システム全体の概要となります😊
もっと詳しく聞いてみたい方は、DMやVRC等で✨

実装期間

スキマ時間を使って、だいたい1週間～2週間くらいでした😊
そもそもの始まりは、手慰みで作ってみた「Looking Glass PortraitにVRM表示＋OSC中継サーバ」が始まりでして

これを見てくださった、LODGE XR Talkの主宰さんから「出してみないー？」というお声がけがあったのが6月初旬
そこからどんな体験が作れるか検討して「じゃあ出しますかっ！」と決意し申し込んだのが6月7日

そこから、出演でお手伝いくださる方を集め、体験の設計をし
お仕事の合間に実装し…
実装の間に新しいアイデア（STREAM DECK等）が思い浮かんだのが展示前々日…等…笑
久しぶりに、短期決戦な実装となりました笑

おわりに

あらためまして、お声がけくださった諸星さま
ご協力くださいましたVTuberのみなさま
そして、現地で体験くださったみなさま。
本当にありがとうございました🙏

今後もこのシステム、色々楽しい機能を追加実装して
また展示出来れば～って思っています😊

また、このシステム使ってみたい～という方はお気軽にTwitterのDM等でお問い合わせくださいませ♪

頂いたサポートは、私の学習や動画制作の機材等、活動費に使わせて頂いております♪