Teams を使ったHoloLens 2とPCの接続テストの話
お世話になっている東京の会社さんからお誘いがあり、Dynamics 365 Remote Assistを体験させていただくことが出来ました。札幌にHoloLens 2は無いため（コミュニティから見わたして全く存在しない）、私はPCのみの参加で、HoloLens 2に対する支援をする役という感じで参加しました。
↑の記事が実際の運用の概要のようですが、具体的にどんな手順でどんな体験が得られるかについては分からなかったため、貴重な体験でした。呼ばれる側から分かったことをつらつらと書いてみようと思います。
（なお実機が無くTeams自体も初めての利用だったため、普通に間違っている可能性がところどころにある事をご了承ください。）
Teamsに喚ばれる
まずはゲスト召喚の対象として手続きをしていただいたようです。Teamsの会社グループからの私のメールアドレスに送られた招待メールに書いてあるリンクを踏んで、そこからアプリ起動をすると、マイクロソフトアカウントの作成ページに飛びました。アカウント持っていなければそこで作成してから、Teamsのデスクトップアプリにサインインすると、グループと同じ空間に加わることが出来るようです。（私は普段違うアカウントでMicrosoft Storeを使っていたので、新アカウントと作ったのに旧アカで誰も居ないTeamsを立ち上げてしまい、合流が遅れました。普段使いアカウントを一旦抜けて、新しいアカウントでサインインし直すと無事繋がりました。）
アクセス許可の確認がいくつか求められた後、チャットや通話ができる作業空間に繋がりました。ひとまずPC－PC間でビデオ通話してみて音響の相互チェックを行ってから、HoloLens 2が別アカウントでそのチームに合流し、私のPCに呼び出しをかけました。受信をOKしたら会議がスタートです。
視え方
ゲストから見た感じの映像はこんな感じです。HoloLensをかけた人が見ているであろう一人称視点映像を札幌の部屋で見る事が出来るものです。中央に浮かんでいる四角い窓は、Teamsのビデオ通話相手のPCのカメラ映像（つまり私）です。HoloLens をかけている人はこの画面を好きな場所に好きな大きさで配置することが出来ますので、私の姿を見たくなかったらめっちゃ小さくして足元とかに置いとけばいいですね('ω')踏めるし
たぶん画面共有とかで私のPCからデスクトップ映像などを向こうに送ればリアルタイムに資料提示とかもできるんじゃないかと思いましたが、試さず終わりました。
インタラクション
Holoの視界のどこに私を置かれていようが、支援者側PCからはHolo着用者に干渉することが出来ます。↑画像の上側にいくつかツールっぽいアイコンがあります。一番左側の矢印ツールを選んだ状態で、現在進行形で動いているHolo側映像のどこかをクリックすると、こちら側で時が止まります。止まっているフレームの中で矢印をワンクリックで打ち込むと、どうやらHolo着用者の視界にも同じ位置に矢印が配置されるようです。
PC側は、受信映像が一旦止まったまま編集が続けられるので、好きなだけホワイトボードの脚に矢印を打ち込んでやりました（） そして「編集を終了」（だったかな？)で、復帰させると大量の矢印が画面に映っています。『時は動き出す』ってのをやった気分ですね（←ジョジョ脳）。
東京のホワイトボードが最初の画像のように見えてた時に矢印を配置して、ホワイトボードの反対側に移動してもらったときにスクショしたのが↑の画像なんですが、赤矢印がほとんどホワイトボードの脚にちゃんと刺さっているところがすごい所です。こちらから見えているのはただの平面で、その中に映っている白い所を狙っただけなのに、東京のオフィスでは高々4 cm角程度の脚部分に矢印が当たっていたという事になります。
HoloLens が空間認識でホワイトボードの正確な形状を随時認識していて、着用者の頭の位置との相対的な位置を数センチ単位で算出できていないとこうならないはずなのです。さらに一個目の矢印を配置した瞬間にこちらの時は止まりますが、頭が常に動いているなかで配置が正確になるという事は、こちらからの時止めと頭からの画像取得の時間差がほとんどなかったということかなと思います（解釈が間違っているかもしれないけど）。
矢印は固定の大きさのようですが、その隣にあるペンツールを使うと、Holo着用者の視界に絵とか文字を任意に書くことが出来ます。マウスカーソルでPCからペンを動かしていって文字などを書きます。書いた先にホワイトボードなどがあるとすると、ちょうどホワイトボードの面とペン位置が向いてた方向の交点にインクが投射されているようです。ホワイトボードが斜めに向いていても、面に沿う形でペンの軌跡が張り付いていることが確認できました。壁も地面も同様です。（Mozilla Hubsにデスクトップから参加してVR空間内にペンツールで書き込んだ時の筆跡の挙動に似ています）
画像ファイルも投げ込めると教えてもらったので試そうとしたのですが、これはうまくいかなかったです。「OneDriveから投げる」というコマンドしか選べなくて、即席のゲストアカウントで入ったためファイルもなかったし、Office 365 businessの方のアカウントでもなかったので、できる事が微妙に少ない状態で繋がっていたようです。次回の確認事項です。
出来そうなことと課題
着用者とのコミュニケーションからの推測ですが、
・遠隔のPC使用者（作業支援者）が、例えば数センチおきにねじ止めされているであろう物体のネジの位置に矢印を置いておく
・裏側に回り込んでもらって支援者がさらに書き込んだりもできる
・ペンツールで危険区域を線で地面に書いておく
・画像を投入してマニュアルなどを見せる（試せてないけど）
・視覚でサポートできるので、うるさい場所でも機能しそう
・ノートPCに肉薄（20cmくらい）してもらえば、PC上のチャット欄の文字がギリギリ読める
くらいが1時間程度のテストでの印象です。
課題は、
・頭にくっついているカメラなので常に揺れててPC側は酔う
・Holo 2のバイザーの遮光が薄いので、PC側が見えている映像と、Holo着用者が視えている視界の間にギャップがあるらしい。（明るい方向に置いたオブジェクトはあんまり見えてないらしい）
・音声が断続的に途切れたりしていた。通信状況によるものなのか、こちらの音声環境によるものなのかは突き止められてない。
社内での反応を質問してみた
・遠隔支援の使用で困ったことはなんですか？
→非ITの現場で渡してみたら、Holo 2本体のトラブルが起きた時の復帰を諦めがち
・どうなると現場の人になじみそうか？
→セットアップの手間的な敷居の高さが抑えられると可能性が上がりそう
・海外拠点と日本で試したりしましたか？
→中国ー日本間でサポートできるのか試そうと思ったけどこの騒ぎで止まってる
との事です。
まとめ
一年くらい前から報告されていたような機能ではありますが、Holo 2になってメッシュ形状の取得がより精密になったのか（知らないけど）、書き込み位置の精度が想像よりも良かったことに驚きました。
会議開始までのセットアップのハードルが高いっぽいという点と、トラブル復帰の手順がシンプルになれば使いやすくなるのかもという点では意見が東京と一致しました。操作が難しいですよね。空間UIなので。
許可を頂いて動画とかをこっち視点で撮っとけば分かりやすかったですね（後の祭り）。Teams＋WinMRで可能性を試したかったんですが、音声周りで設定が手元でサクッと決められずそれは次回以降になりました。
雑感としては以上です。楽しかったです。実機ないけど。
（4/30 3179字 執筆60分）