外出時に持ち運んでいる物の情報を整理してみた話

jun

こんにちは、じゅんです。
Hokkaido MotionControl Network (#DoMCN)というHoloLens・VR技術好きの技術者コミュニティの勉強会を運営していて、開発者の知見の交流を促進しています。また、元・物性研究者として、研究機関に所属する若手研究者でxRに興味を持つ人を見つけてはHoloLensを被せに行き、開発者コミュニティへの橋渡しを行う事を続けています。これらを適切に表現する職名が無いので、勝手にScientist/Developer Relations と名乗っています。

最近、ワンフットシーバス田中さんから、「ガジェット雑談しようぜ～（意訳）」というお問い合わせがあり、自分の持っている/アクセスできるガジェットの情報を整理してみようと思いました。
今回の投稿は、2017年以降ちまちま集めているガジェットを用途別にリストしてみただけの記事です。これとは別に非公開版（さらに情報追加したもの）も整理していく予定です。

視る系（VR HMD）

PSVR1

私のVR関連活動のすべてのはじまりになった装置。
性能は略

Oculus Rift CV1＆Touchコントローラ

PCVRの沼に入った最初の装置。
性能は略
Mikulusをやったり、日本列島VRをやったり、Google Earthをやったり楽しかったです。

Oculus Go

スタンドアロンVRの入り口となった機材。
Oculus Roomsを使った遠隔コミュニケーションを試すために2台所持しています。
桜花広場も購入して、訪問先のオフィスで試したりもしました。

Lenovo Mirage Solo

ビデオパススルー機材の最初の入り口となったアイテム。
着けたまま外が見られるので、自転車を漕いだりSegway Driftに乗ったり危険な事を試していました。前面二個のカメラのパススルーの見え方の自然さがQuestのものより上回っています。

Samsung HMD Odyssey+ 

Riftの後継として購入。謎技術によってディスプレイの網目が目立たなくなりました。訪問先がVRChatとかに興味がある場合に持ち込んで今もデモに使用しています。WinMR＆SteamVRの環境にて使用。OLEDなので暗いところが見やすい。

Meta Quest2

Oculus Goの役割を継承。一番手っ取り早くVR初心者の人に世界を理解してもらうために活用しています。

HP Reverb G2 無印＆Omnicept Edition

日本HPさんからレンタルできる機会を利用してお試しさせてもらいました。
経緯や使用感などは以下記事へ。
検証などが必要な時にお願いしてレンタルできる関係を作りましたが状況が変わってしまったので今はどうか分からないです。

Pimax 8K

2022年にようやくコントローラが揃ったのでこんな後ろの方に。Odyssey+と併用でPCVRの体験提供に使えると思いますが、届く時期が遅すぎたので段ボールの中に未使用でしまわれている状況。視線検出モジュールも買ってあるのに使っていないです。

頑張ればアクセスできそうなVR HMD

・Varjo XR-3　
　エルザジャパンさん
・Lenovo ThinkReality VRX
　Lenovo 担当さん
気になっているデバイス
・Bigscreen Beyond

視る系その2（AR HMD）

Microsoft HoloLens

HoloLensコミュニティとの接点となったデバイス。個人で持っている人はあまりいないです。超異分野学会で野良デモしてたらバンド部分がついに破損してしまいました（コンピュータ部分は動く）。

Magic Leap One

協力先の会社さんが保有。お願いすると貸してくれます。

Microsoft HoloLens 2

初代より高額なので、札幌では初代よりも見かける事のないデバイス。5本指認識にグレードアップした＆視線入力機能も追加され、操作感がより直感的に。

Lynx R1

上3つのデバイスと比べるとこちらはビデオパススルー型のMRゴーグル。ハンドトラッキングはUltraLeap製。海外の展示会で好評なので、クラウドファンディングのリターンが早く発送されることを祈っています。

頑張ればアクセスできそうなMR/AR HMD

・#ぼろレンズ 
　きっポジさん
・だんグラ、ホログラス
　#大阪駆動開発 
・PICO 4
　地元の知人達
・Meta Quest Pro 
　地元の知人達
・Nreal Light
　地元の知人
・Nreal Air
　地元の知人
・Lenovo ThinkReality A3 
　Lenovo 担当者

・Magic Leap 2
　SB S＆C の担当者

・Tilt Five
　#AR_Fukuoka にて体験
気になっているデバイス
・Rokid Max
・MONOCLE(片目のAR表示器)

視る系その3 (裸眼立体視)

Looking Glass 8.9"＋Leap Motion 

レンチキュラーレンズを用いた複数人対応型の立体視ディスプレイ。Leap Motionのデモが動いたので、HoloLens被せる前のAir Tap練習の用途で持ち運んでいました。アクリルの部分が重く移動が大変なのと、空港で預ける時に不審物扱いされたりしました（それはそう）。

Looking Glass Portrait

8.9”からの進化版で、縦型になり薄型・軽量化しました。最近はもっぱらこちらを持ち歩いています。CPU内蔵になり、予め仕込んでおいた立体視動画を独立駆動させることも出来るようになったので、取り回しの幅が増えました。招待いただいたコミュニティイベントのロゴを勝手に立体化して置物を作って入り口に設置したりしています。

レンチキュラー名刺

上2つのガジェットの原理を説明するのに使いやすいので、製作しました。

頑張ればアクセスできそうな裸眼立体視デバイス

・Portalgraph
　去年夏のROBAさん一行のツアーに便乗して札幌でも体験会を開催し、札幌と小樽に1セットずつ導入されていることを確認しています。VIVE trackerを頭に付けた着用者の左目と右目に3Dプロジェクターでの映像を渡して、より広い範囲での立体視を実現するしくみ

・SONY ELF-SR1 
　付属のカメラで正面の1人の右目左目の位置を検出してそこに立体視を投影していくスクリーン。とても鮮明。近所に持っている人がいないですが、ソニーストア札幌に以前設置されていたのを見に行きました。

・Acer SpatialLabs Concept D
　4/25のML2体験会にて、こちらもSB C＆S遠藤さんの協力で実現。PCと一体化しているシステム。

・360°VRシアター
北大工学部にある円筒型スクリーン＋3Dプロジェクタ6台の新施設。夏に見学させてもらいに行きました。

撮る系（360°カメラとか）

RICOH THETA S

実写の360°映像を遠隔地に送るための基本アイテム。PCと接続して、RICOH UCS 360 VR Live(アプリ)で運用していました（大学スタッフ時代）。受け手側にも同名のアプリのインストールが必要だった点がやや不便でした。

RICOH R Development Kit

THETAと同じ用途で導入。こちらは外部電源が必要な24時間稼働タイプ。専用ユーティリティソフトを使って送信画像の明度調整が出来たため、暗所での360°運用に向いていました。

RICOH THETA SC Type HATSUNE MIKU

ノリで買ってしまったけど用途が被っているため出番無く保管されています。

RICOH THETA V

今外出先に持ち歩いているAndroid OSモデルです。上記の運用に加え、プラグインを用いて単体でのストリーミング配信を可能としています（RICOH Remote Field）。現在ではWifiルータとTheta Vを持ち歩くだけで、任意の相手に周りの360°生配信を送ることができるので、これの学術研究への活用を発展させたいと思っていたりします。

LINKFLOW FITT 360

首に引っ掛けるタイプの3眼360°ウェアラブルカメラです。スマホの専用アプリと紐づけて使用するものです。届いたあたりでコロナが流行っていて外出もできなくなったためほぼ未使用です。

アクセスできそうな360°カメラ

・RICOH THETA Z1/X
　リコーの中の人にお借りするルートがあるのかもしれない。

撮る系（両眼タイプ）

Lenovo Mirage Camera

Mirage Soloと同じ時期に出た、VR180と呼ばれる形式に対応した2眼カメラです。中央正面あたりの領域に立体視の効く領域を作りたいときに役立ちます。Portalgraphの映像素材もこの形式だったと思います。Looking Glassハッカソンが東京で行われたときに参加しに行って、このカメラで皆さんの製作物を記録しました。

Candao QooCam EGO

最近手に入れた中でのお気に入りです。こちらは魚眼レンズを備えないタイプのフルHD2眼カメラです。静止画・動画に対応しています。簡易ビューワが本体と私は考えていますが、撮れた動画の再生を本体＋ビューワの単体で立体視で人に見せる事ができます。今まで動画編集したりYoutubeにアップロードしたりの手間が発生してたのに、撮ってすぐ確認できるので革命的です。出先で体験したVR/MRゴーグルの中の映像をこのカメラで撮って共有することで、そこに居なかった人にも何となくの雰囲気を体験してもらえるようになりました。

撮る系（深度データタイプ）

Intel RealSense Depth Camera D435i

Looking Glassと組み合わせて何かやろうと思っていた記憶がありますがデモを動かしてみて終了しました。測距系＋ステレオカメラの構成になっていて、本来は深度が分からないはずのルッキンググラスの中の3D表示を深度情報として誤認する裏技も偶然見つけました。

Orbbec Astra Stereo S

産業用デプスカメラを買ってみて検証に使用しました。ボディトラッキングが出来るので何かに使えそう。検証後に配線を傷つけてしまったのか、その次の時にPCと繋いでも反応が無かったです。南無。

Azure Kinect Developer Kit

発表当時に札幌での体験会も開催してみんなで遊んでいたガジェットです。貸してくれた #TMCN 前本さんへの返却後、自分用も手に入れています。PCに繋いでリアルタイムの点群データを取り扱えるので、立体視デバイスと組み合わせる事が出来ます。RGBカメラが超広角＆NVIDIA Broadcastアプリから色味を細かく調整できることから、自分がweb会議する時のカメラとしても普段使いしています。

iPad Pro (2021)

LiDAR スキャナとして購入しました。iwamaさんの表を頼りに、3Dスキャン→空間のデジタルデータ化を時々練習しています。スキャン→処理の速度も5分とかからず、出先でいろいろな人に操作を見てもらっています。

気になっているもの
Orbbec Femto Mega

録る系（360°マイクや無線送受信）

ZOOM H3-VR 360º Audio Recorder

4つの指向性マイクを備えたモデルです。マイクの周辺の上下左右の音をそれぞれのマイクで集音し、空間音響として使えるようにするものです。ヘッドホン出力やライン出力に対応してて、その場で音の聴こえ方を体感することができます。

Zylia ZM-1＆ZYLIA Studio PRO

19の指向性マイクを備えたモデルです。より高精度で空間音響を収録できるとされています。PCとセットで使う運用です。まだ出番が来ないので、タンスにしまわれています。

DJI Mic

最近買ってみました。レシーバーと2個の無線マイクが同梱されており、マイクが拾ったごくごく狭い空間の音を無線でレシーバーに送り、人に送る＆PCに送るなどします。マイクから結構遠くまで送れる事が分かっているので、使い方を検討中です。

ウェアラブルポインティングデバイスなど

TAP STRAP

5本の指に振動センサー型の指輪をはめるタイプのキー入力デバイス。複数指の同時押しを検知するので、入力のバリエーションが2^5個だけあり、どの組み合わせでどのキー入力になるのか覚えられません（笑）キーアサインを編集するアプリもあるので、それで単純化して用途を限ればよさそうな気もしますが、物理キーボードをたたく時にも誤爆する懸念があります。

TAP STRAP 2

キー入力の仕様は前作そのままに、親指ユニット内に姿勢検出センサーがついたので、手首部分でのジェスチャ入力もプラスされました。軽量ARゴーグル＋スマホ＋これの運用とかありうるかなと思っていましたが、ARゴーグル側が揃っていないので保留中。

LITHO Controller

モーションセンサーを内蔵した空中マウスとして使えるデバイス。手のひら方向の表面がタッチパッドにもなっており、クリック操作も対応。操作に対して振動で反応するようになってて、操作感があります。Unity用のSDKが公開されていたので、自作ツールも作れそうです。試してないですけど。

ProLab Mouse

ウェアラブルトラックボールマウスです。姿勢検出機能は無いので、手の姿勢に関係なくマウスポインタの操作ができる感じです。コイン1個分のサイズなので、どこに付けるかによって印象がだいぶ変わりそうでした。

XR系機器は体験しないと分からない

　これはゴーグルに限らず、ウェアラブル系全般に係ることです。カタログスペックではよさそうでも、実際に使ってみると思わぬ落とし穴に気づいたり、一方で良い特徴に気づいたりもします。
　また、言葉でいくら説明しても、受け取る感覚が人それぞれでうまく伝わらないことが多いです（特に初見の人）。ですので、色々な人に触ってもらって機器への理解を深めてもらいたいと思っています。出張の際は、現地で会いそうな人が抱えていそうな課題に応じてピックアップした機器を一通り持って行って活用の機会を伺っていますので、付近の方はお声がけください。一回も使わずに帰る事もたくさんありますが、気にしないで運んでいます。
　札幌で体験させたい、けど場所が…という道外の方も相談下さい。電波暗室へのパスも構築しましたので、新しすぎるものについても対応できます。

自分自身の購入の傾向は実写のリアルタイム遠隔転送・体験の非同期共有

　現場の様子をおすそ分けしたい用途での360°撮影系をしつこめに揃えてきました。居ないのに居る、みたいな状況をどう日常に組み込んでいけるかを研究してきたのでリアルタイムの転送技術が結構好きです。
　また、体験のおすそ分けをしたい用途で、ARゴーグルなどのパーソナルな体験をどうやってアーカイブするかに関心があり、最近のQooCam EGOでの撮影方法には可能性を感じています。2眼の高画質で撮ったものを2眼デバイスで再生すれば立体感までなんとか再生できますので、現場に来てもらえない人に対しても時間差で体験を共有することが出来そうです。主観の視え方をEGOで撮っておいて、客観の視え方をAzure Kinectなので補完する感じでしょうか。
　研究の時、実験現場では音も意外と大事ですので（装置の故障とかに）、空間マイクも気にしています。
　空間を遠隔で共有する機器があるため、"MR装置を操作している自分の様子"を送信する環境もそろっている事になります。これはMRゴーグルなどの操作指導を遠隔で行う際にも役立っています。

（↑本当はこういうのを発展させていきたい人です）


（2023/5/4 初稿一旦公開 6218字 300min）