見出し画像

Hi5 2.0 VR Glovesを買ってみたので利点と使い方と諸々

Segment (gpsnmeajp)

これは何か

VRインタラクティブグローブのHi5 2.0を買ってみました。
これは、単純に言えば「ゲームエンジン(Unity)で使える指1本1本用のセンサーとグローブのセット」です

図の通り、手の甲と指先にセンサーを取り付ける構造になっています。
(必要に応じて、更に手首にVIVE Trackerやmocopi等を取り付けます。)

指1つに付き1つの9軸IMUセンサを取り付けることで、指の動きをかなり正確に取得することができる手袋です。
これにより、VR空間に手を持ち込むことができ、物をつかんだり、アバターの手を綺麗に動かすことができます。
このセンサーはIP66の耐水性能を持ち、無線接続で、5時間動作します。

単独では手の姿勢のみの取得のため、空間上の腕の位置まで取得する機能はなく、腕の位置を特定できるSteamVR対応機器やその他VR機器と組み合わせて使用することが前提となっています。

Perception Neuron 3の手袋センサのみを切り離したような構造のようです。

方式との比較

他の方式と比較するとどうか
・Valve Indexの静電容量式とはかなり違い、手の動きを正確に取得可能です。
　有利な点: 手に保つ必要がない・曲げの中間姿勢が非常に正確・指の開きを表現可能・スマートフォンや道具を取り扱い可能・防水性
　不利な点: 手に装着する必要がある・磁気等の影響を受ける・高価・対応アプリケーションが少ない・単独で空間姿勢を取得できない・ドリフトを起こす

・Meta Quest2やLeap motion等のカメラ方式はかなり正確に手の姿勢を取得可能なため、Hi5 2.0が優位な点と不利な点が混在します。
　有利な点: カメラ範囲外の大きな動きでも追従する・物陰等も関係ない・広い空間を自由に動くことができる
　不利な点: 手に装着する必要がある・磁気等の影響を受ける・高価・対応アプリケーションが少ない・単独で空間姿勢を取得できない・Meta Quest2で使用できない・ドリフトを起こす・手の形を常に完全再現できるわけではない

・1軸曲げセンサ方式の手袋(主に自作)とは、かなり差があります。
　有利な点: 9DoF IMUとアルゴリズムによりかなり正確に指を追従する・耐久性が高いことが期待できる
　不利な点: 磁気等の影響を受ける・ドリフトを起こす・価格

この記事について(ポジションの明記)

 私は個人Unity開発者であり、VMCProtocol、バーチャルモーショントラッカー、VaNiiMenu等の製作者です。そのため、「アプリケーションがないなら自分で作ればいいよね」という思いが入っています。

一方で配信者ではなく、VTuberでもなく、収益化している動画制作者でもありません。そのため、動画映え等についての考慮はあまりしていません。

本記事の執筆に当たり、各機材やソフトウェアは自費で購入しています。

注意点と、できないこと

このVRグローブは1セット約23万円します。
個人で買うにはかなり高価な類で、用途も限られます。

そのため安易におすすめすることはできません。
十分に情報収集してから購入を決断することをおすすめします。

まず、装着に手間がかかります。
12個のセンサーを個別に充電し、使用時にはグローブのポケットにそれぞれを正しい向きと組み合わせで入れる必要があります。
一方で、これによりセンサーの耐水性能と、グローブの洗濯・交換可能性を実現している側面もあります。
グローブそのものには電気的機能はないため、破れたり壊れたりしても最悪軍手などにセンサーを縫い付けても同等の効果が得られるでしょう。

1回あたりの使用時間が少ないのであればきちんと電源を切れば、ある程度入れっぱなしにすることも可能です。

指の曲げ姿勢に関して非常に高精細な情報が取得できますが、必ずしも手の姿勢を完全に再現できるものではなく、制約があります。
例えば、
・手をすぼめて親指と小指を接触させるなど、指の曲げのみで検出できない立体的な動き
・指の第一関節を曲げずに第三関節だけを動かすことで、先端角度を変えずに前後に動かす動き
など、手全体の立体的な動きは完全に再現できず、カメラ撮影による再現に必ずしも迫るものではありません。ただし、センサによる取得は安定しており、対応している範囲では中間姿勢もしっかり取ることができます。

得意な姿勢(左)と、苦手な姿勢(中央・右)

センサは磁気や角速度ドリフトの影響を受けます。時折再キャリブレーションが必要です。
指先に9軸IMUを搭載していますが、磁気コンパスとジャイロ利用しており、磁気コンパスは磁化の影響を受けますし、ジャイロは積分形の相対位置センサであり原理上ドリフトが発生します。具体的に言うと、指が曲がらなくなったり、あらぬ方向に曲がったりする現象が発生します。
旧Hi5と比較すると著しく改善されているとのことで、実際磁石搭載のスマホを持っても直ちに破綻につながるような動作にはなりませんが、だんだんおかしくなっていきます。
異常になっても、磁気コンパスの補正動作(手をくるくるする)をした上で、再キャリブレーションを実施すればたいてい安定します。(稀に電源再投入が必要なことがあります。)
これは、曲げセンサ併用方式のVRグローブであれば原理上発生しませんが、そういったグローブは非常に高価であることを付け加えておきます。

また、ソフトウェアが非常に少ないです。(旧Hi5のソフトウェアとの互換性はないようで、Hi5 2.0対応ソフトウェアを使用するしかありません。)
利用可能なソフトウェアについては後述しますが、実用ソフトは現在1つしかありません。

しかし私は購入しました。

何よりきちんとキャリブレーションした場合の手の動きが非常になめらかです。高価なセンサとアルゴリズムの力を感じます。

個人用機材としては非常に高価な部類ですが、プロ用機材としては安価です。
2023年1月現在に販売されていてすぐに入手可能なVRグローブの中では最安値の粋となるためです。

また、構造上耐水(IP66=あらゆる方向からの暴噴流に対しての保護)であり水没は無理としても多少の水濡れには耐えます。グローブと分離でき清潔であり、センサー間やPCとの配線もないため、手荒に扱っても壊れにくいことが期待できます。

他の選択肢
・Hi5 VR GLOVE BUSINESS EDITION - NOITOM
　旧Hi5、約15万円、生産終了。中古のみ。洗濯不可。磁気干渉に弱い
・Smartgloves - Rokoko
　17.5万円 + $20/month (リアルタイム出力が必要な場合。記録のみならFree)。一体型で有線・無線対応
・Contact Glove - Diver-X
　現時点で未発売 (6.5万円? + 開きモジュール(価格不明))
・Quantum Metagloves - Manus
　約85万円(5999ユーロ) + 開発者SDK13万円?
・Prime X Haptic VR - Manus
　約57万円(3999ユーロ)+ 開発者SDK13万円?
・その他データグローブ
　価格 要見積もり

アプリケーション

現状使用できる用途は以下の3つのみです。
・公式デモアプリケーション
　キャリブレーション・電池/磁気状態確認・VRで物を持つデモの3機能が搭載されています。
・Sknuckle 2.0
　VRMアバターの手を動かすことに特化したアプリケーションです。
　Hi5 2.0に対応している現状唯一の実用ソフトウェアです。VMCProtocol対応ソフト(主にバーチャルモーションキャプチャー)と組み合わせて使用することが前提です。

・公式SDK (Unity, Unreal Engine)
　SDKにより使用環境を自作することができます。

どこで買ったか

メーカーはNOITOMです。初期VTuberのモーションキャプチャー機材の定番「Perception Neuron」の製造元と言ったほうがよく知られているかもしれません。
中国メーカーであり、英語版サイトもありますが、本製品(Hi5 2.0)については公式中文サイトにしか情報がありません。

国内代理店は株式会社アユート様です。SDKや日本語マニュアルの提供・修理対応もここが受け持っており、逆に言って日本で正規品を入手するには、現状ここから以外の入手方法は(中古か個人輸入以外)ありません。
(一度問い合わせをしていますが、質問対応も含め非常に丁寧です。お試しのための貸し出しもやっているようです。)

国内での購入方法は主に以下です。
・アキハバラe市場(アユート様公式ショップ)で購入する
・ツクモネットショップあるいは物理店舗で購入する
・ツクモ・ユニットコム等の法人窓口で購入する

自分はツクモで購入しました。
(アユート様サイトでもNOITOM正規販売店として掲載されていますし、ツクモ側のメーカーリンクもアユート様になっているので安心)

開封

ツクモから到着した箱を開けるとこの様になっています。
購入時、NOITOMノベルティ(左)がついてくるキャンペーンがありましたが、本体は右です。
箱に記載の通り、Hi5 2.0本体と、Vive Tracker用バンドがついています。
Sサイズの他、Mサイズの追加手袋も入っています。
キャリングケースがついてきます。
充電用の台とケーブルはありますが、ACアダプタはないので自分で用意が必要です。
2つの充電台がセットになっている構造になっていますので、2口必要です。

使い方(装着と設定)

まず、充電します。
充電中は赤色で点灯しますが、充電が完了すると消灯します。
充電が完了したら、手袋に手早く装着します。
取り出すと同時に電源が入りますが気にしなくて大丈夫です。
センサーの側面に指の中国語名が書いてあるので、向きに注意して入れます。
挿入するとこのようになります。
VIVE Trackerバンドにトラッカーを取り付け、腕に装着します。


ドングルをPCに接続します。
接続と同時にPCのインターネット接続が失われることがありますが、
この後の設定をすると治ります。
Remote NDIS Compatible Deviceのプロパティを選択します
IPアドレスとサブネットマスクを設定します。日本語or中文マニュアルに記載の通りです。
これで設定は完了です。

ペアリングと電源オフ

・指のセンサーの色の点滅と、ドングルの点滅が一致していることを確認してください。
・点滅の色が一致しない場合は、センサーのボタンを2回短押しすることで切り替えて一致させてください。
・センサーが消灯している場合は、センサーのボタンを長押しして電源を入れてください。

使用を終了する場合は、以下の3通りの方法で電源を切ることができます。
・センサーを手袋から外して充電台に置く
・センサーのボタンを長押しして、ランプが赤色になるまで押し続けてから離す
・ドングルを外して通信が切れた状態で30分経つ　(これは失敗することがあるので非推奨)

注意: 使用を開始するにはSteamVRを導入し、起動可能である必要があります。
　もしVR機器を持っていない場合、バーチャルモーショントラッカーを使うことで起動することができる場合があります

磁気除去と暴れについて

まず、手を木製の机の上あるいは空中で静かに静止させ、数十秒待ちます。これで落ち着くことも多いです。

それでもダメな場合、両手を八の字を描きながらゆっくりを回し続け、そのまま身体を同時にその場回転します。
20秒以上掛けて行います。(詳しくはアユート様旧Hi5のページにあるビデオをご確認ください)

また、指がどうしても暴れて止まらない場合は、ソフトを一旦終了し、静かな姿勢のままソフトを起動し直すと落ち着くことがあります。(再ペアリング処理)

どうしてもダメな場合、電源を再投入すると治ります。

消磁手順の動画がありますのでそちらを確認してください(1.2 Hi5消磁教程)

デモアプリとキャリブレーション

アユート様ページより、Demo.zipをダウンロードします。解凍し、中のVivePro_Demo_V1.1.zipをさらに解凍します。

TableScene_Vive.exeを起動します。
起動時には、可能であれば机に手を置くか、手から外しておくなどして、センサーが認識されるまで静かな状態を保ちます。

※VR機器がない場合、Sknuckle 2.0に内蔵のHi5_2.0_Demo(デスクトップ版)を使用してください。

初回起動時はファイアーウォールの許可をしてください。
必ずパブリックネットワークも許可すること
この時点で手の形が変でも気にしないでください。
キャリブレーションすると直ります。

右で全センサーが接続状態(GoodまたはPoorであり、Signalが出ている)を確認後、CALIBRATIONボタンに視線を合わせて開始します。

正常に接続できている例

キャリブレーションは特定の姿勢にします。
公式にキャリブレーション手順の動画がありますのでそちらを確認してください(1.3 Hi5校准教程)

地面と平行に合掌するVポーズで開始します。
この後、時間で進むため画面にはしっかり注目してください。
キャリブレーションは数秒で完了します。
もし進行しない場合は、接続状態を確認してください。
60°ほどの角度をつけて合掌するBポーズ
Vポーズから腕の角度だけを変えます
親指と人差指を軽く触れさせるPポーズ
公式ビデオいわく、力まないこととのこと
正常に完了するとこの状態になります。

キャリブレーション完了後、HOMEに戻ると物をつかんだり、指の開き状態をオンオフしたりできます。詳しくは画面の表示や、左手のスイッチを確認してください。

またこちらの動画も参考になります。

Sknuckle 2.0

デモでキャリブレーションして正常に手袋が動作することを確認したら、そちらのアプリケーションを終了します。

その後、Sknuckleを起動します。この際、可能であれば机に手を置くか、手から外しておくなどして、起動が完了して10秒ほど経つまで静かな状態を保ちます。

VRMファイルを読み込み、キャリブレーションすると動作開始します。
VMCProtocol対応ソフトで読み込むことで動作します。

詳しくは公式の説明書やYoutubeチャンネルをご確認ください。

自分のアバターを読み込んでみた例


関連情報

今後色々開発していく予定です。

界隈での事実上の標準スクリプトらしいです。手直しするとHi5 2.0でも動作するとのこと

https://gist.github.com/neon-izm/395709df5af70021490625e4c03e59bd

汎用性の高いスクリプトその2

有料ですが、Sknuckleの開発版や、様々なレビュー記事があります。

Hi5 2.0 SDK

旧Hi5 SDKおよび SDK利用規約(中国語) (北京诺亦腾科技有限公司SDK授权协议)

SDK規約の場所
SDK内どこを探しても出てこないのはHP上のポップアップでしか出てこないから

英語版旧Hi5 SDKおよびSDK利用規約(英語)
UnityPackageの中にLICENCE.pdfが入っていたりいなかったりする

NOITOMの拠点は、中国・アメリカ(2箇所)・日本の計4拠点のようです。

おまけ情報: Androidでも動く

Hi5 2.0のドングルがなんでネットワークデバイスとして認識するかというと、Android系VRデバイスに対応するためのようです。実際、Androidスマホに差し込むと勝手に有線LANとして認識し、IPアドレスが振られますし、SDKもAndroid対応になっています。

デモにも、Focus3WristTrackerや、PicoNeo3の文字が書いてあります。Pico4とかでも動いたりするんでしょうか？Meta Quest2はダメみたいです。

スマホ(Rakuten Mini)では動いた。
・#ifのUNITY_EDITORをすべて削除
・HI5_Hand_Bind.GetInstance().BindTrackedObjectInfo();　をコメントアウト
して、Hi5_2_Package_Vive_V1.1.0.23.unitypackageのサンプルシーンをビルド


おまけ情報: どうしてもVMTでTableScene_Vive.exeを操作しないといけない場合

※こんなことをせず、Sknuckle2.0に同梱のHi5_2.0_Demoを使用することをおすすめします。

HMDをTracking OverrideでVMT_0に割り当てている場合、視線操作をデスクトップ上からできます。

RECONNECTボタン, I UNDERSTANDボタンの位置

CALIBRATIONボタンの位置