見出し画像

ペンとVR HMDでスプレッドシートを操作する空間UIをMicrosoft・ケンブリッジ大学らと発表【#74】

dodo

今日のトピックはコーブルク応用科学大学らの研究紹介で、「VRヘッドマウントディスプレイ(HMD)とペンを利用して、タブレット端末でスプレッドシートを扱いやすくする空間UI」について。

―――――――――――――――――――――――――――

こんにちは、こんばんは。
VR/ARの会社を設立した大学院生(@iwhododo)です。
VRは注目の高い領域だけに、日々大量のニュースを目にします。
そこで毎日１つだけVRに関連したトピックを取り上げてお届けしています。
※ちなみに選定基準は100%の独断と偏見に基づきます。

毎日更新しているので、ぜひフォローしてチェックしてください。

【 おねがい 】
現在、大学生・大学院生を中心に友だち、サークル、バイトなど、コロナの影響で困っていることをヒアリングしています。ぼんやりとした悩みやご相談でも構いません。こちらまでDMいただいたり、noteにコメントを残していただければ幸いです！

合わせて上記アンケートにご協力のほどお願いします！
※もくもく会は勉強や作業目的で、複数人が集まって各自「黙々」と作業をするイベントを指します。リモートワークなどで集まる場合も同様です。

スプレッドシート向けの空間UI

ドイツのHOCHSCHULE COBURUG(コーブルク応用科学大学)、Microsoft Research、University of Cambridge(ケンブリッジ大学)の研究チームは、VRヘッドマウントディスプレイ(HMD)とペンを利用して、タブレット端末でスプレッドシートを扱いやすくする空間UIを発表しました。

VR/AR/MR領域における主要な国際学術会議・International Symposium on Mixed and Augmented Reality(ISMAR)2020に採択されています。

本研究はVRによって特に表計算アプリケーションの表示とインタラクションの強化を目的としたもの。Excelやスプレッドシートなどの表計算ソフトは広く使われているものの、特にモバイルデバイスでの操作性は不十分です。
また、VR空間での利用方法はパソコンの画面をそのまま持ち込んだものを操作するなど、これまで深く検討されてきませんでした。

実験概要

実験としてHTC Vive ProとSurface Pro 4を用いてGoogle Spreadsheetを操作。アプリケーションはUnityで作製され、ペンとタブレットの動きはOptiTrackのモーションキャプチャシステムで読み取りしています。限られた環境でのみ操作可能ですが、VRによって得られる没入感のある大きなディスプレイ空間と、飛行機の座席や狭い作業スペースでのインタラクションを両立可能にするアプリケーションです。

画像3

当然ながらPC同様の操作ではなく、ペンの高さを活用してメニューを階層式に表示したり、複数シートをまたぐ操作をしたり、視線とタッチ入力を利用して選択したりといったデバイスの特性を活かした操作を実現しています。

画像3

これまでモニターの大きさと長方形の形に縛られていた制約を解き放つことで、メニューやツールをより自由に配置したり効率的に操作したりすることにも繋がります。

実証結果と今後の研究に関して

画像2

検証のアンケート結果。
使いやすさ、有用性、おすすめ度と総合評価を5点満点でチェック。

特に高評価なのがCT: チャートへのトレンドラインの追加で、低評価なのがSE: 複数のタブ間での視線とタッチのインタラクションとなった。

今後の研究では、より複雑な複合タスクにテストを拡張していくほか、VR 共同作業においてVRを利用した操作がどのように機能するのかを探ることに関心を寄せています。例えば、複数のシートを操作する際に、異なるシートを操作している他のユーザーの手を可視化して共同操作の感覚を高めたり、他のユーザーとの共同作業を容易にしたりすることができます。
また、本研究ではペンとタッチのインタラクションに焦点を当てていますが、ペンとタッチの使い勝手や性能の比較も期待されます。

VRのみに最適化されたプロダクトのみではなく、現在あるサービスとの連携を考えることが実際に社会実装する際に大切な方針のひとつだと改めて認識する研究事例でした。

―――――――――――――――――――――――――――

World Maker Inc.について

World Maker Inc.ではAR・VRで新しい日常を探索していきます。
一緒に検証していただけるパートナーや開発メンバーを随時募集中です。
TwitterのDMや会社ホームページから、お気軽にご連絡ください。

特に現在Unityエンジニアor3Dモデラーを募集しています。学生も歓迎です

noteは毎日更新しています。昨日のトピックは「時給350円で接客スタッフが雇えるサービスと、これからの時代における遠隔での店舗サービス」。

明日も更新予定です！ぜひフォローしてマイペースにご覧ください。
過去のnoteはこちらにまとめています。

出典：Gesslein, Travis et al. “Pen-based Interaction with Spreadsheets in Mobile Virtual Reality.” (2020).

会社のみんなとドーナツ食べます。