「目は口程にモノを言う」VRの視線追跡について

視線追跡搭載型のVRヘッドセットを開発するFOVEに入社し、約1年半が経ちました。この間事業開発はもちろん、資本政策からプロダクト開発まで文字通り何でも屋として奮闘してきましたが、プロダクトのユニークさは日々感じる所です。

視線追跡の応用可能性は非常に幅広い一方、割とマニアックなため国内では情報が少ないと感じ、自分で発信してみる事にしました。

そもそもFOVEとは？

FOVEはゲーム内のキャラと意思疎通がしたいという創業者の想いが原点になっています。

現状、ゲームの世界に干渉するには何かしらのコントローラーを介す必要があります。しかしコントローラーでは限られたボタンや傾き、位置の操作でしか情報を伝達できません。一方で人間同士は声、表情、匂い、ボディーランゲージなど様々な言語/非言語を通じてコミュニケーションを取ります。この中で視線に着目したものがFOVEです。

例えばゲーム内のキャラクターに目を合わせると微笑みかえしてくれるなど、視線のベクトル・焦点に応じた挙動を定義する事で、ゲームの世界と人間はよりインタラクティブになります。

視線追跡は何に使われるの？

上述の様に当初はエンタメ向けを想定して開発されたFOVEですが、蓋を開けてみるとエンタメ以外の用途が沢山あることがわかりました。具体的な例をいくつか挙げたいと思います。

1. 入力インターフェイスとして

百聞は一見にしかず、まずはこの動画をご覧ください。

ユニバーサルピアノシステムは手や腕を使わずに目線だけで音楽を演奏できるシステムです。弾きたいコードに視線を合わせ、瞬きをする事で打鍵されます。

視線追跡技術は以前から手足が不自由な方の入力デバイスとして活用されてきましたが、VRヘッドセットを使う技術的な利点は主に2つあります。

1. 目と眼球映像撮影用カメラの相対位置が固定されている
2. ヘッドセット内は暗室のため、画像処理を行う上でノイズが少ない

上述の条件が揃うことで、高い精度での視線追跡が可能になります。目で映像内のオブジェクトを選択するには正確さが必要となるため、VRヘッドセットが最も適したデバイスとなる訳です。

2. 医療・ヘルスケア分野

目は露出した脳みそと言われるほど、脳の状態を表します。経験を積んだ医師は相手の表情から脳に何かしらの異常があることを見抜くと言われています。とは言え微細な目の動きの評価は医師によってバラ付きが生じる為、客観的にデータとして視線の動きを読み取る装置が必要でした。

Saccade Analytics社はVR視線追跡を診断補助ツールとして応用したカナダの企業です。目眩や前庭神経炎のケアを行うために目や頭の傾きのデータを取得しています。

Saccade Analytics - An Eye on Solutions

Leverage eye-tracking in virtual reality to deliver better care for concussions and vestibular disorders. Make objective assessments based on scientifically-validated metrics in just minutes. Provide interactive rehab targeted to each patient’s needs.
引用：Saccade Analytics社

一般的に医療分野で新技術を社会実装するには、エビデンス形成に時間がかかります。2010年代後半に視線追跡搭載型のVRヘッドセットが初めて世に出て以来、各国の研究機関は地道に基礎研究と臨床試験を進め、2019年頃から視線追跡を活用したソリューションが徐々に世に出始めています。VR is nowと言われて久しいですが、視線追跡もまさにこれからの分野なのです。

ちなみに、弊社ではこの視線追跡を活用した認知機能チェッカーを展開しており、アイセイ薬局に置かせて頂いてます。詳しくはwebサイトをご参照ください！

3. マーケティングリサーチ

マーケティングリサーチの技法であるデプスインタビューを行う際、ある場面で被験者がどこに注意を向けていたかを知りたい事があります。

例えば車のデザインに関するインタビューを想像してください。被験者は「エクステリアがカッコ良い」と発言したとします。しかしこれだけでは具体的にどこを見てそう感じたかが分からないため、デザイナーは改善点を特定できません。ところがこの発言が出た際に車体側面のラインを眺めていた事が分かれば、そこが評価されたポイントであることが推測できます。

別の例として、商品パッケージのABテストがあります。実際に商品棚に並べてABテストを行いたい場合、現状被験者を全員商品棚がある会場まで呼び、各パッケージを並び替えてテストする必要があります。しかしVRを使えば物理的な距離は関係なく瞬時に会場にアクセスし、パッケージもボタン一つで入れ替える事が可能です。交通費やテスト期間の削減につながります。

Squirrel_photosによるPixabayからの画像

4. トレーニング

熟練技術者の技能伝承は高齢化社会の日本においてどの業界でも課題とされています。技能伝承の難しさは特に暗黙知の領域にあります。熟練者が注意を向けるポイントやその所作は長年の経験で身に付いたことで、言語化が難しいとされます。

車の運転などもそうですが、安全運転に欠かせないのは操舵技術そのものよりも状況把握能力です。道路の状況は刻一刻と変化するため、信号、標識、車間距離、後方から追い抜こうとしているバイク、子供の飛び出し・・など目視すべき対象が山ほどあります。これらを文章やお決まりの映像で見せるのでは無く、VR空間で擬似体験する事で高い学習効果が期待できます。

Rudy and Peter SkitteriansによるPixabayからの画像

5. Foveated Rendering

VR界隈の方にとってはこちらが一番メジャーな使われ方かもしれません。人間の目は本来視点の中心だけ解像度が高く、周囲はボヤけて見えています。この視点周辺だけ解像度を高くする仕組みをFoveated Renderingと呼びます。

この技術のメリットは何と言ってもレンダリング負荷の低減できる点にあります。VRアプリは高性能GPUを必要とされますが、見えていない領域の解像度を低くする事でGPUパワーを節約し、その分ゲーム開発者は高画質なコンテンツを制作できる事になります。

6. 広告効果測定

デジタル広告が起こした革命の一つは広告効果が正確に測定できるようになった事です。ビジネスは基本的にリスク最小化の観点から予測可能な投資を好むため、ROIを計測・予測しやすいデジタル広告の市場は急速に拡大していきました。

将来人類が常時MRグラスをつけ、現実とバーチャルを行き来する時間が増えれば、広告の主戦場は必然的にXRにシフトします。この時、インプレッションに該当する指標が見た時間であり、その計測のために視線追跡技術は必須になります。

今はXR広告の市場が立ち上がっていないため効果測定のニーズは存在しませんが、これは必ず訪れる未来だと考えています。

まとめ

まだまだ本投稿で書ききれない応用例が沢山あるのですが、おおよそ上述の用途に集約されると思います。

FOVEは当初エンタメ領域に身を置いていましたが、現在は上記で挙げたようなto B領域にピボットしています。ヘッドセット販売のみならずアプリケーションを顧客と共同開発する機会も増えてきましたので、何かご一緒できそうと感じた方、こちらからお気軽にご連絡ください！