複合現実環境における輻輳眼球運動に基づく3次元視線情報の分析

2022年度研究会推薦博士論文速報
［ヒューマンコンピュータインタラクション研究会］

加藤 健太
（フューチャー（株）Strategic AI Group コンサルタント）

■キーワード
3次元視線計測／複合現実 （Mixed Reality）／ 奥行き知覚

【背景】実空間と仮想空間が融合したMR空間技術が一般向けに普及
【問題】仮想物体の計算上の位置と利用者の知覚位置とにずれが発生
【貢献】MR空間における物体の知覚位置と3次元注視点との分布特徴の分析を実現

　メタバースという言葉に代表されるように，仮想空間を利用するための装置や活用するためのサービスが盛んに開発され，一般向けに普及が進んでいる．仮想空間技術は，主に左右の目に対応した2つのディスプレイや，自己位置を計測するセンサを搭載したHead-Mounted Display （HMD） と呼ばれるゴーグルやメガネのような装置を介して実現されている．映像が立体的に見えるのは，両眼が水平方向に離れているために生じる見え方の差を反映した映像を，左右の目に対応するディスプレイに投影することで実現している．このとき，奥行き方向に配置が異なる物体を注視するには，輻輳眼球運動（寄り目のときに生じる目の動き）によって視野の中心に物体を捉える必要がある．特に実空間と仮想空間が融合した複合現実 （Mixed Reality; MR） 空間では，実際に再現するのが難しいモノや状況をより容易に作り出せるため，スポーツや産業での新しいトレーニング方法，プロダクトデザイン等で活用されている．

　MR空間を実現する装置はOptical See-Through HMD（OST-HMD）とVideo See-Through HMD（VST-HMD）の2つが利用されている．前者は，実空間に対してビームスプリッタという光学部品越しに仮想物体を間接的に配置するため，目の疲労感を覚えにくいが，仮想物体が半透明に見えるため，実物体との前後関係を正確に表現できない．後者は，実空間を撮影したカメラ映像に仮想物体を直接描画してディスプレイに投影するため，仮想物体と実物体の前後関係を正確に表現できるが，映像が視野の大部分を覆っているために目の疲労を感じやすい．

　このような装置は，200年近い歴史の中で研究開発が行われてきたが，依然として，実空間上に配置した仮想物体の計算上の位置と，実際に利用者が知覚する位置とにずれが生じる実用上の課題がある．この問題が生じる原因は，実空間や仮想物体を視聴するまでにいくつかのレンズを介しているために屈折が生じること，映像が視野全体を完全に覆っていないことなどが挙げられる．3次元の情報を持つMR空間を適切に評価するためには，当該空間上の物体を注視したときに，輻輳眼球運動によって変化する注視点の計測に基づいた分析をする必要がある．しかしながら，ST-HMDで構築されたMR空間で，3次元の注視点の座標を適切に計測する方法は十分に議論されていない．

　本研究では，MR空間を構築可能なST-HMD型デバイスにおける仮想と実空間の知覚位置を定量的に評価するために，ST-HMDでの輻輳眼球運動に基づいた3次元視線の計測装置を構築し，仮想と実物の物体に対する3次元視線の分布特徴について分析した．OST-HMDでは，ビームスプリッタ越しに仮想空間を実空間へ投影するため，周辺環境の違いや仮想のオブジェクトのサイズ変化による奥行き手がかりの違いが3次元視線に与える影響を評価した$${^{1）}}$$．VST-HMDでは，2次元の視線計測の精度が保証された市販製品を利用して3次元視線の推定を試み，注視点の3次元分布の空間特徴を分析した$${^{2）}}$$．これらの結果から，各装置や計測手法での特徴を明らかにし，より高精度に3次元視線の計測を実現するための補正手法を確立した．最終的にOST-HMDとVST-HMDとで，同等の仮想の視覚刺激を構築し，当該刺激に対する3次元視線の空間分布に基づいてその特徴を分析した．その結果，被験者から注視物体までの距離とそれを知覚した距離の差と同様に，注視物体までの距離と3次元視線の距離にも差が生じる傾向にあることを明らかにした．

参考文献
1）Kato, K. and Prima, O. D. A. : 3D Gaze on Stationary and Moving Visual Targets in Mixed Reality Environments, International Journal on Advances in Life Sciences, 13 (1&2), pp.104-113 (2021).
2）Kato, K. and Prima, O. D. A. : Relationship between 3D Eye-Gaze and the TrueDepth Measured by Vive Pro Eye, The The Fifteenth International Conference on Advances in Computer-Human Interactions (ACHI 2022), pp.30-34 (2022).

（2023年5月30日受付）
（2023年8月15日note公開）

ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
　取得年月：2023年3月
　学位種別：博士（ソフトウェア情報学）
　大学：岩手県立大学大学院
　正会員
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー

推薦文［情報環境領域］ヒューマンコンピュータインタラクション研究会
複合現実空間での物体知覚について，没入感や臨場感の観点から主観的な分析が多く行われているが，3D物体知覚の両眼視や動体視に基づく客観的な分析は発展途上である．本論文では，眼球運動による客観的分析実現のための3D視線計測システムを開発し，3D視線情報の解析を試みた貴重な論文であり推薦する．

研究生活　　研究テーマを決めたきっかけは，学部生のとき研究室の先輩が取り組んでいた，Webカメラで視線による文字入力を可能にする研究に衝撃を受けたことでした．視線計測によってできること，分かることについて知っていくうちにこの分野で研究がしたいという思いが強くなりました．結果的には博士号の取得に至るとともに，就職先からは博士課程での経験を評価していただき，これまでの知見を活かせる仕事に従事することもできており，進学してよかったと思います．

博士進学に対して，インターネットではネガティブな意見も散見されます．私自身も苦労する場面もありましたが，周囲のサポートもありつつ，一度きりの人生の過ごし方として，悔いのないようにとの思いでここまでこられました．同様に博士進学が皆さんにとっての悔いのない選択になることを願っております．

最後に学部の卒業論文から博士論文まで，ご指導いただいたPrima Oky Dicky Ardiansyah教授，学位審査会を通じて貴重なご意見をくださいました先生方，本論文速報への推薦をしていただいた小倉加奈代講師には心より感謝申し上げます．