人はなぜVRに魅了されるのか？臨場感の構成要素と評価手法について調べてみた
本記事はSTYLY主催「XRアドベントカレンダー」17日目の記事です！
※本記事ではXRの実装等の技術的内容についてはあまり言及致しませんのでご了承くださいm(_ _;)m
はじめに
You誰？
メディア企業において、データ分析・データを活用したサービスの企画/推進/モデル実装を行うデータサイエンス組織のマネジメントを行っております。マイブームはカラオケ/最近購入した電子ピアノ(GP-310BK)/よいときOneを飲んで安心してお酒を楽しむこと です。
また、認知科学に基づくコーチングも提供させて頂いております。
ご興味がある方は下記もご覧くださいませm(_ _)m
さて、今回STYLYさんのアドベントカレンダーを書く機会を頂いたわけですが、私はXRに関しては素人であることもあり、技術的な記事というよりは、VRゴーグルを使ってみて、今回興味を持った臨場感について調べてみた内容をシェアさせて頂くという意味で記事を書かせていただくことにしました
この記事で書くこと
・VR初心者がMeta Quest 2を触って感じたこと
・臨場感とはなにか？（構成要素）
・臨場感の高さを測定する方法とは？
・臨場感研究のその先（超臨場感）
"今のVR"に出会う前の私
数年前、VR ZONEで遊んで以来VRに触れてこなかった私は、2ヶ月前までVRへに対する解像度が低く、こんなイメージを持っていました。
・テクノロジーの進化で画質がそこそこリアルになってきている
・ガジェット好きの方が界隈で盛り上がっているイメージ?
・まだVRがコモディティ化する未来は遠そう?
※書いてて恥ずかしい…
Meta Quest2との出会い
そんな私が、11月のある日、知り合いの家にあったMeta Quest2を何気なく触らせてもらう機会がありました
(遊んだソフトはナショナルジオグラフィックなど)
さわってみた感想としては、
・なんだこれ、VRってこんなレベルまで来とったんか・・
・こんなすげーものに今まで出会っていなかったんだ
・確実にこれの未来くる（どうくるかわからないけど直感的に）
正直、マジでびびりました（小並感）。「使ってみなければわからない」をこれほどまで痛烈に感じた体験は久しぶりでした。
※気づいたら帰りの足でMeta Quest2を購入していました笑
VRゴーグルで感じた臨場感
それまでVRに興味を持っていなかった自分が180度方向転換し、他人に「絶対買ったほうが良いよ！！」というまでに興味を持ったのはなぜだろう・・？
そう考えたときに
圧倒的な「臨場感」がそこにあったから
だと思いました。
映像は立体的だし、ぶつかったりものをもったときの反応も返ってくるし、耳に聞こえてくる音の感じもいい感じ。気づいたら自然と没入してしまっていた..そんな感覚でした。
コーチングにおける臨場感の重要性
ちなみに、私が提供している認知科学コーチングにおいても、「臨場感」は極めて重要な概念です。
というのも、コーチングにおいては
・「真にやりたいこと(want to)」をベースにしたゴール設定を行い
・ゴール設定によって、クライアントの認知を書き換える
ことでクライアントのポジティブな行動変容を起こすのですが、ゴール世界の臨場感を高めることが、ゴール達成をするうえで最も重要なファクターとなるからです
※ご興味がある方は、ぜひnoteを御覧くださいませm(_ _)m
臨場感について考えてみる
さて、Meta Quest 2を触って感じた臨場感とは一体何だったのか？
私が行っているコーチングにおける臨場感との接点もあり、臨場感について調べてみることにしました。
・そもそも「臨場感」とはなにか？
・どのような要素があると人は「臨場感がある」と感じるのか？
臨場感とは？
今回調べてみて、「臨場感とはなにか？」は、研究者によって様々な定義があることがわかりました。すべてを紹介するとそれだけで終わってしまいますので、ここでは最もベーシックな定義を紹介します
臨場感とは
「あたかもその場所にいるかのように感じること」
臨場感を感じるときの例
「臨場感」というワードから連想される感情や、臨場感を感じるシチュエーションについて、下記のような調査結果があります。
出典：認知科学からみた臨場感の創出
出典：認知科学からみた臨場感の創出
上記にもあるように、例えば、映画を見て汗をかいたり鳥肌がたったりしたり、感動する小説を読んで、涙を流したりするときに人は「臨場感」を感じます。
ただ、この時、実際に人は映画や小説の中にいるわけではないので「今ここにいる物理的現実世界よりも、映画や小説の世界の臨場感が高い」というような言い方をすることができます。
（本文とは直接関係ありません）
人間は「物理的現実」を見ているわけではない
そもそも人間は視覚・聴覚・触覚等の感覚器を介して現実を捉えていますが、実際は（カントが「悟性のアプリオリな形式」と呼んだ人間の認識機構の仕組み）感覚器のフィルターを介す現象を認識しているにすぎず、物自体を認識しているわけではありません。
実際、人間の感覚器官で受容している情報量は、現実そのものよりも減っています
例: 視覚が検出する電磁波の波長は 380～780nm（一部）
例: 聴覚が検出する振動の周波数は 20～20,000Hz（一部）
※ @segurさんのnoteより引用させていただきました
つまり、
脳は物理的現実世界そのものを現実と認識しているわけではなく、脳内で「臨場感が強い」と感じた情報を現実と現実として認識し、採用する
ことがポイントとなります。
臨場感の構成要素・評価指標
ここからは少し各論に入って、「臨場感の構成要素とはなにか？」「臨場感の高さを評価する方法は何か？」について記載します。
臨場感の構成要素と要因
何をもって「臨場感が高い」と評価するのかには様々な研究があります。ここでは構成要素と要因についての研究の一例をご紹介させてください。
（参考：臨場感の知覚認知メカニズムと評価技術 ）
上記論文によれば、臨場感は複数の要素の複合体として捉えることができ、下記３つの構成要素が存在します。
(1)立体感、質感、包囲感と呼ばれる空間的な要素
(2)ものの動感や同期している感覚といった時間的な要素
(3)自己存在感やインタラクティブ感、情感などを伴って自分自身がそこにいるように感じる身体的な要素
また、上記構成要素とは別に、臨場感がどこから生じるのか？という要因についても外的要因・内的要因があるとしています
・外的要因：視覚・聴覚・体性感覚（触覚）・嗅覚・味覚などの感覚器官で感知される外界の物理情報に基づく臨場感
・内的要因：過去の経験・学習により脳内に蓄積された感覚の記憶に基づき脳内で生成される臨場感
（テキストを単にMindmapにまとめたもの)
出典：臨場感の知覚認知メカニズムと評価技術
Meta Quest 2をプレイした自分はどこに臨場感を感じたのか？
振り返って、今回自分がナショジオをプレイした時に感じた臨場感はなんだったのか？
上記構成要素の構造に対して、特に関係が深そうと感じたもの(あくまで私の主観)をピックアップしてみると下記の感じでした
※黄色部分が該当
（まだゲームをやり込みまくっていないのでなんともですが）さらに臨場感を高めるためには、内的要因（過去の経験・学習により脳内に蓄積された感覚の記憶に基づき脳内で生成される臨場感）を高めていくのが１つのアプローチなのかな、と感じました。
臨場感の評価手法
様々な要素から構成される「臨場感」をどのようにすれば高いor低いを測定・評価することができるのか？
こちらについても様々な研究が進められており、上記論文より紹介させていただきます。
論文によれば、臨場感を測定する手法には下記 5 つの手法が存在します。
(1)主観評価（印象評定）：提示された言葉に対応する印象を被験者自ら評定する
(2)心理物理評価：物理刺激に対する人の応答特性を定量的に測定する手法
(3)脳活動計測：脳の血流変化を計測するfMRI（機能的磁気共鳴撮像法）や、により、脳内の活動をより直接的に計測する方法
(4)生体信号計測：生体信号（心拍など）を用いて計測する方法。人の身体に現れる無意識的な変化を捉える目的
(5)行動計測：眼球運動・重心動揺など、行動を用いた計測方法。無意識的な行動反応を捉える目的
これらの測定手法の特徴とメリット・デメリットも下記のようにまとめられておりました。
出典：臨場感の知覚認知メカニズムと評価技術
上記のとおり、臨場感の各種評価手法にはメリットやデメリット・限界があり、現時点で万能の測定手法があるわけではないようです。
ごく一例
・血流量の変動を脳活動そのものと見なしてよいのか？という議論の決着がついていない
・fMRIは精度は高い測定は可能だが、被験者が身動きすると計測結果が濁ってしまい、最初から閉所での検査を２０分行わなければならないなど）
なので、評価の対象や目的に応じてこれらの手法を適切に選択・組み合わせることで評価の信頼性を高めていく必要があります。
臨場感の構成要素・評価手法まとめ
■臨場感を構成する要素は下記３つに大別される
(1)空間的な要素：立体感、質感、包囲感
(2)時間的な要素：ものの動感や同期している感覚
(3)身体的な要素：自己存在感やインタラクティブ感、情感
■臨場感の発生要因は外的・内的発生要因がある
・外的要因：五感で感知される外界の物理情報に基づく臨場感
・内的要因：過去の経験・学習により脳内に蓄積された感覚の記憶に基づき、脳内で生成される臨場感
■臨場感を測定する手法には様々なものが存在
(1)主観評価（印象評定）
(2)心理物理評価（物理刺激への簡単な応答をみる）
(3)脳活動計測（fMRIなど）
(4)生体信号計測（心拍など）
(5)行動計測（眼球運動・重心動揺など）
→それぞれメリット・デメリットがあり、用途に応じて使い分けが必要
VRで心理的臨場感を作り出すためには？
そういえばここまで書いて、下記の本で読んだ内容を思い出しました。
VRによって上記のような心理的臨場感を作り出すためには、下記3つの要素が技術的に実行されなければならない、とのことです。
①トラッキング
身体の動きを追跡する作業
※これが最も重要らしい
②レンダリング
単なる数学的情報を読み込み、それにふさわしい見た目、音、触覚、時には匂いを与えて具体化し、トラッキングした新しい場所に出現させる作業
③ディスプレイ
トラッキングで新しい位置を把握し、そこでの視界や聞こえる音をレンダリングしたら、次にそれを利用者に伝える
"消費者向けVRが販売できるようになった理由の1つは、この三要素の実現に必要とされる能力を持つコンピュータが、十分に安価になったからだ。
三要素の内1つでも欠けると、使用者はシュミレーター酔いになる。"
最初↑を読んだときは、「トラッキングが臨場感を高めるのが最も重要」という記載がいまいち腹落ちしきれなかったのですが、「臨場感の構成要素」を学んだ今見返すと、どの要素の臨場感を高めるための技術としてトラッキングが重要なのかな、といったように、より立体感をもって理解することができそうです（もう一回読んでみよう）
「超臨場感」という領域
さて、ここまで臨場感の構成要素や評価方法について記載してきましたが、今後臨場感の技術をさらに進める方向を探求するため、「超臨場感」という概念が提唱されています。
参考：
・臨場感の構成概念と評価について Constructive Concept and Evaluation of Sense of Presence
・超臨場感とは何か
上記によれば、東京大学の廣瀬通孝先生らは、情報通信研究機構における超臨場感の研究において，超臨場感を２つの観点から捉えています。
スーパーリアリティ(super-reality)
・情報の密度を徹底して向上させる立場
・自分が実際に居る場所とは異なる別の空間の情報をできる限り正確に伝えるために、感覚情報を「できる限り大量・高速」に転送する方向
例
・8Kスーパーハイビジョン（とその音響システム）
・裸眼立体視，解像度の向上が続く HMD
など、通信速度の向上や関連技術の進展で期待できる
メタリアリティ(meta-reality)
・単に情報量を増加するだけではなく、感動や理解を高める等のアプローチによって、その場にいる以上に臨場感を超越する（meta）リアリティを向上させようという立場
・（スーパーリアリティでは主として遠方や合成世界の外界環境の視聴覚情報の再現について注目しているのに対し）人間はその能力の限界から、現実そのものの「全て」を見ているわけではなく、様々なバイアスの中で外界を見ており、特定の「指向性・偏り」を持って意味を世界を認識した結果、総合的な認知過程の産物であるとしての世界を認識している
・そういった高次の認知過程としてリアリティを定義し、向上させていこうという立場
臨場感概念をどう拡張するか？の方向性
臨場感の概念を拡張する方向として、メタリアリティ(meta-reality)のような広義の意味的価値を見出すにあたり、池井 寧先生らによれば、下記３つの方向性が提案されています
1.空間の客観的表現、すなわち知覚的な時空間リアリティが増加する方向（客観的な空間要素）
→ここは既存のバーチャルリアリティ技術の向上に主に委ねられる
2.合理性または情報性（知的空間軸）
3.感動・共感等の情動性（感性的空間軸）
上記を図にプロットしたものが下記となります
出典：超臨場感とは何か
・Ｘ軸：時間経過に沿って人工的空間が進歩する軸
空間の客観的表現、すなわち知覚的な時空間リアリティが増加する方向
この方向は時空間構築の基礎としての知覚世界の高度化を表し、MixedReality（MR）を含めた VR 空間の進展度を示す
・Y軸およびZ軸：それぞれ「情動性」と「合理性」の軸
Xにおける空間合成の VR 技術に基づいて実装された空間が構築される際のコンテンツに対して 「意味」を与えることにより、より高次の臨場感を与える方向
我々の活動は意味・目的によって駆動されており、空間はそのための存在として対処されているという考え方
最後に、論文中にあった下記文章を紹介させてください。
現実空間の複製を基本とする第２のリアリティの上で， 説明的な意味や感動を与える構造を持った空間で感じられる臨場感は，第３のリアリティと しての超臨場感と呼んでもよいのではないか．ここに起こっている臨場感は，知覚的臨場感 というよりは，認知的臨場感と言うほうが適している
まさに、認知科学の部分で記載した
脳にとっては、送られてきた情報が現実であろうと、非現実であろうと関係なく、臨場感があると感じる方を現実として認識し、採用する
という部分に対応する話であり、「臨場感」と一言で表現されたものに触れた際に
知覚的臨場感
認知的臨場感
のどちらの文脈のことを言われているんだろう？と考えられるようになった気がします。
最後に・・感想
まず、臨場感についてここまで調べたことはなかったので、まず臨場感には様々な構成要素があり、評価方法も含めて研究されている内容を知ることができたことが単純に面白かったです。
また、人の感じる「臨場感」については、映像や音声がいかに現実に近いリアリティを持っているか、という側面だけではなく、それがその人にとってどのような価値や意味を持つのかという感情設計、価値を高める臨場感体験へ至るプロセス、コンテンツが重要になってくるということが、認知科学に基づくコーチングサービスを提供している私にとっても、VRサービスに興味を持ち始めた私にとっても非常に興味深かったです。
このあたりは今後、個人的に将来に向けて実現していきたいことにも関係しそうなので、引き続き学びを深めていきたいとおもいます！
最後に、STYLYさんのアドベントカレンダーの執筆機会を頂いたumiさん、この機会がなければ臨場感について調べることもなかったと思います。本当にありがとうございました！！
この記事が気に入ったらサポートをしてみませんか？