Xreal Airというスマートグラスでの立体視に関する話

タイトル未設定

これまで画像生成AIの記事ばかり記載していますが、個人的にそのきっかけの一つになったXreal Airについて記事にしました。

Xreal Airとは？

Xreal Airはスマートグラスを通じて大型モニターを見る事が出来るデバイスで、手に入るものの中では安価な部類になります。
だだ、マイクロLEDというのを使用しているため、画像はかなり綺麗に見える特徴があります。
さて、Xreal Airは、最近は2というバージョンが出ていますが、手元には古いのしか無いのでそへを前提とした話なのでご容赦を。
本題に移ります。
Xreal Airを含めて幾つかのスマートグラスでは、ステレオ画像というのを用いて立体視する機能が搭載されています。

ステレオ画像とは？

ステレオ画像は、side by side画像とも言われ、右目と左目に少しズレた画像を映してみることで立体的に見えるというものになります。
これはスマートグラスの片目ずつ別な出力が出来る特徴が生かされたものです。これを難しい言葉で両眼視差という様です。

残念ながらステレオ画像自体、それほどあるわけではなく、昨今のVRは別な技術になっているため互換性もないため流行っていません。。。

個人的には、AI画像生成がそれを補完しうると思っていますが、それは別記事にする予定です。

立体視の仕組みについてClaude3.5 sonnetさんに解説を聞きました。

両眼視差を利用して立体的に見える理由

1. 目の位置の違い： 人間の両目は約6.3cm離れて配置されています。この距離により、各目から見る景色にはわずかな違いが生じます。

2. 視点の違い： 左右の目で同じ物体を見たとき、それぞれの目から物体までの角度が異なります。これが「両眼視差」です。

3. 脳による情報処理： 脳は、この2つの少し異なる画像を受け取り、その差異を解析します。視差の大きさは物体との距離に関係するため、脳はこの情報を使って奥行きを計算します。

4. 立体像の構築： 脳は、これらの情報を統合して1つの立体的な像を構築します。近い物体ほど視差が大きく、遠い物体ほど視差が小さくなります。

5. 奥行き知覚の生成： この処理により、脳は2次元の網膜像から3次元の世界を再構築し、私たちは奥行きや立体感を知覚できるのです。

この図は、両眼視差がどのように立体視を生み出すかを示しています。主な要素は以下の通りです：

1. 左右の目：約6.3cm離れて配置されています。

2. 近くの物体（赤い四角）と遠くの物体（緑の四角）：

   • 近くの物体は大きな視差角を生みます。

   • 遠くの物体は小さな視差角を生みます。

3. 視線：点線で示されており、各目から物体までの角度の違いを表しています。

4. 視差角：赤と緑の弧で示されています。

   • 近くの物体（赤）：大きな視差角

   • 遠くの物体（緑）：小さな視差角

5. 脳：下部のピンク色の楕円で表されており、ここで視覚情報の統合処理が行われます。

この仕組みにより、脳は以下のプロセスを経て立体視を実現します：

1. 左右の目からわずかに異なる2つの画像を受け取ります。

2. 脳はこれらの画像の差異（視差）を分析します。

3. 視差の大きさから物体までの距離を計算します。

4. これらの情報を統合して、3次元的な空間認識を構築します。

結果として、私たちは平面的な網膜像から立体的な世界を知覚することができるのです。

ということの様です。分かりやすいですね。

実際にXreal Airの3Dモードを使用してみた感じ

どんな感じになるか提示しておきます。

デスクトップPC(windows)での例です。

通常モードは、モニターをそのまま投影します(1920x1080)
以下は、フォトで写真を開いているところです。

3Dモードにして画像をキャプチャーすると以下のようになります。

3840x1080になります。左半分が左目部分、右半分が右目部分に該当します。

ということで、16:9の画像を作成してステレオ画像にすると、立体感のある画像を楽しめます。
これはリアル系の画像の方が良い感じになる印象です。
残念ながら飛び出てくる様なレベルでは無いですが質感は上がります。

次回の記事でComfyUIでステレオ画像の作成方法について解説します。