見出し画像

新たな表現を切り拓く「空間再現ディスプレイ」開発の経緯──ソニーとUnityが提示する、映像視聴の未来

Unity Japan（ユニティ・テクノロジーズ・ジャパン）

現実世界と仮想世界を融合させ、「ここにはないもの」の知覚を可能にする技術を総称して「XR」といいます。いま大きな注目を集めているVRは、ヘッドマウントディスプレイなどのデバイスを介して「ここにはないもの」を知覚する技術。一方、デバイスを装着せずに知覚させるのが空間再現ディスプレイ（Spatial Reality Display。以下、SRD）です。

2020年10月、ソニーは高精細SRD『ELF-SR1』を発売。高い解像度の3DCGを裸眼で見ることを可能にするこのデバイスは、エンターテイメント領域だけではなく、医療分野やモノづくりの現場での活用が進んでいます。

ソニーはUnityの公認ソリューションパートナー（Unity Verified Solutions Partner）であり、UnityはUnity向けのSDK（SRDで表示するコンテンツを制作するツール）の技術検証やプロモーションという形でソニーのSRDをサポートしています。

そしてこのたび、『ELF-SR1』向けデモプロジェクトとして、Unityが提供する「ユニティちゃん『Candy Rock Star』」をベースにしたコンテンツを公開しました。『ELF-SR1』内でユニティちゃんのライブステージを楽しめ、SRDの魅力を存分に体感できるものになっています。

そこで本記事では『ELF-SR1』の商品企画を担当した太田佳之さんと、開発担当である横山一樹さんにインタビューを実施。ユニティ・テクノロジーズ・ジャパンで産業分野を担当する中嶋雅浩も交え、開発の裏側からUnity導入の経緯、プロジェクトのこれからを語ってもらいました。

画像5

（写真左）太田佳之 xRビジネスプロデューサー
ソニー株式会社 HE&S事業本部 商品企画部門 新規事業推進部

（写真右）横山一樹 SRDテクニカルエバンジェリスト
ソニー株式会社 HE&S事業本部 TV事業部 商品設計第1部門 商品開発部（兼）ソニーグループ株式会社 R&Dセンター 統合技術開発フィールド TL 09


ユニティちゃんがいなければ、ソニー初のSRDは生まれていなかった？

──SRDの開発に取り組んだきっかけからお聞かせください。

横山：テレビの高画質化設計に携わる中で、よりリアリティを追求したいと考えるようになったんです。SRDは「あたかもここにあるように」感じさせる技術ですからね。

太田：横山がSRD開発を進めていることを知り、自ら手を挙げて商品化を担当したのが携わるきっかけです。私はテレビ事業部で主に商品企画を担当するなかで、アプリなどを組み合わせ、よりインタラクティブな体験を提供できるディスプレイを模索していたんです。

──商品化のプロセスはスムーズに進んだのでしょうか？

太田：いえ、プロジェクトの立ち上げから商品化の決裁が下りるまでに1年ほどかかりましたね。ソニーにとって全く新しいプロダクトですし、決裁者たちに「誰が」「何のために」利用するのかをイメージしてもらうことに苦労しました。

横山：それに、開発当初はOpenGLベースでコンテンツを制作する想定だったのですが、一般ユーザーにとっては高いハードルです。ユーザーが自身でSRD向けのコンテンツを作ることが困難になり、広く親しまれるデバイスにならない懸念もありました。

Unityが、それらの懸念を払拭してくれました。イチから勉強して、さまざまなコンテンツやアプリを制作し、社内の関係者たちに見てもらうことで、SRDのターゲット像や活用方法をイメージしてもらおうと考えました。

太田：その中でも商品化に大きく貢献してくれたのが、Unity Japanのオリジナルキャラクターであるユニティちゃんのライブコンテンツ『Candy Rock Star』。横山が偶然これを見つけて、SRD用のコンテンツを制作し、関係者に見せたところ、PowerPointやテキストでは伝えきれなかったSRDの魅力が一気に伝わり、「なるほど。これは商品化だね」と。

『Candy Rock Star』が無ければ、『ELF-SR1』は存在していないかもしれないし、少なくとも商品化は遅れていたでしょう。それほど、私たちにとってユニティちゃんは重要なコンテンツなんです。

──関係者を一気に納得させてしまうほど、『Candy Rock Star』とSRDは相性が良かった。

横山：そうですね。コンテンツを再生した瞬間にキャラクターが目の前に“立ち現れる”体験は、私たちが憧れた未来そのもの。そのキャラクターが歌って踊る姿は、SRDの先進性を雄弁に語ってくれます。

SRDは空間ごと「そこにある」ように再現できるデバイスです。空間表現や背景のエフェクトにもこだわりが詰まっている『Candy Rock Star』は、SRDの表現力を最大限引き出してくれるコンテンツだと言えると思います。

太田：加えて、将来的に多くのユーザーに利用してもらうためには、コンテンツの作りやすさも欠かせない要素。Unityを活用すれば非エンジニアでも、既存のアセットを使って立体視が可能なCGデータを作成できるので、「ユーザー自身によるコンテンツ制作の困難さ」という懸念も払拭してくれました。


エコシステムとしての『ELF-SR1』

──商品化された『ELF-SR1』は、どのような特徴を持ったSRDなのでしょうか。

太田：まず、さまざまなツールやデバイスとの連携を念頭に置いて設計している点。というのも、『ELF-SR1』はソニー以外が開発するデバイスやソフトウェアを組み合わせることによって、初めてインタラクティブな体験を提供できるように設計されています。

たとえば、2021年10月から11月にかけて開催された、バーチャルシンガーたちのライブイベント『初音ミク「マジカルミライ」』に導入され、来場者とシンガーの双方向的なコミュニケーションを実現させました。その際、Unityはもちろん、手のジェスチャーによってデバイス操作を可能にするリープモーションなどを組み合わせて、活用いただいたんです。

『ELF-SR1』単独で、インタラクティブな体験を提供することはできません。社内外から「未完成のまま世に送り出したのではないか」と指摘されることもあります。確かに自社の技術のみで理想とする機能を提供できていないわけですから、ある意味では正しい。ですが、あえてこのような形で発売しました。

──そこにはどんな狙いがあるのでしょうか？

太田：ユーザーのクリエイティビティを制限しない、自由度の高いオープンなデバイスとして利用してもらうためです。他社ツールやデバイスを考慮せず、単独使用を前提にすることは、言わば開発者がユーザーの使い方を規定するとも一面では言えます。

ユーザーには『ELF-SR1』とさまざまなツールやコンテンツの組み合わせを試してもらいたい。その試行錯誤から、こちらが考えつかなかったような活用法が生み出されるかもしれません。他のデバイスの併用を前提とする『ELF-SR1』は、立体視コンテンツを中心とした、新たな体験を提供するためのエコシステムを形成する一員なんです。

そんな設計が実現できたのもUnityがあったからこそ。Unityとリープモーションのようなデバイスを組み合わせれば、ユーザーの動きに連動するインタラクティブな3DCGコンテンツを制作できますし、私たちは高い解像度の3DCGを「映すこと」にフォーカスしたデバイス作りに邁進できたというわけです。


『ELF-SR1』には「ソニーならでは」の技術が詰まっている

──『ELF-SR1』の技術的な特徴も教えてください。

横山：「一人で見ること」に最適化したデバイスにすることで、色の再現度や明るさに優れた映像を映し出せることです。裸眼立体視用の既存デバイスは「大勢で」見る設計が多いため、どこからでも立体に見えるCGを映し出すべく、映像の明るさなどが犠牲になっていました。

『ELF-SR1』の背景にあるのはソニーのテレビ事業部が培ってきた技術力なのです。

──高画質を追求してきたからこそ、鮮明な映像を映し出すSRDを生み出せたと。

横山：ソニーの技術力という観点からすると、搭載したセンサーもプロダクトの強み。『ELF-SR1』は一般的なカメラセンサーではなく、特殊な高速ビジョンセンサーを採用し、見る人の顔の動きをトラッキングしています。

SRDはどの角度から見ても映像を立体に見せるべく、ユーザーの顔の動きを感知して映像を調整しています。センサーの性能が悪ければ調整に遅延が発生し、立体的に見えない瞬間が生じてしまう。センサーの性能は、プロダクトの完成度を左右する要素と言えます。

映像調整の遅延を最小限にとどめる『ELF-SR1』の高速ビジョンセンサーはソニーが長年の研究によって改良を重ねてきたものです。

画像3

画像4

画像5


SRDはXRに取り組む企業での活用も進みつつある

──『ELF-SR1』は現在どんな領域で活用されているのでしょうか？

太田：業界軸と、職種軸でお話しします。まず、業界で最も活用が進んでいるのが医療。元々、医療業界に裸眼立体視のニーズがあることは知っていたんです。CTスキャンした臓器などの画像を3D化し、手術の事前検討をするといった用途で活用されていましたから。

ただ、私個人としては『ELF-SR1』に欠かせないUnityを医療業界者が使いこなしているイメージが持てず、ターゲットとしては後回しにしていました。

ところが蓋を開けてみれば、多くの医療機関が導入してくれました。医療業界にもUnityを使いこなし、3DCGを制作する人がたくさんいらっしゃったわけですね。

──職種軸ではいかがでしょう？

太田：主なユーザーはデザイナーやクリエイター。自動車デザインや建築設計の現場での活用事例が多いですね。あとは、エンタメ領域。先程も触れた『初音ミク「マジカルミライ」』では一般ユーザーが制作した『ELF-SR1』用のコンテンツが展示され、イベントを盛り上げていました。また、映画のプロモーションにも活用いただいています。

あとは、ARやVRを含む、XRに取り組む企業での活用も進みつつあります。元々、このデバイスはXR領域での活用を想定していたので、チャレンジしている企業やクリエイターたちにもっと使ってもらいたいですね。


SRDがクリエイターに全く新しい発想をもたらす

──『ELF-SR1』は、クリエイターたちにどのような影響を与えられると考えますか？

太田：『ELF-SR1』を使用したクリエイターからは「温めていたアイデアを形にできた！」といった声が寄せられます。

また、「将来はこんな表現もできるかも」「こんな用途もありなのでは？」といった言葉が返ってくることもしばしば。『ELF-SR1』が彼らのクリエイティビティを刺激する、アイデアの源泉となっていることが嬉しいです。

──「適切なデバイスがなかったから形にできていなかったもの」を表出させるだけではなく、全く新しい発想を提供する可能性も秘めている。

太田：ビジネス上のメリットも提供できると考えています。具体的には、デザインの検証にかかる時間と金銭的なコストの削減です。

現在は、多くの領域でデザインの検証に3Dプリンターが使われています。仮に、商品のモックを作るために3Dプリンターを3回使ってプロトタイプを出力しているとすると、『ELF-SR1』なら立体視で十分に確認した上で、最後の1回だけ3Dプリンターを使えば済ませられるでしょう。

横山：働き方も変えられるかもしれません。

SRDの活用で、テレワーク環境下でも個々が3Dオブジェクトのデザインについてディスカッションできるはず。特に3D CADなどを取り扱っている方々にはとっつきやすいデバイスだと思います。


「理想のパートナーシップ」が顧客へもたらす価値

──UnityとはSRDを普及させるための共同プロジェクトも展開しています。このプロジェクトが立ち上がった経緯を教えてください。

中嶋：Unityは、公認ソリューションパートナーというプログラムを展開しています。パートナー企業とは、Unityを活用した製品の共同開発から、その製品の展開までを共に推進しており、ソニーさんもパートナーの一社です。

このパートナー契約自体は、Unityの本社とソニーさんの間で2019年頃に締結され、SRD用コンテンツを制作するためのツールであるSDKを共同で技術検証しています。日本法人であるUnity Japanがソニーさんとのパートナーシッププログラムに携わり始めたのは、2020年の夏頃。

私は営業担当にアサインされたことをきっかけに、SRDの存在を知りました。『ELF-SR1』でコンテンツを再生した途端、目の前に新たな世界が現れたような感覚になり、とても感動したことを覚えています。

太田：Unityの本社とはSDKのブラッシュアップに関してやり取りし、中嶋さんが属する日本法人とはマーケティングについてディスカッションしています。

2021年12月には、「ユニティちゃんライブステージ！ with Spatial Reality Display」をリリース。今後はUnityの産業分野向けオウンドメディア・Unity for Industryで『ELF-SR1』の活用事例を発信する予定になっており、さまざまな形でSRDや『ELF-SR1』を普及させるための施策を打っていきたいと考えています。

画像6

──このパートナーシップはそれぞれにどのようなメリットをもたらすのでしょうか？

太田：ソニー側のメリットは大きく2つ。まずは、SDKの品質を担保し、ユーザーに安心感を提供できることです。単独でSDKのようなツールを開発し、リリースすることもできたでしょう。しかし、「Unityのお墨付き」としてSDKを提供することによって、デバイスに対する信頼性をより向上させられたと思っています。

もう一つは、新たな顧客の獲得につながったこと。私たちテレビ事業部の既存顧客と、『ELF-SR1』のターゲット層は異なります。新規顧客の開拓が必須の中、営業先を紹介してもらったり、アプローチすべき企業へのアドバイスをもらえたりしたことは、大きなメリットになりました。

中嶋：このパートナーシップを通じて、Unityを利用しているお客様に新たな価値を提供できると感じています。私たちの顧客には、XR領域に取り組んでいる企業も少なくありません。そういった企業がユーザーに提供したいと考えているのは、これまでになかった体験。『ELF-SR1』は、まさにそれを届けられるデバイスです。Unityの新たな活用法を見出してもらえるきっかけになると感じています。

実際、2021年10月に開催したUnityユーザーである企業向けのイベントでも、『ELF-SR1』を紹介するセッションには最も多くの反響が寄せられました。「『ELF-SR1』を利用したいからUnityを導入する」という企業が出てくる可能性を思わせ、Win-Winの関係を構築できています。


やがて裸眼で3D映画を観られる世界がやってくる？

──今後の事業展開と、共同プロジェクトの展望をお聞かせ下さい。

太田：まずはこの商品はB2Bでの利用をターゲットにおくことは変わらないのですが、より多くの人にリーチするため、並行してコンシューマー向けマーケティングにも力を入れていきたいと思っています。そのためにはキャッチーなコンテンツが有効だと考えているので、引き続きユニティちゃんの力を借りながら、さまざまなコンテンツを開発し、発信していきたいですね。

次のステップとして、法人向けマーケティングも強化していきます。ビジネス領域の実績を重ねながら、さまざまな業界の活用事例なども発信していきたいです。

横山：まずは一人でも多くの方に『ELF-SR1』に触れる機会を提供したいです。商品化のプロセスでもそうだったように、このデバイスの魅力は文字や画像ではなかなか伝わらない。でも、一度触れれば、確実にその魅力が感じられます。

今後はUnityの力も借りながら、デザイナーやクリエイターではない人たちにも『ELF-SR1』を体験する機会を増やしたいですね。あと、個人的な夢なのですが、将来的にはSRDで見ることを前提とした映画などができれば嬉しいですね。

太田：現段階の『ELF-SR1』は単体でインタラクティブな体験を提供するデバイスとしては設計していない、といったお話をしましたが、今後は変わるかもしれません。というのも、一家に一台SRDが存在するような世界になるためには、Unityを扱えない人も簡単に使えるデバイスにしなければなりません。

そこまでを見据えた場合、『ELF-SR1』だけでさまざまな機能を提供できるようにするのも一案です。横山が言うように、映画を視聴することも想定して、より大きなデバイスに進化していくかもしれません。

いずれにせよ、『ELF-SR1』は生まれたばかり。ユーザーからのフィードバックを参考に、多くの人にこれまでになかった体験を提供できるデバイスにしていきたいですね。

中嶋：マーケティングをサポートする立場としては、より日常に溶け込んだデバイスになればいいなと思っています。たとえば、店頭でモノを買うときに見本や在庫がなければ、パンフレットやタブレットなどの2D情報から判断しなければなりません。でも、SRDが一般的となり、さまざまな場所に置かれるようになれば3Dデータで商品を比較できるようになる。そんな日常的な行為にも利用されるようになる未来を思い描きながら、パートナーとしてSRDの認知向上と普及に貢献したいです。


『ELF-SR1』向けデモプロジェクト「ユニティちゃんライブステージ！ with Spatial Reality Display」のダウンロードはこちら


最後までお読みいただきありがとうございます。ぜひTwitterもフォローしてください。

Unity Japan公式Twitter
Unityの最新情報をお伝えしています