GATARI・竹下俊一氏インタビュー（前編）『Mixed Reality』～人とインターネットの融け合う世界とは～
【はじめに】
今回は、世界で初めて、Mixed Reality（複合現実、以下MR）技術を活用した音声MRプラットフォーム『Auris（オーリス）』の提供を開始し、各方面から注目を集めている、株式会社GATARI 代表取締役 CEO 竹下俊一氏をお招きしました。
竹下氏が率いるGATARIは、鹿島建設や東京メトロ、東北楽天ゴールデンイーグルス、乃村工藝社など、さまざまな企業・自治体と協業し、新たな価値をもたらす空間づくりや、未来のインフラづくりに取り組んでいます。「人とインターネットの融け合う世界を創る」をビジョンに掲げるGATARIの活動に、Fortec Architects代表 大江氏と、建設DX研究所所長 岡本が迫ります。
■プロフィール
竹下 俊一
株式会社GATARI 代表取締役CEO
1993年生まれ。2013年東京大学理科一類入学、2019年東京大学教養学部・教養学科・超域文化科学分科・文化人類学コース卒業。Virtual Realityの概念に魅せられ、東京大学を拠点とした全国最大規模のVR学生団体「UT-virtual」を創設。2016年、在学中に株式会社GATARIを創業。2020年にMixed Realityプラットフォーム「Auris」をリリース。フィジカルな世界とデジタルな世界が融け合うMixed Reality社会の実現を目指す。
大江 太人
東京大学工学部建築学科において建築家・隈研吾氏に師事した後、株式会社竹中工務店、株式会社プランテック総合計画事務所（設計事務所）・プランテックファシリティーズ（施工会社）取締役、株式会社プランテックアソシエイツ取締役副社長を経て、Fortec Architects株式会社を創業。ハーバードビジネススクールMBA修了。一級建築士。
【世界初の音響特化型MRプラットフォームを開発】
―― まず、GATARIの事業について教えていただけますか。
竹下：2016年4月、東京大学在学中にGATARIを起業し、今年で6期目に入ります。創業当初は、仮想空間を現実のように体験できるVirtual Reality（仮想現実）を利用したアプリケーションを制作していました。現在は、デジタル情報が、現実世界であたかもその場に存在しているかのような状態を作るMR（Mixed Reality）技術を活用したアプリケーションを制作しています。
2020年にリリースした『Auris』は、スマートフォンひとつでMR体験を設計・制作できる、音響特化型のMRプラットフォームです。コンテンツクリエイターや建築施工の現場担当者といった方々が、現実空間をデジタル情報で彩ることができるツールをイメージしていただくといいと思います。
Webページも最初はプログラミングが必要で専門のエンジニアしか制作・更新ができないものでしたが、最近ではWordpressやnoteなど、一般の方でも発信しやすいシステムやサービスがたくさん出てきています。それと同様に、専門知識のない方でもMRコンテンツを制作できるようにしたプラットフォームです。
『Auris』
空間のスキャンから空間編集（トリガーとアクションの配置）、クラウドへの保存、マルチプレーヤーでの復元・体験までをスマートフォンのアプリケーション上でワンストップで実現可能にした、世界初の音響特化型MR（※）プラットフォーム。
（※MR - Mixed Reality）
リアル空間とデジタル空間がシームレスに融合し（ミックスされ）、リアルなモノとバーチャルな情報を等価に表示・操作することができる状態のこと。
博物館での『Auris』活用事例
『Auris』をインストールしたスマートフォンと音声デバイスを持ったユーザーが、音声情報が配置されたエリアに入ると、その場に合わせた解説音声やBGMが流れる。ユーザーの位置は、スマートフォンのカメラが推定。「エリアに入る」「椅子に座る」「顔の向きを変える」などの動作は、デジタル空間に配置されたバーチャルセンサーが検知。動きに合わせて音響演出を変えることもできる。上画像の黄色部分がバーチャルセンサーになっている。
―― そんな技術があるとは驚きです。どんな仕組みなのでしょうか？
竹下：まずは、現実空間をカメラでスキャンし、3Dデータを作ります。その後、現地の空間や環境をもとに、どこでどんな音を再生するかを決め、人が音源再生エリアに入ったことを検知するバーチャルセンサーの位置を設定します。バーチャルセンサーや音源のデジタル情報は、現実空間に重畳した3Dデータ上に現地の空間で配置していきます。3Dデータ上にデジタル情報を置く作業が、建築現場の施工にイメージが似ているので、私たちはこれを「デジタル土木作業」と呼んでいます。
3Dデータに配置したデジタル情報はクラウド上に保存され、蓄積されていきます。『Auris』をインストールしたスマートフォンを持ってその場所を訪れ、現実空間をカメラで捉えて照らし合わせると、「映し出された場所の3Dデータ上には、この情報が保存されている」とソフトウェアが認識し、蓄積されていた情報が復元され、音が流れる仕組みです。
―― 現実空間をスキャンして3Dデータを作成するということは、デジタルツインの構築と同じようなイメージでしょうか？
竹下：そうですね。同じ技術を活用しています。自社で3Dスキャン用のアプリも制作しているのですが、スキャン技術はすでにコモディティ化している分野なので、あまり注力はしていません。私たちの強みは、”リアル空間にデジタル情報を配置・保存できる技術や、さまざまな空間サービスの開拓”にあると考えています。
江戸東京たてもの園（東京都小金井市） 音響MRミュージアムトーク
文化的価値の高い歴史的建造物を移築し、復元・保存・展示している野外博物館「江戸東京たてもの園」での活用事例。利用者は、『Auris』をインストールしたスマートフォンをベルトに取り付け、メガネ型のオーディオグラスを装着。歴史的建造物が立ち並ぶ園内には音声情報が配置されており、利用者が移動すると、その場に合った音声ガイドや環境音がオーディオグラスから流れてくる。歴史のある街並みの世界に没入できると好評を博した。
【ゲームの主人公になったような没入型の音響体験ができる】
―― 『Auris』を利用すると、これまでの音声ガイドとは全く違う体験ができるんですね。
竹下：従来の音声ガイドは、ユーザーが作品の前に立ち、自らボタンを押して解説を聞くようなものが一般的だと思います。ユーザーが近づいたら自動的に音声が流れる場合も、ビーコンのような外部センサーデバイスを設置し、人の接近を検知する必要がありました。
『Auris』は、スマートフォンに搭載されたカメラやセンサーで位置情報をトラッキングしています。現実世界を歩きながら、同時に現実と対になっているデジタル空間上をもう一人の自分が歩いていて、バーチャルセンサーに触れるようなイメージです。ゲームの中の主人公のように、自分が進むと、その場に合ったBGMや音声が自然と流れてくる体験ができると考えていただくと分かりやすいかもしれません。
物理的なセンサーの設置を必要としないので、既存設備に一切干渉しないこともメリットのひとつです。重要な文化施設や公共インフラへの導入も可能です。
――ユーザーの位置や動きによって音声内容を変えられるなら、視覚障がい者の方に向けたナビゲーションや、多言語での音声ガイドなどにも活用できそうです。
竹下：おっしゃる通りです。バーチャルセンサーやボタンは無限に作ることができますし、人によって異なる場所に配置できます。リアル空間にデジタルの音声情報を配置・保存することで、視覚障がい者の方や外国人の方が快適に過ごせる空間を作ることが可能です。公共空間の中に、各々が居心地の良いプライベート空間を生み出すことができることが、デジタル空間の魅力だと思います。
――今は、音でのMR体験がメインなのですか？
竹下：現実空間にいながらデジタル情報を体験するためには、ウェアラブルデバイスが必要です。現実空間に3次元映像を投影し、操作ができるデバイスとしては、Microsoft HoloLensなどがすでに登場していますが、まだ大型で長時間使用が難しいという課題があります。
その点、スマートフォンやイヤホン、オーディオグラスは、日常生活にも馴染みやすいものです。ですから現状では、これらのデバイスを活用してMR体験ができるサービスを提供しています。最近では、AirPods、AirPods Pro、AirPods Maxのように、ヘッドトラッキング機能が搭載されたイヤホン、ヘッドホンも登場しています。音声デバイスの進化によって、より立体的で臨場感のある音が楽しめるようになったことも、音でのMR体験を広めていく追い風になっています。
竹下：ARグラスは、まだビジネスユースでの開発が進んでいる段階なので、日常的に使えるようになるまでには、もう少し時間がかかるでしょう。ARグラスとMR技術、両軸の進化が必要ですが、ただデバイスの登場を待っているのではなく、早い段階でできることから順に進めていくことが大事だと考えています。
私たちは、デジタル情報を現実空間に施工する技術を『Auris』で実現しています。まずは音でのユースケースを作り、日常的に使えるARグラスが登場した時点で、視覚的にも価値のある空間体験ができるように整備を進めています。
【おわりに】
竹下氏へのインタビュー前編はいかがでしたでしょうか。
インタビュー中、「なかなか口頭での説明が難しい」とご本人もおっしゃっていましたが、実際に動画資料を見せていただいたことでMR技術がどういったものであるかがよく理解でき、そして実際のMRコンテンツを体験してみたくなりました。
将来MR技術がもっと身近なものになれば、例えばMRコンテンツのクリエイターと建築士など建設業界の既存プレイヤーとの融合によって、建設業界にイノベーションがもたらされるのではないかと思います。
後編では、建設業界、特に建築領域におけるMR技術の活用事例や、MR技術を展開する上で必要になる取り組み、スマートホームへの応用などについて、お伺いしています。こちらも公開次第、ぜひお読みいただけましたら幸いです。