第4回：バーチャルとリアルを繋ぐ未来の世界に必要なソフトウェアとは
コモングラウンド・リビングラボ（以下、CGLL）のパートナーの活動や取り組みを紹介するインタビュー。第4回目は前回のハードウェアに続いてソフトウェアの視点から、CGLLで扱うことができるデータやそれらを使ってどのような実証実験ができるのかという話を関係者の方々にお聞きしました。
# 点群データとサーフェースメッシュデータを提供
次世代都市の空間情報プラットフォームである「コモングラウンド」では、フィジカルな空間に存在する様々なものをデジタル情報として扱うことでバーチャルとリアルを繋ぎ、オフィスにあるロボットを動かしたり、デバイスをコントロールしたりするといったことを可能にします。どのような技術を使えばバーチャルとリアルが双方向かつリアルタイムに連動するコモングラウンドを実現できるのか試行錯誤し、新たなアイデアを生み出す実験場がCGLLであり、参加するパートナーが自由に使える設備と環境を用意しています。
ソフトウェアの実験も重要であることから、CGLLでは第3回目のインタビューで紹介したハードウェアに加えて、施設をモデル化したジオメトリデータを点群データとサーフェースメッシュの2種類で作成し、自由に利用できるよう提供しています。
3DCGの作成などに使用するサーフェースメッシュデータは、高度なコンピュータグラフィックスを得意とするCG技術会社のシリコンスタジオにより作成されました。技術統括部の神鳥泰章氏は「CGはCADデータがあれば簡単に作れると思われているかもしれませんが、実はそうではありません」と説明します。
「3Dデータを人間の目で見て違和感がないようにするには、壁や床などの色や質感といったテクスチャをマッピングさせる情報や、ライティングで明るさや色を変化させたり、形状の表と裏を指定したりするなど細かい調整が必要です。こうした作業は空間情報をデジタル化する時の課題の一つになっています。3次元サーフェースメッシュを生成するツールはありますが完全ではありませんし、3DCG制作で標準とされるUSDフォーマットに出力する時にも何かしらのデータが抜け落ちてしまいます。自動車業界は自動運転技術の開発に必要な機械学習用のデータや様々なシミュレーションにCGを活用していますが、そうした現場でもマテリアル情報を追加するため、職人技や手作業で修正するのはめずらしくありません。
私自身は、将来3Dモデルがもっと増え、ビッグデータ化されればいいと考えています。さらに言えば、ネットにいるたくさんの人が少しずつ何か貢献するとリアルに反映される、といったことに関心があります。そうしたアイデアを試せるようにするには、モデル化に必要な要素を検出したり、できれば自動で修正や補完したりするツールが必要です。これをビジネスに活かしユースケースとあわせて考えることができればいいですね。」（神鳥氏）
# デジタルから特定の対象を抽出するアルゴリズムを開発
点群データの作成を担当したクモノスコーポレーションはアジアで最初に三次元計測を始め、精度の高い計測ノウハウにより多くの実績を持つ会社として知られています。戦略統括部の船越亮氏は「点群データは主に建築業界やゼネコンで図面を作る素材として作成を依頼されることが多い」と言います。
「リアルの世界をデジタルデータ化するのに点群データは大事な技術であり、それぞれが座標情報を持ち、位置特定ができるのが大きな特徴です。ロボットの操作やARにも使用できますし、ここ数年でゲームエンジンやブラウザでも扱えるようになる技術革新が起きています。点群データは素材からプラットフォームになろうとしており、さらに新しい技術が必要とされています。
点群データは1カ所ではなく、何百カ所で計測したデータを合成することで精度を高めていきます。億単位の点群データを高速に表示し、色や座標情報から柱や壁、道路などのラベル付けするのは大変で、その点はシリコンスタジオさんがおっしゃったのと同じく、自動化は大きな課題と言えますし、20数年かけて築き上げた蓄積をもとに新たな開発を進めています。
具体的には、点群データからガードレールや鉄筋だけを抽出するアルゴリズムなどを開発しており、さらに対象を広げていて、国土交通省のPLATEAU（https://www.mlit.go.jp/plateau/）のような、点群を基に3D都市モデルを作成するプロジェクトも実現できつつあります。あわせて我々はスキャナの開発もしていて、リアルタイムに計測した点群データを遠隔地にあるクラウドに飛ばして、どんどん更新していくといったこともやろうとしています。将来的には、街中にたくさんあるセキュリティカメラの画像を用いて、データを更新していくようなアイデアもCGLLの中でやっていきたいですし、みなさんと一緒にいろいろなアイデアが実現できるのではないかと考えています。」（船越氏）
# バーチャル世界はリアル世界の数歩先の未来である
コモングラウンドでは人間以外のエージェントに可読な世界を記述するために、点群データやゲームエンジンを用いようとしています。そのアイデアはゲーム開発のエキスパートでサイバーフィジカルシステムにも詳しい三宅陽一郎氏の著書などがヒントになっており、CGLLの参画企業で実施する勉強会やミートアップを通じてどんどんブラッシュアップされています。
CGLLで扱える設備やデータを利用し、新しいアイデアを試そうという動きもいろいろ進んでいます。竹中工務店の粕谷貴司氏は、「CGLLの参加をきっかけにゲームエンジンについて学びはじめ、シミュレーションが可能なVRコンテンツの作成にも興味を持つようになった」と言います。
「バーチャル上の空間にインテリアコーディネートしたのを元に部屋をリフォームする、バーチャルステージングのようなビジネスが当たり前になり、バーチャルで良かったものをリアルに取り入れることが重要になってきています。そうしたビジネスを考えることは共通の課題であり、CGLLで専門家が作成したジオメトリデータがあるので、そこに私たちが持つBIMなどの技術を組み合わせていければと思っています。
BIMはもともと３DCADのように書かれたものをBIMでオブジェクト化する際に属性情報を入れて、構造化することができます。そうしたベースがきちんとある上でジオメトリを更新し、設備デバイスの情報をアップデートしていくことや、日立さんのデジタルエージェントをモデル化して、そうしたものをどんどん記述していきながら世界とインタラクトする仕組みは、CGLLのようなコンソーシアムがないと実現できないと思います。」（粕谷氏）
日立製作所の松原大輔氏も、パートナーが持つ様々なノウハウを学び、新しい技術やビジネスチャンスを生みだせるのがCGLLの魅力だと言います。
「フィジカル空間をセンシングした情報をサイバー空間側に反映し、サイバー空間からフィジカル空間にあるオブジェクトを制御するサイバーフィジカルシステムという概念がありますが、そこでは空間情報を再現することがかなり重要になると考えています。CGLLはサイバーとフィジカルの両方でいろんな実験ができますし、実際にCGLLのグランドオープンでは、次世代型電動車椅子のWHILLや、テレプレゼンスアバターロボットのtemiをサイバー空間から動かしてみたり、位置をリアルタイムにゲームエンジンに表示してみたり、サイバーとフィジカルを繋ぐことに取り組みました。世の中には様々なコンソーシアムがありますが、様々な業種の企業がフラットに参加でき、実験場も備えているというのはめずらしいと思います。
バーチャル世界はリアル世界の数歩先の未来であり、バーチャル世界の変化がリアル世界を変えていくみたいなところがあると思います。今後はリアルがバーチャルに従属していくという考えに変わり、コモングラウンドを利用することで1歩先の未来が見えるという捉え方になるかもしれません。そうした新しい発想が生まれてくるという点もCGLLに参加する意義だと考えています。」（松原氏）
CGLLエヴァンジェリストの豊田啓介氏も「コモングラウンドの「実現には複数の企業や組織が枠組みを越えた連携がますます必須になる」と言います。
「同じ空間内で人とロボットが動き回り、物理的な実態を持たないARエージェントも含めて相互連携する場を作るのは壮大な計画ですが、話題のメタバースではそうした世界を目指しています。サイバーとフィジカルの連携はこれからの世界にとって大きな可能性であり、特徴になるはずです。そのためには環境や空間自体がエージェント化したりデバイス化したりすることも必要ですが、技術的な枠組みや体系がないと結局誰も実装できません。2025年の大阪・関西万博は一つの実証実験の場になるでしょうが、そこに向けて動き始めているCGLLの価値というか先見性というか、チャレンジ性を改めて感じていますし、みなさんを繋ぐ掛け橋になってほしいと強く感じています。」（豊田氏）
参加者（順不同）
・シリコンスタジオ株式会社 執行役員 技術統括部 統括部長 神鳥 泰章 氏
・株式会社クモノスコーポレーション 執行役員 戦略統括部 統括部長 グローバルビジネス 責任者 船越 亮 氏
・株式会社竹中工務店 夢洲開発本部 課長 先端技術(情報プラットフォーム・XaaS)担当 粕谷 貴司 氏
・株式会社日立製作所 研究開発グループ 東京社会イノベーション協創センタ 価値創出プロジェクト リーダ主任研究員 松原 大輔 氏
・CGLLエヴァンジェリスト、建築家、東京大学生産技術研究所 特任教授 豊田 啓介 氏
※参加者の所属・肩書等は取材当時のもの