見出し画像

[論文]文化・技術・研究史で読み解く令和のメタバースの研究開発 - note版

電子情報通信学会に寄稿した査読付き解説論文(10ページ)が公開されました。さすが歴史ある電子情報通信学会の通信ソサエティマガジンです。招待論文とはいえしっかりとした査読がありました(ご査読いただきありがとうございました)。依頼から掲載まで1年ぐらいかかる大執筆だったので、内容が古びれることのないように最大限配慮させていただきました。今後メタバースを研究される方の糧になりましたら幸甚です。

概要:近年再注目されている「メタバース分野」への期待と不安,不明瞭さを専門家として整理する.前半はメタバースの歴史,定義,特にコンテンツとその受容,研究分野への影響,更に VR やエンターテインメント分野におけるUGC(User Generated Contents)と技術革新の歴史をまとめ,後半はスマートフォン向けメタバース「REALITY」を中心とした「令和のメタバース」研究開発の現場における,最先端の活動や考え方を整理する.エンターテインメント分野では常識となっている部分も多いが,進化の速い分野でもあり,工学の視点で隣接する他の研究開発分野に向けて,歴史を記録する目的も考慮しながらまとめた.

https://www.ieice.org/~cs-edit/magazine/
ほかの特集も大変興味深いです!

このnote版について

・このnote版は草稿です。
電子情報通信学会の最終校正版は文体、表記を電子情報通信学会にあわせレイアウトされています。
・一部の画像は含まれていません。上記の最終校正版と同一性を保証しません。
・読みやすさのために一部引用や、ハイパーテキスト等を補う可能性があります。
・原稿執筆~査読終了時点(2022年12月)での状況を記述する目的があり、過剰なメンテナンスは実施しません。そのため、将来においては真偽や正確性において保証の限りではありません。
・学術論文として引用するときは以下の電子情報通信学会版を必ず確認し、その書誌情報をお使いください(=このnoteのURLを学術文献に引用しないでください)。
・その他、本文献の公開についてのご意見ご感想は著者(@o_ob)まで。

白井 暁彦, 文化・技術・研究史で読み解く令和のメタバースの研究開発, 電子情報通信学会 通信ソサイエティマガジン, 2022, 16 巻, 4 号, p. 285-294, 公開日 2023/03/01, Online ISSN 2186-0661, https://doi.org/10.1587/bplus.16.285

https://www.jstage.jst.go.jp/article/bplus/16/4/16_285/_article/-char/ja

謝辞追加:縁あって校正に付き合ってくれた宇都宮大学のあおじーさん
https://twitter.com/ourzy01
ありがとうございました!

文化・技術・研究史で読み解く令和のメタバースの研究開発

著者:白井暁彦 (Akihiko SHIRAI), GREE VR Studio Laboratory, REALITY, Inc.

1. はじめに

本稿はメタバース研究開発における,最先端の活動や考え方,特に工学に隣接する他の研究開発分野に向けて,本分野を深く分析するベースになる知識や考え方を整理して理解するための解説論文とする.
エンターテインメント工学分野では常識となる要素も多いが,一般的な消費者から見れば,おおらかであやふやな世界に見えるエンターテインメントの最先端は,過去そしてこれまでの電子情報通信分野において軽んじられてきたのかもしれない.
本稿では「令和のメタバース」という切り口を使って,メタバースをとりまく文化史・技術史・研究史から,読者の認識を新たにすることを狙いとする.
可能な限り最新の研究や論文などの文献,エビデンスとともに打ち立てていく内容を目指しているが,回転が速い分野であり賞味期限が短い論文になるかもしれない.しかし書き残しておくことには意味があるはずである.
また画像を多く使いたい分野であるが,紙面やライツ管理の都合から,文字と引用で表現することをお許し願いたい.多くは著者の論文[1]や書籍,動画,Webサイト(vr.gree.net/lab)や{Twitter@VRStudioLab} で発信しているため,併せて参照されたい.

2. メタバースの歴史

2.1 投資家視点のメタバース・その規模と背景

多くの読者にとって「メタバース」は初めて聞く単語ではないだろう.
近年特に影響を及ぼしている存在はアメリカの投資家であるが,そのひとりである Matthieu Ball 著「The Metaverse: And How it Will Revolutionize Everything」[2]によると,メタバースの最も一般的な概念は,サイエンスフィクション(SF)に由来している.
一言で表現すれば,「インターネットへのジャックイン」としての描写,
映画「レディ・プレイヤー・ワン」や「マトリックス」で描かれるような,バーチャルなテーマパークのような世界に基づくものであると具体的な作品名を挙げて例示している.
Ball は「1980年当時,『インターネットにログオンしたことさえなかった人々』に,2020年のログオンを伝えるのは困難だろう」と表現している.その舞台設定として「テーマパーク的なエンターテインメント」をSF映画のタイトルとともに例示していることは,この分野における人々とのインタフェースにとって,いかにSF映画のようなポピュラーコンテンツが重要であるか,理解しやすい.
Ballはさらに「メタバースのコア属性」として,(1)永続的,(2)同期的かつライブで,(3)スケールし,(4)完全に機能する経済があり,(5)複数の世界を横断し,(6)「コンテンツ」と「体験」が存在する事,と語っている.
メタバースは,デジタルと物理の世界,プライベートとパブリックのネットワーク,オープンもしくはクローズのプラットフォームの両方にまたがる経験であり,すべての人に一貫してリアルタイムで存在するライブの体験であり,無期限に継続し,各ユーザーに個別の「存在感」を提供しながら,同時ユーザー数に制限がなく,個人や企業は,他人に認められる「価値」を生み出す場所であるという.
本稿ではこれをより技術史・文化史で分解していくが,この「ユーザーの生み出す(価値ある)何か」は便宜上「UGC(User Generated Contents)」と呼ぶことにする.Ball は,このUGCの価値設計において,非常に幅広い「仕事」を創造したり,所有したり,投資したり,販売,もしくはその他の方法で報われることが設計されているべきであるという.ゲームのプレイヤーキャラクター(以後,アバターと呼称する)のスキン(衣服や見た目),武器や装飾を,幅広いコントリビューター(貢献者)が作成したり,「コンテンツ」を運営したり体験したりすることが含まれる.これはクリエイターエコノミーと呼ばれ, 独立した個人はもちろん,非公式組織や営利目的の企業も存在可能である.
なおメタバースに注目する投資家は Ball だけではない.例えば大手ベンチャーキャピタル(VC)であるアンドリーセン・ホロウィッツ(a16z.com)は暗号資産やゲーム業界特化のファンド「ゲーム・ファンド・ワン(GAMES FUND ONE)」を2022年5月18日に発表した.
ファンドの規模は6億ドル(約770億円),その主な投資領域は,ゲームスタジオ,コンシューマー向けゲーム,ゲームインフラとのことである.「ゲームが次の100年の社会生活,遊び方,働き方を決定する上で極めて重要な役割を果たすという信念のもとに設立した」,「ゲームは,マイクロトランザクション,web3トークン,ユーザーエンゲージメント,リテンション,マネタイズのためのクラス最高のメカニズムを開拓し,消費者エコシステム全体のイノベーションを牽引,長期的にはゲームのインフラと技術は現在の3千億ドル規模のゲーム産業そのものを凌駕する,メタバースの重要な構成要素になる」と説明している[3].
三菱総合研究所によると,メタバース市場規模は推計主体により大きく変わるが,最も大きく見積もっている機関は金融系機関である.その規模は「2030年ごろで10兆ドル」で,メタバースを「ポストインターネット」,いわゆる「web3.0」の中核的な場として位置づけている.
例えばCitiグループの場合,メタバースへのアクセスは没入感を重視しない既存のスマートフォンを中心に考えており,アクセス人口はグローバルで数10億人規模を想定している.市場調査機関はこれに比べて保守的な数字を挙げており,「1兆ドル未満」という予測である.これらの機関は「xR市場」としてVR(Virtual Reality),AR(Augmented Reality),MR(Mixed Reality)等のxRデバイス市場を「場」の観点でとらえなおし,従来予測されてきた値とほぼ類似した数字をメタバース市場として公表している.
これに加えてweb3.0の中核技術であるとされるブロックチェーン技術を活用したオープンメタバースやクリエイターエコノミーを期待した「広義のメタバース市場」が,2030年ごろに10億人規模のユーザーになる,という予測がある[4].このようにVCに代表される投資家は,エンターテインメントからWeb3やメタバースに焦点に当てた長期投資の流れを作っている.世界中のVCも,そして日本からもソフトバンクをはじめとするVCが出身は異なれど,投資としては同じ方向に熱を注いでいる.
以上が米国のベンチャー投資市場を中心として記述したメタバースの歴史である.

2.2 メタバースの黎明期・幻滅期・啓蒙期

上記の通り,米国を中心とした投資家やメディアにおいてメタバースが注目され,そこに映画やSFといったエンターテインメントが影響していることは多くの読者が認識していることであろう.
複数の分野が横断するメタバースは多くの分野のプレイヤー,例えばゲーム開発者やSF作家,そして個人のバーチャルYouTuber(VTuber)なども書籍が出版し,書店の店頭を賑わせている[5-7].
多くの人々がめいめいにメタバースについて想いを語る点は,メタバースに限らず『VRの黎明期』でも同様な現象があった.黎明期は物珍しさで話題になる.特に報道メディアが踊らされる傾向にある.例えばNHKのニュースなどでも「NFTアート」(注:NFTアート: ブロックチェーン上に記録される一意で代替不可能なデータ単位 Non Fungible Token(NFT; 非代替性トークン)と紐づけられたデジタルアートのこと[8])について特集が組まれて,氾濫する.しかし,どんな話題になるテクノロジーもコモディティになれば飽和し,いずれ『幻滅期』に入る.こういった社会現象は読者の視界に入っていることと想像する.科学や技術に基づかない個人の想い,荒唐無稽にも見える語り,勝手な盛り上がりに対して,研究や開発を行っている人々,品質の高いモノづくりコトづくりをしていく人々が増えていくスピードが追い付かないのであるから,粗製濫造が増えて当然であるのだが,勝手に幻滅し『幻滅期』に入る.
このような流れでVRは何度も『冬の時代』を迎えてきた.メタバースも似たような喧騒がこの1年ぐらいで起きているが,結局のところ「メタバースとは何なのか?」がまともに整理できていないのであれば,よりあやふやな存在に見えてくることだろう.
しかしながら幻滅期の後に来る『啓蒙期』において,メタバースの根幹を考える上で重要な,定義と歴史,特にその時代に実現していた科学技術だけでなく,小説やマンガ,映画といったサイエンスフィクション(SF)に注目しなければならないと考える.これは回り道にはならない視点である.
過去の歴史と事例からみる研究開発の可能性を語るうえで,当時の研究者,開発者,そして一般のユーザの想像力や,そこで技術の使い手であるユーザのペルソナや求められるユーザ体験に至るまでの技術の積み上げや背景,コンテキストを分析することには意味があり,また現在の「令和のメタバース」における特徴を解釈し,研究開発の対象とするには基盤となる常識として必要である.

3.3 メタバースの源流とコンテンツ文化史

まず「メタバース」(Metaverse)という語は,ニール・スティーヴンスンによるSF小説『スノウ・クラッシュ』(1992年)が語源と言われている.
この時代のポピュラーSFの歴史を紐解くと,『スターウォーズ』のような宇宙戦争をテーマとする作品と並列する形で,コンピュータ内部の世界を描く作品が登場している.
代表的な映画『トロン』(1982年)ではその世界は「グリッド」と呼ばれており,その後1982年に公開された映画『ブレードランナー』では「サイバースペース(Cyber-space)」と呼ばれて一般語として定着している.
そもそもこのサイバネティックス(cybernetics)は,ギリシャ語で「(船の)舵を取る者」を意味するキュベルネーテース(英語: Kubernetes)を語源としており,航海長または水先案内人を意味する(最近ではGoogleのクラウドGCPを司る k8s という略語のほうが親しまれているかもしれない).
古くは Norbert Wiener が第二次世界大戦中に学際研究として構想し,戦後の1948年の著書「サイバネティクス」において「動物と機械における通信と制御」の問題について考察し,通信工学,制御工学,神経生理学,心理学,社会学を同じ俎上に載せることができると提案している[9].
当時はまだ情報理論の発展する前であり,自動制御とフィードバックがそれぞれ発展しても,両方の関連を認識することにすら年数を要したという時代であった.
サイバネティックスはその後,通信と制御工学を融合,生理学,機械工学,システム工学,さらには人間-機械の相互関係を統一的に扱い,HCIやVRといった工学分野の基盤となった.もちろん機械学習やニューラルネットワークといったAIの基盤となる「人工頭脳学」とも解釈することができる分野である.
このような人間の拡張とネットワークへの接続による「サイバー世界」は,科学者だけでなくSF自体にも大いに影響を与えた.ハードコアSF自体も後継のポピュラーSFに大きな影響を与えていく.
例えば William Ford Gibson の小説『ニューロマンサー(Neuromancer)』(1984年)において語られており,幅広いSF作品にインスピレーションを与えている.例えば人間の意識ごと没入する「マトリックス」と呼ばれる電脳空間は,その後,映画『マトリックス』(The Matrix, 1999年)において,より詳細に描かれた.人類そのものが電源としてファーミングされる巨大なコンピュータとして描かれているディストピアSFであるが,一方で,スキルや味覚などもコンピュータの信号として脳に直接ダウンロードしたり,味わったりすることができる点は魅力的に見えた人もいるのではないだろうか.

なお海外の小説以外だけでなく,この分野のSF小説や日本のマンガの描くメタバースは世界からも注目されている.筆者の独断であるが,日本の漫画界で最も古く,注目すべき作品は,漫画界の巨匠・手塚治虫『上を下へのジレッタ』ではないだろうか.ラジオやテレビに変わる,「人々が夢中になる妄
想体験共有視聴装置:ジレッタ」を1968年(昭和43 年)に描いている.
自分の妄想を他人の脳に直接伝送することで,現実世界の人々を虜にし,万博を舞台に支配しようとするSF喜劇であり,現代のメタバースの狂騒にもよく似ているかもしれない.
漫画原作の代表格は『攻殻機動隊』シリーズ(1989年〜)で,インターネットの普及以前から電脳空間における犯罪と公安9課の戦いを描いており,2022年現在も続いており世界中にファンがいる.
平成のアニメーション作品では『攻殻機動隊』のアニメ化とならんで,『電脳コイル』(COIL A CIRCLE OF CHILDREN,磯光雄監督,NHK教育,2007年)が秀逸で,眼鏡をかけると現実世界に重畳されたコンピュータ世界を見ることができる世界での子供たちの冒険を描いている.
このような脈々とつながるエンターテインメント作品のミームを通した,人々の常識や欲望の可視化とアップデートの歴史と時を同じくして,日本の研究界では舘暲(すすむ, \UTF{66B2})(東大名誉教授)らが「人工現実感」という研究グループを立ち上げている.
サイバネティックスに端を発したこの研究分野のメンバーは,現在の日本バーチャルリアリティ学会の設立メンバーとなり,テレイグジスタンス(telexistence),最近ではサロゲート(surrogate)といった,ロボティクスから電気・機械、情報、認知といった分野に横断する大きな総合的な研究開発分野を生み出した.彼らや彼らの子弟たちも多くSFにインスピレーションを得た研究を展開している.稲見らの「自在化身体プロジェクト」はその代表格であり,メタバースを実験室・研究室にする取り組みも進めている(注:自在化身体プロジェクト https://www.jst.go.jp/erato/inami/).
以上のようにSF小説が漫画やアニメになり,コンテンツだけでなく科学者・研究者を巻き込んだコンピュータ世界そのものを描くようになる背景には,ゲーム技術とその産業の文化的拡大を抜きにして語ることは難しい.
次節ではそれを支えるエンタテイメントとSNSの技術史に目を向けていく.

2.4 エンターテインメントとSNSの技術史

ここでエンターテインメントとSNS技術の歴史にも触れておくべきだろう.
英語「entertainment」の語源を辿っておくと,ラテン語で分解すれば entre-「間で」(ラテン語 inter)+ tenir「保持する」が語源であり,12世紀の古フランス語では entretenir「一緒に持つ,くっつける,支える」という語になる.これは15世紀後半では「維持する,(誰かを)ある精神状態に保つ」という意味で使われており,「客人を持つ」という意味は15世紀後半に登場した.意見や観念などの「考慮させる,心に入れる」という意味は1610年代,さらに「満足させる、楽しませる」という意味は1620年代,転じて楽しませるになったという.
% 1530年代は「家来を養うための準備;社会的行動の方法」として使われていたが,現在は他の16世紀の意味とともに死語.1650年代には「楽しませるもの」という意味,1727年には「楽しませるための公的なパフォーマンスやディスプレイ」という意味になった.https://www.etymonline.com/word/entertainment

ゲーム分野におけるメタバースは古くは「Ultima Online」(1997年~),『ファンタシースターオンライン』シリーズ(2000年~),「ファイナルファンタジーXI」(2002年~)といったゲームシステム,特にMMOと呼ばれる大規模ネットワークゲームを中心にサービスが開発されてきた.

現在のメタバースを語るうえでは外すことができない,元祖メタバースと呼ぶべき存在が「Habitat」(ルーカスフィルム/富士通,1986年)と「Second Life」(2003年~)である.
「Habitat」は電話での通信,つまり有料の情報サービスに2400bpsのモデムをつなぎ電話のアナログ音声帯域を使ってリアルタイム通信を行っていた(時代に対して)早すぎるサービスであった.表現力豊かな2Dアバターによって,リアルタイムテキストチャット,プログラマブルな機能,交換,モデレーションなどを備えていた.

「SecondLife」は,3D空間でアバターを使ったコミュニケーション,ボイスチャット,ユーザ開発のアセットのゲーム内通貨による交換が可能なフルセットのメタバースである.
当時のネットワーク環境(ISDNからADSLブロードバンドに移行した時代)や,必要とされるユーザーのPCスペックの高さから「誰もが」ではないが,一方でユーザ体験に大きく影響するスケールの拡大,広告代理店による乱開発など経験しながら多くのUGC文化を生み出してきており,現在もサービスは継続している.
なおHabitatはサービス終了まで常に更新され続けていた,現在はソースコードが保管されているが,ゲームと異なりそのソースコードが保管されていていても,もとのメタバースは戻ってこない.サービスの品質高い継続と,そこに集う人々が重要なのであり,UGCによる新しい世界や連続的な進化と継続的な成長が本質であることが理解できるだろう.現在,日本の各所で乱立している「メタバース協会の設立」も,初めての現象ではない.元祖「メタバース協会」がSecond Lifeの時代に杉山らによって2010年1月28日に設立されている記録がある(https://www.youtube.com/watch?v=SJE2XVens_g).

3. メタバースとエンターテインメントVRの歴史

3.1 VRの年代史

ここまでのメタバースの歴史について,特にVRのエポックに着目すると,現在は「VR4.0」の時代と表現できる[10][11].
1968年にユタ大学の教員であったアイバン・サザランドとボブ・スプロールが開発した世界最初のバーチャルリアリティ(以下VR)および拡張現実(以下AR)を実現したヘッドマウントディスプレイ (以下HMD)「ダモクレスの剣」(注:The Sword of Damocles https://youtu.be/NtwZXGprxag)に代表される,人体に直接装着・身体動作によって直感的な操作をさせるデバイスや映像装置としての概念試作の時代を「VR1.0」とすると,グラフィックスワークステーションや高価なHMDデバイスといった実験用ハードウェアが購入可能になり,システムインテグレーションによって人間科学の探求に使用できる実験環境や,産業用シミュレータの構築が可能になった時代を「VR2.0」,さらに Oculus のようなコンシューマHMDハードウェアの登場,Unity や UE4 のようなゲーム開発用のグラフィックスエンジンを使ったコンシューマ向けコンテンツ開発,大規模開発が可能になった時代を「VR3.0」という時代と分類することができる.

3.2 VRのUGCを支える技術

おそらく2018~2020年以降はVR3.0のコンテンツ創出環境は飽和成熟し,「VR4.0」と呼ばれる時代に入っていると想像できる.
この時代には,VRが「何かのためのVR」ではなく,人間の人間らしい活動を表現するにふさわしいメディアになる.技術で言い換えれば, (1)大規模なネットワークでの共有,(2)アバターによる多様な表現力とコミュニケーションやUGC創出,(3)UGCによるエコシステムを支えるインフラ技術が必要となってきている.
開発環境もより多様になり,旧来のようなプロプライエタリ(proprietary; 独占的な)なソフトウェア環境だけでなく,現在ではBlenderのようなプロ向けのコンテンツ製作ソフトウェアですらオープンソースソフトウェア(注:OSS;Open Source Software.利用者の目的を問わずソースコードを使用,調査,再利用,修正,拡張,再配布が可能なソフトウェアの総称.1950年代のコンピュータ上でソフトウェアが稼働するようになった頃,学術機関・研究機関の間でソフトウェアのソースコードはパブリックドメインで共有されていた.1990年代はLinuxなどで有名になった.旧来はソースコードはそれぞれのプロジェクトのWebサイトで管理されていたが,現在は多くのOSSはGitHub上にて管理されている.ライセンスは商用利用や継承されるライセンスなどがあり多様.メタバースの基盤,特にweb3関連のソフトウェア技術はほぼGitHub上で無償公開されており,信頼性獲得や活発さの評価,セキュリティ向上といったコミュニティの可視化にも重要な場となっている.)になっている.プロ用途だけでなく,研究開発や個人的趣味で使用するようなツールや開発環境の品質は飛躍的に向上しており,さらに個人が開発した安価で無保証のツールやフリーウェアが支えていく.さらに生成されるコンテンツもバーチャルYouTuber(VTuber)のような,高フレームレートのHumanoidアバター技術,コンシューマデバイスによって構築されたトラッキング技術,髪や服といった物理シミュレーションの部品化などの技術に支えられ,より,企業による製作だけでなく,ホビイストから声優,幅広いクリエイターによる動画製作やコミュニケーション手法の開発が進んでいる.

ゲームとSNS,メタバースにおける違い

メタバースにおけるゲームとSNSの違いは何であろうか?まずは目的が異なる.エンターテインメントシステム,例えば映画上映のような視聴型エンターテインメントと異なり,ゲームはインタラクティブ性を持った体験であり,遊びが目的になっている.では「遊びの目的」とは何だろうか.遊びはそもそも自己目的性の行為,つまり「遊ぶために遊ぶ」であるという[1].
もう少し分解していくと,エンターテインメントシステムにおけるゲームは「規則のある活動」,ルールそのものである.プレイヤーのロールや勝敗の定義や判定方法,勝敗が示されていないゲームの場合はプレイヤーにとっての最適な行動を体験を通して探らせる.ルールが存在しなければ,ゲームは存在できない.

図1:遊びの成立条件とその変化 (Conditions and changes of play)

図1は「遊びの成立条件とその変化」を可視化したものである.ルール以外の要素,例えば日常生活から隔離され,自由な活動で,非生産的な活動で,虚構の活動で,未確定で先が読めない…といった古典的な遊びを構成する要素は,この20年で大幅な変化が起きている.
刺激や新しい体験,そして冒頭で示したSFからの影響で,ゲームシステムの中に浸食が起きている.むしろゲームとSNSは,その「目的の違い」しか残っていないのかもしれない.Habitatの時代ではゲームなどのエンターテインメントとSNSの違いは明確に理解されていたわけではなかったが,SNSは「遊び」を目的としているのではなく,コミュニケーションがその本質である.SNSに「楽しい雰囲気」は必要であるが,それはユーザ同士のインターフェイスを定義する要素であり,「どのようなユーザに交流してほしいか?」という舞台設計とも表現できる.

3.4 「令和のメタバース」の特徴:web3と身体性

メタバースのエンターテインメントとSNSの技術史を振り返ると,「令和のメタバース」の特徴は「web3」と「身体性」ではないだろうか.
これまでの技術史・文化史を振り返れば、技術面では リアルタイム3DCG がまずは進化が目立つ技術だろう.既にVR3.0までに,NVIDIA をはじめとするGPUメーカーやスマートフォンに搭載されたGPUにより,誰もがリッチな3Dグラフィックスをリアルタイムで生成することができるようになった.
フォトリアルで大規模なシーンだけでなく,手描きのアニメキャラクターのような髪の毛やスカートなどの着衣の身体動作を伴うリアルタイムシミュレーション,顔の細かな表情などが,アバターさえ手に入れれば,フレームレートでも従来の24-30FPS(frame/sec)程度のアニメーションから60-100FPSといった高フレームレートでリアルタイム表現できるようになっている.
このような「身体性」は認知科学では「自己投射性」と呼ばれ,VR学ではVRを構成する要素として定義されている(1.三次元の空間性 2.実時間の相互作用性 3.自己投射性)[12].
さらにコンテンツ生成技術も先述のBlenderだけでなく,MozillaによるWeb
WebXR「Mozilla Hubs」やそのシーンエディタ「Spoke」のようなWebをプラットフォームとしたOSSも広く使われている.
なお「web3」と一言で表現しても,多義性がある.Ethereumのようなブロックチェーンと対話するための「web3.js」のような決済技術に関するソフトウェアを指す場合もあるし,HTMLのような静的な「web1.0」から,「jQuery」や「Node.js」のような非同期通信を実装し,SNSのようなコミュニケーションに利用される「web2.0」そして,ブロックチェーンによる暗号資産金融の「非中央集権的なウェブ」を指すこともある.主語主体やコンテキストによって読み解くしかないのが現状である.

広義のweb3においては,当初期待されていたような「非中央集権的な金融」は,実際にはうまくいっていないようにも見える.理念はともかく,技術面では十分なガバナンスも品質も維持できないことが多い.金融だけでなく,VRにおいてもwebだけでなく,VRChatやUnityのようなプロプライエタリなソフトウェア環境も特にモバイル機器を舞台に並列して存在していくことが予測できる.

また決済インフラやプロプライエタリなコンテンツ以外に,もうひとつの極である「非常にローカルで個人的な分野」にも注目すべき要素がある.
それは「アバター」,つまり「メタバースの身体」ではないだろうか.
メタバース世界の身体性,自分自身の表現を支える技術,例えばトラッキング技術やVRMのようなアバターを表現するためのファイルフォーマットや,自分の似顔絵としてのアバターを創り出す技術,アカデミックな研究では稲見らのJST「稲見自在化身体プロジェクト」( https://www.jst.go.jp/erato/inami/ )のように身体の自由や機能拡張に注目したハードウェア研究など,実は非常に奥深い.

またエンターテインメントシステムとしては,MMORPGのような多人数同時のゲームシステムから「遊びのルール」から「コミュニケーション」として目的を変えて利用されている.インフラ技術としては,マルチプレイヤーのためのゲームプレイシステム,音声配信技術であり,Photonに代表されるミドルウェアも数多く存在する.
さらにコマース機能のような経済価値の交換機能,これは今まではアプリ内のソフトカレンシーとして実装されてきたが,各種暗号資産におけるトークンやネットワーク,NFTに代表される標準化によって,アプリケーションやサービスの内外において整備が進んでいる.
これらは一言で言い表すならば
「人類のコミュニケーションの進化」として説明できる.
世界や身体の表現,同時に参加して,価値を作り出し,通貨のように交換する,それは何のためにあるのか?新たな富のために,という見方もあるかもしれないが,おそらく人々は「つながりたい」,「つながって一緒に何かしたい」という欲求に向かっているように見える.
そして2020年代,つまり我が国の「令和」以降のメタバースはVR4.0とほぼ同じタイミングで,これまでの「ゲーム」「モバイルSNS」「FinTech」あるいは「デジタルアセット」として,同じ「メタバース山」のような共通の山の登山口に立っているとも説明できる.
メタバースを山に例えれば,ゲームやSNS,クリプトは「登山口」であり,山頂を目指して登っていけば,おそらくそれは連峰のようにいくつかの頂上が雲上に存在するのかもしれない.
また海に例えれば,SeaというよりはOceanであり,人々の思い描く「メタバース海(ocean)」に対して,それぞれの港がアプリやサービスとしてつながっているという表現も可能かもしれない.

ところで,人々はそこに海や山があることを認識できたとしても「そこに何を着ていくか」をイメージできるだろうか.特に山や海には専用の装備があるが,遊びに行ったことがない人は何を着て行けばよいか,わからないのも無理はない.音楽フェスがあれば音楽ファンのような姿で行くだろうし,アニメやゲームのイベントであれば好きなゲームのキャラクター風にコスプレしていくかもしれない.
「令和のメタバース」を現時点で例えるならばハロウィンのような祭りが毎日どこかで開催されているような世界であり,めいめいの服を着たり,そこで着る服やアイテムを売ったり,看板を出したり,歌ったり踊ったり,縁日のようなゲームを楽しんだりを楽しむ場所である.
もちろん「ミラーワールド」や「デジタルツイン」のように現実の世界に根差したメタバースも人気になるだろう,NFTも人気のプロジェクトが高値で取引されているように見える,しかし舞台は舞台であり,その主役はユーザー自身の行動そのものなのである.
NFTプロジェクトやブロックチェーン上の分散型金融(DeFi)プロジェクトであったとしても,開発者たちは物理的に人々と会い,オンライン番組を開催し,OSSにプログラムコードをコミットし,信頼を勝ちとっていく.
ゲームのような「あらかじめ定められたルール」は存在しない.クリエイターたちのモノづくりマインドに支えられ,「コトづくり」こそがUGCである.その「人の集まる場所」の開発が求められている.
ドレスコードのようなものはまだない,おそらく自然発生的に現れるか,会員制クラブのような特別なサービスの中で生まれていくことは予想できる.

ここまでメタバースとエンターテインメントVRの歴史から「令和のメタバースの特徴」を整理してきた.まさにメタバース的に混沌としているが,VR技術の進化と一般化によって,寡占技術ではなく無料で手に入る技術によるUGC化,そして交流としてのツール化,さらにはweb3と身体性,そこでの経済や金融においても人間としての信頼が必要であることが感じ取れたようであれば幸いである.

4. メタバース体験の研究開発


近年,筆者は主務としてグリーグループでメタバース事業を推進する REALITY株式会社 に所属し,GREE VR Studio Laboratory ( https://vr.gree.net/lab/ )の Director を担当している.
これまで多様なフィールドで培ってきた経験を活かし,スマートフォン向けメタバース「REALITY」(便宜上 REALITY.app と記載する)が近未来に必要とする技術の知財開発やPoCの開発を推進しつつ,ビジネス向けメタバースサービス「REALITY XR cloud」[13]とともに,企業向けのメタバースDXのコンサルテーションを担当することもある.

4.1 スマホ向けメタバース「REALITY」

REALITY.app はスマートフォンのみで3Dアバターを使ってライブ配信ができるサービスで,2018年8月にサービス開始,本稿執筆時点で63ヵ国12言語でリリースされている.グリーグループで培われたアバターメイキング,コスチュームデザインによる豊富なアセット,ガチャを中心としたエコシステム,多人数同時接続のインタラクティブ配信視聴,コラボレーション,ゲームなどが基本的な機能である(図2).アバターおよびアセットの表現力に加えて技術的には高フレームレートで自己投射性の高い体験がスマホひとつで得られる点が特徴である.
REALITYのワールド機能を使ったイベントは1か月で世界130万人規模での交流が可能であり,2022年10月に累計1千万ダウンロードを達成した[14].
文字通り「人の集まるメタバース」として,B2B2C市場を中心に活用されている[15].

4.2 GREE VR Studio Laboratoryの研究開発と知財創出,未来観測

GREE VR Studio Laboratory はもともとグリーグループのVRゲームスタジオである VR Studio をベースに,次世代研究開発部門を融合させ,アカデミックな調査や知財開発,そしてその発信を通した社会実装を担当している.欧米における本分野の産学連携に倣って長期研究インターンを活用した若いチームで構成している(https://vr.gree.net/lab/internship/ ).アルバイト社員として雇用契約を結び,学業を最優先としながらリモート環境を中心に研究開発に主体的に関わり,社員としての教育や福利厚生,特許出願や取得に対する報奨金制度なども整備されている.年間の学術発信は国内外含め平均5報以上,講演や動画発信は3年間で100件以上の実績がある(注: https://vr.gree.net/lab/ ).オンラインで発信するデモも多くあり,Webベースのボイスチェンジャー技術「転声こえうらない」[16],[17],
触覚を使ったライブエンターテイメント拡張技術「VibeShare」[18],
WebXRと都市と子供向けワークショップを通したUX研究,
オープンソースXRプラットフォーム「Mozilla Hubs」の活用[19]や,
その業界横断パネルディスカッションの主催[20]など多岐に渡る.
多くの講演やデモはYouTubeチャンネルで発信されており(https://j.mp/VRSYT) ,近年では来たるメタバース時代のユーザ体験(UX)を音声信号処理とUGC,リアルタイム映像によるモックアップを通したUX開発のティザー動画として,動画シリーズ「UXDev」(図3)をYouTubeで発信している(https://vr.gree.net/lab/uxdev/).
このような無償の動画やSNS,論文による発信は,メタバース分野のクリエイターや業界にインスピレーションを与えると同時に,「メタバース業界に参入したい」と考える企業の事業開発部門や研究開発部門のご相談をお聞きする機会になることも多く,その後のPoC開発につながるケースもある.
前述のとおりメタバース技術はこれまでのVRやSNS,クラウドやエンターテインメントに関わる総合的な技術やノウハウ,UGCの考え方が必要になる.
また技術的にはAIの応用も重要である.特に従来のAIや機械学習に求められた「人間を代替する作業」ではなく,メタバースにおいては「人間の想像力や表現力をアシストする技術」が求められると考えている.例えば先述の「UXDev」シリーズでは,「AI Fusion」というアバターを用いたカラオケ技術にあたるアシスト技術を提案している[21].またStable DiffusionをはじめとするAI画像生成に関する書籍を執筆し,啓蒙活動を行っている[22].
以上,メタバースにおけるユーザ体験の研究開発,そしてその推進のための手法として必要となる発信力と表現力,コンテンツ開発力となどを端的に紹介した.

他にもアカデミックボランティアとして,芸術科学会の副会長や,日本VR学会の歴史ある学生コンテスト「IVRC」や,日仏の国際交流,また本稿のような論文の執筆や大学での講演,SNSを通した発信活動は主要な業務ではないが,重要な「発信活動」という業務として,知財やライツを高度に解決しながら貢献を継続している.まさに複数のアバターを着こなすことによって,メタバースの世界を楽しんでいる存在かもしれない.例えば妻と位置情報ゲームでウォーキングしながら,REALITY配信者との交流する,この配信者はかつて,自分の講演を聞いてREALITYを始めた高校生であった.
別のメタバースでは,遠く離れて暮らす大学生の息子が開催するバーチャル・オープンキャンパスで遭遇することもある(なおアバターの見た目は少年にしてある).映画を観ていたら,自らの関わったメタバースプロジェクトが,広告として上映されることもある[23].それを離れて暮らす自分の両親が視界に入れることもあるかもしれない.高齢者や壮年向けのアバター配信システムや四肢が不自由な方が楽器を演奏できるシステムも確実に需要があるだろう.現実の経済とほどよく接合しながら,一つの人間に多様に含まれた可能性を,現在のTwitterアカウントのような手軽さでアバター社会が拡大していく未来を感じている.

なお,進化成長が激しい分野であり,本稿のような長期にわたる執筆を通して文字に残していくことは,速度と体力が必要であること,必ずしも正解だけではないこと,これを新たなる課題として書き残すとともに,機会をいただいた各位に感謝を記しておきたい.

例えば現在は「AIに助力されたクリエイション」に対する世間一般の理解はそれほど高くはない,しかし,これまで述べてきた通り,令和のメタバース時代の特徴である身体性やUGCといった特徴を有する点もあり,今後の社会の理解変化が起きた際には,本論文の仮説と予測を証明することと確信している.

また国際的競争力のある研究開発で,今後の日本を代表する産業の基盤を作っていきたいと考えているが一方で,上記のような研究論文,学会におけるデモ,動画による発信が非常に短い時間で海外の研究者に観測され,インパクトのある研究に引用されるケースも出てきた[24].
これまでの歴史を踏まえた状況において解説した通り,日本のSF小説や漫画やアニメといったメタバース分野の研究には一定の言語的・文化的な優位点があった.アニメ産業においては世界最大の規模(1兆2千億円)を持っていた日本市場は,規模において世界市場に追いつかれる形となっている[25].市場だけでなく文化面もNetflixやAmazon Primeによる日本アニメの世界同時リリースが一般的になっており日本の研究者・開発者たちだけが最先端のイマジネーションに触れていられる時間は非常に短くなっている.

個々のメタバース製品についての評価や研究については立場上,解説は控えるが,日本語ではあまり見つからない分野の論文ではあるが,英語圏の論文としては既に何篇も存在するので興味のある読者は今一度調査・精読することをお勧めする[26][27][28].
研究においては,特にIEEE系の国際会議が多いが,査読速度の関係からか,論文プレプリントサイト「arXiv」が主戦場になっており,また近年ではarXivをそのまま引用とした論文も存在するようになってきた.近いうちに世界でメタバースの専門学会が乱立し,標準化などが話題に上がるような状況もありえると予測する.

5. まとめ:令和メタバースの可能性

以上の通り,メタバースの歴史観測を通したコンテンツと文化,VRの年代史,UGC,ゲームとSNSにおける違い,web3と身体性,AIアシスト技術を含めた最新の研究開発事例を紹介することで令和のメタバースの可能性をまとめた.
複雑で定義が見えづらいメタバースの文化・技術・研究史を解説したつもりであるが,多岐に渡ったエンターテインメント,ネットワークコミュニケーション,コンテンツ工学分野の接続を2022年末の段階で可視化した論文になったともいえる.今後の研究の一助になれば幸いである.

文献

[1] 白井暁彦,白井博士の未来のゲームデザイン-エンターテインメントシステムの科学,ワークスコーポレーション,2013.
[2] M. Ball, The Metaverse: And How it Will Revolutionize Everything, Liveright, 2022.
[3] 新しい経済,“a16z, web3 やメタバース見据えた約 771億円規模のゲームファンド発表,” 2022.https://www.neweconomy.jp/posts/225544
[4] 三菱総合研究所,“メタバースの概要と展望 第 2 回:メタバース経済への期待と課題,” 2022.https://www.mri.co.jp/knowledge/column/20220601.html
[5] バーチャル美少女ねむ,メタバース進化論 ――仮想現実の荒野に芽吹く「解放」と「創造」の新世界,技術評論社,2022.
[6] 加藤直人,メタバースさよならアトムの時代,集英社,2022.
[7] 三宅陽一郎,“メタバースによる人の意識の変容,” 現代思想,2022 年 9 月号,特集=メタバース,p.20–34,Aug. 2022.
[8] NHK ラーニング 令和ネット論 10min.,“NFT で変わる! アート&エンタメ,” 2022. https://www2.nhk.or.jp/learning/video/?das_id=D0024010292_00000
[9] N. Wiener, Cybernetics: or Control and Communication in the Animal and the Machine, 2 edition, MIT Press, Cambridge, MA, 1948.
[10] 白井暁彦,“VR4.0 -リアルタイムバーチャルキャラクターが 牽 引 す る VR 産 業 に お け る 基 盤 研 究,” DHUJOURNAL2019(デジタルハリウッド大学 紀要),第 6 巻デジタルハリウッド大学,pp.82–92 2019.
[11] 白井暁彦,“これまでの 5 年、これからの 5 年――「VR元年 」の 終 焉 か ら 世界同時参加のXRライブエンタメへ - メディア芸術カレントコンテンツ,” 2020. https://mediag.bunka.go.jp/article/article-16853/
[12] 舘暲, 他日本バーチャルリアリティ学会編,バーチャルリアリティ学,コロナ社,2011.
[13] REALITY 株式会社,“REALITY XR cloud,” 2022. https://reality.inc/products/realityxrcloud/.
[14] グリー株式会社,“スマートフォン向けメタバース「REALITY」、全世界ダウンロード数が 1,000 万を突破 ~記念に法人向けソリューション「REALITY World」の運用費無償キャンペーンを実施~,” 2022. https://prtimes.jp/main/html/rd/p/000000241.000021973.html
[15] MoguraVR, “バーチャル配信アプリ「REALITY」と HISの「バーチャル旅行」来場者数は 130 万人超に,” 2022. https://www.moguravr.com/reality-his-travel-world-report/
[16] 堀部貴紀,石原達馬,白井暁彦,森勢将雅,“『転声こえうらない』利用者の基本周波数分析,” Technical Report 18,情報処理学会 音楽情報科学(MUS)研究報告,May 2020.
[17] 堀部貴紀,白井暁彦,森勢将雅,“「転声こえうらない」を通したボイスチェンジャー品質改善のための定性分析と考察,”Technical report,日本音響学会 2021 年春季研究発表会,March 2021.
[18] 山崎勇祐,白井暁彦 ,“Vibeshare : Vote:オンラインでの出演者と観客の非言語コミュニケーションの実現,”映像情報メディア学会技術報告=ITE technical report,vol.45,no.8,pp.17–20,March 2021.
https://cir.nii.ac.jp/crid/1520009409718750976
[19] L. Bredikhina, T. Sakaguchi, and A. Shirai, “Web3D distance live workshop for children in Mozilla Hubs,” The 25th International Conference on 3D Web Technology, pp.1–2, Web3D ’20, Association for Computing Machinery, New York, NY, USA, 2020. https://doi.org/10.1145/3424616.3424724
[20] 白井暁彦他,“パネルディスカッション:WebXR メタバースの挑戦 in CEDEC2022 ~Mozilla Hubs 活用事例と課題共有~,” 2022. https://cedec.cesa.or.jp/2022/session/detail/108
[21] グリー株式会社,“GREE VR Studio Laboratory、メタバース時代のアバターを活用したクリエイターエコノミーを刺激~バーチャル演奏技術映像 「AI Fusion」を公開~,” 2022. https://prtimes.jp/main/html/rd/p/000000239.000021973.html
[22] 白井暁彦,AI とコラボして神絵師になる 論文から読み解く Stable Diffusion,インプレスR&D,2022.
[23] イオンエンターテイメント株式会社,“バーチャルシネマ,”2022.https://www.aevc.aeoncinema.com/
[24] M.T. Tang, V.L. Zhu, and V. Popescu, “Alterecho: Loose avatar-streamer coupling for expressive vtubing,” 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp.128–137, 2021.
[25] 一般社団法人日本動画協会,“アニメ産業レポート 2021 サマリー(日本語版),” 2022.https://aja.gr.jp/download/anime-industry-report-2021-summary_jp
[26] J.-E. JEON, “The effects of user experience-based design innovativeness on user-metaverse platform channel relationships in south korea,” Journal of Distribution Science, vol.19, pp.81–90, Nov. 2021.
[27] H. Zhu, “Metaaid: A flexible framework for developing metaverse applications via ai technology and human editing,” 2022. https://arxiv.org/abs/2204.01614
[28] T. Huynh-The, Q.-V. Pham, X.-Q. Pham, T.T.Nguyen, Z. Han, and D.-S. Kim, “Artificial intelligence for the metaverse: A survey,” 2022.

2022年9月20日受付,11月21日再受付,2023年3月1日初公開
note版公開2023年3月21日

最後までお読みいただきありがとうございました!

もしよろしかったらご感想とともにシェアいただければ幸いです。
こちらもどうぞ


この記事が気に入ったらサポートをしてみませんか?