IVRCのその先へ──バーチャル一般人だった私のメタバースR&D体験記
REALITY株式会社 GREE VR Studio Laboratory（ラボ）でインターンをしている慶應義塾大学理工学部4年の香山です。今回はのインターンレポートとして、私がラボで働くことになった経緯とR&Dインターンとして働いた半年間の活動を紹介したいと思います。
VRは好きだし、折角ならメタバース企業でインターンをしてみたいけど一歩を踏み出すのが難しいな…と感じている方の参考になれば幸いです！
遍歴 - SFからメタバースへ
まずは共感してくれる読者がいると良いなという思いで、ラボでインターンを始めるまでの遍歴についてちょっと細かく書かせて頂きたいです。
この世代にはよくある話ではないかと思うのですが、私がメタバースやVRに興味を持ったきっかけは細田守監督の映画『サマーウォーズ』と磯光雄監督のアニメ『電脳コイル』でした。様々なバックグラウンドを持つ人々が思い思いのアバターを着て空間を共にする…という『サマーウォーズ』のそそる設定と鮮烈なビジュアルは幼心に深く焼き付き、『電脳コイル』の見せる先進的なデバイスとそれが普及した世界に私は夢中になりました。
それから時は流れ、実際にメタバースの世界に踏み込むことになったのは大学に入った後、2020年のことです。当時は入学と同時にあの忌まわしきCOVID-19が猛威を振るっていたため、物理世界のあらゆる活動に制約が掛かっていました。リアルがダメなら前から興味のあったバーチャルを覗いてみよう！という単純な動機でREALITYとclusterを始め、また秋口にはOculus Quest 2を発売後すぐに購入してVRChat等にも飛び込みました。
実際にこの目と手で触れるメタバースは想像以上で、軽い気持ちで沼に片足踏み入れたが最後、結局は大学生活の4年を共に走り抜ける関係となりました。後悔はありません。
さて、メタバースにはクリエイター気質やパフォーマー気質の人が多くおり、そんな人々に触発されて私も何かを作るべくUnityやBlenderを触り始めました。好きこそものの上手なれとは良く言ったもので、メタバースで得たフレンドに支えられながらすくすく学び、ワールドやアバター等を自力で制作できるようになりました。
その後は「バーチャル一般人」を自認しながらマイペースに作りたいものを作る状態が長く続きました。趣味100%で好き勝手に創作するのはもちろん楽しかったですが、同年代の学生が業界でバリバリ活躍している姿を次々に目の当たりにしたことで、次第に自分もメタバースの経験を仕事に活かしてみたいと思うようになりました。
とはいえ、趣味の一貫として身に着けた、ある種付け焼き刃の知識が業務に通用するのか自信がなく、また趣味を仕事にすることで好きなものも嫌いになってしまうのではないか？という心配もあり、一歩を踏み出せずにいました。
またバーチャルの匿名性を心地よく感じていたのも悩みの種で、インターンやバイトがきっかけで匿名性が崩れ、築いてきた人間関係に影響してしまったらどうしよう、という漠然とした不安も抱えていました。
転機 - IVRC2022
そう逡巡する日々の中で、一つのツイートをきっかけに、日本バーチャルリアリティ学会が主催する学生VRコンテスト "IVRC2022" に出場することになりました（詳しい結成の流れや開発過程は日本VR学会の学会誌に収録されている「IVRC2022開催報告」を読んでいただければと思います）。
メタバースで身に着けたスキルでどこまでやれるか、力試しをするチャンスだと思いました。何よりVRへのモチベーションのあるメンバーがたまたま集まったこの千載一遇のチャンスを逃すわけにはいきません。
企画から半年の開発を経て日本酒の仕込み工程をVRで再現した作品である『適法！日本酒醸造シミュレータ』が完成しました。
メタバースで得た知見を活かしたUnityコンテンツに加え、独自の力覚呈示・嗅覚呈示機構が評価されて本作品はSEED Stage（予選）にてGREE賞、そしてLEAP Stage（本戦）にて総合優勝を受賞できました。
メタバース上の創作活動で身に着けたことは特定のプラットフォームの外であっても通用するんだ！という気付きは自信になり、一歩踏み出すための原動力となりました。
今年開催のIVRC2023ではさらに「メタバース部門」が新設され、応募のハードルが大幅に下がりました。こちら9/16（土）まで作品投稿することができるので、興味のある方は今すぐチェックしてみてください！まだ間に合います！…や、回し者ではないですが！
また、SEED StageでGREE賞を頂いたことをきっかけにラボのディレクターである白井さんと縁ができ、IVRC試作機のレビューやREALITYオフィスの見学会を行っていただきました。総合優勝後に白井さんから貰った「ここからどう進むかが大事、いつまでも日本一にあぐらをかいてはいけない」という言葉が印象的で、この言葉に背中を押されてさらに次のステージに進むべく、ラボインターンへの挑戦を決意しました。
実録 - ラボでの七ヵ月
そうして始まったインターンですが、ほんの半年ちょっとの間で怒涛の経験を積ませて頂きました。
Mozilla Hubsドキュメント作成 (2月)
インターンを開始してすぐの頃はMozilla Hubsのドキュメント作成を行いました。Hubsとはブラウザから接続できるメタバース空間で、リポジトリがOSSとしてGitHub上に公開されている（＝ローカル環境で立ち上げることができる）のが特徴です。
ラボのMozilla Hubsにおける研究成果は日本語ドキュメントのOSS公開やCEDEC2022「WebXRメタバースの挑戦 in CEDEC2022 ～Mozilla Hubs活用事例と課題共有～」として発信されています。
始めはLinuxの使い方もままなりませんでしたが、白井さんの丁寧な指導やラボの先輩が残してくださった資料のおかげでなんとかキャッチアップし、大規模なソフトウェアに対してもブロック図を書く中で構造を少しずつ把握していくことができました。趣味で行っていたメタバース創作活動ではプラットフォーム自体の仕組みまで踏み込むことはありませんでしたが、ここではいまどきのクラウドでの通信処理やサーバー構成などの中身を見て解きほぐしていく良い機会になりました。
“MMM” 開発 (2～4月)
初めての大仕事として、フランスで開催されるLaval Virtual Revolution 2023に向けた”MMM” (Metaverse Mode Maker) の開発プロジェクトに参加しました。
以前の記事でも紹介しましたが、MMMはHMDを装着したままアバターの服とモーションをデザインしてファッションショーシーンを作成するというPoCプロジェクトです。
個人的にはこれがインターン期間で一番印象に残っているプロジェクトで、「仕事」としてのチーム開発に求められる様々な事項を一挙に学ぶことができたと思います。限られた業務時間内に着実な進捗を生むためにこまめな報連相を行う、タスクを一人で抱え込まずに困ったら相談する、といったような今思えば基本的なことをゼロから身に着けることができました。
共同開発メンバーの一人、Alexさんはフランスからの留学生であったため、テクニカルなコミュニケーションを英語で行う良い機会にもなりました。
また、技術面でも既存のメタバースプラットフォーム上の開発ではあまり気に掛けることのなかった要素（生成AIの活用やモーションの最適化）の学びを深めることもできました。こちら興味がある方はSIGGRAPH 2023での発表を観て頂けたらと思います。
“AAAFS” 執筆 (4月, 6月)
Laval Virtual 2023での展示で収集したデータを基に、MMMを論文化した ”AI-Assisted Avatar Fashion Show: Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC” を執筆しました。大学の研究室にも配属されたばかりで論文執筆の経験がない中で、英語論文を主著者として書かせて頂くというチャレンジをさせてもらいました。ディレクター白井さんやラボメンバーのやはぎさん、Alexさんの助けを借りながらなんとか書き上げ、無事SIGGRAPH 2023 PostersにAcceptされました。
メタバースR&Dと一口に言ってもResearch (研究)とDevelopment (開発)の違いすらいまいちピンと来ていなかった私でしたが、業務中に時間を区切って関連領域の論文を読ませて貰ったり、何度も書いた論文を推敲して頂いたことで研究の作法や分野の流れを学ぶことができました。ここでの経験はその後大学での研究でも活きており、以前より論文を読んだ際に著者の意図を汲み取れるようになりました。また、何より査読を通すことができた、という経験は大きな自信に繋がりました。
当時は「天地がひっくり返ってもありえん」と茶化していたSIGGRAPHへの投稿を、それから1年で成し遂げることができたという事実に感慨を覚えます
“AITuber” 開発 (5～6月)
MMMの開発とAAAFSの執筆に一段落ついてからは、新しいプロジェクトとしてAITuberの開発に参加しました。
ここではモーション収録ツールの開発やQAを担当しました。巷を騒がせ続けているChatGPTの応用にいち早く取り掛かることができたのは、ラボのR&Dにおけるスピード感が為せる技だったと思います。
余談ですが、ショートフィルムはいずれも「あはははは」という気の抜けた笑いで締められるという特徴的な構成になっています。これは企画会議で『日常系とは何か？』というディスカッションがあり、そこで「視聴者を意識したオチを付ける必要はないんです、キャラクターが楽しそうに喋っているのを見られるだけで良いんですよ」という 口をついて出た 私の持論を拾われてしまった結果です。すみません、ありがとうございます。
そういった変な拘りをシステムに落とし込む白井Dの手腕と、それを尊重するグリーグループの社風も素晴らしいなと思いました。
“MuscleCompressor” 公開 (7月)
半年間のラボでの活動の締めくくりとして、MMMプロジェクトからAITuberプロジェクトにかけて学び、実装してきたモーション周りの知見をOSSの形で公開させていただきました。
OSS公開については社内審査などもあり、審査に関わっていただいた方々の応援に感謝です。初めての経験でしたが、ゲーム制作メディアさんに取り上げてもらったことで多くの注目を頂きました。
グリーの看板を背負ってコードを公開するのには緊張も感じましたが、今まで文献の少ない中で自力実装する必要があったモーションのランタイム読み書きをオープンソース化できたのは意義のあることだと思います。Questを使ったモーションキャプチャ（コードネームQueTraとして論文で記載していたもの）も含んでおりますので、こちらも役立てて頂けると幸いです。
当リポジトリは今後も引き続きアップデートしていきたいと思っておりますのでよろしくお願いします。コードの具体的な内容については、READMEや別のブログで解説しましたので、興味のある方は是非読んでいただけると嬉しいです。
CEDEC展示 (8月)
ラボ最後の活動として、8/23～8/25にパシフィコ横浜で開催されたCEDEC2023へMMMのデモを出展しました。
ゲーム業界の様々な方に訪れて頂き、あまり外に出ないような貴重なお話を聞いたり、有意義な議論を数多く行うことができました。
気になるセッションや展示を存分に見ることができたのも嬉しいところで、特にSONYさんが展示していた等身大の裸眼立体視ディスプレイ の完成度に驚きました。視力1.0相当の解像度で立体視を実現しているとのことで、髪の毛一本一本まで精細に3D描画されることによる圧倒的な現実感に「未来」を感じました。
SONYの等身大裸眼立体ディスプレイさんの前で限界オタ芸を披露してしまった動画#CEDEC2023 pic.twitter.com/7tQKxtMajV
— Dr.(Shirai)Hakase (@o_ob) August 23, 2023
SFの描く未来の輝きに惹かれてここまでやって来た私ですが、今でも変わらず未来にワクワクすることができるというのは本当に有難いことだなと思いました。自分も未来を提供する側になれるように精進します。
まとめ
ラボでのR&DインターンはResearch面でもDevelopment面でも挑戦の連続で、半年前からは想像もできないほどの成長を遂げることができたと感じています。責任を伴う仕事だからこそ真剣に向き合って数多くのことを吸収することができた、という面は少なからずあると思います。
もし読者の中に、私と同じように「メタバースでの創作は楽しいけどインターンに申し込んで良いんだろうか…？」と感じている学生さんがいるなら、エイヤの気持ちで飛び込んでみることをお勧めします。足りないものは働きながら学べばよい！というスタンスを堂々取れるのが学生インターンの利点ですし、分野に興味があるならきっと付いていくのも苦にならないと思いますよ。
お世話になったグリーのインターンシップ案内です。短期インターンも長期インターンも募集しています！
インターンに限らずキャリア相談があれば、私もお世話になった白井さんのX（Twitter）DMに凸してみると良いことがあるかもしれません！
さいごに
未熟な私に挑戦の機会を多く与えてくださったディレクター白井さん、支えてくださったラボメンの皆さんへの謝辞で締めさせて頂きたいと思います。ありがとうございました！