中学でVRに出会ったインターン生がメタバースR&Dで経験したこと
はじめに
こんにちは。REALITY株式会社GREE VR Studio Laboratory（ラボ）インターン生の角田です。2023年の1月中旬からお世話になっておりましたが、慶應義塾大学学部4年生になり、研究室が忙しくなったので、ラボを卒業することになりました。ラボではメタバース開発の基礎、動画制作などを学ばせて頂きました。今回の記事では、数か月間の活動を振り返ってご紹介していきたいと思います。これからREALITYやメタバース業界に興味ある方にとって、参考になれば幸いです。
自己紹介
あらためまして、筆者の角田大司郎です。慶應義塾大学理工学部物理情報工学科4年に所属し、4月から光集積回路をテーマに研究活動を始めています。光集積回路は馴染みのない方もいると思いますが、社会のデジタル化による通信量の大容量化が必要となり、注目されている技術の1つです。メタバース開発においても、複数のアバターがメタバース空間上で同時に存在するには通信の大容量化・高速化が不可欠であり、光集積回路は根幹を支える技術です。正直な話、卒論までに十分な結果が得られるか定かではありませんが、とりあえず1年間頑張ってみたいと思います。
大学での研究内容はここまでにして、これまでの活動について紹介したいと思います。VRに初めて触れたのは中学1年生の時でした。当時Oculusが出始め、高校生の先輩がVRコンテンツを制作して体験したのが始まりです。私は日本バーチャルリアリティ学会主催の Interverse Virtual Reality Challenge（IVRC）に2017年、2022年の2度出場し、VRコンテンツの企画・制作に携わる機会を得ました。IVRCは2023年からメタバース部門も新設されたので、興味のある方はぜひ参加してみてください。IVRC2017では「走れ！走れ！走れ！」という日本の弓術作法の1つである犬追物（いぬおうもの）をテーマとした作品に携わらせていただきました。
IVRC2022では「適法！日本酒醸造シミュレータ」という日本酒造りを触覚、嗅覚、聴覚を使って体験できる作品において装置の設計を担当しました。チーム結成の流れ、開発過程などはIVRC2022開催報告で執筆させていただいたので、興味のある方は読んでみてください。
IVRCに加え、高校時代に機会があってLaval Virtualに参加していました。Laval Virtualとは、フランスで開催されるAR/VR技術の国際展示イベントであり、私は2018年と2019年に展示していました。Laval Virtual2018ではIVRCで展示した「走れ!走れ!走れ!」を改善した「Run!Run!Run!」を展示し、多くの人に楽しんでいただけました。また、Laval Virtual2019には「ARCO -Avoid the Risks of Conflagration-」のメンバーとして参加し、ポスター、英訳資料、来場者への説明などをしていました。
Laval Virtual 2018 「Run!Run!Run!」
大学進学後は、個人でニキシー管時計を電子工作したり、楽しい仲間達とロボコンに参加したりとハードウェアに触れる機会が多かったです。
<GREE本社での作品紹介・体験レポート>
1:15:36～
メタバース開発に必要なUnityとGitHubの修行
縁あってラボのインターン生になったばかりの頃、UnityとGitHubの使い方について学びました。Unityは触ったことはあるものの、アプリを最後まで開発した経験がなく、ラボでは基本的な部分から学びなおしました。具体的には、基本的なプラグインの使用方法、デバッグ方法などです。特に、Photonの実装を重点的に学ばせていただきました。
Photonとは、オンライン上でマルチプレイヤー参加を可能にするUnityのプラグインであり、オンラインゲーム開発で利用している企業もいます（図1）。Photonには無料版と有料版があり、無料版では最大で20人が同時接続できます。PhotonはUnityのアセットストアからダウンロード・インストール可能であり、サーバーを利用する際は予めPhotonCloudでのアカウント登録とIDの発行が必要となります。
インターンでは、Photonを用いてバレーボールゲームを作っていました（図2）。オンライン上でルームを作成し、プレイヤーが2人入室するとゲームが始まり、プレイヤーが操作しつつ相手のコートにボールを落とすと勝敗が決まります。プレイヤーはVRMアバターを左右に移動させることができ、スペースキーを押すとボールをトスして相手のコート側にボールを跳ね返します。初めてのマルチプレイヤー参加型ゲームを作成したので、サーバーの接続方法やオンラインゲームの仕組みを理解できました。定期的にFPSゲームをしたりするので、2人の実装でもここまで大変なんだなと痛感しました。
また、Unityの学習と同時にGitHubの使い方についても学びました。GitHubとは、チーム開発するときに使用されるコード共有サービスです。コードのバージョンを便利に管理できるため、企業や大学の研究開発でも利用されています。GitHubは大学の授業で軽く扱っていましたが、実際の開発で利用した経験は一度もありませんでした。ラボに入ってGitHub Desktop（図3）の存在を知り、ブランチの切り方、プルリクエスト（PR）のやり方、Issueの重要性などを知りました。もし、GitHubの使い方を知りたいという人がいらっしゃいましたら、こちらの記事でGitHubについて簡単にまとめたので、見ていただけると嬉しいです。
140秒でわかるメタバース開発TIPSの動画制作
「140秒でわかるメタバース開発TIPS」とは、メタバース開発に必要な基礎を140秒という短い時間にまとめ、わかりやすく解説する動画シリーズです。今年の1月からプロジェクトが始まり、動画は2023年4月時点で5本存在します。私はVRMアバターに関する動画の制作を担当し、SNSで発信してきました。動画制作の流れは以下のようになっています。
Unityなどで素材を収集
Googleスライドで動画の構成を検討
Googleスプレッドシートでセリフを作成
COEIROINKでセリフを音声化
REALITYのアバターで話す様子を収録
Adobe Premiere Proで動画全体を編集
Vrewで字幕を作成
動画制作の一連の流れを紹介しましたが、COEIROINKとVrewに対して馴染みのない人もいると思います。ここでは、この2つを順に紹介していきたいと思います。動画制作を始めたいと考えている人達の参考になると嬉しいです。
COEIROINKとは、無料で使用できる合成音声生成ソフトです（図4）。二次創作などにも利用でき、初心者でも簡単に編集できます。真ん中の画面で文章を入力し、下の画面で声のトーンを変えられます。英単語がある場合、アルファベットごとに区切って発音されてしまうため、適宜ひらがなに直して発音させる必要があります。また、右画面で音声の速度も編集が可能です。音声を書き出すときは「ファイル→音声をつなげて書き出し」を選択し、音声を1つのファイルにまとめます（図5）。「自分の声を使わないで動画を作りたい！」と考えている人はぜひ使ってみてください。
Vrewとは、AIで動画から音声を抽出し字幕として表示する無料のソフトウェアです（図6）。制作した動画をVrewに読み込ませた後、左画面に動画と字幕が表示され、右画面に字幕と音声の対応関係が示されています。生成された字幕の中には音声との内容がかみ合っていない部分も存在するので、音声を確認しながら字幕を編集していきます。また、フォントの字体、大きさ、色を編集したい際には、画面上の書式で変えられます。動画を書き出す場合、「ファイル→動画をエクスポート」でmp4ファイルが生成されます。Adobe Premiere Proで再編集する場合は、「ファイル→他の形式でエクスポート→Premiere Pro xml」でxmlファイルが生成されます。ゼロから字幕を作る必要がないので、Vrewは字幕生成に関して非常に便利なソフトウェアです。
携わったプロジェクト紹介
140秒でわかるメタバース開発TIPS
先程も紹介しましたが、ラボからの発信活動として「140秒でわかるメタバース開発TIPS」に携わりました。今年の2月に退職された中野さんの後を引き継ぎ、「VRMアバターをキーボードで動かしてみよう」、「デバッガーでUnity初心者を抜け出そう」の2本を制作しました。もともと何か発信活動をしてみたいと思っていたため、ラボに入った直後からUnityのチュートリアルと同時に担当させていただくことになりました。インターン以前はAdobe Premiereに触れたことがなく、動画制作に関しても全くの素人でしたが、過去の資料やアドバイスをもとに動画の素材集めからレンダリングまで担当し、1本の動画を発信できるようになったのは大きな自信になりました。
<140秒でわかるメタバース開発TIPS 再生リスト>
VTechChallenge2023
TechChallenge2023ではラボのメンターとして参加し、特に、メタバース開発もくもく会のサポートを行いました（図7）。第1回もくもく会は4/10に試行会、4/20に学生対象の会が行われ、「VRMアバターを読み込んで動かす」ことを目標に実施されました。主な業務として、もくもく会用のスライドなどの資料やUnityプロジェクトの作成を行い、「人が見てわかりやすい資料作り」を学びました。もくもく会ではメタバースに興味を持つ人たちの交流が行われ、開発で手詰まりしやすい部分など様々な発見がありました。
Metaverse Mode Maker(MMM)
ラボで開発中のMetaverse Mode Maker(MMM)（図8）では、ユーザーは生成AIを用いたファッションショーをメタバース空間上で体験できます。ここでユーザーはキーワードからStable Diffusion（AI）でテクスチャ生成を行うことで、自分だけの服をデザインできます。また、Meta Quest 2によるモーションキャプチャと組み合わせて、オリジナルの服と動きによるファッションショーUGCを手軽に作成できます。MMMはLaval Virtual 2023で展示され、子供から大人まで多くの人に体験していただきました。こちらのプロジェクトでは、開発の様子を拝見し、Lavalでの体験会の様子を簡単にAdobeで動画編集させていただきました。
<[mmm] Metaverse Mode Maker teaser - GREE VR Studio Laboratory->
<Metaverse Mode Maker in Laval Virtual(Ready to exhibition), 2024 April 12 from Laval, France>
まとめ
今回の記事は、角田が3か月のインターン期間での活動、学んだことについてお伝えしました。インターンを通して学んだツール・言語は以下の通りです。
GitHub
Unity(C#)
Adobe Premiere Pro（140秒動画制作で使用）
COEIROINK（140秒動画制作で使用）
Googleスライド（普段の日報や140秒動画で使用）
Googleスプレッドシート（業務の進捗管理などで使用）
インターンとしての生活は終わりますが、この経験を生かして個人活動などで頑張っていきたいと考えています。
さいごに
だいたい3か月という短い期間ではありましたが、インターンを通して学んだことは伝え方とスピード感の重要性です。普段の大学生活ではレポートを簡単に済ませてしまうことが多く、読み手の視点で読むことはありません。しかし、企業での開発資料では読みやすさやわかりやすさが重視されます。インターンではAdobe Premiere Proによる動画制作、Googleスライドやスプレッドシートによる資料作成、README作成、note記事の作成など様々な動画やドキュメントを作ってきました。フォントや背景、レイアウトなどを意識してわかりやすい文章に落とし込む作業は、これまでの学生生活では得られないものでした。また、業務を就業時間内に完了させるために、スピード感をもって仕事をする重要性も認識しました。個人開発では自分の時間に合わせて開発を行いますが、ラボでは自分が働く時間で作業を終わらせなくてはなりません。これは当たり前のことですが、ラボに入りたての頃はスピード感についていけず、就業時間に自分の仕事を終わらせられないこともありました。他のラボメンとの共同で開発しているとき、迷惑をかけてしまうことも多々ありましたが、この経験を通じて仕事に対する責任感を感じることもできました。
ラボのインターン生として過ごした3か月は非常に貴重な経験の連続でした。企業の研究開発やグリー本社での交流会、熟練のエンジニアの方からの指導、同年代のラボメンとの交流、計画的な業務の実施などの数えきれないほどの経験をさせていただきました。これからは大学での研究に集中しますが、この経験は今後も非常に身になると思います。
私に丁寧に指導してくださった白井先生、一緒に仕事をしてくれたラボのインターン生の皆さん短い期間ではありますが、本当にありがとうございました。
ディレクター白井より
このブログでは、角田さんのラボでの軌跡をお伝えしました。角田さんの出身校である立教池袋中等高等学校には私も何度か伺っており、記事中で紹介されたARCO -Avoid the Risks of Conflagration-も、なんとVRSionUp!の初回でデモを行ったプロジェクトでした！
中学時代から今に至るまでVRへの興味を絶やさず、さらにラボでのインターンを通じて自分の進路を固めて頂けたようで何よりです。今後のご活躍にも期待しております！
角田さんはメタバース開発のはじめの一歩について別記事で解説してくれているので、自分も何か作りたい・発信したい！という学生さんは是非こちらをチェックしてみてください！