見出し画像

GREE VR Studio Laboratoryの活動軌跡を調査してみた

REALITY

はじめに

こんばんわ。REALITY株式会社GREE VR Studio Laboratory（ラボ）のディレクター白井です。気が付けばこのラボも2018年6月に活動を開始して5年余。それなりの積み重ねができてきたのと、インターンの山岡さんがこれまでのラボの仕事を調査してくれたので紹介してみます。まさにメタリサーチ！
一つずつ詳細に解説していたら一生書き終わらないので、子細はリンク先に譲るとして駆け足で紹介して行きます。それでは早速Let’s Go!


GREE VR Studio時代

実は最初からラボが存在していたわけではなく、ラボはGREE VR Studio（以下スタジオ）というGREEのモバイル向けVRゲーム事業を手掛ける部署を前身に持ちます。
スタジオは2015/11/6に立ち上がりました。(プレスリリース)。この頃というと、初代HTC ViveやOculus Riftの発売の約半年前、VTuberの始祖「キズナアイ」の台頭の1年以上前にもなります。めちゃくちゃ早いですね。
スタジオはそれから3年間で8本もVRタイトルをリリースします。(参考記事)。最初のタイトルの「サラと毒蛇の王冠」はたった2名のスタッフで製作を始めたそうです。それから徐々に関わる人が増え、最終的に20人程度まで人が増えました。まさに黎明期という趣です。

https://www.moguravr.com/tgs-gree/

ちなみに当時の開発者の方々、特にアートチームは現REALITYのアバターデザインでも多く活躍されているそうです。

お好きな方はこちらのマガジンをどうぞ！


スタジオのロゴ

GREE VR Studio Laboratory発足

2018年6月に発足したGREE VR Studio Laboratoryですが、プレスリリース等から当時の研究活動をいくつか紹介します。

グリー、最先端技術の研究開発組織「GREE VR Studio Lab」から、Webブラウザ上で無料で楽しめる「転声こえうらない」β版をリリース

グリーで最先端技術研究開発を担う「GREE VR Studio Lab」が、VTuber技術を対象にした研究チャレンジコンテスト 「VTech Challenge」の開催決定

SIGGRAPH ASIA 2018 Real-Time Live

(1) VTuber関連技術のR&D促進
(2) 異業種R&D連携強化
(3) 業界振興・イノベーション型人材の支援発掘や育成
以上の3つの柱を基本方針として、VRなどの最先端技術の研究開発を促進するため、2018/9/6にラボが立ち上がります。このころはOculus Goが発売したり、VTuberシーンが一気に伸びていたりした時勢です。
ここからはラボの研究成果を紹介していきます。
ラボ立ち上げ初期の研究成果やラボに込められた思いなどはこちらのショートレポートから確認できます。

機械学習を用いた特殊表情コントローラ

特殊表情の種類

漫画などでよくみられる特殊表情は、人が実際に再現するのが難しい表情であるため、アバターで表現するためにはコントローラのボタンと対応させることが多いです。本研究ではモバイル端末を用いて特殊表情をまねた表情からBlendShape値を取得して分類器を生成し、理想的な条件で95%, 難しい条件下で約60%の判別精度を達成しました。
詳しくはこちらのスライドをご覧ください。
さらに本研究はReal Time Demo at SIGGRAPH in Tokyo 2018という数千人の目の前でたった7分間だけデモを許される難度の高いセッションにおいてデモがなされました。当時の様子は動画から見ることもできます。(舞台裏も見られます。大変そう...)

Real-Time live at SIGGRAPH ASIA in Australia in 2019

日本とオーストラリアで同時遠隔セッション！

2019年にはオーストラリア会場で7000kmも距離のあるオーストラリアと日本をつないでViveShare(詳しくは後述)を用いて直感アルゴリズムのメンバーとミルキークイーンさんと白井さん4人がリアルタイムにコラボして生放送を実現しました。オンラインだと十分に伝達しづらい拍手や歓声を触覚に変えて演者さんに届けました。こちらの様子はブログやラボ公式ページから確認できます。

VTECH CHALLENGE

VTECH CHALLENGEはVTuber技術の底上げを目的として、新たな技術や研究を支援する若手人材発掘プロジェクトです。2019年から毎年開催されており、特許取得につながったり、IVRCで賞を受賞した作品が発表されたりしました。
それぞれの作品や生放送アーカイブは公式HPをご覧ください。

九条林檎の挑戦状

REALITY企画王にて見事優勝を勝ち取った九条林檎さんが考案した鬼ごっこ企画の第2弾にてラボが技術協力をしています。

VibeShare

突つきあって振動を感じる林檎さんとふわりさん(とそれを眺める白井さん)

ViveShareはラボでかつてインターンをしていた山崎さんが開発した触覚デバイスHapbeatを利用して触覚体験を共有する技術やコンセプトを指します。
音を振動に変換し、ユーザに触覚提示することでオンラインでは伝わりづらいライブの音圧やVR体験時に失われてしまう衝突時の感覚を得ることができます。ViveShareは先述のReal-Time Live at SIGGRAPH2019や九条林檎の挑戦状など様々な場所で成果発表がなされています。
詳しくは山崎さんの退職ブログやラボのページをご覧ください。

UXDevシリーズ

2021年ごろからラボは、REALITYがVRコンテンツになったとしたら、どんなUI/UXが必要になるか考え、実際にPoC(概念実証)としてプロトタイプを製作しその有用性を検証するUXDevシリーズに注力していくことになります。
そんなUXDevシリーズの成果を一つずつ紹介していきます。

UXDev1(VR Mirror)

VR MirrorはREALITYの配信画面をVR空間上に持ち込んだ時に自身がどのように映るべきか、また他の人の配信画面をどう配置すべきかをPoCしたプロジェクトです。
3D空間を意識して様々な角度で自身を確認できるようなUIになっています。
また、頭上や床下など、望まれない角度をちゃんと制限するよう設計されています。詳しくは動画やnote記事をご覧ください。

UXDev2(Metaverse Christmas)

メタバース上でのクリスマスはどんな風になりそうかを描いたコンセプトムービーです。ただのコンセプトムービーに見えて実はタグ表示や、ハンドトラッキング、ピアノの自動演奏など様々な先端技術が隠されています。ぜひどんな技術が隠されているのか想像しながら視聴してみてください。
その答え合わせの一部は武政さんのブログでできます。

UXDev3(Metaver-School)

Metaver-Schoolはメタバース上での新学期の日常を可視化したものです。ギターの演奏アニメーションやモブのランタイム生成など様々な技術が例にもれず隠れています。詳しくは公式ページをご覧ください。
実はコンセプトムービーの最後に登場したバンドはなんとVRコンテンツとして製作されています。この辺はGVBandの章で解説していきます。

UXDev4(MetaDreamers)

MetaDreamersはMetaver-Schoolで結成されたバンド名であり、メタバース上でのバンド活動を可視化したMVでもあります。楽曲はシンガーソングライターの菜那さんに書きおろしていただきました。ドラムのモーションはAIと人のモーションの融合によって作られています。モーションを全部自動でつけてしまうと、ロボットのように完璧な演奏をしてしまい人間味が薄れてしまいます。片や、モーションキャプチャによってアニメーション作成をするにはある程度の楽器経験が必要になってきます。アニメーション生成にAIを活用することで楽器経験に乏しくてもそれらしいアニメーションを作れるようになります。AI Fusionと名付けられたこの技術の詳細はYouTubeで比較動画を視聴したり、公式ホームぺージを読むことで確認できます。
MVはコロナ禍におけるバンド活動や、人が楽器を演奏する意義などたくさんの示唆に富んでいます。ぜひいろいろ考えながらご視聴ください。

UXDev5 (MetaCommunication)

Meta Communicationはメタバース時代のコミュニケーションに求められるUI/UXを可視化したコンセプトムービーです。あなたはどんな形のコミュニケーションを期待しますか？
MetaCommunicationの助監督はインターン生の中野さんが務めました。
https://vr.gree.net/lab/uxdev/meta-communication/
ちなみに筆者はこの辺のプロジェクトからラボにjoinしています。

UXDev6 (QuestBench)

MetaBenchではMetaQuest1とMetaQuest2では何体くらいならFPSを維持してREALITYアバター(VRMアバター)を描画できるのかを調査したプロジェクトです。Quest1では10人程度でFPSが低下し始めたのに対して、Quest2では20人以上描画して初めてFPSが低下し始めました。FPSが72より高くなっていないのはサーマルスロットリングという発熱を抑えるハード側の制限によります。
計測結果から、Quest1で野球ゲームは難しいけど、Quest2なら可能ということが分かりました。ハードによって快適にプレイできるスポーツの種類が変わってくるというのは当たり前だけど気が付かなかった知見でした。

Quest1,2におけるアバター数とFPSを計測したグラフ

UXDev7 (GVBand)

GVBandはMetaver Schoolに登場したバンド(MetaDreamers)になりきって教室でバンドセッションが体験できるコンテンツです。 プレイヤ同士が遠く離れていても、一つの場所でバンド演奏が一緒に楽しめます。それぞれの楽器はリズムに合わせてそれっぽく演奏するだけでもスコアが上がっていくよう設定されているので音楽経験に乏しくてもバンドを演奏している感覚を覚えます。筆者も楽器はてんでダメですが、それっぽく演奏しているだけでスコアが上がってパーティクルが発火するので楽しめました。GVBandは、GREE Tech Conference2022とSIGGRAPH ASIA2022で展示しました。実際に韓国にいるお客さんと、日本の自宅からアテンドの補助をした筆者が同じ教室でバンド演奏ができ不思議でもあり中々感慨深い体験でした。(ポスターはこちらから確認できます)
一般のお客さんに体験してもらって分かったのですが、自分以外がbotだと、すぐに体験をやめてしまうのに対し、中に人が入って手を振るなどしているとずっと演奏を続けてくれました。とてもエモいですね。

UXDev8 (Metaverse Mode Maker)

Metaverse Mode Maker (通称MMM)はGenrerative AIを活用することで、HMDを装着したまま自由に服のテクスチャを生成し、そのままファッションショーに参加することを可能にしたプロジェクトです。フランスで開催されたLaval Virtual 2023にて行ったデモ展示では、老若男女を問わず多くの人がオリジナルの服やモーションを作成することができました。

こちらは改良を重ね、今年のCEDECとSIGGRAPHでも展示を行いました。技術詳細や展示の様子は別ブログにて解説しておりますので、興味のある方はぜひご覧ください！

GenAI プロジェクト

VR版のREALITYを検証するUXDevシリーズは2年に及ぶ活動の末に完結し、新たにYouTubeとGenerative AIを掛け合わせたGenAIプロジェクトが始動しました。
実験放送はVRStudioLabのチャンネルから24時間絶えず配信され続け、ChatGPTベースのAIエージェントがコメント返信し続けるDamivoChatや、ChatGPTで生成された脚本から人の手をほぼ介さずに制作された3DアニメーションであるMetaChatNewsがコンテンツとして流されました。
これらの裏側は田中さんの卒業ブログで確認することができます。

その他のラボの取り組み

ラボは研究開発の合間に、培った知見を利用して子供向けのワークショップや発信活動も行ってきました。紹介しきれなかった活動の一部を挙げてみると…

インターン山岡のふりかえり

筆者（山岡）がラボにjoinしたのは2022年10月ごろで、ちょうどそのころMetaCommunicationやGVBandのプロジェクトがヤマ場を迎えていた時期でした。それ以前の活動についてはあまり知らなかったので、今回は一度ラボの活動をまとめておこうと思い筆を執りました。ラボの軌跡を調査してみて一番驚いたのは、ラボの前身のGREE VR Studioが2015年に設立されていたことです。大手の会社がこんなにも早くVR業界に参入していたとは驚きです。その後消費者向けHMDが徐々に出始め、VTuberが台頭してきました。この急速な流れに対応できたのは、地に足を付けて先んじて研究活動をしていたからだと思います。この流れの中に身を置けたのは幸運なことだったと思います。

少し筆者の自分語りをさせていただくと、元々VR技術やVTuberに触発されて情報系の学科に進学しました。学部一年生の頃から研究室に所属できる環境にいたので、学部4年の頃に研究がどのように社会応用されているのか興味を持ち始めた折に元々知っていたラボの門扉を叩くことにしました。（学科の先輩や同期である堀部さんや中野さんがすでに在籍していたのも大きいと思います。）結構ノリと勢いで応募してみたらとんとん拍子に話が進み、カジュアル面談の次の日には会社見学をさせていただきました。勢い結構大事！

入社後は、研究開発、論文添削、PoC、パフォーマンス計測、noteなどの情報発信、QA、展示のアテンドなどたくさんのことを経験させていただきました。時には、Metaverse ExpoやXR kaigiなどのイベント参加や他企業の見学など個人ではできないようなことを体験させていただきました。入社時はスピード感が早すぎて周りで何が起こっているのか把握するだけでも大変でした。大変だったり、ご迷惑をおかけしたりすることもありましたが、楽しかったです。

直接的な技術力はもちろん、ドキュメント策定や共同作業の仕方など、中々大学だけでは身につかないこともラボで学ぶことができました。
ラボは上場企業であるGREEの子会社のREALITYの中の更に少数のメンバーで構成されているので、大企業の福利厚生を享受しつつ、自由度が高く小回りが効くためトライ＆エラーを繰り返しやすいのが魅力だと思います。待遇の多くは正社員と同じなので、定例会議に出席でき、売上情報など学生が普段は絶対聞けない話などを聞けとても勉強になりました。
ラボを離れてからしばらくは研究と創作にコミットしていこうと思います。ラボでの経験は就活や今後の人生に絶対に役に立つでしょう。
直接指導してくださった白井さん、一緒に仕事をしたラボメンのみなさん本当にありがとうございました。

先日は、CEDEC2023でスポットですがお手伝いさせていただきました！

GREE VR Studio Laboratoryは永遠に不滅です!!?

長いブログを最後まで読んでいただきありがとうございました。
今後ともREALITYともども末永くよろしくお願いします。

インターン一同・ディレクター白井暁彦（2023/8/31）