LATEGRA的XR LIVEのつくり方

LATEGRA広報の松本です！

LATEGRAは、XRの最新技術を活用してリアルとバーチャルを融合したエンターテインメントを制作、プロデュースしている会社です。
3つの事業があることは前回の記事（LATEGRAってどんな会社？）でお伝えしましたが、今日はその中でも「XR LIVE」についてお話していきたいと思います。

XR LIVE制作の裏側に興味がある方、XRを勉強中の方、LATEGRAで働くことに関心のある方、同業の方でLATEGRAはどうやっているの？と気になっている方などに読んでいただけると嬉しいです。

1. XR LIVEとは

LATEGRAの「XR LIVE」は、AR、VR等のXR技術を活用して、二次元キャラクターがリアルのステージに登場し、そこに存在するかのようにライブパフォーマンスをすること、いわゆる「バーチャルキャラクターライブ」のことを言います。
昨今は、ゲームキャラクターやアニメキャラクターのスタンダードになりつつあるライブ形式ですね。生身の人間（リアル）とキャラクター（バーチャル）が舞台上でコラボレーションできるのもXR LIVEの特徴です。

LATEGRAは、2016年（当時は前身の会社、株式会社Lateensail）からすでにXR技術を使ったリアルライブを行っていました。元々がライブイベントの制作、演出、プロデュースを事業としていて、ライブ演出のひとつとしてAR、VR技術を使ってみよう！というところから始まりました。

当時から中国で事業展開を始め、そこで出会った”洛天依（ルォ・テンイ）”というバーチャルアイドルのテレビ出演を手掛けたことから始まり、中国でもさまざまなテレビ放送やライブイベントの実績を積んできました。
日本では、2016年より超歌舞伎のお話をいただき、それからキャラクターライブの市場が大きくなるとともに携わる案件も多くなってきました。当初のライブエンターテインメント業界の中では珍しい取り組みだったと思います。

現在は、2020年以降テクノロジーが急激に発展し、ライブ観賞形式も多様化してきたので、私たちのような古くからやっているライブエンタメ企業だけではなく、新興XR企業やIPホルダーもキャラクターライブを展開するようになり、さまざまなXR LIVEが楽しめるようになってきています。

※洛天依との興味深い出会いについては、代表山形のnoteに詳しく書いていますので、ぜひ読んでみてください！
https://note.com/yamagata_ryuji/n/n5d3d5959e8b6

＜LATEGRAのXR LIVE実績＞
●2018江蘇衛視 跨年演唱会 ※中国4大衛星テレビの1つ江蘇衛視の年末歌番組(引用：ChinaJiangsuTVOfficialChannel）
担当領域：演出、キャラクターモデリング、CG制作、AR技術

●2022央视元宵晚会　※中国国営テレビの春節番組、日本の紅白歌合戦 (引用：CCTV春晩）担当領域：演出、キャラクターモデリング、CG制作、AR技術

●【グラブルフェス2022-2023】グラブルフェス Special Character Live
（引用：グランブルーファンタジー公式チャンネル）
担当領域：ステージ演出・制作、リアルタイムCG演出・技術

●hololive 4th fes. Our Bright Parade Supported By Bushiroad
（引用：hololive ホロライブ）
担当領域：AR技術

ほかの実績はこちら：https://lategra.co.jp/works/

2. XR LIVEをつくる体制

さて、ここからはLATEGRAのものづくりの裏側について紹介していきたいと思います。
代表山形のポリシーでもあり、LATEGRAのスタイルでもありますが、”ノウハウも知見もオープンに、知りたい人には隠さず教えます”というスタンスですので、少し話が細かくなりますが、皆さんのお役に立てたらと思います！

LATEGRA、XR LIVE部門は、大きく「PRODUCE、ENGINEERING、TECHNICAL、CREATIVE、XR STUDIO」の5つの機能で構成されています。これを”LATEGRA engine”と呼んでいます。XR LIVEをつくる全ての機能が、インハウスであることがLATEGRAの強みです。

LATEGRA engine

• PRODUCE
  ライブの企画・制作・演出・運営など全体を管理し、マネジメントする部門。AR、VRライブ、リアル×バーチャルのハイブリッドライブ、オンライン配信イベント、プロモーションイベントなど、クライアントの実現したい目的に対して最適な方法をご提案しています。さまざまな要望に対応し、各所と連携しながらプロジェクトを推進していきます。
  プロデューサー、ディレクターが在籍しています。

• ENGINEERING
  Unityをメインツールに、モーションキャプチャや新しいデバイスとの連携、カメラトラッキングのプログラミングなどを開発したり、シェーダーやエフェクト、スクリプトによるライブ演出を制作している部門。リアルライブでのUnityオペレーションもこの部門が担当します。
  テクニカルアーティスト、エンジニアが在籍しています。

• TECHNICAL
  さまざまなハードウェア、ソフトウェアを組み合わせて、あらゆる映像コンテンツを送出する仕組みづくりをする部門。テクニカル演出、照明演出、AR/VRコーディネート、映像編集なども行っています。
  テクニカルプロデューサー、テクニカルディレクター、VR照明アーティストが在籍しています。

• CREATIVE 
  キャラクターのモデル、モーション制作からイベント演出映像などハイクオリティな3D CGを制作する部門。CG演出、モーション収録、モデリング、レンダリング、モーションキャプチャのポスト処理まで行っています。
  クリエイティブディレクター、CGデザイナーが在籍しています。

• XR STUDIO
  社内に併設されている多機能大型スタジオです。3Dキャラクターのモーション収録、グリーンバック収録、オンライン配信、リアルタイム配信ライブなどがここから発信されています。新しいコンテンツを生み出すために、最新技術のテクニカル検証なども日々行われており、LATEGRAの進化を支えている重要なLabです。
  ※Labの様子はこちら「XR LAB Blog」

3. バーチャルキャラクターライブの制作プロセス

では、5つの”LATEGRA engine”がどのように連携して機能しているのでしょうか。
最も得意としているバーチャルキャラクターライブの制作の流れに沿って紹介したいと思います。
実際は、クライアントの要望によって依頼内容はさまざまなので、それに応じて担当領域は変わりますが、企画から演出、CG制作、開発、テクニカル実装、現場運営まで全てをお任せいただいた際の全体の時間軸とプロセスがこちらです。

バーチャルキャラクターライブ制作パイプライン

※制作期間は、ご相談をいただくタイミングやキャラクター数、曲数、求めるクオリティなどによって毎回異なるため、あくまでも一例として参考程度にご覧ください。

各セクションの細かいプロセスは、別の機会に書きたいと思うので、簡単に大きな流れだけをご紹介します。

【9ヶ月前頃】
ライブコンセプトを決定し、全体構成や演出プラン、ステージデザインなどを固めていきます。選曲、セットリストが形になってきたら、アクターさんのアサイン、振付、ダンス練習などを進めていきます。

同時期に、CREATIVEでは、CGキャラクターのモデリングやテクスチャー作業、リギング（骨入れ）などをします。

【7ヶ月前頃】
ある程度キャラクターを動かせる状態にして、モーション収録。
XR STUDIOでモーションキャプチャのデータを取り、CREATIVEでラベリング（データをきれいにする）、リターゲティング（モーションをキャラに入れる）作業をし、細かく調整していきます。
すべてのモーションデータが正確に取れるものではないので、動きが崩れているところや飛んでしまっている箇所、表情などを、すべて手作業でひとつひとつ付けていきます。

【6ヶ月～3ヶ月頃】
TECHNICALは、会場規模やステージ演出などに合わせて最適なテクニカル演出方法や機材を検討します。表現したい演出が実現可能かどうか、必要な検証を何度も行います。ステージ照明演出もここでプランニングして本番の舞台照明とVR照明を設計していきます。

CREATIVEは、キャラクター以外のステージやアセットも制作します。

ENGINEERINGは、Unity上にステージを組み、CREATIVEがつくったキャラクターやアセットをUnity上に統合していきます。テクニカルアーティストは、エフェクトやシェーダーなど演出に関わることを、エンジニアはキャラクター制御システムやライブ進行システムを構築します。

【2ヶ月～本番】
この期間は、リハや検証を重ねながら、本番に向けて各セクションが同時進行でつくりあげていく怒涛の期間です。。。（文字では到底表現できない状態）

4. もっと詳しく知りたい方へ

各セクションについてもっと詳しく知りたい方は、これまでいくつかの講演に登壇させていただいていますので、ぜひそちらを参考にしてみてください！

▼Unity SYNC 2022｜ライブのノウハウを活用したバーチャルキャラクターライブのカメラと照明の紹介

▼【CGWORLD クリエイティブカンファレンス2022】バーチャルアイドル洛天依｜キャラクター＆LIVEステージメイキング）

▼CGWORLD MEETUP~Autodesk Mayaユーザー会~ 講演映像

★Twitterではものづくりの裏側を発信しています！
　ぜひ覗いてみてください！

Tweets by Lategra_inc