にじさんじとホロライブに見る3D技術の方向性
0. はじめに
こんにちは。たじぇまると申します。
初めての寄稿となるので読みにくい点等あるかとは思いますがご容赦ください。
私は普段はにじさんじを中心にたまにホロライブや他個人勢を見てます。
推しは社長とチャイチャイ。ホロライブではすいちゃんとスバルを推してます。
先日、ホロライブのすいちゃんこと星街すいせいさんのチャンネル登録者数50万人記念ライブがありましたね。
ライブ自体本当に素晴らしいもので、感想を語りだすと止まらなくなるのでここでは割愛させていただきます。まだ見てない方は是非ご覧ください。
さて、本稿では先日のすいちゃんのライブや、最近のにじさんじの3Dお披露目配信等を見て私が感じた、にじさんじとホロライブ両社の3D技術の目指すところについて記していきたいと思います。
この記事では技術的な側面に着目する性質上、演者や中の人といった表現をすることがあります。そういった話題が苦手な方はブラウザバックをお勧めします。
それでは始めて行きましょう。
1. ホロライブの3D技術
ホロライブを擁するカバー株式会社はもともとVRやARといった3D技術を推し進めていたこともあり、3Dに関する技術力は非常に高いですね。業界内でのハイスタンダードとして、各社の3D技術を評価する際の指針になっているように思います。
高いトラッキング技術
3Dのトラッキングというのは、全身にトラッキング用のマーカーを装着してそのマーカーの位置情報をキャッチすることで演者の動きを3D上で再現するという技術です。
詳しい説明は省きますがこのマーカーというやつが曲者で、高速で複雑な動きをしたり、演者同士が密着したりすると位置情報をうまくキャッチできなくなり、3Dモデルが破綻します。腕とか足が変な方向にグニャるアレです。
高速で複雑な動き。そう、ダンスですね。
こちら星街すいせい登録者50万人記念ライブ STARt IN THE SCREEEN!（以下すいちゃん記念ライブ）の4曲目「Platonic Girl」の冒頭です。（シークバーを設定してあるのですぐに該当箇所が見られます。）
すごない？？？
すいちゃんとトワちゃんの2人が近距離で激しめなダンスを踊っていますが、破綻が全くありません。ふつうはこんだけ腕をひねったりしながら動き回ったらどこかしらおかしくなります。
モデルの破綻ってVtuberになじみの深い人ならある程度見慣れたものなのですが、慣れてない人から見ると結構ストレスだと思うんです。
目の当たりにした瞬間少し冷めちゃうというか現実に引き戻される感じがする。
勢いと盛り上がりが命のライブにおいてはなかなか致命的なものになると思います。
それが全くない。
破綻しないまま、その勢いのままライブ終了まで突っ走る。
まさに止まらないホロライブ。
最高の3Dライブをするというカバー株式会社の気概を感じます。
ハイレベルなライブ演出
ライブ演出としてのカメラワークやVJの使い方の話です。
以下3曲目の「月陽-ツキアカリ-」の入りのシーンです。
転換映像をそのまま流れるようにVJに。
オタクはこういう演出に弱い（自己紹介）。
そんで原作オマージュのイラストってどうしてこうも盛り上がるんでしょうね？
このシーンだけに限らず、こういった映像の使い方、切り替え方が非常に巧いなと思うシーンが多々あります。
盛り上げ方をわかってますね。こういうの好きでしょ？って。好き。
そしてカメラの演出がうまいなと思ったのが以下のシーン。4曲目の「TRIal HEART ～恋の違反チケット～」のセリフパートですね。
私はこの原曲を知らないんですが、アイドルの恋愛に対して自分の中の天使と悪魔が押し問答している、みたいな曲なんでしょうか。
天使、悪魔それぞれの主張に合わせて画面ワイプの比率が変わって、最後に真ん中からワイプアウト...
曲のテーマが伝わるすごくいい演出ですよね。初見の人間も決して置いてきぼりにしない。
高精細な3Dモデル
高精細
［名・形動］きわめて細かいところまで精密であること。また、そのさま。「高精細な映像」「高精細なイラスト」
こちらは4曲目「PLATONIC GIRL」のストロボを使った演出です。
ストロボってのはチカチカ明滅するライトのことですね。高校の物理選択の方なら実験で使ったことあるんじゃないでしょうか。
3DCGの業界では、光の表現を如何に自然にするかっていう部分がひとつの永遠のテーマだったりします。
これだけ光の明滅がある状態で3Dモデルがきれいに見えるってそれはもうものすごいことなんです。ふつうはモデルの粗が目立ちます。モデルが相当精巧に作られているからこそできる表現です。
こういった「光を使った演出」はホロライブの明確な強みになってくると思うので、これからもガンガンやってほしいですね。
髪の毛のトラッキング
ところで3Dモデルってのは揺れモノが苦手です。髪とか長い布とかですね。
髪が肩や袖などを貫通しているところを皆さん一度は見たことあるかと思います。
ではここですいちゃん記念ライブを見てみましょう。右側の髪束に注目。
お分かりいただけただろうか...
髪がちゃんと肩の上を通って、全く貫通していません。
ウィッグにマーカーでもつけてトラッキングしているのでしょうか,,,もはや執念を感じます。
2. にじさんじの3D技術
にじさんじ擁するいちから株式会社はもともと、フェイストラッキング機能を使った2Dアバターのアプリケーション「にじさんじアプリ」を開発していた会社です。
創業当時は3Dに関してノウハウのある人間は少なかったように思います。
そんなにじさんじも今では3Dを使った公式番組があったり、数々のライバーが3Dデビューを果たしています。
それに伴い、にじさんじの3D技術もものすごいスピードで発展を遂げています。
中でも話題になったのはVtuber界隈を激震させた、社長こと加賀美ハヤトさんの3D配信でしょう。
フルバンドトラッキング
かけた金額だとかスパチャ額だとか同接人数だとか、インパクトのある数字を数々と叩き出した伝説の配信です。
この配信は配信の内容もさることながら、日本初（もしかしたら世界初）のフルバンドフルトラッキングということでも話題になりました。
繰り返しになりますが3Dトラッキングは、複雑な動き、素早い動き、密着した状態を苦手としています。
……
全部ですね。
楽器演奏なんて複雑な動きの極致にあるものをトラッキングしていること自体頭おかしい（誉め言葉）ですし、それを狭いステージ上で5人(+Vocal)って,,,
さすがにところどころ楽器が飛んでったりはしてますが、楽器のトラッキング自体は非常に精度が高く、楽器隊の弾き方の個性すらわかるほどでした。
バーチャル水
3D配信では度々ライバーが見えない水を飲むシーンがありますが、夢追翔さんの3Dお披露目配信ではとうとう透明だった水が見えるようになっています。これに関しては興味深い記事があったのでリンクを載せておきます。
こうして小道具のトラッキングが進んでいくと、目に見えない水だったり手にくっついたままのマイクだったり、そういったバーチャル特有の違和感がなくなっていきます。
そうしてより彼らの世界への没入感が増し、彼らをより身近な存在として感じられるようになると思っています。
豊富な3D企画
にじさんじで数々の3D企画を手掛けているライバーといえば...
そう、女装変態おじさん、花畑チャイカさんです。
体が大きくて手足も長く、頭のバランが良く揺れるため、非常に3D映えするライバーですね。本人の動きがうるさいのがすごく解釈通りです。
彼は3D配信でニンテンドーラボを組み立てたり、ツイスターゲームをしたり、卓球したりしています。
ニンテンドーラボでは完成後の筐体がモデリングされたり、卓球ではラケットと球がモデリングされたりしています。
筐体のモデリングに関しては体への付属品で、単体でトラッキングをしていたわけではないようでしたが、卓球では球がトラッキングされており、ボールが飛び交っているのを見ることができます。
さすがにラケット単体のトラッキングまではしていないようで、球を打った時の当たり判定はおかしなことになっています。
また、ツイスターゲームでは密着の限界に挑戦しています。
さすがに終始モデルがプルプルと震えていますが、バラエティですしあまり問題はないでしょう。
他にも最近のお披露目配信ではエビオの剣が抜けたり、りつきんが抜刀を見せたりしていますね。
こうしてみてみるとにじさんじは小道具のモデリングに力を入れていることが分かるかと思います。
また、最近ではトラッキングにも力を入れており、小道具をライバーの3Dモデルから独立して動かすことができるようになっています（ゆめおの水、エビオの剣、りつきんの刀など）。
また、公式3D番組であるレバガチャダイパンでも、いつの間にか手にコントローラがくっついてますね。社長とエビオの回からでしょうか。そのうちコントローラもトラッキングを始めて、手土産までモデリングするようになるんじゃないですかね。知らんけど。
3. 両社の3D技術の展望
アイドル路線のホロライブ
ホロライブはアイドル路線をとっているため、3D技術のリソースはすべてライブに注いでいる、と感じています。
3Dでの活動に、ライブという確たる芯があるからこそだと思います。
ひたすらにモデルのトラッキングとモデリングのブラッシュアップに努めているんじゃないでしょうか。
破綻のないトラッキング、高精細なモデル、高度なライブ演出。
すべてはライブを盛り上げるため。
バーチャルアイドルグループとして、最高のエンターテイメントを届けるため。そんな技術班の気概を感じます。
バラエティ路線のにじさんじ
にじさんじはライバーのやりたいこと、自己実現を助ける風土が強いことは界隈では有名ですが、3Dの方向性にもその考えは色濃く出ているように思います。
様々な分野で活躍するライバーたちが3Dでも好きなことができるよう、貪欲に新しい表現に挑戦し続けています。
そういった意味でもレバガチャダイパンがスタートしたことは僥倖だったと思います。
定期的に新たな技術を披露する場があることは、制作陣にとってのモチベーションにも非常にいい影響を与えることでしょう。
また、花畑チャイカさんや緑仙さんのような3Dを積極的に活用するライバーがいてくれることはいちから株式会社にとっても幸運なことでしょう。
4. まとめ
・ホロライブはモデリングやトラッキング技術が非常に高く、3Dでの活動の芯であるライブに力を入れている。
・にじさんじは小物や小道具を使った新たな表現に力を入れており、ライバーの希望に幅広く対応できる地盤ができつつある。
方向性も技術力も違う両社ですが、お互いに切磋琢磨して高め合っていってほしいところです。
そのためにもまずはクリーンな体制を整えてほしいですね。業界自体も会社自体もまだまだ成長期であり過渡期だと思いますので、温かく今後の成長を見守りたいと思います。
ここまで読んでくださりありがとうございました。
なにか気付いた点や意見等ありましたらコメントしてください。
乱文・長文失礼いたしました。
11/16 追記
たくさんの方にご覧いただき、驚いております。ありがとうございます。
文章の体裁を少し整えました。
この記事が気に入ったらサポートをしてみませんか？