見出し画像

Vtuber前夜の技術的な話を DJイベントチャレンジ編

ブラザーP

Vtuber大きく注目されたのが2017年。技術的にはその数年前からOculus RiftやHTC Vive、PerceptionNeuronなど今の主軸となるデバイスがリリースされ、少しずつ前兆が表れていました。今回はその前兆の一つかもって事で、2016年に僕が関わったイベントのお話を。

■ミクさんに自分の曲をＤＪしてもらおう

ボカリアというDJイベント(いわゆるボカクラという、ボカロ関連の曲でプレイするクラブイベント)の大トリで、初音ミクさん自ら曲を回してもらおうという企画でした。

事前に録画した動画を流すだけじゃ面白くない、生きてるミクさんを召還したいという事で、PerceptionNeuron+Unityでリアルタイムにモーキャプし描画するという事に。

肝心かなめのモデルは、コロンさん@koron_v02のコロン式ミクをお借りしました。数あるミクさんモデルの中から『モデルのデザインから、言い知れぬ公式感を感じる』という印象を持ち、お願いさせて頂きました。（コロンさん、その節はありがとうございました！


イベントは大成功で、且つ100～150人規模でこれが出来た事は良い思い出になりました。このイベントがきっかけで声を掛けてもらい、ブラザーPは2017年以降Vtuber界の荒波に揉まれていきます。。。

■技術構成と配線間略図

ポリッドスクリーンでミクさんを壇上DJ卓の背後に投影。壇上横に暗幕を張って、その中にアクターがプレイを行う卓を設置します。観客の様子とミクさんの挙動を確認出来るように、映像の返しも設置。

オペレーション用PC(Unity描画・挙動監視・トラブル対応・アクターへの指示出し・ミクさん表情付け)はアクターの背後に設置し、挙動の確認、アクターへの指示を行います。本番は音が大きく、オペからアクターへの指示が聞こえないので、指示出し用返しで行います。

トラブル時のフェールセーフとして、事前にDJプレイをしたミクさんのループ映像を収録しておいて、いつでもスイッチング出来るよう別PCで再生しておきます。

Unity廻りを中心としたを間略図を起こすとこんな感じです。

■ミクさんリアルタイムDJ間略図 (1)

■Neuronだけを殺す現場なライブハウスでの位置ズレ対策

パフォーマンス時間は25分～30分なので、最低でもその分は挙動を保つ必要があるのですが、Neuron(V1)はとにかく磁気と振動に弱く、

・ウーファーの振動
・スピーカー、DJ機器から発する磁気

これらがセンサーの挙動を狂わせます。特にライブハウスのような振動と磁気の塊な空間では、数分も経たない内にミクさんの位置がズレて、スクリーンから消えてしまいます。

まずはカメラの位置をミクさんの体に追従させて描画する、という方法を考えましたが、今度はその場から全く動かないように見えるので不自然、という事で却下。

現在ならViveトラッカーで乗り切る選択肢がありますが、2016年当時はまだ発売されておらず、スペース的にもベースステーションを展開できる余裕がない...

そこで考えたのが、Oculus Lift DK2をトラッカー替わりに使い、ミクさんの腰ボーンだけDk2で別トラッキングする、という案でした。

■Oculus Lift DK2をトラッカー的に使う

Oculus Lift は当時から卓上にセンサーを置いてトラッキング出来る仕様だったので、スペースの広さを気にする事なく設置出来ました。挙動させると、長時間動いても位置がズレる事なく狙いどおりの動きに。

■演出的な所とか

普通のDJプレイでは『動画じゃないの？』と思われるので、敢えて音を止めてミクさんが間違った、という演出をする事で生きている感を出しました。リアルタイムモーキャプが浸透していなかった当時なので、かなり新鮮に見られた印象。

■その他諸々

Neuronのドリフト問題は解決しましたが、腕を動かし続けるとあらぬ角度に曲がっていくという問題は解決に至らず。腕を休めると元の位置に戻る、という特性は掴めたので、本番では挙動を確認しながらアクターさんに『今度は左(右)を少し冷やして』と頻繁に指示出しながら乗り切った思い出。

本番数日前にNeuronのハブが謎の焦げ付きを起こして起動不能な状態に。Neuronをばくすたーさん(@baku_dreameater)さんにお借りする事が出来、無事乗り切ることが出来ました。ばくすたーさんあの時は本当にありがとうございました...

事前にDK2を良い値段で譲っていただいたまっつんさん(@n_mattun)にも感謝感謝。

■末文・お仕事募集のお知らせ

記事を書き始めたら、自分の考えが纏まるという事に面白さを見出せたので、また技術的な面で何か書けたら良いなと思っています。

私事ながら、お仕事の募集を行っております、記事を見られた方の中で、もしブラザーに興味お持ち頂ける方がいらっしゃいましたら是非お声がけ頂けると嬉しいです。


この記事が気に入ったらサポートをしてみませんか？