見出し画像

【VMC】3Dキャラクターで演技して動画を作成するためのメモ

3Dで人や物を動かすことは大変な作業なわけですが、それでも3Dキャラクターを用いたVtuberを多くみかけるようになりました。
ましてやリアルタイムに動かすためのモーションキャプチャーなどは、特殊なセット、装置、技術が必要で、映画やテレビなどの世界だけの話でしたが、近年では我々のような個人でもできるようになってきました。

現在のVtuberの台頭の背景には、VirtualMotionCapture、EVMC4UCineSwitcher、Unity、blender、Live2DやOBSなどのいくつかのプラットフォームと、それをベースにしたファンクションレベルの開発が多く行われていることにあります。
さらにユーザー自身が組み合わせを考え、改造、追加、販売などを経て新たな価値を提供するなど、小さなユーザーイノベーションを多く実感できるおもしろい世界です。

これらは、Vtuber用の動画やVRゲームとの合成などにはよく使われていますが、キャラクターを使用した映像にも活用したいなと思いまして、試しにVirtualMotionCaptureViveトラッカーとあわせて、こんな動画をつくってみました。

VirtualMotionCapture(VMC)とは

OculusやViveなどのHMD、コントローラーに加えて、トラッカーを足や膝、肘などに装着し、その動きをベースステーションを通してトラッキングすることで、VirtualMotionCapture内に読み込んだ3Dキャラクターに、同じ動きをさせるためのアプリケーションです。

VirtualMotionCaptureを使うにはそのHMDとコントローラー、トラッカーなどが必要になるため、以下のものを使用しました。3点トラッキング、6点トラッキング、10点トラッキングと数が多いほど動きがよりリアルに再現されますが、上記の動画だと6点トラッキングでおこなったのですが、上半身しか使っていないので3点トラッキングでも十分だったかもしれません。

まずはこんな感じのことをやります。

用意したものは以下です。
・VirtualMotionCapture(以下よりダウンロード)
・Oculus Quest2
・Vive Tracker3.0(×3)
・Vive Base Station2.0(×2)

※Base Station2.0はアクセサリ単品だと入手に時間かかるようです

VRM形式の3Dキャラクターを準備する

VirtualMotionCaptureではVRM形式の3Dデータを扱います。オリジナルで作るのは大変かと思うので、VroidStudioでデフォルトのキャラクターをダウンロード、カスタマイズ、またはboothなどで気に入った3Dキャラクターを購入するなどで入手するなどがよいかと思います。自分はVroidStudioでオリジナルのキャラクターを作ってみました。

下記の記事で少しですがVroidStudioがどんなものかを紹介しています。

VirtualMotionCaptureの設定をする

これだけで記事が2つも3つにもなりそうなので、ものすごく簡単にいうと以下のような設定を行えば十分かと思います。
・キャラクターを読み込む
・トラッカーの割当の設定
・キャリブレーションの設定


オフィシャルサイトのマニュアルがわかりやすいのでこちらを参考にするのがおすすめです。

VirtualMotionCaptureを録画する

VirtualMotionCapture自体には録画する機能はありませんので、別のアプリケーションで録画、合成などを行います。
デスクトップやウィンドウをPCデフォルトの画面キャプチャで録画もよいのですが、HMD装着のままだと使いにくいので、OculusのVirtualDesktopやOculus LinkからOBSというソフトを使って録画するのがよいかと思います。

Desktop画面や開いているウィンドウを録画したり、複数の画面を合成しながら配信プラットフォームなどを通してライブ配信ができるなどのソフトです。その名の通り放送するためのソフトですね。

今回は単純にVirtualMotionCaptureで表示しているウィンドウをターゲットに録画をして動画として保存します。私自身が以下のようなポーズを取りながら録画を行いました。

中には自分がいます
別のキャラで後ろ側も

自分で動かしててなんとなく思ったのが、ゲームの中に出てくるキャラも同じようなポーズあるな、、と。実際会話してるときって実はこんなポーズはとってなかったりするので、どこか3Dっぽい動きというのは、3Dだから不自然というわけではなく、こういうムリに付けた動きがそう思わせているのかもと思いました、、。

AdobePremiereで編集

それぞれに録画した動画をPremiereに取り込みます。グリーンバックになっていますので、【ビデオエフェクト】から【Ultraキー】で背景のグリーンを抜く設定を行い、タイムラインに並べて合成します。

AdobePremiereの編集画面

背景のイラストは、近所で取ってきた写真を、【ブリ子ロジック】というPhotoshopのアクションファイルを使い、アニメ風に加工したあと、Premiereの編集素材として読み込みます。ブリ子ロジックについては下記の記事を参考にしてください。写真をアニメ風に加工するための記事です。

読み込んだ素材をぼかしたり、明暗、コントラストなどを調整して完成です。

モーションキャプチャするだけなら、AIなどでカメラや動画から動きを取得して、モーション用のデータに変換するものもありますので、機材が…という場合はそれもありかもしれません。
その場合はblenderなどの3DソフトやUnityの知識を必要としますが、これらを自分の制作にどう活かせるか考えておくために触れておくとよいかもしれません。


この記事が気に入ったらサポートをしてみませんか?