Vtuberにおける顔の表情付け。ブラザーPの場合

バーチャルYoutuber(Vtuber)という存在を表現する上で、身体を動かすシステムはHTC VIVEやPercetionNeuron、またはLive2Dといった安価で高性能なデバイスが広く出回り体系化しています。

一方表情周りはVRkitやFaceligである程度自動化出来るよって手段があるくらいで、現状はこれで決まり！みたいな方法が見当たらず、独自の手段を組んでいる方が多いんではないでしょうか。

表情はVtuberが"生きている"という事を示すためには一番重要な要素であると同時に、それぞれの個性が一番出やすい部分であるとも考えています。

今回は表情を表現するための、自分の手法や経験を走り書きで纏めてみようと思います。

・経歴
Flash作ってたりMMDでボーカロイドPV作ってたりしてるうちにモーションキャプチャやUnityの技術に触れ、今はVtuberのテクニカルアーティストをやってます。

ザックリいうとVtuberを動かすための開発と運用を含めた現場の仕事全般。Vtuberの仕事を始めてちょうど1年くらいです。

ミクさんにDJしてもらったりPV作ったりしてました。

・自己流表情の付け方
ゲームパッドのロジクールF310rを使用して、トリガー・ボタン・十字キーに各種表情や視線操作機能を割り当てて、Vtuberの動きに合わせリアルタイムで表情付けを行っています。

自分が関わってるモノでは、表情の後付けは基本やってません。録画・生放送問わずコントローラーでポン出ししています。

表情操作を含め、Vtuberをセットアップする上でPlaymakerを使用しています。自分にとっては、ビジュアルスプリクティングは生命線と言うべきアセット。コードが全く書けなくともVtuberは操作できる！

現場では表情をこんな感じで付けていってます。
schwarzさんの委員長モデルをお借りして、このまとめに書いてある実装を一通り行っています。

流石に1発...ではまとまらず、2、3回練習して見れる感じにはなりました。
ここに身体の動きも入ってくるとだいぶん自然に見えはず。

・意志は目に宿る。視線の大切さ。
コントローラーの左アナログスティックに視線(瞳の動き)を操作するためのスクリプトを仕込んで、Vtuberの行動に合わせて視線を操作しています。

会話をする時、考え事をしている時、困っている時、ハッと思いついた時。何かをしようと思う時には目は必ずどこかを向いています。

感情や仕草で動く目線は、Vtuberが自分で意思を持っていると言う事を示すための、特に重要な演出だと考えています。

視線を付けるとそこに意思が生まれ、Vtuberが何かを考えているという想像力を視聴者に持たせることが出来る。もしかしたらキャラクターに意思を宿らせるというよりも、視聴者に想像力を宿らせるという感じなのかも。

・自然な表現を目指してみる。
瞼や表情筋の動きなど、生物的法則を組み込むとより自然な表情を作れるのではないかと考えています。

例えば、自分自身で眼を動かしてみると分かると思いますが、視線を上下左右に振ると瞼も連動して動きます。

自分が担当しているVtuberをもっと自然な表情にしたい！と思う方は、自分自身の顔を色々動かしてみて、視線や表情を変えると顔のどの部分が動いているのか、という観察をやってみると良いと思います。

瞼と視線の連動を実装してみるとこんな感じに。

・カメラ目線を自動化する『コッチミンナ』
カメラに向かって話し続けている時、手動でカメラに視線を合わせ続けるのはとても難しいです。(手付けモーションでも難しい…

そんな時にとても頼りになる『コッチミンナ』という仕組み。

モデリングの段階で、白目の部分を凹型に作り、瞳を奥に移動させることによってダマし絵のごとく常にこちら側を見ているように感じるという仕組みです。

カメラ目線は"見ている"という意思を強烈に表現できる。

・あると嬉しい表情
『＞＜』顔はオーバーリアクションの時にとても使い勝手が良いです。
ポジティブな顔とネガティブな顔をこれで２つ作っておけば、この顔で持たせる事が出来ます。視線も操作する必要がないので、じっくりと次の表情への遷移を考えられますね！

テレ顔、星目といったマンガ的な表情も、感情のメリハリを分かりやすく伝える事が出来るため重宝します。

・場数
こういう仕組みやら考えやらを踏まえてやってくのですが、
大まかな流れとしては

1．アバターにあった表情を考える
2．ランダムまばたきなど、自動化でやれる仕組みを実装する。
3．キーの配置を考える。自分にあった配置を決めて体で覚える。
4．アクターさんとの呼吸・会話や仕草のテンポを身体で覚える。

こんな感じです。はい。我ながら完全に職人技です。ロジクールF310rのコントローラーは十字キーを含め16の入力をアサイン出来ます。アバターによってはキー割り当てのパターンを複数用意し、最大32パターン運用する事もあります。

表情の入力を行いながら視線を同時に操作していくので、収録中はさながら音ゲーの様相を呈します。

自分が担当した１年前の動画を見返してみると、ちょくちょくミスるはタイミング大きくずれるは表情硬いわで、慣れてないとコントローラ制御は中々キツいかもしれません。

アバターが何を考えているのか、何をしようとしているのか、オペレーター側も考えながら操作する必要があるので、半分演者な気持ちで操作しなきゃいけなかったりもしますし。。。単純にオペレーション出来れば良いというものでは無いので場数重要だと考えています。

自分の場合だとカメラが回っている時以外、例えばVtuberがスタッフとやりとりしている時とかでも操作し続けたり、アクターさんとコミュニケーションしながら表情を付けたりして遊んでます。

その遊びを通しながら、Vtuberに対してどういう間があるのか、どういう感情になる事が多いのか、どんな表情が良いのかを探りつつ、Vtuberそれぞれにある固有の方法論を考えています。

・コントローラー操作の課題
このやり方は完全に人に頼った方式なので、汎用性がなさ過ぎなのが課題です。自分以外にやれる人がほぼ居ないｗ

流石に自分は二人に分身は出来ないので、二人同時収録などは出来ませんし、未経験の人が操作になれるまでには結構時間がかかる。Vtuberとオペレーターとの相性もありますし...

視線操作など、自動が出来そうな所は自動化して、もう少し人に優しい操作手段を模索するのが現状の課題です。