アバターが不気味にならないために必要だと思ったこと【3Dと技術】

おはピカ！作曲家バーチャル&リアルYoutuberのPicatrixです。

今までの活動はVRoidの体と顔にBlender製ヘア、服でした。
(Marvelous Designer8 for steamも使ってました)

さらなる自己表現を求めて昨年12月から作っていたあたらしい顔を完成！体とドッキングしました。

もともとフォトリアル系の3Dゲーム(洋ゲーとかMHWとか)が好きなこともあり
(そしてアーティストではEGOISTの楪いのりちゃんモデルがすごく好き)
リアル寄りな造形の顔にしたいなという願望がありました。

しかし、リアル寄りな造形の顔は無表情なままだと怖く見えてしまいます。リアル顔を動かすには違和感が生じやすいのでまだ早い…という技術者さん達の声もあります。

フェイシャルキャプチャー(実際の表情の動きをアバターへ持っていく)が環境的に使えない中で、いかにBlendshapeのみでそこまで違和感なく動かすかがとても重要なんだなと思いました。

実際に動いてみてあったほうがいいなと思った表情

・目を細める(下まぶた＆上まぶた)※アングルによってカッ！と見開いているように見えやすいのでデフォルト表情は若干eye Close値を上げた方が良いかもしれない。※モデリングの出来にもよるかも

・視線を左右に動かす(オート視線移動がないゲームでは、事前にanimationかBlendshapeで視線移動を入れたほうが良さそうです。VRCはオートで視線が動きます　たすかります)

・眉の上下

・笑顔 →アニメ的な^v^の顔ではなく、下まぶたを少しあげてにっこりするような顔(対人コミュニケーションとる上で重要かなと思った)

人の表情を観察してどれくらい顔が動いているか見てみた

・視線が非常に細かく移動している。
※VキャスでVIVE PRO EYEを使用している動画を見ると、どれくらい細かく動いているかわかりやすいです。

難しいなと思ったこと

VRMだと…
1.まつげを板ポリグリッド　MToonのCutoutで表現しようとしたが、細かいまつげがうまく描画ができなかった。
・MToonのCutoutは優秀なんだけど、自分のまつげが細かすぎて厳しい。なにか方法があるかな？解像度かな？
・細いまつげはメッシュで作ったほうがいいのかな？

2.モデリング初心者には法線(影をどこに描写するか)の制御が大変
(正しい造形でないと正しい影は出なかったはず)
・UTSで影が出る位置を制御できるけど、VRMは指定のシェーダーがあるのでそれでなんとか出来るように対策練る必要アリ。
・アニメ系の影をつけたいならポリ割から考え直したほうがいいかも？(ギルティギア的な表現）
・法線制御については本で調べたほうがいいのかな？

3.顔がリアル寄りな影響なのか、ふとした写真のための表情でも、つけるのが基本的に難易度高い
・カメラを構えて自撮りすること(写真)はむずかしい、ここでも同じように感じる
・顎を引く癖をつけておかないと(ついてない)つい顎を上げてしまう(これは癖)
・きちんとカメラ目線になっていないととても違和感が出る

4.引きのアングルにしぬほど弱いので、アップでスクショを撮ることが大事
・映像にもよると思いますが、引きだと目が見えなくなる
→格闘ゲームギルティギアXrd~はアップの顔と遠景の顔で目の大きさを変えているみたいです。

基本的にアニメ顔(頭と目が大きい)より油断できない
→腰のトラッカーが飛んで体が崩れているときの迫力が増す

機材これほしい

・Vive Pro EYE
対応プラットフォームはVキャスなど。
2019/2/17時点ではまだVRC等で使用できない。22万円～と価格が高くネック…

・iPhone X(デプスカメラが搭載されているiPhoneなら、フェイシャルのボーンで表情が再現できる！しかし、Unityで環境構築の必要アリ…(?))

・Luppet一式（Leapmotion&WEBカメラ)
手軽でそこまで違和感なく動かせる！やっぱりまばたきの検出が出来るのは全然違う…！いい感じで目を細められる。
※眉の上下や表情が硬く見えないように常に表情操作のためキーボードを叩いています※

・Valve Index
バーチャルモーションキャプチャーやVRC,Vキャス等で指が動かせるコントローラーがセットになったHMD
それ以外にもSteamのゲームで指の動きに対応しているものがある。

歌やダンスのために指を動かしたい。
※コントローラーが大きいためピアノの演奏とかは厳しいと聞きました

よかったこと

・VR中に鏡を見て顔の大きさに違和感を感じなくなった
(アニメ顔だったころはバランスの関係で顔を小さくするにも限界があり、パフォーマンス時に手と頭のポジションがずれやすかった)

VRMでは、リアル系アバター向けの表情操作に対応してほしいという要望が国外であるみたいです。将来的に出来るようになったら嬉しいな。

そして、VRM1.0ではスカート向け？の簡易クロスシミュレーション(より布っぽい揺らし方ができます。)も準備中みたいです。待ち遠しいですね！

さいごに

今は技術的にもリアルな表現で動くことはとてもむずかしいです。
些細なことが大きな違和感に繋がります。

トロン:レガシーという映画をご存知でしょうか？
主人公は肉体のままGridというゲームの世界へ転送されます。私の理想です。

皆がなりたい姿で快適に過ごせる未来が来るといいなって思います