富士葵の表情について

私はVTuber 富士葵のファンだ。6/27公開の動画で、改めて彼女の表情の素晴らしさを再確認したので、どのように素晴らしいのか書いてみた。

目の表情

　富士葵の魅力の一端である表情は、構造的には大きく分けて目と口から成る。まず目について述べる。大昔のデスクトップキャラクターやギャルゲーキャラの目は、上目蓋のみが閉じる構造になっていることが多い。一方の富士葵は、少なくとも眉・上目蓋・下目蓋・瞳の位置・瞳孔が自由に動く。カメラ等で演者の目や口の動きを検出し、VTuberのモデルの動きに連動させる「フェイストラッキング」機能はもはや常識だが、下目蓋が目の動きに追従できると、表情の自由度が一気に増す。これと瞳と瞳孔の動きが連動することで、「恐る恐る細目で見る」「大笑いしながら目が閉じてしまう」といった表情が、演者の演技のみで成立する。
　もちろん、こうした表情をシステムの補助で表現させることは可能だ。事実、こうした表情アシスト機能があることを売りにしたVTuberシステムがあるぐらいだ。しかし、少人数オペレーションや生放送だと、こうしたシステム補助には限界がある。一方、富士葵は表情のシステム補助を基本的に使用していないらしく、生放送でも表情が目まぐるしく変わる。運営体制・演者の演技能力がシステムとよくマッチしていると見るべきだろう。

口の表情

　富士葵らしさのもう一つの秘密は、たぶん口だと思う。富士葵の口は上下方向の開き方だけでなく、横方向の開き方も忠実に再現している。横方向の動きがあると、「あ」「え」「い」「お」「う」といった母音が正確に表現できる。歌を歌う時も、まさにその歌詞の通りの口の動き、さらに歌の余韻すらも表現することが可能だ。これに富士葵最大の武器である歌声が乗る時、そこには単なるVTuberではなく、人間と同じ次元の存在者としての「歌姫」が誕生する。布施明とのコラボMVを見ると、この説明の意味が一番よくわかるだろう。

他のVTuberにおける表情トラッキングの事例

　こうした目と口のトラッキングの威力は、富士葵に限らず見ることができる。例えば多々星カイリはLive2Dモデルを使ったVTuberだが、富士葵と同様に上目蓋・下目蓋・瞳・口の縦方向・横方向がトラッキングする。彼女のMV「ノーザンクロス」を見ると、このトラッキングの実力がよくわかる。余談だが、多々星カイリのLive2Dモデルの作者は、富士葵のファンとしても知られている乾物ひもの氏だ。氏に多々星カイリのLive2Dモデル作成依頼があった時、もしかすると「歌うVTuberには富士葵の表情同等の表現力が必要」と考えたのかもしれない。

外部システムでの表情再現

　一方で、この富士葵の売りである口の動きの高レベルな再現は弱点でもある。どうやらこれは機器を単に買ってきただけではなく、Smarpriseの独自実装部分があるらしい。その証拠に、他とのコラボ動画だと口の動きが時々不思議な動きをする。他社システムではSmarprise独自実装部分が完全再現できないため、簡易化したモデルを他社のシステムに持ち込んだ結果ではないかと推測する。代表的事例を示す。
https://www.youtube.com/watch?v=35fKzdDH654

　幸いなことに、最近はこの口の動きを他のシステムでもある程度折り合いをつけて表現可能になったようだ。その証拠に、2019年の「ぶいおん!! MUSIC LIVE」の富士葵の表情は普段の表現にかなり近かった。とはいえ、2020年初のバーチャル紅白ではまだまだ改善の余地ありに見えた。ここはSmarpriseの頑張りに期待したい。恐らく、ファンは喜んでクラウドファンディングに応じるのではないかな？