見出し画像

アバターの顔と完全連動!!! 顔トラのススメ | VIVEフェイシャルトラッカー

バーチャル美少女ねむ/Nem⚡メタバース文化エバンジェリスト

本日4/9発売の「顔トラ」こと「VIVEフェイシャルトラッカー」でアバターの顔と完全に一体にっ！？ まさかの合計64点トラッキング！？

どんなことができるのか？ 対応プラットフォーム・対応HMD・動作のしくみ・取り付け方・アバターの設定方法など、HTC公式VIVEアンバサダー「バーチャル美少女ねむ」が詳しく解説します～

顔トラ（VIVEフェイシャルトラッカー）ついに発売！

ついに表情までトラッキングする時代に！

画像6

⏩HTC VIVE フェイシャルトラッカー (Amazon)
※AmazonになければVIVE公式ストアも見てみましょう

顔トラ実際に試してみた！

まずは一見にしかず！ こちらの動画を御覧ください！ 自分の顔にドキドキ⚡⚡⚡ アバターとの一体感がすごいっ！！！ 楽しい～！！！ この動画では頬や唇・舌べろなど、全52点を顔と連動させています！ 全身フルトラ10点とアイトラ2点合わせて、まさかの64点トラッキングだ―！！！


こちらのMVも、顔トラを使って「歌う表情」を表現したところ、ニュースになりましたっ！！！(≧∇≦)/


愛称は「顔トラ」かなあ。


生配信でもLIVEデモンストレーションしました！ 

設定方法の解説や、にらめっこ、変顔、そして、あんなことまで…(〃ω〃)

投げキスしてみた(〃ω〃)

リアルの表情をそのままアバターに反映させるだけでなく、口と目の動きの組み合わせで漫画っぽい表情(>_<)(￣▽￣)してみたり、無限の可能性が広がります！


顔トラの見た目こんな感じ！

画像1

IMG_20210327_235150_のコピー


顔トラのしくみ

裏側に赤外線カメラ(IRカメラ)が２コついているので、これで暗いところでも顔の形と動きを立体的に検出できるっぽいです！（雑な説明）

Nintendo SwitchのコントローラーについてるIRカメラと多分同じ感じかな！

画像8

ただの立体赤外線カメラなので、理論上はこれで何でもトラッキングできるはず。。（実装必要だけど）きっと、近い将来、あんなものやこんなものまでトラッキングする猛者が現れそうですねっ！！！

HMDへの取り付け方

画像3

付属の両面テープでしっかりと取りつけられる…！ 取り付けられると思いますが… （VIVE公式アンバサダーとしては取り付けられるとしか言いようがないのですが…）まんがいち、どうしても落っこちちゃうときは、これを使ってください…⚡⚡⚡

(*´∀｀*)つ

画像9

⏩3M スコッチ 超強力両面テープ プレミアゴールド 自動車内装用 (Amazon)

※Scotchは宇宙最強の両面テープです。（死ぬほど臭いですが、３日ほどで匂いは概ねなくなります）

顔トラ対応プラットフォーム

今のところVIVEフェイシャルトラッカーに対応している主なVRプラットフォームは…
・バーチャルキャスト
・NEOS VR
・バーチャルモーションキャプチャー

特にNEOSは、単に設定した表情を切り替えられるだけでなく、動画で実演したように細かい表情まで完全にアバターと連動させられてすごい！ みんなにもぜひ体験して感動を味わってほしいです！

対応プラットフォームは発売後どんどん増えていきそう～ VRChatも早く対応してほしいですね！


顔トラ対応HMD

VIVEフェイシャルトラッカーが公式に対応しているHMDは
・VIVE Pro
・VIEE Pro EYE

ですが、実はただのUSBデバイスなので、アダプタを使うなどして、顔の位置に固定できさえすれば、実はどんなHMDデバイスとも組み合わせて使うことが出来ます！ (サポート外なので自己責任で。あとUSBはtypeCなので変換アダプタとか必要かも)

画像10

画像11

画像12

アダプタを3Dプリンタで自作して販売しているVIVEアンバサダーがいるらしい…！！！


アバターの設定方法

アバター側に「ブレンドシェイプ」というのを設定して、対応プラットフォームにアバターを読み込ませると使えるようになります！ ブレンドシェイプの設定も、このツールを使うと簡単に自動でできるらしい！（雑な説明）

NEOS VR内で簡単に使い方がわかるワールドをVIVEアンバサダーのアンブランさんが公開しています！


日本発売は4/9！ 価格は17,500円！

画像6

⏩HTC VIVE フェイシャルトラッカー (Amazon)
※AmazonになければVIVE公式ストアも見てみましょう

画像4

私もさっそく届きました！

画像5


「VIVE Pro EYE」でアイトラも一緒にやりたい！

顔トラ単体でももちろん使えるのですが、やっぱりアイトラ（アイ＝眼球トラッキング）とセットで使いたくなりますよね！ 最高級HMD「VIVE Pro EYE」（プロアイ）なら、アイトラできます！

画像14

プロアイには目の周りにセンサーが仕込まれています！

画像13

ハードルの高かったプロアイですが、今はHMD単体で購入することができます！

画像15

⏩HTC VIVE Pro Eye HMD

輸入するとちょっと安い！？ ※自己責任で


トラッカー関連記事：

同時発売の新型「VIVEトラッカー3.0」についてはこちらでまとめています！

全身を動かす「フルトラ」についてはこの記事にまとめています！


VIVEアンバサダー・バーチャル美少女ねむ

というわけで、顔トラによるフルトラッキングでアバターの顔と完全に一体に！ みんなもぜひ試してみてください！ 

世界最古の個人系VTuberである私「バーチャル美少女ねむ」は、バーチャルでなりたい自分になれる世界を日々模索しています！ よかったらTwitterのフォローとYouTubeチャンネル登録よろしくおねがいします！

VTuberをはじめるのに必要なモデルや機材のコストなど、こちらの動画や記事でも紹介しています。

※おすすめ記事：








note / Twitter / YouTubeでメタバースの興味深い文化について発信していますので、ぜひ「フォロー」や記事の「いいね」をお願いします。頂いたサポートはメタバースでの生活費や取材費として活用させて頂きます。