AR Journey 09: ヴォクセルの顔を作る

どうもー! 🌥
今回はね、ヴォクセルの顔を作って、ARで顔に置いたARエフェクトについて紹介するだお!

MagicaVoxelで顔を作る

このエフェクトでは、ユーザーの顔がヴォクセルの顔になっていろんな表情をするようになります。なので、真顔、片目ウィンク、閉じる、それと同時に口が開けてもできるように、真顔→(目を開けたまま)口開けてるパターンを初めに作った。
目は比較的に簡単だったから、口変えてるパターンを作り終わった後に、複製しながら変えた。
男性では髭をつけたり、女性では眉毛の細さや唇の色を変えて、少しでも違いを表現してみました。
合計8パターンできたら、色が反映するようにBlenderでfbxに書き出しました。

ユーザーの顔に合わせる

フェイストラッカーで、ユーザーの顔に合わせるように調整していきます。他のパターンを入れるときは、口と目を動かしても自然に変わるように、真顔のと正確な位置と大きさに調整することに意識をした。また口を開けてるパターンでは位置を頭のてっぺんに合わせるようにした。
FaceTrackerをパッチにドラッグして、Face Finderとして入れ込みます。そこから口や目の動きを認識してもらえるようにMouth Open, Right Eye ClosedとLeft Eye Closedを繋げていく。
Mouth Open (口を開けている時)からは、Greater Than と Less Thanを繋げていく。

口開けてる時、顎だけが下にいくように置いたが、左右傾いたり、ずれたりしてピッタリ合わせるのに、苦戦したことがあった。

バストオクルーダーを入れる

上を向ける時に違和感がないように、髪の毛や顎の一部が隠れるようにオクルーダーを入れました。その前にカメラテクスチャーを入れておいた。

Date: 2022年9-10月

via @___allopolyploid___

あとがき

このARエフェクトを過去に行った展示会イベントでたくさんのお客に体験してもらいました。この当時はマスクしていたので、マスクしたままでカメラに向けると認識しづらいので、取ってもらうか鼻までずらすようにいって、体験させてもらった。今はだんだん外す人が増えていっている中、まだ外すことに抵抗がある人がいると思うので、マスクしたままでも顔認識できる機能がSNS専用のエフェクトであったらいいかもしれないと思いました。
また、次の機会でVoxelで顔を作ることになった時には、クオリティーの向上を心がけたい。