新しいLive2Dアバターアプリ「mocape」を作ります

clocknote.

2020年4月24日 22:43

こんにちは。グラフィックデザイナーなどのclocknote.です。この度、mocapeという新しいアプリケーションを作るプロジェクト（個人）をスタートしました。

作るアプリケーションは、フェイストラッキング（表情認識）を使用してLive2Dアバターを動かすものです。ぜひノーカット動作デモをご確認ください（60fpsで撮影しています）。

mocapeを使用するメリット

Live2Dを使ったアバターを動かすアプリケーションは既にいくつかリリースされています。なのでmocapeを使う理由が必要になりますが、メリットとして下記が挙げられると思います。

・クロスプラットフォーム対応（Windows / macOS）
・Webカメラを使用しない高精度なフェイストラッキング
・磨かれ続ける表情反映エンジン
・現場を考慮した機能設計

クロスプラットフォーム対応（Windows / macOS）

そもそもなぜ開発に着手したかというと、私がmacOSユーザーなのですが、macOSでLive2Dアバターを動かす方法が当時存在しなかったためです。開発者がmacOSユーザーなので、たとえユーザーが少なくてもmacOSのサポートはずっと続きますし、メインユーザーがWindowsであることも理解しているので、どちらの開発も続けてしっかりやります。

Webカメラを使用しない高精度なフェイストラッキング

mocapeでは、Webカメラを使用せず、iPhoneX / iPad Proのフェイストラッキング機能（ARKit）を使って表情を認識します。

これにはいくつかメリットがあります。

精度がかなり高い

引用元 : https://developer.apple.com/videos/play/tech-talks/601/

TrueDepthカメラとARKitのおかげでほぼ完璧といって差し支えないレベルのフェイストラッキングが行えます。ARKitから送られてくる数値はノイズも少なく正確なので、強くスムージングフィルタをかける必要がありません。これは表情が正確かつはやいスピードで反映されることを意味します。

事故の可能性がない

WebカメラをPCに繋ぐというのは、それだけでリスクを背負っていることになります。mocapeでは、iOS上でフェイストラッキング情報を数値に変えて、ネットワーク越しで表情の座標、パラメータのみをPCに送信します。そもそも画像情報がPCに一切送られないので、顔面が表示されてしまうリスクなどがありません。また、iOSの画面を映す必要もないため、誤って通知が表示されてしまうなどのリスクもありません。

磨かれ続ける表情反映エンジン

先ほど「ARKitから送られてくる数値は正確」と言いましたが、mocapeは正確であることを目的として開発していません。そもそもですが、二次元のキャラクターと生身の人間の顔のパーツの動きは必ずしも同じとは言えず、二次元特有の表現がたくさんあります。

mocapeの表情反映エンジンは、生身の人間の表情から読み取れる数値から、どのような表情を意図しているかを反映できるように調整を続けています。例えば……

・生身の人間が半目になるとまぶたが震えるが、一定以上半目が続いたら奇麗な「ジト目」になるように強いスムージングをかけてまぶたの震えを抑える
・左右の目の開きに一定以上の差が出たら「ウィンク」と判断し、キャラクターらしいウィンクの表情になるように支援
・生身の人間に出来ない表情はiOSアプリ上のボタンで反映（下がり眉、青ざめ、シイタケ目など）

などなど。私自身、Vtuber黎明期から2DのVtuberをずっと見続けているので、その経験を活かして、できるだけ良い表情を作れるように研究を重ねています。ここは特に大切なところですので、βテストを通じて日々磨いていきます。

現場を考慮した機能設計

実は開発動機の一つに、以前私が参加させていただいたイベントで、「Live2Dの人は現場でのセットアップが大変」と言われてしまったことがあります。mocapeは、スタジオやイベントでのセットアップももちろん、日常的な使用でも細かな使い勝手を重視した設計をしていきます。

現在実装済の機能に下記のようなものがあります。

クライアントベースの課金（リリース時）
mocapeはiOS版とPC版が揃ってはじめて使えるものですが、将来的に有料アプリとしてリリースした際も、課金が必要なのはiOS版のみです。PCにインストールするmocapeは無料で誰でも入手できるようになるため、スタジオや現場PC導入する際も、現場側が払うコストは最小限で済みます。

ポータビリティを意識した設定ファイル
モデルに付随するJSON形式のファイルで、モデルの初期サイズや位置、その他mocape特有のオプション設定を一緒に持ち運ぶことができます。最小限のセットアップで、現場で常にいつもの設定を使うことが出来ます。

SyphonやNDIを用いたアルファチャンネルつき映像の直接伝送
ご存知ない方はなんぞやと思うかもしれませんが、アプリケーションからOBS等の映像を受け取るソフトに、透過情報つきの映像を直接送ることができる仕組みです。つまり、ウィンドウキャプチャもGBも要りません。GBでエッジが汚くなってしまうことに納得がいっていなかった方や、ウィンドウキャプチャの事故を怖がっていた方もこれで安心です。※もちろんGB運用もできます

フットスイッチによるコントロール
ゲーム実況等で両手が塞がっていて、iOSデバイスの画面を触れなくても、フットスイッチを使用して表情のスイッチが出来るようになっています。

1画面内に複数モデルの配置・運用
いわゆるオフラインコラボ機能です。mocapeの入ったiOSデバイスが人数分あれば、PCは1台あればOKです。将来的にオンラインコラボにも対応したいですが、越えるべきハードルが多いため（サーバー運用コスト、モデルの受け渡しはどうする？など）、様子を見て開発を検討しています。

拡張されたスクリーンショット機能
mocapeにはスクリーンショット撮影機能が搭載されていますが、通常の画角での撮影の他に、ちょっと引いたカメラでより解像度の高いスクリーンショットを撮影する機能もついています。これのおかげで、サムネイル用画像の撮影などが簡単になっています。

リリースについて

で、誰でも使えるようになるのはいつなの？という話なのですが…… 個人で本業の傍ら開発しているものでして、開発ペースにムラがあります。多めに見積もって今年秋までには……と思っていますが、目処が立ちましたらお知らせさせていただきます（何かしらのリリースに携わったことのある方ならおわかりかと思いますが、「動くもの」を「みんなが使えるもの」にするためにはクリアすべきハードルがとてもとても多いのです……）。まだ変更になる可能性はありますが、AppStoreで月額500円前後のサブスクリプションを想定しています。

開発に寄せる想い

2018年頭にVtuberにハマり、バ美肉ムーブメントに乗じて本を出し、自分のアバターを作り、様々なVtuber関係のお仕事に携わり……ようやくここまでたどり着きました。
元々ソフトウェア開発に興味があり、簡単なスクリプトを書いたりということはしていたのですが、mocapeから感じる手応えから、本腰を入れるべきタイミングだなと感じました。

今のところVtuber向けツールとしての側面も強いですが、私は以前より言及している通り、誰もがアバターを持つ時代になればいいなと思っています。これ系のツールだと3Dモデルを動かせる「Luppet」の出来が素晴らしく、このクオリティに匹敵するLive2Dのツールがほしいとずっと思っていました。ご時世がご時世なので、ビデオ会議にLuppetを使う方もたくさんいらっしゃるみたいで、mocapeもそうしたアバターツールの仲間の一つとして見ていただけるようになればいいな……と思っています。

2020年はmocapeを自分の道具として、最終的にはみんなの道具として、磨いていくことを生き甲斐にして過ごしていきます。今からとてもわくわくしています。