スマホでVtuberになれるアプリ全部試す
(2020年6月2日更新)
iPhoneX以降のARKitを使った群雄割拠のフェイストラッキングアプリ全部試してレビューするぞ。
分かりやすさを優先したら池の水抜きそうなタイトルになってしまった。
おっと申し遅れたな。
ごきげんよう、吸血鬼と人間のハイブリッドティーンエイジャー 九条林檎だ。魔界からこの人間界にやってきてVRゴーグルを被ってバーチャルタレントをしている。
前置き
我は企業所属の個人としてデビューし、今年個人になったVtuberなので活動のほとんどのことを一人でやっている。有難いことに技術系なんて呼ばれることもあるがなんのことはない、その実様々なツールに助けられているだけだ。
さてそのツールを取り巻く事情がこの二年で急速に変わってきた。
まずVRMという概念の誕生。バーチャルキャスト社のエンジニアMIRO氏が最初に提唱した概念だが、これは3Dモデルの規格で今までてんでばらばらだった骨の入れ方や位置、アバターとして使用するのに必要な一人称時に消す頭の範囲や視点を定義し、作者・ライセンス情報をも内包する画期的なものである。
この概念の登場により、今までそれぞれ全く違う方法で作られていた3Dモデルがある程度統一されることによって、今までエンジニアと一部のギークしかできなかったアプリのための特別なセットアップなしに誰でも自分のモデルを色々な対応アプリへ持っていくことが出来るようになった。
またiPhoneX以降にはTrueDepthカメラという深度を測れるカメラがつき、ARkitを利用すれば誰でも顔認識、フェイスキャプチャを使ったアプリが作れるようにもなった。
その結果今大量に産まれ出でているのが"スマホでVtuberになれるアプリ"
PCのwebカメラでは出来ぬ表現をしようと各地で轟くその力強い産声はバーチャル世界を今この瞬間も揺り動かしている。今回はそんな大量にあるアプリそれぞれどんな違いがあるのか、この"微"技術系バーチャルタレントたる我の視点で紹介しよう。
今回紹介するのはiOSでほとんどARkitを使っているものばかりなのでフェイストラッキングの精度はほぼみな一緒だ。そこでVRMの手軽さ、魅力的なオプション等々が他との差別化となる、己の器預けるに相応しいアプリを見つけていくといい。
しかしあんまりに大量にありすぎて見つけていないのがある可能性があるので、VRMが使えるiOS系のフェイストラッキングアプリ見つけた際は我のTwitterまでリプライを頼む。
①SHOWROOM V
アイトラッキングの精度：★★☆
角度補正：★★★
VRM導入の手軽さ：★★★
UIの分かりやすさ：★★★
横画面：非対応
動画撮影：対応
静止画撮影：対応
フィルター：なし
表情変更：非対応
背景変更：プリセット画像のみ
価格：無償
VRMを外部から持ってきて組み込めるフェイストラッキングアプリはこれが一番古いのではなかろうか。最初は横向くと瞳飛び出たりしたものだがよくここまで来たものだ。
特徴としてはもう実装されてから一年ずっと実験的機能のままである腕、手の認識だ。さすがにサクサクとはいかないし使えるのは片手のみだがスマホを遠くに置けば腕の動き、環境が良ければ手のグーチョキパーを表現してくれる。
アイトラッキングはだいぶ大雑把だ、ウインクできる時と出来ない時とがあり、瞳の位置も左右真ん中の三択といった感じ。
またこのアプリは動きのノイズを抑えるためか全体的にゆっくりとした動きで、ARkitは顔までしかとらないので頭を傾けると体も全く同じ角度に傾き、
〇
\
こんな感じになるぞ。
褒めるべき点もある、VRM導入は最も手軽なハブサービスを使う形式でVRoidHubに上げていればワンタップで自分のVRMデータを使うことが出来るし、この手のアプリにありがちなカメラが高めにあるので下を向きっぱなしになってしまうのも補正で解決している。
UIは最初ひどいものだったが一回大改築した時に機能がだいぶ絞り込まれて表情が使えなくなった代わりにだいぶ分かりやすくシンプルになった、初見でも迷うことなく使えるはずだ。
それに自社配信サービスのSHOWROOMにそのまま配信することもできる、コメントやギフトもアプリ内で確認できて配信がこのアプリのみで完結可能。PCや普通のSHOWROOMアプリに比べコメント等の見づらさはあるがスマホしか持たん配信者や出先でも3D配信をしたい者には良いだろう。
あとVJ(バーチャルジョイマン)高木がプリセットにある。
https://apps.apple.com/jp/app/showroom-v/id1440259867
②waidayo
(PCに繋ぐのが主目的のアプリであることを留意するといい)
アイトラッキングの精度：★★☆
角度補正：★★☆
VRM導入の手軽さ：★★★
UIの分かりやすさ：★☆☆
横画面：非対応
動画撮影：非対応
静止画撮影：非対応
フィルター：なし
表情変更：非対応
背景変更：非対応
価格：無償
しばらくクローズドテストをやっていたが満を持して登場だ。
スマホ単体でもできるのでこの記事にも載せたが、PCに繋ぐことが前提のアプリ(waidayoPC版あるいはバーチャルモーションキャプチャー)のためスマホ単体ではできることが限られるし場合によってはDiscordを見んとわからない項目なんかもあり、UIが初心者にはだいぶ分かりにくい。
それに使い方がエンジニアの国Githubにあるので迂闊に近づくとヤケドをするぞ。
それはそれとしてあきら氏のバーチャルモーションキャプチャーと連携してREALTYスタジオみたいな運用が出来たり、
Wright Flyer Live Entertainment公式サイトより引用
VRM規格では定義されていない特殊ブレンドシェイプをモデルに作成すれば使えるそうだ。個人の技術持つ者が作成できる環境の向上に寄与しているアプリの一つだな。
③tebasaki
アイトラッキングの精度：非対応
角度補正：★☆☆
VRM導入の手軽さ：★★★
UIの分かりやすさ：★★☆
横画面：対応
動画撮影：非対応
静止画撮影：対応
フィルター：あり(ブルーム・ビネット・彩度の三種類)
表情変更：対応(顔認識と同時使用はできない)
背景変更：対応
価格：370円
3D空間でVRMモデルを眺めることに特化したアプリだな、顔認識に対応しているのでVtuberをするためにも使えるだろう。
デフォルトである木々を街頭に変えたり、バックカメラの景色を背景にすることも可能で、また3Dアイテムを装着することもできる。この装着機能、普通は大きさが大きすぎたり、めり込んでたりするものなんだがこの位置が恐ろしいほどに正確だ。
豊富な3Dアイテムといくつかのエフェクト、背景データにより簡単にわやになれる。
わやとは：北海道や大阪の言葉でめちゃくちゃな様を表す名詞
カメラの操作に少々難があるので思い通りの画角をさっと作るのは難しいかもしれんが、雨や雪等のエフェクトが使えることも相まって手軽に雰囲気ある写真が撮れるぞ。
④ZZ3D
アイトラッキングの精度：★★★
角度補正：★☆☆
VRM導入の手軽さ：★☆☆
UIの分かりやすさ：★☆☆
横画面：非対応
動画撮影：非対応
静止画撮影：非対応
フィルター：なし
表情変更：非対応
背景変更：対応
価格：無償
他のアプリがことごとく縦の概念がなく上半分余りがちなのに対して、このアプリは縦の概念があるし、カメラをなんとスライダーでx,y,z方向へ動かすことができる。一応回転も対応しているが回転軸の位置がおかしいのであまりお勧めはしない。
アイトラッキングはばっちり、ウインクまでとるぞ。グラフィックのクオリティも選ぶことが出来るので電池消費を抑えたい場合などに活用できる。
ハブサービスに対応しておらずGoogleドライブにVRMモデルを上げ、色々ある中でopenの文字列が含まれる共有URLを入力せねばならないし、これはあくまで我の端末の場合だが、UIもスライダーを動かそうと画面に触れた瞬間にメニューが全部消えるので位置を予想しながら消えたところをタップし指を離さぬまま調整せねばならん曲者だ。
まだまだベータ版という感じなので今後に期待が持てるな。
⑤2DR
アイトラッキングの精度：非対応
角度補正：★★★
VRM導入の手軽さ：★☆☆
UIの分かりやすさ：★☆☆
横画面：対応
動画撮影：非対応
静止画撮影：対応
フィルター：なし
表情変更：対応(ヘルプに表記はないがあった)
背景変更：対応
価格：無償
この2DR元々Live2D用のものでスマホでLive2Dを動かす方法としては、Facerigスマホ版と双璧を成していたが最近VRMにも対応した。
最大の特徴はARkitを使っていないこと、これにより精度はだいぶ下がるがカメラがついているiPhoneなら何でも動く利点がある。
他の特徴としては動画背景に対応していること、ポーズがいくつか変えられることだな。
3Dモードに変えたい時2Dボタンを押さねばならなかったり、後述の横画面にするとそのボタン全ての大きさからモデルが見えなくなったりUIはわかりにくいが汎用性と引き換えの選択肢だな。
またFacerigではLive2Dを動かす時にそういう設定にすることが多いのでそれを継承しているのは分からんが、オードブリンク(自動瞬き)をオフにして自前の瞬きを反映するようにしてみると、両目の開き具合を連動させる処理が入ってるのでウインクはできない。
ちなみに横画面にすると提供目ならぬ2D3D目になるぞ、ははは。
⑥Emosign
アイトラッキングの精度：★★★
角度補正：★★★
VRM導入の手軽さ：★★☆
UIの分かりやすさ：★★☆
横画面：対応
動画撮影：非対応
静止画撮影：対応
フィルター：なし
表情変更：対応
背景変更：対応
価格：無償
これは実はまだリリースされていないが、iOSのためのApple純正テスターアプリTestfrightを経由することでダウンロード、試してみることが出来る。
SRV同様手のトラッキングができるが、SRVがだいぶ強めにフィルターかけて手もグーチョキパーの三つしかできないよう制限して何とかやっているのに対し、こちらはだいぶ震えつつ比較的生データに近そうな動きをする。
しかしスマホハンドトラッキングは鬼門だ、実に難しい。故にまだ実用的とまでは言い難いが、その挑戦を応援したいな。
また今のところこのアプリだけ表情の重ね付けができるので、いつもと同じモデルでもまた違った表情での撮影もできるぞ。
衝突防止のためか表情についているまぶたの動きはなかったことになるから気を付けるといい。
まだオープンテスト中でクラッシュすることもあるがSHOWROOMが敗れたハンドトラッキングに挑戦するその野心は良いと思う。今後も注視していきたいな。
⑦vear
アイトラッキングの精度：★★★
角度補正：★★★
VRM導入の手軽さ：★★☆
UIの分かりやすさ：★★☆
横画面：対応
動画撮影：対応
静止画撮影：対応
フィルター：あり(一部制限があるが7個)
表情変更：非対応
背景変更：対応
価格：無償
さあニューカマーにして真打登場だ。
結論から言おう、今のところスマホだけで完結するならこれが一番将来性がある。
将来性としたのはまだUIで分かりにくい部分(それでも随分とシンプルで分かりやすい、他のアプリを使ったことがあるなら一発で理解できるだろう)があったり、Mtoonのルックになれるようになったのがなんと昨日(2020年5月20日現在)だったり、ハブサービスに対応していなかったり、Unityエンジンモードにするとカメラがゆがんでいたりするからだがこれらは些末な問題だ。
なぜならばびっくりするほど高頻度でアップデートがなされている。
今まで紹介したどのアプリよりも盛んでいて、おそらくスマホで完結させるということにきちんと目標を絞っているからだろう、基礎の機能がしっかりしている。
静止画撮影はもちろん動画撮影もあるし、フィルターも色味を変えるものだけだが実用的なのが多く、UIもシンプルだ。縦の概念があり横画面に対応し、アイトラッキングの精度も良い。
旧来モードなら背景もバックカメラの映像をリアルタイムに反映させることもできる(これは地味に二人称視点アプリでは初だ、我はずっとこれを待っていた)し、全天球画像ももちろん普通の画像も使える。
アルバムをタップしても配信中にカメラロールが映らんようアプリ内で撮ったものしか出ないようになっていたり、ReplayKit Liveの使用でそのままミラティブやイチナナでの配信もできるぞ。需要の把握力が凄まじい。
故に多大なる安心感でもって待つことが出来るんだ。
他にも数は少ないがアイテムが装着できたり(我は変なところに着いた、
調整スライダーの前後項目の追加を求む)、旧来モードであれば音声認識からのテロップの自動生成まである。
今後の進化が実に楽しみだ。
2020年6月2日追記
カメラの歪みが調整され、大きさ調整だと思われていたスライダーがカメラが歪んでいたので大きさ調整に見えていたが本当は前後だということが判明した。
ズームモードも入ったが等倍だと自動で自撮りをしている風の手がつくようになった、また最強に近づいている......
最後に
さて以上7個のアプリを紹介したが、全て2020年6月2日現在の情報だ。特にアプリはアップデートがあるので最新の情報は是非貴様の目で確かめてくれ。
また我の端末でしか今回試していないのでまた他の環境だと違ったり、作者がTwitter等で言っているバグ対策や使い方を見落としている可能性もある。
間違いがあったら我のTwitterに連絡してくれると嬉しい。
今回はVRMが持ち込めてスマホに姿が映るものに限定したので5個となったが、持ち込みを考慮しなければもっとあるし、持ち込むにしてもトラッキングも要らなければそれこそ星の数ほどあるんじゃなかろうか。そのどれもがきっと貴様のVtuber活動の助けになってくれるはずだ。
それではごきげんよう、いい一日を。
《 全部試した動画建設予定地 》