見出し画像

スマホでVtuberになれるアプリ全部試す

iPhoneX以降のARKitを使った群雄割拠のフェイストラッキングアプリ全部試してレビューするぞ。
分かりやすさを優先したら池の水抜きそうなタイトルになってしまった。

おっと申し遅れたな。
ごきげんよう、吸血鬼と人間のハイブリッドティーンエイジャー 九条林檎だ。魔界からこの人間界にやってきてVRゴーグルを被ってバーチャルタレントをしている。

前置き

我は企業所属の個人としてデビューし、今年個人になったVtuberなので活動のほとんどのことを一人でやっている。有難いことに技術系なんて呼ばれることもあるがなんのことはない、その実様々なツールに助けられているだけだ。

さてそのツールを取り巻く事情がこの二年で急速に変わってきた。
まずVRMという概念の誕生。バーチャルキャスト社のエンジニアMIRO氏が最初に提唱した概念だが、これは3Dモデルの規格で今までてんでばらばらだった骨の入れ方や位置、アバターとして使用するのに必要な一人称時に消す頭の範囲や視点を定義し、作者・ライセンス情報をも内包する画期的なものである。

この概念の登場により、今までそれぞれ全く違う方法で作られていた3Dモデルがある程度統一されることによって、今までエンジニアと一部のギークしかできなかったアプリのための特別なセットアップなしに誰でも自分のモデルを色々な対応アプリへ持っていくことが出来るようになった。

またiPhoneX以降にはTrueDepthカメラという深度を測れるカメラがつき、ARkitを利用すれば誰でも顔認識、フェイスキャプチャを使ったアプリが作れるようにもなった。

その結果今大量に産まれ出でているのが"スマホでVtuberになれるアプリ"

PCのwebカメラでは出来ぬ表現をしようと各地で轟くその力強い産声はバーチャル世界を今この瞬間も揺り動かしている。今回はそんな大量にあるアプリそれぞれどんな違いがあるのか、この"微"技術系バーチャルタレントたる我の視点で紹介しよう。

今回紹介するのはiOSでARkitを使っているものばかりなのでフェイストラッキングの精度はみな一緒だ。そこでVRMの手軽さ、魅力的なオプション等々が他との差別化となる、己の器預けるに相応しいアプリを見つけていくといい。

しかしあんまりに大量にありすぎて見つけていないのがある可能性があるので、VRMが使えるiOS系のフェイストラッキングアプリ見つけた際は我のTwitterまでリプライを頼む。

①SHOWROOM V

アイトラッキングの精度:★★☆
角度補正:★★★
VRM導入の手軽さ:★★★
UIの分かりやすさ:★★★
横画面:非対応
動画撮影:対応
静止画撮影:対応
フィルター:なし
表情変更:非対応
背景変更:プリセット画像のみ
価格:無償

VRMを外部から持ってきて組み込めるフェイストラッキングアプリはこれが一番古いのではなかろうか。最初は横向くと瞳飛び出たりしたものだがよくここまで来たものだ。

画像2

特徴としてはもう実装されてから一年ずっと実験的機能のままである腕、手の認識だ。さすがにサクサクとはいかないし使えるのは片手のみだがスマホを遠くに置けば腕の動き、環境が良ければ手のグーチョキパーを表現してくれる。

アイトラッキングはだいぶ大雑把だ、ウインクできる時と出来ない時とがあり、瞳の位置も左右真ん中の三択といった感じ。
またこのアプリは動きのノイズを抑えるためか全体的にゆっくりとした動きで、ARkitは顔までしかとらないので頭を傾けると体も全く同じ角度に傾き、

    \
こんな感じになるぞ。

画像3

褒めるべき点もある、VRM導入は最も手軽なハブサービスを使う形式でVRoidHubに上げていればワンタップで自分のVRMデータを使うことが出来るし、この手のアプリにありがちなカメラが高めにあるので下を向きっぱなしになってしまうのも補正で解決している。

UIは最初ひどいものだったが一回大改築した時に機能がだいぶ絞り込まれて表情が使えなくなった代わりにだいぶ分かりやすくシンプルになった、初見でも迷うことなく使えるはずだ。

それに自社配信サービスのSHOWROOMにそのまま配信することもできる、コメントやギフトもアプリ内で確認できて配信がこのアプリのみで完結可能。PCや普通のSHOWROOMアプリに比べコメント等の見づらさはあるがスマホしか持たん配信者や出先でも3D配信をしたい者には良いだろう。

あとVJ(バーチャルジョイマン)高木がプリセットにある。

画像4

画像5

https://apps.apple.com/jp/app/showroom-v/id1440259867

②waidayo

(PCに繋ぐのが主目的のアプリであることを留意するといい)
アイトラッキングの精度:★★☆
角度補正:★★☆
VRM導入の手軽さ:★★★
UIの分かりやすさ:★☆☆
横画面:非対応
動画撮影:非対応
静止画撮影:非対応
フィルター:なし
表情変更:非対応
背景変更:非対応
価格:無償

しばらくクローズドテストをやっていたが満を持して登場だ。

スマホ単体でもできるのでこの記事にも載せたが、PCに繋ぐことが前提のアプリ(waidayoPC版あるいはバーチャルモーションキャプチャー)のためスマホ単体ではできることが限られるし場合によってはDiscordを見んとわからない項目なんかもあり、UIが初心者にはだいぶ分かりにくい。

画像6

それに使い方がエンジニアの国Githubにあるので迂闊に近づくとヤケドをするぞ。

それはそれとしてあきら氏のバーチャルモーションキャプチャーと連携してREALTYスタジオみたいな運用が出来たり、

画像1

Wright Flyer Live Entertainment公式サイトより引用

VRM規格では定義されていない特殊ブレンドシェイプをモデルに作成すれば使えるそうだ。個人の技術持つ者が作成できる環境の向上に寄与しているアプリの一つだな。

https://apps.apple.com/jp/app/waidayo/id1513166077

③tebasaki

アイトラッキングの精度:非対応
角度補正:★☆☆
VRM導入の手軽さ:★★★
UIの分かりやすさ:★★☆
横画面:対応
動画撮影:非対応
静止画撮影:対応
フィルター:あり(ブルーム・ビネット・彩度の三種類)
表情変更:対応(顔認識と同時使用はできない)
背景変更:対応
価格:370円

3D空間でVRMモデルを眺めることに特化したアプリだな、顔認識に対応しているのでVtuberをするためにも使えるだろう。

画像7

デフォルトである木々を街頭に変えたり、バックカメラの景色を背景にすることも可能で、また3Dアイテムを装着することもできる。この装着機能、普通は大きさが大きすぎたり、めり込んでたりするものなんだがこの位置が恐ろしいほどに正確だ。
豊富な3Dアイテムといくつかのエフェクト、背景データにより簡単にわやになれる

画像14

わやとは:北海道や大阪の言葉でめちゃくちゃな様を表す名詞


カメラの操作に少々難があるので思い通りの画角をさっと作るのは難しいかもしれんが、雨や雪等のエフェクトが使えることも相まって手軽に雰囲気ある写真が撮れるぞ。

画像8

https://apps.apple.com/jp/app/tebasaki/id1485970222

④ZZ3D

アイトラッキングの精度:★★★
角度補正:★☆☆
VRM導入の手軽さ:★☆☆
UIの分かりやすさ:★☆☆
横画面:非対応
動画撮影:非対応
静止画撮影:非対応
フィルター:なし
表情変更:非対応
背景変更:対応
価格:無償

他のアプリがことごとく縦の概念がなく上半分余りがちなのに対して、このアプリは縦の概念があるし、カメラをなんとスライダーでx,y,z方向へ動かすことができる。一応回転も対応しているが回転軸の位置がおかしいのであまりお勧めはしない。

画像9

アイトラッキングはばっちり、ウインクまでとるぞ。グラフィックのクオリティも選ぶことが出来るので電池消費を抑えたい場合などに活用できる。

ハブサービスに対応しておらずGoogleドライブにVRMモデルを上げ、色々ある中でopenの文字列が含まれる共有URLを入力せねばならないし、これはあくまで我の端末の場合だが、UIもスライダーを動かそうと画面に触れた瞬間にメニューが全部消えるので位置を予想しながら消えたところをタップし指を離さぬまま調整せねばならん曲者だ。
まだまだベータ版という感じなので今後に期待が持てるな。

https://apps.apple.com/jp/app/zz3d/id1475406292

⑤vear

アイトラッキングの精度:★★★
角度補正:★★★
VRM導入の手軽さ:★★☆
UIの分かりやすさ:★★☆
横画面:対応
動画撮影:対応
静止画撮影:対応
フィルター:あり(一部制限があるが7個)
表情変更:非対応
背景変更:対応
価格:無償

さあニューカマーにして真打登場だ。
結論から言おう、今のところスマホだけで完結するならこれが一番将来性がある

画像10

将来性としたのはまだUIで分かりにくい部分(それでも随分とシンプルで分かりやすい、他のアプリを使ったことがあるなら一発で理解できるだろう)があったり、Mtoonのルックになれるようになったのがなんと昨日(2020年5月20日現在)だったり、ハブサービスに対応していなかったり、Unityエンジンモードにするとカメラがゆがんでいたりするからだがこれらは些末な問題だ。

なぜならばびっくりするほど高頻度でアップデートがなされている。
今まで紹介したどのアプリよりも盛んでいて、おそらくスマホで完結させるということにきちんと目標を絞っているからだろう、基礎の機能がしっかりしている

静止画撮影はもちろん動画撮影もあるし、フィルターも色味を変えるものだけだが実用的なのが多く、UIもシンプルだ。縦の概念があり横画面に対応し、アイトラッキングの精度も良い。
旧来モードなら背景もバックカメラの映像をリアルタイムに反映させることもできる(これは地味に二人称視点アプリでは初だ、我はずっとこれを待っていた)し、全天球画像ももちろん普通の画像も使える。

画像13

アルバムをタップしても配信中にカメラロールが映らんようアプリ内で撮ったものしか出ないようになっていたり、ReplayKit Liveの使用でそのままミラティブやイチナナでの配信もできるぞ。需要の把握力が凄まじい

故に多大なる安心感でもって待つことが出来るんだ。
他にも数は少ないがアイテムが装着できたり(我は変なところに着いた、

画像12

調整スライダーの前後項目の追加を求む)、旧来モードであれば音声認識からのテロップの自動生成まである。

画像11

今後の進化が実に楽しみだ。

https://apps.apple.com/jp/app/vear-%E3%83%90%E3%83%BC%E3%83%81%E3%83%A3%E3%83%AB%E3%83%A9%E3%82%A4%E3%83%96%E9%85%8D%E4%BF%A1%E3%82%A2%E3%83%97%E3%83%AA/id1490697369

最後に

さて以上5個のアプリを紹介したが、全て2020年5月20日現在の情報だ。特にアプリはアップデートがあるので最新の情報は是非貴様の目で確かめてくれ。
また我の端末でしか今回試していないのでまた他の環境だと違ったり、作者がTwitter等で言っているバグ対策や使い方を見落としている可能性もある。
間違いがあったら我のTwitterに連絡してくれると嬉しい。

今回はVRMが持ち込めてスマホに姿が映るものに限定したので5個となったが、持ち込みを考慮しなければもっとあるし、持ち込むにしてもトラッキングも要らなければそれこそ星の数ほどあるんじゃなかろうか。そのどれもがきっと貴様のVtuber活動の助けになってくれるはずだ。

それではごきげんよう、いい一日を。

《 全部試した動画建設予定地 》


この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

127
吸血鬼と人間のハイブリッドティーンエイジャー、九条林檎だ

この記事が入っているマガジン

Virtual Life
Virtual Life
  • 10721本

バーチャルとリアルの行方

コメント (1)
恋顔とかも試して欲しかったかもです。
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。