見出し画像

【初心者向け】3Dモデルを使用した配信の解説編

マロニーニ

※本記事から直接お読みの方は、こちらのリンクから見ていただけると流れがわかりやすいと思われます。

この記事では昨今よく見られる配信風景の紹介や、3Dモデルを使用するメリットを紹介します。 最後に、自身の姿を映し出すためのソフトをいくつかご紹介します。
※PCを使用しての配信を前提としています。

配信風景の紹介

雑談配信


ゲーム実況


3Dモデル作成など作業配信


Beat Saberなど全身を使ったゲームやVRSNSの配信


配信における3Dモデル使用のメリット

・動きに立体感が持たせられ臨場感が生まれる
・身振り手振りをより伝えやすい
・リングフィットアドベンチャー等のように全身を使うゲームや企画などで映える
・VR空間を映して配信が可能　例：VRChatやclusterなどのVRSNS

声だけで配信をしている方で、「皆には見えてないけど手振っている！」と言っている方をみかけたことはありませんか？ 3Dモデルを所持していると、実際に視聴者に見える形で手を振ることができます。 手を振ること以外にもなにげない仕草などを映し出すこともでき、より親しみやすく臨場感のある配信が可能になります。

VRSNSについては、実際に対面しながらチャットや音声でお話できるので、文字だけのチャットや配信時のコメント欄とは違った楽しみがあります。 配信をしながらcluster(VRSNSの一種)内イベント「アバターマーケット」に参加されていた配信者さんも居られました。

VRSNS「cluster」での交流


配信するにあたって使用する機材とソフト

続いて使用する機材と自身の表情などをトラッキングしてモデルに反映させることができるソフトの一例をいくつかご紹介致します。
※トラッキング…検出。
　要は表情などを認識、検出してモデルの表情や動きなどに反映させる

使用するソフトによって多少異なりますが、以下があげられると思います。

上半身のみをトラッキングさせる場合

・Webカメラ　もしくは　FaceID搭載のiPhone
・Leap Motion(リープモーション)※手や腕を認識するためのもの。
                                                      トラッキングソフトによっては必要ない
・PC
・OBSなど配信用ソフト
・トラッキングソフト

全身をトラッキングさせる場合

実際に使ったことがないのでまだわかりません…詳しい方や私がまとめています！といった方いらっしゃいましたらそちらの記事をご紹介させていただきたいです。

資金が集まり次第VR機材は購入したいと考えていますので、自分自身でもそのうちまとめていきたいです。

続いて、配信時に自身の姿を反映させるためのソフト等の紹介に移ります。


トラッキングソフト1_VMM(VMagicMirror)
基本無料

VMagicMirrorはVRMアバターを表示し、WebカメラやiPhoneカメラなどでキャラクターを動かせるアプリです。
※VRMについては、3Dデータを取り扱うための拡張子,データみたいなものと認識していただけるとわかりやすいかもしれません。

要点だけ先にまとめますと
・デバイスの表示(キーボードやマウスなど)
・表情はキー操作で、口の動きはマイクからのリップシンクで動く
・キー操作による手振りなどのモーションを使用可能
・パーフェクトシンク対応(※より精度の高い表情検知　後ほど説明します)
・png画像や3Dデータ(glb/gltfモデル)を読みこみ表示させることができる
・ハンドトラッキング対応(無料お試し版あり)


デバイスの表示

キーボードとマウスの表示

VMagicMirrorの特徴しては、モデルが実際にキーボードを打ってる様子やマウスを操っている様子を反映して動いてくれるところです。
マウスやキーボード以外にもコントローラーやペンもあります。作業配信やお絵描き配信などにもよさそうな動きをしていますね！

表情とリップシンク

VMagicMirrorはWebカメラやiPhoneで顔の向きを読み取ってくれます。表情については各種キーに表情を割り当てて、キーを押したときに表情をつけることができます。リップシンクについては、使用するマイクを割り当てた後、音声を認識してモデルの口の動きが連動させることができます。


キー操作による手振りなどのモーション

表情と同様、同梱されているモーションに各種キーを割り当てることで使用できます。自作したモーションや配布されているモーションも導入できます。
※配布されているモーションについては、規約を守ってご利用ください。


パーフェクトシンクについて

初めからこの単語を説明するには少し難しいお話になってしまうのでここでは軽く説明しつつ、気になった方はリンク先で情報を見ていただく形で説明します。

パーフェクトシンクは簡単にいうと、自分の表情とモデルの表情をより正確に連動させる技術のことです。 モデルをパーフェクトシンクに対応させていると、例えば右の口角を上げたときにモデルの右口角も上がるようになります。 舌を出したときにモデルも舌を出す、といったこともできます。

外部トラッキングの機能で、Webカメラよりも高度に表情を操作できます。利用にはFace ID対応のiPhoneまたはiPadが必要であり、またVRMモデルにもパーフェクトシンク用のセットアップが必要です。

VmagicMirrorの製作者様である獏星(ばくすたー)（@baku_dreameater）様の公式サイトにも詳細が書いてありますので、お時間ありましたらご確認ください。

ご自身で設定をしたいお方は、(はいぬっか（@hinzka）様が丁寧にまとめれておりますので、こちらをご覧ください。


png画像や3Dアイテムを読みこみ表示させることができる

透過画像であるpng画像と3Dアイテム(glb/gltfファイル)を読み込ませることができます。

球体と右のリボン(Unityちゃんのリボンをお借りしました)が3Dデータ、顔の横にいる生物がPNG画像で読み込ませたものです。

常に表示させてもいいし、表情やモーションなど動きを見せた時にこれらの画像を表示させてアニメ的な表現も可能です。

手を振ったと同時に画像を表示させている

ハンドトラッキング対応(無料お試し版あり)

無料版でどんな様子か確かめることも可能です。
無料版の場合、ハンドトラッキングのみ特殊なエフェクトがかかるようになりますがそれ以外は通常通り使用できます。

画像では左手を上げて、人差し指だけ曲げているのですが手の検出状況の映像を見る限りしっかりと認識されています。Webカメラの質によるとおもいますが、安いカメラでもこれだけ認識されているので精度は高いほうだと思います。

これ以外にもたくさんご紹介したいことがあるのですが、突っ込んだ内容になるため気になる方はVMMの公式サイトをご覧ください。


トラッキングソフト2_Kalidoface

ブラウザで使用可能でDLも必要ありません。
グリーンバックにしてOBSでその画面を取り込むだけで配信が可能になるので簡単と思われます。

画面右下にある人のようなマークを選ぶと、サンプルアバターのほか、VRMファイルをアップロードするボタンがあるのでそちらを押すと自身のアバターを映すことができます。

画面右側に歯車のマークを押すと設定画面がでます。
英語で書いてありますが、DeepLで翻訳したところ

・ボディトラッキングのオプション
　アイトラッキングには、フェイストラッキングとフルボディトラッキングの両方を使用します。
・ウィンクを有効にする
・スマイル検出[ベータ]機能
・ルームトラッキング
・脚のトラッキング [WIP］
・カメラパネルの非表示
・ウェブカメラビデオの非表示
・カメラの変更

という項目のようです。
手ごろに雰囲気を感じたいという方にはとっつきやすいトラッキングソフトと思われます。

VirtualMotionCapture(バーチャルモーションキャプチャー)

トラッキングソフトと言っていいのか悩んでいるのですが、様々なツールとの連携ができるシステムと認識しています。

例として紹介したBeat Saberの画像で用いられていたソフトで、公式HPには
・どんなことができるのか
・どのようなツールと連携できるのか
・マニュアルとよくある質問
など動画も含め詳しく書かれているので、こちらをご覧いただけたらとても分かりやすいと思います！


その他トラッキングソフト

ほかにもたくさんありますが、3Dモデル作成の作業配信の参考例として出させて頂いた「猫丸あず」様が立ち上げたVRoid_wikiで一覧をまとめておられますので、こちらをご覧ください。
※日々トラッキングソフトが増えているので、現状無い項目も今後記載されていくかもしれません。

本記事でご協力いただいた方の紹介

猫丸あず様

作業配信の例として紹介させて頂いた猫丸あず様です！
ゆるーく声をかけさせてもらったのにも関わらず許可してくださってありがとうございます！

現在3Dモデルの制作依頼も受け付けておられるので、制作実績などご覧いただいたうえでご一考されてみてはいかかでしょうか！

この度はご協力いただきありがとうございました。別の記事でもお世話になっているので、似たような文をそちらの記事でも書かせていただくと思いますがご了承ください…！
※2022/07/01追記
現在ゆったり活動中とのことなので、Twitterなどでのご様子をご確認したうえでご検討ください。

リオ様

MMD編の解説でもお世話になりました、リオ様です！

VRoidで作ったモデルを、MMDで使えるように変換する方法の記事を書かれておられる方です。

MMDについてほぼ知識がないボクでもMMDへもっていくことができました。また、つまずきやすいポイントや保存を細かくしておくなどデータ管理やMMDそのものの情報だけでなく、モノづくりする際にやっておくと便利なことなども書かれているので親切な内容となっています。

今現在も更新がされており、ボクが変換したときよりもたくさんの情報が新しく執筆されております。さらに各種便利ツールの解説も記載してありますのでぜひご一読ください。

Skebでのご依頼も受け付けておられるのでこちらのほうもご覧くださいませ！


配信編の締め

本記事では配信編について書かせていただきましたが、3Dは他にもいろんな用途がございますので下記のNoteからほかの用途をご覧いただき、ご興味があればそちらもぜひともよろしくお願いいたします。

3Dモデルの作成については、無料で作ることができるVRoidというものもありますので、これからデビューを考えている方、3Dモデルが欲しい方はそちらも視野に入れられるといいかもしれません。

ボクのほうでも3Dモデルの販売や制作を承ってますのでもしよかったらご一考くださいませ！！！！



この記事が気に入ったらサポートをしてみませんか？