みんなVになれよ（再編集中）
■まえがき
3Dモデルをアバターとして使いながら楽しく配信するための手引きです。
友人・知人・親しいフレンド・フォロワーに向けて書いた記事を、いくらなんでも口調が乱暴すぎると少しだけ反省し、再編集したものです。このエントリでは「予算がない」「マシンパワーが弱い」状況を考慮しません。
以下の本文は基本常体で記します。
2023年8月14日より 再執筆・再編集中です
2024年3月になっても再編集中です
とっ散らかっておりご迷惑をおかけいたします
■用意するもの
・ゲーミングPC（必須）
マシンパワーはすべてを解決する 強ければ強いほどいい
お金出せれば出せるほどいい この土台のパワーがV体稼働の強さになる
単なるゆるいゲーム配信のつもりが、手も動かしたくなり、あれこれ多機能にしたくなり、VRやフルトラまで行きたくなってしまったときPC本体の強さが限界点を決めるとわかってしまう
・Webカメラ（必須）
性能はよければよいほどよい 9000～15000円ぐらい ウィンクしたければよいカメラを買うしかない
というのは建前
実際ウィンクしながらゲーム配信をしたりはしないので数千円のもので十分
本気で美しいVになっていい動きの雑談配信をしたいなら妥協しない方がよい 妥協すると絶対にあとで後悔して買いなおしになる
顔のトラッキングはめがねに弱いので、フレームの印象が強すぎる眼鏡を愛用している人、レンズの度数が極端に強い人はいいカメラを用意すべき
・照明
薄暗いゲーミングルームで配信するのは楽しいが、絶対にカメラトラッキングに問題が出る 具体的に言うとアバターが白目をむいたり痙攣したりする
あなたは軽く横を向いただけのつもりでも、アバターの体が折れる
「女優ライト」や「リングライト」、「モニターライト」などの検索語でヒットする、ディスプレイの上または脇または背面に設置できるライトを用意することを強く進める 安物でOK 筆者は得体のしれない中華ブランドのリングライト（2500円ぐらい）を使っている
・3Dモデル（必須）
今回はVRoid Studio製の3Dモデル（vrm形式）を動かしてお手軽にV体を手に入れるコースで説明する 理由は「冗談で始めても痛くない価格で収まるから」と「本気になった際の自力拡張性の高さ」
本気3Dモデルと比べたらちょっとペラペラしているかもしれないけれど、自分で着せ替えや改変が簡単という利点はあまりにも大きい
とりあえずはVRoid Hubから無料で使えるものをいただいて来よう 自作もよい boothをあさるのもよい 検索ワードは”VRoid”、”vrm”、”オリジナルモデル”あたり
筆者の知る限り1点物のアバターを得る際に必要な予算はこのぐらい
Live2D=12万～30万
3D（VRoid）=4万～7万
3D（フルスクラッチ） 50万～
この相場以下になると途端に許容できないレベルまでクオリティが下がる
優秀なクリエイター様方の提示する値段には意味があるわけだ 昔は2Dの方が安かったのだけど、それぞれの市場とクリエイターが成熟して来た結果、相場の逆転現象が起こっている
高級なLive2Dモデルは本当に高い
上記の”逆転現象”表現はあくまで「VRoid Studio」、「Avatar.One」などアバターメーカー系のソフトウェアが増えて来始めたことによる、ジェネリックな3Dアバターを持つことが安価で可能になったという話で、フルスクラッチによるワンオフ3Dアバターが一番高価であるという事実に揺るぎはない
フルスクラッチの3D体をオーダーした やるならとことん遊ぶ
（←モデル作成：やたりめ様
→新衣装作成：佐久本様（kowareul）
わたしの作ったモデルを自由に使っていただいてもかまいません
https://hub.vroid.com/characters/7638304710992695437/models/7139386292396005978
↓パーフェクトシンクを設定した別なモデルもあります（有料でごめん 600円）
https://rurunerune.booth.pm/items/4893360
SKIMAでVRoid製アバターのコミッションを始めました
安くはないけれど割といいもの作ります
https://skima.jp/profile?id=194993
・トラッキングアプリ（必須）
VSeeFaceを推奨 無料
ホットキーを押さなくても表情が出せるのはこのアプリケーションだけ
よい解説記事
・iOSデバイス＋トラッキングアプリ（オプション）
表情詳細再現のパーフェクトシンクで使う（パーフェクトシンクに対応していないモデルでは無意味 これについては後述する）
パーフェクトシンクにはiOS AppのiFacialmocap（1000円ぐらい）を使う
※同作者の後継アプリFacemotion3Dでもよい
※VTube Studioスマホ版でもいい VSeeFaceとの連携機能は無料で使える
最近リリースされた iFacialMocap Powered by NVIDIA Broadcast にはパーフェクトシンクに近づく大きな可能性を感じる （いま現在「これからV体で遊びたいな」 ぐらいのところにいる読者はこの辺は読み飛ばしてかまわない）
NVIDIA社のRTXシリーズのGPUを搭載したマシン＋WEBカメラでフェイストラッキング出来るソフトをMicrosoft Storeに公開しています。https://t.co/HtGTrLAQWq
— iFacialMocap.jp (@Ifacialmocap_jp) August 11, 2023
iOSアプリと近い精度でトラッキングでき、Blender,Unity,Unreal,Maya,3dsMaxと通信できます。VMC Protocolの送受信も対応させて頂いております pic.twitter.com/0Hwxi1Rjrw
ある程度知識がある方はこちらの記事を参考にして使ってみるといいと思う
↓わかりやすくよい記事
・Leap Motion/Ultraleap（完全体を目指すなら）
手指も動かしたければこの有線USBデバイスを買う
旧式のLeap Motionが15000円前後 道楽でやるだけなら安い方で十分
Leap Motion controller2が出た 今ならこちらがおすすめ（22000円）
ゲーム配信で全身を映す機会はほとんどないので、上半身すべてが動いてくれればほぼフルトラのようなもの あなたは万能になる
Leap Motionは首掛けで使うのがいちばん楽なのでネックマウンタもあるとよい → おすすめはこれ
Ultraleap 3Diを買える人はディスプレイトップや机の上置きもよい（3Di買ったのでレビューを書いておいた ）
もちろん高い方がよい Leap Motionは値段が手ごろだが発熱がすごく夏は地獄なので覚えておいてほしい 胸元が焼ける
最近は割と優秀なハンドトラッキング機能を備えたアプリも出てきているので「XR Animator」「Warudo」「Webcam motion capture」あたりで検索してみることをお勧めする これらのアプリで満足できるならLeap Motionは買わなくていい
全部使った筆者の個人的感想を言うなら、やっぱりLeap Motionの方がいい
精度の差もあるし、新しいアプリの使い方を覚えなくて済む、USBに挿すだけで手が動くというのはとても簡単
現在もっとも日本での注目度が低いと思われるXR Animatorについては記事を書いた
XR Animatorの簡単な使い方
へんてこなUIに慣れることさえできればなかなかいい
・おぬしらの顔（必須）
いつもより20％増しぐらい表情豊かにしよう
無理するというよりアバターにいい顔をさせてあげるための努力
・VMagicMirror（無料評価版あり、2500円）（お好みで）
コントローラ持って遊ぶ姿、コントローラに合わせてV体がぴょんぴょん動く配信をしたいならあると楽しい
パーフェクトシンクと組み合わせるといい顔でゲームして見せてくれる
■デモンストレーション
そのうちデモ動画を差し換える予定
VseeFace＋vrmモデル+Leap Motion（頭顔手指）
https://www.twitch.tv/videos/1025448743
iPadとiFacialmocap＋VMagicMirror＋vrmモデル（頭顔パーフェクトシンク手がデバイスを操作してる風）
Quest2+vrmモデル＋Uni-motion
（安価完全無線フルトラッキング 頭両手胸腰両足両膝）
Ultraleap 3Diで手も割と動くというテスト
XR Animatorを使ったデモ配信
慣れればどれも準備は10分以内で済む
そのほかのアバターあり動画は https://www.twitch.tv/rurune
筆者はVストリーマーではない＝固定の姿を持つ必要がないので、いろんなアバターを頓着なく使うスタイルだったが、パーフェクトシンクを施した自分専用アバターがいちばんしっくりきて使いやすくてそればかり使うようになった
バーチャル体でも「自分らしい」と思える姿は大切 ベストな姿を見つけよう
実はその後自分らしい表情設定を施したモデルで、リップシンクとVSeeFaceの表情検知さえあれば十分だと思うようになり、パーフェクトシンクは使用しなくなってしまった。理由はパーフェクトシンクの項で説明する
■VSeeFaceの表情学習について
VSeeFaceを使うなら、表情学習とキャリブレーションはきっちりやろう
変な顔のまま配信しているVTuberさん、多すぎる 頼むよ 美しくして
せめてリップシンクはちゃんとして
1）設定→一般設定→下の「トラッキングポイントを表示」（緑の点線顔表示）をチェック これで表情をモニタする
慣れたら緑顔表示なしでもうまくキャリブレーションできるようになる
この状態で下のNeutral（ふつう）、Fun（笑顔）、Angry（怒り）、Joy（目閉じ笑顔）、Sorrow（がっかり顔）、Surprised（驚き顔）の表情を設定する
2）一つずつ表情学習をさせていく
表情の設定ボタンいずれかを押したら、首ぐるぐる（カメラに対してあらゆる顔の角度を映すようにする）口パクパク（難しいけど、今学習させたい表情をキープしながら口の開いた状態も学ばせるためがんばる）しながら設定したい表情をWebカメラの前でゆっくり10秒ぐらいやる
表情学習についての注意点：
先に表情を作ってから記録ボタンを押す
Angryならずっと怒ってろ 別な表情禁止 ミスったらやり直し 誰にも見られていないかよく確認してからやった方がいい
真顔に戻るのは、必ず「記録の停止」ボタンを押してから
3）ぜんぶの表情の記録を終えたら右側の「較正する」（キャリブレーションのこと）ボタンを押して設定を確定させる
右側の「較正を名前を付けて保存する…」ボタンで保存を忘れずに
表情の設定が終わったらトラッキングポイント緑色人間は消そう
表情1種類だけのやり直しもできる いずれにしてもキャリブレーションをやりなおしたら設定の保存は必要
恥を忍んで録画してきた↓
VSeeFace表情学習公開処刑録画
— rurune (@Lasairfhiona) April 16, 2022
（2倍速）
モデルがガクガクしても気にしないで続けてOK pic.twitter.com/UPOUyKZJ8T
なんか思うようにならないなと思ったら学習させた表情をクリアする前に、Neutral（普段の顔）の学習を再度行うことで解決できたりする
しばらくは特に問題がなくても、配信時間の差＝部屋の明るさの差、座った時の位置のずれで最初の設定はだんだんぼやけていく
FunとJoy、AngryとSorrowがあいまいになってきたらまずNeutralの再学習を試そう
目を細める、眉根を寄せるなど、特定の表情として誤認識されやすい癖を持つ人はこのNeutralの学習が何より大切 とにかくやってみて、自分の表情の癖について学びを深めよう
赤いとこ意識して表情を学習させ、その表情を出したいときはこれぐらい大げさにやる うまく調教できればこんなわざとらしい顔しなくても思った通りの表情は出る
もっと自然にやりたいならやっぱりパーフェクトシンク
■表情設定について
表情によってはトラッキングと競合し顔面崩壊するので 自分の顔ムーブと照らし合わせながらまばたき、眉毛のトラッキングの順番で切っていく
口は動いていた方がなるべくいいけど驚きや悲しみなど短時間だけ表示されることが多い表情は全部切って固定にしてしまってもいい
目閉じ笑いのJoyはまばたきすると目がつぶれるのでまばたきのトラッキングは必ず切る
どうしても設定された表情が気に食わない場合は
VRM表情設定するやつ で自分好みに微調整していこう
■VSeeFaceおすすめ設定
目がギョロギョロする人は「自動まばたき」、「下向いている間自動まばたき」、「模擬視線トラック」あたりをチェック
半目がすごい人は自動にしてしまった方が見栄えはいい
さらに眼球の揺れがすごいなら「視線感度」スライダーを下げる
ウィンクしなくていいなら「まばたきを同期」にチェック
ウィンクしたいけどうまくできない人は「まばたきを同期」を外した上で、「スマートウィンク」にチェック
（要は動きがおかしいなと思った場所は動かないようにしてしまえばいい
動けばいいってものじゃない 異常な動きになるなら見せない方がいい）
動かしているうちにモデルが曲がってくるので「徐々に位置をリセットする」をチェックしておくと便利 戻るスピードは左の「徐々に位置をリセットスピード」で設定 最大にしても結構ゆっくり戻る
動いているうちに首だけずれて行ってしまう場合は一般設定のずっと下 「高度」にある「アバターは歩ける」（Avatar locomotion）を切る
スクリーンショットには映っていないが、「グローバルリセット位置ホットキー」で正面向きに戻るホットキーを設定しておくといい
ゲームをしながらでもグローバルリセットキーを押せば瞬時に最初の位置に戻る（ビクンと動くがそれはしょうがない）
他のスライダー
確認しながら好きにいじろう
参考までに私の一般設定をお見せする
（暗い部屋+頻繁に目を細める癖がある＋分厚いレンズのめがね＋前髪で眉がほぼ隠れている＋無表情＋頭がふらふら動く＋ウィンクしないの悪条件セット）
風をちょっと吹かせておくと微動だにしない人でも雰囲気が出ておすすめ
肩の固定度と腕の角度も設定しておくと立ち姿がきれいになる
グラフィック設定の日本語版の「解決」は解像度（Resolution）の誤訳
パーフェクトシンク関係の設定はiOSデバイスとつなぐときだけチェックを入れる
VMCプロトコルの話は分かっていない人は今知らなくていい
知っている人は説明する必要がないからしない
■パーフェクトシンクについて
VSeeFaceの表情学習がなかなかうまくいかない人は、こっちの方がいいかもしれない 逆にパーフェクトシンクが合わないという人もいる
使ってみて判断するしかない
iFacialMocap（1000円ぐらい）、FaceMotion3D、waidayo などiOSの顔認証機能を利用してアバターを動かすことができるアプリとiOSデバイスを用意する
また、モデルがパーフェクトシンクに対応していないとどうしようもない
お手持ちのモデルは以下の方法でパーフェクトシンク対応に調整できる
方法1：検索してUnityで手作業でがんばる方法を見出す
方法2：HANA_Appを買う（1500円 パーフェクトシンク用のパラメータを自動で割り振ってくれるアプリ その後自力で調整は必要 結局自分で調べて知識を得る努力は必要）
方法3：出荷してくれたら代わりにやるよ
こちらのエントリが大変参考になる
https://hinzka.hatenablog.com/
パーフェクトシンク表情調整TIPS
舌ぺろぺろとかもぐもぐとか豊かな表情、微妙な表現、非対称な表情ができる
設定は上図参照 送信側と受信側のIPが必ず同じになるようにする
正しいトラッキングアプリを指定
目が変な風に寄る、ギョロギョロして止まらない人は「目を受信」を切る
頭がブルッブルする人は「頭の動きを受信」を切る
動きがおかしいなと思ったところはあきらめてトラッキングを切った方が話が早い
切ったからと言って動かなくなるわけではなく、パーフェクトシンク連携中は、チェックを入れた要素をiOSデバイスに、チェックを切った要素をウェブカメラとPCのパワーに任せる形になる
長時間必死に調整に取り組むより何回にも分けて短時間ちょこちょこいじるのがおすすめ
（2023年5月追記）
筆者はパーフェクトシンクをほぼ使わなくなった 理由は自分に合わなかったから パーフェクトシンクの適性がない人というのがいるわけで、自分がまさにそれだった
パーフェクトシンクは受け取った表情をそのままモデルに出す
そのため頻繁に目を細める癖が悪い意味で強調されて、見て楽しい動きではなくなってしまった
パーフェクトシンクを通じて3Dモデルに出力された表情が、あなたの望むV体のイメージとの解釈違いを起こしていることが多いなら、シンクはあきらめてきれいなリップシンクとVSeeFaceの表情検知による表情変化だけでやっていった方が美しくなる
■姿勢制御
右側の「動き平滑化」「可動範囲」スライダーで、ぐにゃぐにゃしすぎないようにする（何度も言うが、「変な動き」になるぐらいなら「動かさない」方がいい）
Rキー（「位置をリセットする」）で一瞬で正面向きに戻せるので時々戻しつつ動いてみて決めよう
どうしても下向いてばかりになってしまう人はカメラの位置がそもそも悪い
ゲームしてるから顔下向きになるの当たり前というならば、下を見ていてもアバターは下を向きすぎないような設定にすべき
↑のモニタは27inch
ゲーミングメンズはおそらくもっと大きくよいモニタを使っているだろうからカメラが上に来るね
実際は少し右寄りに座ってるならカメラも右に
カメラを傾けられるなら少し前掲に
ほか座面を上げる、姿勢をよくする、部屋を明るくするなど工夫
めがねが下がってきているならちゃんとかける
旧Leap Motion使用者は袖をまくって手首から先の肌がきちんと映るようにする（＋顔に手を近づけすぎない）
アーマーリングのような意匠のでかい指輪は外す
普段ゲームしている時の姿勢でRを押して姿勢リセットして、テスト配信や録画で姿勢の癖を見てみよう
アバターの姿を通すと姿勢や視線の癖が異常行動として表現されることがあるので、アバターがきれいな動きになるような努力は必要
体が曲がったままとかあらぬ方を向いたままとかの配信は見苦しい
視線のずれた下向きっぱなしの無表情アバターを見ても視聴者は楽しくない
■映像取り込みについて
VSeeFaceはOBSのゲームキャプチャに対応しているんだけどうまく映らないときがある
（OBS以外のゲームキャプチャが可能なアプリが起動しっぱなしになっていて競合している可能性を考慮してほしい Bandicam、Xbox Game Barなどが常駐していたら一度切ってからOBSとVSeeFaceを立ち上げてゲームキャプチャを試してみよう）
そういう時は諦めて仮想カメラ Spout2の方が軽いのでできればSpout2がいい インタフェースが写らないので設定やアバター一覧が配信に映ることがないという利点もある
それなりに重いらしいので自身の環境と相談
仮想カメラ使用、OBS側設定
「ソース」欄の＋を押して「映像キャプチャデバイス」を追加
デバイスは「VSeeFaceCamera」を選択 スクロールすると下に各種設定がある
右クリック→描画モード→ランチョスにすると縮小してもきれい
Spout2利用の場合はプラグインを入れる必要があった気がする
「OBS Spout2」で検索
■Leap Motion設定
（3Diはまた別 →レビュー）
ゲームやるなら首掛けがベスト
カメラ面を少し下向きに傾けるのをお勧め
こうすることで手元～首の横ぐらいまでの手の動きをカバーする ダブルピースやバイバイができる 顔や髪に触れる様子は再現が難しくなる
筆者はこの位置でもぎりぎり耳の横まで手を動かせるが 身長やPCまわりの環境で変わってくる
体の癖や環境によって位置・スケールも変更した方がよい
スケール→手の動き幅が変わる
位置：前方→体に潜らないようにする
位置：高さ 気に入った手の高さが出力されるよう手を上げながら調整
回転X：X面角度でも腕の高さの調整ができるのでここもいじってみる
筆者の環境は手に取りたい必要なアイテムが少し片側に寄っており、 体がついついそちら側に向きがち＝Leap Motionもずれがちなので逆方向（→こっち側）に少しだけLeap Motionを寄せている
トラッキングアプリは公式サイトから最新のGeminiに更新
https://developer.leapmotion.com/tracking-software-download
■アバター改変
1）色改変
必要なもの：
・pngを透明度を維持して色改変する知識
・VRMテクスチャ差し替えるやつ （無料）
2）着せ替え
必要なもの：
・VRoid Studio Steamにもある →Steam版
・VRoid Studioを使って着せ替えをする知識
・着せ替えたいモデルの .vroidファイル
・着せ替えたい衣装テクスチャもしくはプリセット
着せ替え衣装は boothのVRoidカテゴリで無料のものを入手したり買ったりせよ 作者さまの利用規約をよく読み、従うこと
3）尻尾や3Dオブジェクト・アクセサリの追加
blenderまたはUnityの知識が必要 調べてがんばろう
ユーザー謹製の便利なプラグインもたくさんある
これができれば自分のモデルをVRChat用に変換することもできるようになる
BlenderでVRoid製のしっぽをどうにかする記事を書いた
4）体型/衣装の揺れ/ボーンの改変から先のいろいろ
君はもう私のはるか先を行くのだ 進め、迷わずに
そしていつかオリジナルモデルとか作って販売してくれ
ほか、思いついたら追加
みんなでバーチャルの向こう側にいこ
■これは鏡のようなもの
今のところオールインワンでV化！ なんていう夢は遠く、つぎはぎの体でやっていくしかない
美しいアバターの動きと表情を手に入れるためには、生身の自分の癖とトラッキング結果として出力される顔をすり合わせていく作業が必要となる
自分で無表情だと思い込んでいた顔がそうでもなかったりすることがわかる 逆もある パーフェクトシンクで自分の笑顔がゲス顔だったと気づくこともある（私です）Vの姿を通じて己の日ごろの姿と向き合うとよい
なりたい姿と人から見られたい姿とカジュアルにかぶれる仮面と、中に入って遊べる稼働フィギュアがいっぺんに手に入るチャンスだ うまく使おう
■筆者の環境
古いものと新しいものが混在した環境でゆるく活動中
https://www.geartics.com/Lasairfhiona
■活動場所
3Dを動かすのが面倒でLive2Dの時も多い
3D体は自作VRoid体と オーダーしたフルスクラッチ3D体を使い分け
■謝辞
感謝をささげます。
爆速ものづくりモンスター姫子、アバター班匿名女師匠
思い立ったら即行動のエンタメ強者たち
すばらしいソフトウェア、ハードウェアを制作された皆様
扉画像・本文中画像にかかわるクレジット
・背景：VRMLiveViewer
・衣装：【VRoid用】虎イメージ衣装テクスチャセット
聖なるローズマリードレスセット
【VRoid】すなどり工房Tシャツセット【ロングコート用テクスチャ】
【無料版有】コーチジャケット【VRoid】
【無償版あり】VRoid用不思議の国のアリスなパーカーテクスチャ
ふんふんぶつつ様を有料支援していた時の配布モデル「謎美」のヘアスタイル
その他衣装とモデル：モデル作成者による自作
男子モデルは私が自作した それ以外のモデルは同一作者のものだが、本人の希望によりここでは名を非公開とする
■関連記事
Uni-motionレビュー
Leap Motionの手の動きでは満足できないならこれを買って上半身モードを使うといいのじゃないか ついでに本格的なVRの世界に羽ばたいて 動ける踊れるVになろう
UltraLeap 3Diレビュー
Leap Motionの手の動きでは満足できないしUni-motionが手に入れづらいならこれを買って上半身モードを使うといいのじゃないか
VRoidの髪で作ったしっぽをBlenderでHipに追従させる方法（よくわからない人でもなんとなくできる）
すごく無理やりな方法らしいので識者のアドバイスを待っている
ありがとうございます サポートへのメッセージには個別にお返事を差し上げています でも Twitchをフォローしていただけるのがサポートとしてはいちばんうれしいです https://www.twitch.tv/rurune お金は大事にとっておいてください