MMDのモーションデータでVRMモデルを踊らせる（その1）
いつもどんな感じでダンス動画を作っているか…というお題で書いてみます。理解不足だったり間違ってるかもしれないので、その辺は、生暖かくスルーしてください。
■ 追記 2024/01/09 がありまーす！ スクロールして一番下の方です。
まずはおさらいです。私の場合、VRoid Studio で作成したオリジナルの VRM モデル（Minolin）しか持っていないので、ダンス動画を作成するには、モーションファイル（ダンスそのもの）、カメラワーク、表情や唇、そして楽曲及び背景が必要となります。
https://hub.vroid.com/users/84544065
背景以外は、MMD＝MikuMikuDance（ミクミクダンス）とよばれるアプリで作成された モーションデータを利用します。拡張子は .vmd です。実はこの .vmd という拡張子を持つファイルは、様々な意味というか、用途があって、1つの VMD ファイルにダンスのモーション、表情、唇（リップ）まで全て含まれている場合もあれば、それぞれ別々のファイルに分かれていたり、モーション作成するクリエーター様によってそれぞれ異なるので注意が必要です。
※この辺のバラバラに作成されたモーションファイルをどのように扱うか？については、別項（その3）で説明します。
MMD で作られた 3D キャラクター本体には .pmx という拡張子が与えられ、これは VRoid Studio で作成された VRM ファイルとは別物です。つまり、PMX モデル用に作られたモーションを VRM モデルに適応させた場合、本来の動きとは違う動き方をしたり、動きそのものが破綻（おかしくなる）する場合があります。
こればっかりは、実際に動かしてみない事には判断できないので、入手したモーションデータ（VMD ファイル）と、手元にあるオリジナルの VRM モデルを、VRM Live Viewer に読み込ませて、画面で動きを確認します。この段階では動きのチェックなので、必要なファイルは最低限3つです。3D キャラクターである VRM モデル、踊りのモーション（VMD ファイル）、そして楽曲（wav ファイル）です。この3つのファイルを、VRM Live Viewer の画面へドラッグ＆ドロップすると自動的に動画が再生されます。
※音声がスタートするタイミングは、そのままで OK の場合と、スタートを遅らせる必要があったりしますが、だいたい 1 秒遅くスタートでうまくいくことが多いです。
※楽曲のスタートがずれていると、いわゆる音ズレと呼ばれ、これは、モーション作成者様は非常に気にするというか、嫌がります。オリジナルの動画を何回も見て音ズレが発生しないように、慎重に楽曲のスタートを決めて下さい。
再生される動画で、不自然な動きがないか？ 衣服の貫通は？ ヒジとか肩とかの動きは？等々、注意深く何回も再生してチェックします。また、足というか股関節あたりの動きも注意してください。衣服の貫通については、太ももの外側、腕の付け根・肩の前側とか、その辺が一番問題を起こしやすいです。
※貫通処理については、対応がいろいろあって長くなるので、ここでは割愛します。
それではモーションの調整をどうするのか？
モーション作成者によって様々ですが、モーションが一種類（1個）だけの場合や、ターゲットなるキャラクターを指定している場合（それも複数）とかがあります。HORAIZON という曲を例にすると、しろたび氏が作成したモーションをダウンロードして展開します。すると、こんな感じで、HORIZON Tda式初音ミク.vmd HORIZON YYB桜ミク.vmd HORIZON らぶ式ミク.vmd HORIZON モーション.vmd たくさんのモーションファイルが同梱されているのがわかります。
私の場合、MMD はからっきしわからないので、とにかく全部のモーションで動作を確かめます。いろいろと試した結果、HORIZON では HORIZON YYB桜ミク.vmd をベースとして、以下のユーティリティで VRM モデル用に調整しました。
https://finekit.co.jp/base/#VMDRtgt
ここに記載がある VRM Live Viewer 用を PC にインストール（解凍するだけ）します。
※ちなみに、.lzh という拡張子で圧縮されたファイルは、標準の Windows では解凍できないので、アーカイバー（圧縮・解凍用のプログラム）が別途必要です。私は 7zip というアーカイバーを使っています。無料で使えますし、とても使いやすいのでお勧めです。
https://7-zip.opensource.jp/
このユーティリティソフトは、ターゲットとなる PMX モデルと、実際に動かす VRM モデル、それぞれを学習させることで、動きの細かな差異を変換してくれます。
今回は、YYB桜ミクのPMX ファイルを、お借りして…
https://bowlroll.net/file/67094
YYB 桜ミクの PMX ファイルを learningSourcePMX.exe へドラッグ＆ドロップすると自動的に学習します。
同様に、踊らせたい VRM モデルのファイルを、learningTargetVRM.exe へドラッグ＆ドロップします。
これで元ファイルと変換先ファイルの学習が終わったので、使いたいモーションファイルを、VmdRetarget.exe へドラッグ＆ドロップすると変換が始まります。
変換はあっと言う間で（黒い画面が出てきて何やら変換中の様子が見える）、同じフォルダーに新しく HORIZON YYB桜ミク-ret.vmd というファイルが出来上がります。
次に、上記で作成したモーションを使ってVRMモデルを動かしてみます。
すると、元のMMDの動きと比べて、肩から腕、そして手にかけての動き方が、微妙に違う事（なんか動きが不自然…）に気がつきます。これは「ボーンのモーションが抜けた状態」と呼ばれ、このまま使うとライセンス違反になる事が多いそうです。((;゜д゜)ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ
https://finekit.co.jp/base/#VMDTMS_UnityVMDPlayer
これを調整するには、V1.20 Unity 製 VMD プレイヤー用 長袖モデル変換 を使ってみてください。使い方は非常に簡単で、上記 VMD Retarget を使って変換したモーションファイルを、同じようにインストール（解凍するだけ）した長袖モデル変換用の VmdTms.exe へドラッグ＆ドロップするだけです。これで自動的に変換されて、HORIZON YYB桜ミク-ret-cnv.vmd というモーションファイルが出来上がります。
つまり、 VMD Retarget → VMDTMS（長袖モデル変換用）と、セットで使用すると、MMD本来のモーションに限りなく近くなりますし、ライセンス違反かも？…という状況も回避できます。
■これら2つのユーティリティソフトを使っても動作がうまくいかない場合には、残念ながら別のモーションを探した方が良いです。私も何度か経験しました。
まとめ
VRM Live Viewer という神アプリを使うと、MMD 用のモーションデータ、カメラモーション、音源があれば、VRoid Studio で作ったVRMモデルを踊らせる事が出来ます。ただし、MMD用のモーションをそのまま利用すると、本来のモーションとは違った動きになったり、場合によってはライセンス違反になってしまう事もあるので、VMD Retarget → VMDTMS（長袖モデル変換用）のセット利用を強くお勧めします。
最後になりましたが、MMD用のモーション作成者様の利用規約を熟読してください。MMD以外の利用を禁止している場合もあるので、その時は個別に許諾を取る事を除いて、基本的にVRMモデルでは使えません。また、モーションやカメラ、音源はもちろん、作成者様への感謝とリスペクトを忘れずに、お借りした物のクレジットはしっかり書いてください。私なんぞが偉そうに書く事じゃありませんが、ご配慮の程、どうぞよろしくお願いいたします。
最新版の VRM Live Viewer は、ここからダウンロードできます。
追記 2024-01-09
ここでご紹介したユーティリティソフトの作成者様である F.Issiki 氏より新しいユーティリティが公開されました。その名も、VMD Checker です。
とても便利なソフトで、使ってみたいモーションファイル（.vmd）をこのソフトのアイコンにドラッグ＆ドロップすると、こんな感じで表示されます。
モーション作成時のモデル名が解ったり、また、特に赤字の表示がある場合は、そのまま VRM Live Viewer に持って行くと、動きが明らかに変な（おかしな）状態になります。この場合は、必ず上記でご紹介した VMD Retarget や VMDTMS を使ってモーションの調整を行ってください。
※もちろん、それでも実際に踊らせて見ると、おかしな場合は多々あるので、音ズレもそうですが、オリジナルの動画を何回も何回も、それこそディスプレイに穴が空くほど見てチェックしてください（自戒も含めて…苦笑）
これは個人的な感想ですが、適切なモーションで音ズレがない状態になると、急にキャラクターが生き生きとしてきて、まるで魂が宿ったような感じになります（そんな風に見える）。出来上がった動画を見て、キャラクターが、ただただ動いている…ように感じたら、モーションがおかしいか、音ズレか、その両方かの確率がめちゃ高いです。そういう時には、やっぱりオリジナル動画のガン見ですね～ それしかないですww
■モーション作成者様やカメラの作成者様にとって、自分の名前がクレジットに書いて有るのに、酷いモーションでキャラクターが踊っていると、『私が作ったモーションは、こんなヘンテコな踊りじゃない！』と不快感を覚え、VRM Live Viewer での利用を禁止することがあります。これは、相手の立場になれば、とっても理解できるので、各種モーションや衣装・背景等々、大変な思いをして作成し、無料で公開されているクリエーター様へ、最大限の感謝と尊敬をもって、ダンス動画の作成を楽しみましょう～！
この記事が気に入ったらサポートをしてみませんか？