Kalidoface 3Dでトラッキング
肢体不自由の生徒は移動の困難さが社会参加への制約になります。
メタバースでの活動は自身が移動する必要が無いので、これを経験しておくことは、将来の就業や進学、趣味の活動などの可能性を広げます。
そのためには、
・アバターを用意する
・モーショントラッキングを行う
・アバターを思い通りに動かす
・動画に録画したり、Webカメラに送ったりする
等の技術が必要になります。
学校でどうやって実現するか、考えてみました。
モーションキャプチャー
まさかの「買えない」
先述の思いがあったので、DXハイスクールの申請の際、予算計画書にモーションキャプチャーを入れておきました。
無事採択校になったため、センサー式のモーションキャプチャーを販売している複数の業者に連絡してみました。
ところが、どこも請求書払いができないとのことで、購入できませんでした。
DXハイスクールの予算は県費と同じ扱いなので、請求書払い（納品が先で、請求書をもとに後払いするという購入方法）ができない業者からは購入できません。
購入できないのなら、お金のかからない方法を考えます。
Kalidoface 3D
Kalidoface 3Dを使うと、ブラウザ上でモーショントラッキングを行い、アバターを操作することができます。
デモのアバターが数種類あり、すぐにモーショントラッキングを体験できます。
右側の歯車（Settings）をクリックすると、設定を変えられます。
「Body Tracking Options」の「FULL BODY」を選択すると、フルボディトラッキングができます。
右下の青いビデオカメラのボタンをクリックすると、Webカメラでのトラッキングが始まります。
ブラウザにカメラの使用の許可を求められたら、許可します（「すべてのアクセスで許可」が心配なら「今回のみ許可」で大丈夫です）。
１０秒ぐらいするとトラッキング状態が表示され、アバターも動き出します。
まばたきや口の動きは結構再現できます。
Web会議で十分使えると思います。
ただ、手の動きをWeb会議の感覚でやるとうまくいきません。
手を振ると、「情報量の多い写真」の天地魔闘の構えをした女子中学生みたいな手になってしまいます。
元ネタのわからない方はこちらから。
パソコン（内蔵Webカメラ）から１ｍくらい離れると、手を頭の上まで上げることができました。
でも、これをスクリーンキャプチャーするために、外付けキーボード（有線）をパソコンにつないで、左手で持ってWin＋Shift＋Sを押しています。
妻と息子が不思議な顔で私を見ています・・・。
録画する
Windowsキー＋Gキーで画面の録画ができます。
「キャプチャー」の「・」録画ボタンをクリックすると画面の録画が始まります。
四角の停止ボタンをクリックすると録画が止まります。
Web会議で使いたい
Google Meetでの方法です。
Screen Capture Virtual Camera
Chromeの拡張機能です。
Google MeetでPCの画面やChromeブラウザのタブを仮想カメラとして表示できる様になります。
下のリンクを開き、右側の「Chromeに追加」をクリックすれば、インストールされます（学校のアカウントでは管理者が許可していれば）。
１ Kalidscopeでアバターを使える状態にする。
「Settings」で「Hide Camera Panel」を有効にして、トラッキング表示のウインドウを隠したほうがいいでしょう。
（注意）「Hide Webcam Video」を無効にすると、Webカメラの実際の映像がそのまま流れてしまうので要注意です。
２ Google Meetの会議室を開く。
カメラは「許可」しますが、まだ「オフ」のままです。
３ カメラで「Screen Capture Virtual Camera」を選択する。
４ Chromeタブの「Kalidoface 3D」を選択して「共有」をクリックする。
自分のカメラ画像として配信される。
アバターを使いながら画面共有もできます。
これでアバターになりきっての配信ができるようになります。
独自のアバターを使いたい
アバターになりきることができたら、自分独自のアバターを作りたくなることが予想できるので、調べてみました。
VRoid Studio
ピクシブが提供する3Dキャラクター制作ソフトウェアです。
Windows版、Mac版、iPad版があります。
無料です。
インストールが必要なので１人１台端末に入れるのはきつそうです。
共用パソコンで使うようになるかなと思います。
アイコンをダブルクリックしても起動しないことがあり、パソコンを再起動すると起動しました。
顔、髪型、体形、衣装を選ぶだけで自分好みのアバターができ、パラメーターをいじれば細部までこだわることもできます。
自分の場合、好みに近づけようとしていくと、だんだん妻に似てきたことに気づき、何というか・・・。
生徒に使わせるのに、もしかして裸ができたらまずいなと思い、どこまで脱がせられるか調べてみました（決して趣味ではない）。
インナーは脱がせることができませんが、下着姿にはさせることができました。
厳密にいえば、カスタムでテクスチャーを消してしまえばスケスケになるのですが。
「学校で発表できないような作品は作らないように」と自制を求めたいと思います。
Kalidofaceに取り込む
KalidofaceはVRM形式のアバターを取り込むことができます。
VRMについては日経クロステックの次の記事が簡単にまとめられていると思います。
ドワンゴが絡んでいたんですね。
MikuMikuDanceは私も触ったことがあり、開発が終わった経緯をリアルタイムで見ていたので残念に思ったものでした。
VRoid StudioでVRMにエクスポートするには、右上のアップロードのボタン（上向き矢印）をクリックし、「VRMエクスポート」をクリックします。
データを削減すれば動作が軽くなると思いますが、特にいじらず「エクスポート」します。
エクスポート設定は、VRMデータを公開しないのであれば必須の部分だけ設定すればいいのかなと思います。
エクスポートが終わるとファイルの保存先とファイル名を聞いてくるので、指定して保存します。
Kalidofaceを開き、右下のボタン群から人型（Characters)をクリックします。
左上のUpload.vrm files(上向き矢印)をクリックして、VRMファイルをアップロードします。
取り込むことができました。
まとめ
無料でもアバターを使った様々な活動ができることがわかりました。
メタバースの活用はまだまだこれからですが、面白い活動ができるのではないかと思っています。
この記事が気に入ったらサポートをしてみませんか？