見出し画像

NeosVRで音楽会をするよ

litalita

楽器の弾ける仲間とアンサンブルして音楽会を開きたい、そう思ったことは一度ありますよねぇ。（CV: オレンジさん）

この記事では、楽器を演奏した音をどのように他の演奏者とアンサンブルして、neosのワールドに流すかということについて解説します。

準備

VRに演奏している音楽を持ち込みたいときには、マイク、ヘッドフォン、オーディオインターフェースが必要です。これらはあちこちの記事で紹介されているので、ここでは省きます。最後の参考文献のTA-GAさんのtweetが簡潔にまとめています。少し意見を述べさせていただければ、マイクはチャットやZoomで使うようなUSBマイクではなくて、きちんとした音楽用のマイクを使いましょう。ヘッドフォンはインナー、カナルでは、自分の演奏が聴けないので、私は耳かけ式イヤホンにしています。

次に、他の演奏者とアンサンブルするにはYAMAHAのSYNCROOMを使います。これもたくさんの記事があるので説明は省きます。うまくPCにインストールして、オーディオインターフェースと接続して、設定をして、音を出せるようにしておきましょう。

NeosVRを立ち上げる前にSYNCROOMを立ち上げておく方が、音声入力デバイスの接続がスムーズです。

NeosVRの音声入力デバイスを使う

neosには優れた音声入力デバイスの取り扱いがあるので、まずは基本的な方法としてこの音声入力デバイス使って音楽をneos内に流すやり方を説明します。オーディオストリームについては次のセクションで述べます。

マイクモード

まずはマイクモードです。これを上手に切り替えて利用します。

neosではダッシュメニューを出すと左上にマイクのマークが5つあり、通常は真ん中のノーマルが選ばれているはずです。これは距離減衰があるので、遠くのプレイヤーには音は届きません。

マイクがノーマルの場合

これに対して黄色のマイクにするとシャウト（叫ぶ）モードになります。声が大きくなり、距離減衰が少ないので遠くまで届きます。また方向性もあります。

マイクのシャウトモード

最後にさらに右にある青色のマイクにするとブロードキャスト（放送）になります。これはワールドのどこにいてもその音がプレーヤー正面に聞こえるようになります。脳内に語りかけると表現することもあります。

マイクモードブロードキャスト

このようにneosではマイクモードを切り替えることができるので、音楽をワールドに流すときには、シャウトモードかブロードキャストにすると、いいでしょう。

また、観客は紫色のウィスパー（ひそひそ話）モードにすれば、他の観客や演奏者に迷惑をかけずに会話を楽しむことができます。neosのいいところです。

一番左の赤色はミュートです。これにより自分の音を外に出すことがないです。実はこれが重要で、SYNCROOMを通じてneosに音を出しているので、演奏者は自分から不必要な演奏を出さないためにミュートにする必要があります。後述することにします。

ノイズゲートなど

ノイズゲートの閾値を0、ノーマライゼーションの閾値を0、ノイズ抑制フィルターを外す

マイクから音を拾うときに、部屋の雑音を流さないために通常はノイズゲートの閾値をある程度の値にしておくのが普通です。閾値を超えた音が入ると、neos内に音が流れます。しかし、音楽の時には小さな音から大きな音まですべてneosに流したいです。そこで、ダッシュメニューの「設定」に行き、「ノイズゲートの閾値」を0にします。これで小さい音も流せるようになります。そして同じく「ノーマライゼーションの閾値」も0にします。これにより音のひずみを防ぎます。さらに「ノイズ抑制フィルター(RNNoise)」もチェックを外します。このチェックを外さないと、音声の周波数帯は問題ないのですが、高い周波数領域の音が壊されてしまいます。このように細かい設定までできるようになっているのがneosの特徴です。

音声入力デバイス

音声入力デバイスをSYNCROOMに切り替えます。
・ライン（Yamaha SYNCROOM Driver (WDM))
これで、SYNCROOMの音がneosに流れるようになります。

ミュートの設定

これで気が付くと思うのですが、SYNCROOMの音はオーディオインターフェースに繋いでいるヘッドフォンから聞こえ、さらにneosを通じてアンサンブルしている他の演奏者の音が聞こえます。若干の遅延があるので、ややこしいことになります。そこで、下のようなミュート機能を利用します。ダッシュメニューでセッションを開き、ユーザータブを選択すると出てきます。下記の例ではZozokasuさんをミュートして音声レベルを0にしています。

ミュートの方法

具体的にはどうのようにミュートを利用するのでしょうか？

まずSYNCROOMで繋いだ誰か一人がnoes内に音楽を流すことにします。通常は主旋律を演奏している演奏者から流すのがよいです。理由は、SYNCROOMでは数10 msの遅延があるので、伴奏からだと観客は若干のズレを感じることがあるからです。伴奏の音を聴いて主旋律は音を合せて演奏するので、主旋律からの音であれば、noesにいる観客には遅延を感じにくくなります。逆に伴奏からだと、主旋律の音が主旋律演奏者以外に帰ってくるのに若干のズレがあるので、観客は伴奏に対して主旋律が少し遅れて聴こえてズレが気になるかもしれません。

このような理由から、主旋律の演奏者が音声入力デバイスをSYNCROOMにします。そして他の演奏者は主旋律演奏者を上の図のようにしてミュートにして、neosを通じては主旋律演奏者の音を聴かないようにします。その代わりSYNCROOMから聴くことができます。

そして主旋律演奏者以外は、自分をミュートにします。ダッシュメニューで常に左上にある5つのマイクから赤色を選び、自分の演奏は直接neosに流さないようにします。これをしないと観客は二重に演奏を聴くことになります。

観客がいたら、音が出ているか、音量バランスはいいか、ちょっと確認してもらったらいいですね。慣れないとこのミュートの設定はややこしいです。そして元に戻さないと、あとでneosを通じての会話ができなくなります。ただワールドを立ち上げ直せばミュートの設定は解除されますので、忘れていても次回neosに入る時にミュートの設定が残ることはないです。実際にはこれがとても便利です。

まとめ

主旋律演奏者（音を出す人）
・マイクモードをシャウトかブロードキャストに
・ノイズゲートやノイズフィルタの設定
・音声入力デバイスの切り替え
主旋律以外の演奏者
・マイクモードをミュートに
・主旋律演奏者の音を聞かないようにミュートする

終わったら、それぞれの設定を戻します。

NeosVRのオーディオストリームを使う

オーディオストリームの立ち上げ

ここまでは音声入力デバイスを使いました。neosにはオーディオストリームというPCの音を直接neos内に流すことができる仕組みが備わっています。この方法を使うと音声入力デバイスの切り替えよりも音質がよく、遅延にも強いとされています。問題点については後述します。

オーディオストリーム

ダッシュメニューの「ホーム」の右の並びに「オーディオストリーム」というのがあります。それをクリックして、音源としてSYNCROOMを選び、左下の「ストリーミング開始」ボタンを押すと上のようなオーディオストリームが現れます。ビットレートは100 kbps以上あれば十分でしょう。「ストリーミング開始」ボタンをみると分かるように、ブロードキャストモードでneosのワールドに音を流しています。

オーディオストリームのパネルには「立体化」がありますが、これを押すとマイクがブロードキャストモードからノーマルモードになります。

「ブロードキャストと通常が標準だとありますが、どちらも音声の出力周りの数値を弄ってるだけなので、シャウトなどほか設定も可能です」(Kazuさんからの情報)

オーディオストリームの問題点

このオーディオストリームの問題点について触れます。

主旋律演奏者以外は自分の音がワールドに流れないようにマイクモードを切り替えてミュートにします。

そして、主旋律の演奏者がこのオーディオストリームを立ち上げます。その他の演奏者はこの主旋律演奏者のオーディオストリームからの音をミュートします。しかしダッシュメニュー→セッション→ユーザー→ミュートをしてもオーディオストリームはミュートすることができません。そこで、ダッシュメニュー→設定→マルチメディアを0にします。その結果、ワールドで使われているマルチメディアを他の演奏者は聴くことができなくなります。また、この設定はワールドを立ち上げなおすと戻るということはありませんので、音楽会が終った時点で元に戻す必要があります。そうでないと、マルチメディアを聴くことができません。

まとめ

主旋律演奏者（音を出す人）
・マイクモードをミュートに
・オーディオストリームを音声入力デバイスを選択して立ち上げる
主旋律以外の演奏者
・マイクモードをミュートに
・主旋律演奏者の音を聞かないようにマルチメディアを0にする

終わったら、それぞれの設定を戻します。

その他の話題

遅延について

neosではP2Pを使っていて、場合によって低遅延なので、SYNCROOMを使わなくてもアンサンブル演奏できるのではないかと考えたことがありました。結論としては、SYNCROOMには及ばないです。ネットやPCの環境にかなり寄りますし、今後変わっていく可能性もありますが、SYNCROOMを使った方が安定して演奏ができます。

いつの日か、VR世界に入って、実際の楽器を演奏するだけで、あちこちの楽器の音が遅延無く聴けて、アンサンブルできる日がくるでしょうか？

音声入力デバイスとオーディオストリームとどちらがいいのか？

音声入力デバイスの利点
・シャウトなどのマイクモードの切り替えが楽
・リップシンクが使えるのでボーカルとかはいいかも
音声入力デバイスの欠点
・アバターのボイスになるので、音質がさがるとされる

オーディオストリームの利点
・音質がいいとされる
オーディオストリームの欠点
・主旋律演奏者以外はマルチメディアが聞こえなくなる。演奏が終った後に元に戻す必要がある。

どちらでもOKだと思っています。

TopazChatの利用について

nekobusさんとのやりとりではTopazChatを使ってneos内での配信をしなくても、オーディオストリームが使えるので十分だろうということでした。もしメリットがでてきたら、また記事をまとめたいと思います。

まとめ

音声入力デバイスでもオーディオストリームでもneosに演奏を流すことができます。音楽会にふさわしいワールドも次々とできてきて、楽器を手にしたアバターもあります。次第にneosでの音楽が立ち上がってきていると実感しています。皆様も手持ちの楽器をneosで演奏してみませんか？

参考文献

tatmosさんとKento Mizunoさんの記事が先進的でなおかつ今も読み応えがあります。

私の記事です。VRChatでの体験がもとになっています。

TA-GAさんの一枚絵での解説。素晴らしい。


この記事が気に入ったらサポートをしてみませんか？