Beat Landing 配信問題まとめ　＋α

今回僕が配信、VJ、DJで関わることになった 浅草Stella さんでやったイベント、Beat Landing . で、このときに配信がしっかり動かないとか結構多めに問題が発生しちゃってたからそれをまとめようってやつ

起きていた問題はおおよそ以下数点

・動画がカクついてまともに見れない
・時々落ちたりしてる でも音はなってる
・音ズレしてる (配信側では未確認)

これについて脳内会議していろいろ考えてるメモ的なやつです。

最初の方は有識者っぽい人にガーッとかいてたやつのコピペなので話し言葉がいろいろ振れます　ゆるしてね

環境　

このパソコンとiPhone,iPad 計4台、

NDI用ルーター(借り物だったから型番確認中)

平時上下130MBpsでるwifi環境

VDMX5 (8722) と OBS

OBSでVDMXのキャプチャして配信　細かい配線関係は気がむいたらかく

一応配信視点の話

/* ここからとあるとこからのコピペ　適宜編集、追記あり*/

// VFXを映像エフェクトって意味とVJの動画って意味両面持ってしまってるから書き直してない。きがむいたらやる

1. 配信がカクついていたこと
2. 映像の取得方法とその問題
3. 配信のコマ落ちやディレイについて
4. ビットレート, VFX, エンコーダーに関して
5. 事前に対策できなかったのか、その他問題点

6. コマ落ちの本当の原因何　予想編
7. 対策
7.5 要検証項目
8. おぼえがきみたいなの

ついき　(20200720 0210  初版公開から10分後)
9. 配信がゴタついていた犯人はお前だ (令状段階)
10. 解決策  (多分上手くいくと思います)
11. 今後やった方がいいこと、やるべきこと

Over . クロマキーの話

とりあえずパッと出てきた5点 (結局9点になった) についてそれぞれ解説させていたきます
1. 映像のカクついていたこと
　今回の配信では映像がかくついている特にDJしている人のコマ落ちが多く見られたことを現場にいる時点で確認できていました。
ですが、その現状解決できる問題ではないことが明白であったため、ないよりかはマシという選択を取りました。

1. 映像のカクついていたこと
配信側で確認できた特徴を以下挙げられます
・撮影しているリアルタイムの映像のみがコマ落ちしている
・VFXはコマ落ちしていない　　
実際、ストリームの映像はDJを上レイヤーに背景を透過処理し背面にVFXを載せていたため視聴者側からは認識しにくかったと思います

//追記　クリップがたまたまあってそれ見るとVFXまでコマ落ちしてる。だから結構根本から変わってくる。もしかしたらVDMXごと落ちてた？

　ここから言えることは、"配信中でフレームが落ちているのではなく、撮影しているソースの時点でフレームが落ちていた"という点です。
今回はwebカメラではなく, NDIを用いたローカルインターネットを用いた無線映像を利用しました。
この点について次の項で述べます。

2. 映像の取得方法とその問題
　今回はNDIを撮影に利用しました。NDI自体の説明については割愛させていただきます。具体的にはiPhone ＋ iPad 合計4台それぞれ 720p 30 fps をそれ専用のポートを用意しwi-fi 5Ghz 帯に接続しておりました。ポートから配信PCへは1Gbps有線を利用しました。
　今回の問題は主にこのNDIのパケットの要求する回線速度に対してポート並びにwifiルータが耐えることができなかったことに由来します。
理論値としては間に合う計算でしたが、用意したwifiルータが理論値に到底追いつくこともなく結果コマ落ちした形になります。
　解決法は耐えられるwifiルータを用意する、iphoneなどを有線を用いて接続できるようにするなど様々ありますが、そのどれもがその場で実施することができなかったためコマ落ちのまま使うという結果になりました。
また、理論的には接続端末数が減ればいいはずですが問題は解決しませんでした。この点に関しては原因がわからないので今後調べる予定です。

3. 配信のコマ落ちやディレイについて
　配信のインターネット回線はwifi経由にて確保しました。その場にいた人間とも共有のwi-fiであったため環境によって速度が大きく変化していたと思われます。
平時では登り下り130Mbpsを出力できる程度のwifi強度であったと記憶しています。
コマ落ちに関して
配信単体としてのコマ落ちはほとんど０でした。実査には72f のドロップが発生していましたが0.00%以下です
ですが, 映像を統合していたシステムがパンクしこちら側のフリーズは何度か発生していました。時折再起動が必要なこともありました。
なのでコマ落ちに関して端的にまとめると

・OBS内でのコマ落ちは発生していない
・コマ落ちの多くはNDIの通信パケット不足によるもの　　//追記　断定難し→クリップの存在
・映像システム (VDMX5) のフリーズも何度か発生していた

この三点となります。
　なので問題の多くは映像を取り扱っているシステム側の問題であると言えます。まだ精査をおこなっておらず、なにもわかっていないので詳しい説明は省かせていただきます。

/*ここからnoteでかいてる*/

4. ビットレート, VFX, エンコーダーに関して

☆ ビットレート

まずビットレートは2500使っててそのあと2000まで落としたけど改善なし。とある人の指摘も検討違い。

☆ VFXとか　(映像効果的な意味でVJの素材、FXどちらも指す)

いろいろいじってたけど一番何もしてない(動画のロードなし, FX off)時でも変化なかったのであんまり関係ないと思う　なんかあったら書き足す

☆ エンコーダー

これ終わってから気づいたけどソフトウエアエンコードになってた。ハードエンコードだったらもうちょい使うリソース抑えれたかもしれないなって思ってる。時間があったら要チェック。

5. 事前に対策できなかったのか

☆ NDI回線問題

対策はできたけど気づいた瞬間が遅すぎた。実は４日前の時点でNDIの回線がパンクするのではと気づいてた。で、アマゾンさんでおはさんから勧められてた WS5200 を発注してたけどどうやら間に合わそうなのでキャンセル。家にwifiルータ余ってる人から借りることにして二台確保。とりあえずこれでいけるかなって思ってた時期が僕にもありました。結局だめでNDIがコマ落ちまくった

☆ VDMX問題

プロジェクトは今まで作ってきた8レイヤーにカメラのセッティング4レイヤーといろいろあって+2レイヤー足したもの。下の写真参照。左側がふつーにVJ右下がカメラ制御関係

これのカメラ制御入れてないやつはイベントの7時間前まで津田沼で使っていた。素材ページ作りすぎて重くなってたので配信までには減らしてこんな感じに。単体はそこそこ安定して動く。正直いろいろ爆弾抱えてるプロジェクト。ちなみにVJとして出力してた分はしっかり出てた。　(= OBS側がウインドウキャプチャするときにコマ落ち？)

事前に作るものだから事前対策どころか専用機だけどリハないと無理

☆ 配信問題

音は出てた。そこそこしっかり。動画の方はダメダメだったぽいけどクリップの30秒動画しか僕が知る方法ないのでちょっとヒアリングできたら追記で。

途中からparty オウムをOBS側に追加したからこれが一体どんな挙動してたかがすっごく気になる。この情報ひとつで問題の根本が変わるレベル

→ オウムに関して情報あり　これで問題解決の糸口に詳しくは 9. へ

☆ 配信の映像に関してエフェクト必要か問題

これあんまり重要な話じゃないけどしっかりご意見もらってしまったから一応。あくまで今回はイベントオーガナイザーからの "MU2020みたいなことしてほしい" ってやつにお答えしたつもりです。僕的にVJは演者だけど演出担当なので自己意見よりもオーガナイザーの意見を尊重します。これがいいか悪いかは僕が言えることではないけどこの意見は次回以降にイベントオーガナイザーとしっかり相談しようかなって思います。

でもDJがDJしてるだけって配信の利点がない気もする。

6. コマ落ちの本当の原因何　予想編

いろいろ考えてNDIとOBSのウインドウキャプチャがコマ落ちしてたんじゃないかなって思ってる。NDIはとりあえず確定。

OBSのウインドウキャプチャがコマ落ちしてるかどうかは途中でOBSに追加したオウムがどういう挙動してるかにかかっているのでわかり次第感。

VDMXはあくまで現場出力のVJ側がしっかり出ていたので言うほど問題は起きてない気がする。時たま完全フリーズするだけ (多分エンコミスが原因)

7. 対策

☆ NDI

・速度カバーできるwifiルーターに変更。

・iphoneをどうにか有線接続でカメラにする

参考資料　https://k-tai.watch.impress.co.jp/docs/column/stapaapple/1254925.html

・lightning to USB → USB to LAN

できるだけ一番最初ので終わらせたい。理由はいろいろあるけどケーブルこれ以上持ちたくない。一番最後のやつは絶対やりたくないけどもしかしたらはある。

☆ OBS

・単線NDIで他のパソコンに映像投げてしまい、他のPCで配信

・HDMI出力をカメラとして認識するアダプタでごまかす。処理かるそう。

そもそもの原因わからないとこあるから正直これで解決するのかもわからない。でも前者は結構ありかも。前向き検討

☆ VDMX

正直原因わからないのでプロジェクト組み直し。これしかない。

7.5 要検証項目

・OBSに仕込んだくびを回すオウムがどういう挙動であったか

・VFXの有無でフレームが落ちるのかどうか

・VDMX全体

8. おぼえがきみたいなの

結局リハできてないのが一番まずい。でもそんな時間もなかった。もう時間ない時点でアウトでは？みたいになってくる。次回以降はイベントの前の時点で3時間ぐらい場所借りて設営といろいろチェックした方がいいと思う。というかそれできないとキツイ。

もう一人ぐらい同じくらいの作業できる人が欲しい。OBSとNDIをだいたいわかっててインターネット使いながら設定できるぐらいでいい。

1日に2件現場持つのはやめよう。しんでしまう。

キツすぎる作業はちょっと分散考えないと本当に倒れてしまうかもしれない。

ついき　(20200720 0210  公開から10分後)

9. 配信がゴタついていた犯人はお前だ (令状段階)

ちなみにオウムはちゃんと回ってました

— おぎやく (@ogi_yaku) July 19, 2020

この時点でOBSのエンコードはなんとかなっていたことが判明。

で、フロアにいたときのVJ出してたディスプレイはVDMXが落ちるとき以外はゴタつくことがなかった。

つまり動画が落ちまくってたのはVJの出力とOBSの間ってことになるから

ってことになります。

解決するには、 OBSのウインドウキャプチャを使わずにVJの映像を拾えばいいってことになる。

10. 解決策  (多分上手くいくと思います)

VJ, カメラ制御用のPC と OBS配信PC を分けて動画を

・単線 NDI
・HDMIポートをカメラデバイスにするやつ

いずれかの方法で共有する。

ポイント使って無料でゲット。
この値段で考えたらこれ凄いわ pic.twitter.com/23zbVAvscM

— まぐかべ (@magu_kabe) July 16, 2020

で、音声はOBS用のパソコンにIF使って繋ぐ。

個人的には後者の方がVJPC側のリソース食わなくていいと思う。NDI結構しんどいし。

一応すぐにテストできるものとしてNDI単線でワークステーションとmacでAPEX配信でもしてみりゃいいんだよね。多分。

で、あとはNDIのパケットリソースの確保

11. 今後やった方がいいこと、やるべきこと

・NDIのパケットリソースに耐えれるようなルータを用意する
・OBS用マシン と VJ, カメラ管理マシン を分けるようにする

取り合えずこの二点が最優先かなっておもいました。

あとハードウエアエンコードとソフトウエアエンコードの処理の違いとか余裕あったら

つかれた　20200720 0237

ついき　20201110 0118

最近気付いた話で少しメモ的に

NDIはどうやら複数を突っ込むとまあまあグダるらしくて, 今回はそれが入り込んじゃってただけなんじゃないかなって思った。

NDI をVDMX経由で制御するのは多分正しいんだけど, もしかしたらNDIも別のシステム挟んだ方がいいかもなっておもった

一番いいのはATEM miniとかつかうことだけど流石にそこまでリソース避けないのでとりあえず手元にある方法でリカバーしよう

あとLinghtning で有線接続可能なことを確認
想像以上に安定してないけどまあダメではない

Over. クロマキーの話　ついき　20200720 0253

今回やったBBで圧倒的問題点があったからメモ的に対策をガーッとかく。これ終わったら45時間ぶりぐらいにねる

まず今回のクロマキーで本当に困ったのは暗いこと。色が黒に近い色に近づいてしまうためBBを上手く指定しようとしても全然きれいに抜けなかった。ブースをきていたお客さんが写真撮っててくれたのでそれ掲載

#beat_landing
遊びに来ました pic.twitter.com/RPTISAT0Cd

— K-forest (@Kforest34) July 19, 2020

右の写真、明るそうにみえるけど本当はかなりくらい。今回使ったiPhoneがまだ闇夜に弱い時代のものであることもあって結構しんどいぐらいには暗かった。そのせいでクロマキーで綺麗に抜けなくて結構しんどい目にあった。

対策としてはもう光を持ってくるぐらいしかないけどそれまでやり始めたらもう個人の枠超え始めてるんじゃないかなって少し思う。でもしんどくはないからなんだかんだやりそう。

VDMXはレイヤーをグループレイヤーにまとめてる場合、グループのとこにクロマキーを入れないとしっかり透過されて出力しないので複数カメラを設置している場合はできるだけ一つのグループのとこに仕込んだクロマキーだけで処理できるようにしておかないとしんどくなる。