カメラを完全リモート制御したい話

結果から申し上げますと、完全な実用化には至っておりません！悔しい！
アイデア的には良い方向なので、ネットの海に発信しておきます。
後半ではPTZカメラの未来についても少し語っています。

ちなみに冒頭の見出し画像は、「有線に邪魔されるクリエイティブ」をイメージして2分で撮りました。自分でもよくわからん

そもそもなぜそんなことをするのか？

そんなのロマンに決まってる！
僕は半分この精神です。だってかっこいいんだもん。
もう半分は、多様な映像を撮るためです。同じ物を撮るとき、同じ場所に複数台カメラを置いても、ズームのバリエーション(つまり1枚画のどこを切り取るかの違い)しか出せません。自分から離れたところにカメラを置き、かつ操作したいとなるとリモート制御は必然。

DJIのRoninとForce Proでいいじゃないかと言われるとそれまでですが、高いしデカいから…(´･_･`)
Canon CR-N500とかのPTZカメラを使えばいいj高いから！！！
追加経費無しで頑張りたい

具体的にこんなことをやりたい

・パンとチルト(カメラを上下左右に首振り)
・ズーム操作
・映像モニタリング

んー…できるかな…

結果からお伝えすると、パンとチルト・モニタリングはできました。
ズームはなんとなく方向性だけ

後日追記 : 最近の殆どのビデオカメラには無線でモニタリングとズーム含む各種操作が行える機能が標準搭載されています。よって、以下の項目「映像モニタリング」「ズーム操作」は古い機種でなんとかしたい方向けとなります…。

パン・チルト操作

必要な物
・スマホからコントロール可能なジンバル
今回はfeiyutechのAK2000を用意。ソフマップで展示品の中古しかも型落ちとして激安で購入したもの。動作確認済み破損なしと書いてあったのに、バッテリー蓋思いっきり割れていた上にバッテリー1本死んでいて動きませんでした。保証も返品対応のみと。バッテリー追加購入でなんとか使えるようになりました。ソフマップ二度と使わん

・ビデオカメラ 
家にあったCanon HF G20。理由は後述しますが一眼レフではなくビデオカメラ

・スマホ
「Feiyu on」などジンバルを操作するアプリを入れておく

これはもう簡単です。そういうアプリですもん。手順に従って完了。
アプリ「Feiyu on」ですが、操作性は悪いです。ジョイスティックみたいなインターフェイスのくせに一定のスピードでしか動かせません。またスマホのジャイロセンサーに連動する機能もありますが、上手くいきませんでした。スマホをどの向きにしてもジンバルの回転軸と対応しない…

気になる点としては通信距離。Bluetooth接続だから、だいたい10mとか？規格としてはClass1で100mですが対応製品ほとんど見ません。
技適を検索すれば出力強度がわかるのでだいたいの距離が求まりそうですが、素人の僕はちんぷんかんぷん。実際に試したほうが早い！家の壁2枚挟んで直線距離12mぐらいは余裕だったので大丈夫でしょう。

映像モニタリング

ジンバルをコントロールするアプリにポジションを記憶しておく機能があるならモニタリングは不要かもしれません。

必要な物

・HDMIケーブル

・HDMI-USBビデオキャプチャ
怪しい激安のでも意外と使えます

・モニタリング(送信)用ノートパソコン
ソフトウェア「Lets view」を入れておきます。あと自動スリープを切っておくなど

・USB電源で駆動する無線LANルータ

・モニタリング(受信)用端末
今回はiPad。アプリ「Lets view」を入れておきます。
このiPadに限ったことではないですが、暗い客席の中でモニター光らしていると場合によっては迷惑になるので、モニターフードなど付けるとヨシ

ビデオカメラのHDMI出力→キャプチャ→パソコンに入力、パソコンでカメラを起動してカメラ切り替えボタンを押すと「USB device」みたいなのに切り替わります。これでビデオカメラの映像が見えるはずです。
パソコンからルータに給電してパソコンとiPadをネットワークに接続。lets viewでパソコン画面をiPadに出力して完了！

Wi-Fiなので接続距離は大丈夫でしょう。遅延も少ないですし、今回の中で最も上手くいきました。
気をつけることとしては、Wi-Fiの5GHz帯を屋外で使うと電波法違反になる場合があること。

ズーム操作

僕の技術では無理でした…。でも、なんとなく方向性は立ったので誰かお願いします笑

方針
多くのビデオカメラは外付けのリモコンに対応しています。LANCという、2.5mm3極プラグで接続する規格です。その端子にパソコンからなんらかの信号を入力してやれば、操作できるのではないかと。そしてパソコンは映像モニタリングで手元のiPadから操作できるので、リモートでもOK。
付属の無線リモコンを使うという手も考えられますが、赤外線通信なので5mも離れたら使えないでしょう。

lancの情報があまり出回っていない上に、プログラミング能力が無いものですからお手上げです。
なんとなく情報を載せておきます。

3極は根本からGND +5V signal
信号の線は1本だがタイミングを合わせて(?)双方向の通信が可能
シリアル通信RS232が基になっている
プロトコル的なものは調べたらすぐ出るのであとはよろしく頼んだぞ

最近のビデオカメラには

なんと！無線のモニタリングと操作の機能がデフォルトで入っているものがあります！上記の努力は無駄だったのか…？── 後日追記 : もっと早く気づいとけよ過去の自分アホやなぁ──僕の大好きなCanonだと最新のXF605はもちろん少し古いivis GX10、SONYだと民生用のAX40にすら搭載されています。どちらもWi-Fi接続。インターフェースはCanonのほうが使いやすそうでした。この際買い替えるのもアリだな…。

こんなときに使う

吹奏楽部の定期演奏会を撮影するにあたり、マルチカメラ(複数台のカメラ)で動画のクオリティを上げたい。そんな時、、

1台は固定して全体を映す

もう1台をいろいろ操作して個人を映す

そして編集で繋げて完成

のカメラ2台体制が妥当です。

しかしこれでは、全体→個人→全体→個人→…と単調になってしまいます。カメラワークを頑張ってみても良いですが、曲の流れを把握した上で編集でどこを使うか考えながら撮る必要があり難易度が高いです。

冒頭で述べたように、まずはカメラを置く場所を増やすことを考えます。

ここまでで①1階最後列の固定カメラ②2階の操作するカメラ を置いています。
王道の正面にはもう置いていますから、斜めを狙ってみましょう。③1階右端④1階左端 
今回はお客さん参加型の企画もあるので、客席も撮っておきたいです。⑤1階前方 
司会進行も生徒が行います⑥いいかんじの場所に

これで計6カメになりました。いろいろな映像が撮れそうで楽しみ！……6台もカメラを用意できますか？？

お手軽なのはスマホ動画ですが、空き容量が十分で画質そこそこな古すぎないモデルを公演中ずっと貸してくれる友達がそんなに集まるでしょうか。カメラの操作を任せられる友達が少ないからこそリモート制御しようとしている面もありますから(泣)、なかなか難しそうです。

生活必需品のスマホではなく、一眼レフ動画なら？ほとんどの機種は、30分の録画時間制限があります。30分ごとにRECボタンを押しに回らなければなりません。休憩時間でもないのに動き回って邪魔者です。

そうなると残った選択肢はビデオカメラぐらい。しかし近年、急激に売り上げが落ちており、友達に貸してもらおうにもそもそも持っていないことが多いでしょう。
レンタルするにも、合計で福沢諭吉改め渋沢栄一が登場しそうです。

そもそも、カメラの台数を増やしすぎること自体に問題があります。
・荷物が増える。増えるのはカメラだけではありません。カメラの台数ぶん増える三脚の大きさ重さを舐めてはいけません…
・多くのカメラは一般的な公演時間である2時間もバッテリーが持ちません。途中の休憩時間でバッテリーを交換してまわる必要があります。
・動画の容量がかなりの大きさになります。となると編集パソコンの容量やスペックも必要になります。

そこで、カメラを固定ではなく動かせば(歩いてまわるような動きでなく、その場で首振りの動き)複数台の役割を1台に集約できます。動かしてくれる友達がいないのでリモート制御です。
4K以上の画質で撮っておいて編集で切り出すのもアリですが、カメラ自体が動けばもっと自由になります。
例えば③⑤⑥は1台にまとめられそうです。③のデフォルトの位置(青)から90°ぐらい左に回れば客席を(緑)、少し左に向いてズームすれば司会を(黄)映せます。

これにより、カメラ2台・重くてデカい三脚2つ・それらを調達する時間・運搬と設営する労力が無くなりました。ナイス！

市場規模への展開

今回は友達が少ないことを理由にリモート制御しましたが、これは今の時代に合っているシステムだと思います。僕らの青春を奪った例のウイルスや人手不足により様々な分野でリモート化・自動化が進んでいます。また、映像関連は今後も成長することが見込まれます。
いかに少ない人員で従来の大規模公演のような映像を制作するかが重要になってくるはずです。と、社会経験皆無の高校生が妄想しています。

冒頭にチラッと触れたPTZカメラ(パン・チルト・ズームがリモート操作できるカメラ)はInter Bee2021でPanasonicが新型を発表し、Canonも最近4K屋内向けを発売・4K屋外向けも発表済みです(note公開時点で)。PTZカメラの発展もさることながら、映像のip伝送が日本国内の放送業界でも徐々に広がりつつあり、これもリモート化に大いに寄与しそうです。

PTZカメラを操作するコントローラー等のシステムはある程度開発されています。しかし、直接人の手でカメラに触れて操作するよりも難易度が高いです。1台につき1人が操作していては本末転倒な部分がありますから、複数台を1人で操作します。それもまた難しいのです。
そこで、ディープラーニングやAIを用いてカメラワークを自動で行うシステムが今後登場するはずです。というか、CANON SONY NHKあたりは既に開発中なんじゃないでしょうか？

自動カメラワークで撮影した映像を自動で編集して、人の手がほとんど加わることなく納品まで…というのも15年ぐらいで実用化されそうな気もします。巧みな箱レンズさばきや惹き込まれる編集は職人芸とはいえある程度パターンがあるのでAIの手にかかれば、という話はこのnoteから脱線しすぎるのでやめておきましょう笑

今回実現できなかったズーム操作、暇ができればリベンジしたく思います。備忘録的な意味も込めて長いnoteとなってしまいました。ここまで読んでいただき、ありがとうございました！