ゲーム配信で「リアルタイム字幕」を付ける方法（ゲーム実況）

ゲーム配信では、見ている人を飽きさせない工夫が必要です。
画面の中の情報コンテンツを増やすというのが大事な手法です。
リアルタイムで言ったことを補助する字幕テロップをつけてみました。

…これが、効果抜群でした！
（※この記事はゲーム配信をやられている中級者向けのものになります。）

１．そもそも、字幕テロップの効果とは？

　テレビでよく見る字幕。これは「見る人を補助してあげる」のに役立っています。
　実は、「人の言葉を聞き取りながら映像を見る」というのは、けっこう難しい作業なんです。これを助けてあげることで、視聴者を疲れさせず飽きさせずに見せることができます。

２．リアルタイム字幕について

　しゃべった言葉を瞬時に字幕にして出してしまう。これがリアルタイム字幕です。
　そんな夢のような技術が、AIや機械学習の発展により、どんどんできるようになってきてるんです！あなたのゲーム配信に最先端の字幕、つけてみたくないですか？！

▼まずは、ゲーム配信サイトで字幕を付けてみたものをご覧ください。
（もちろん、誤差はありますが、それでも楽しい動画になっています。）

Twitch

３．用意するもの

①ご自身のゲーム配信環境
　PCゲームの配信や、キャプチャーボードを使ったコンシューマーゲームの配信、どちらにも対応しています。

②使い慣れた配信ソフト
　OBS・XSplit・N Airであれば、どの配信ソフトでも可能です。
　カラークロマキーで抜く作業（緑を透明化するということ）ができるソフトであれば、どれでも対応可能です。

③WEBブラウザ「Chrome」
　これは、肝になるWEBサイトの対応がchromeなのです…

４．リアルタイム字幕の肝！これがスゴイのだ！『xDiversity』

　さ、ついにここから本丸です。

まずは下記サイトにアクセスしてみてください。
音声認識を使ったリアルタイムで字幕を付けられるサイトです。
https://1heisuzuki.github.io/speech-to-text-webcam-overlay/

（▲『xDiversity』※初期は緑の背景ではありません！）
マイク・カメラを有効にすると、
それなりの精度でリアルタイムにテロップをつけてくれます。

これ作った開発者の人（鈴木一平さん）・元を作ったGoogleの人、ホントすごいです。カメラを使わず、背景を緑にする機能もあるので、これをクロマキー合成して動画に載せていくんです。

５．どういう風に画面を作っていくのか？

①まずゲーム画面は、全面化せず、程よい大きさに設定してください。
②次にそのゲーム画面の下に、先ほどのWEB画面を配置してください。
　→WEB画面の緑の枠の右端・下端を、ディスクトップの右端・下端に合わせるようにすると、座標で画面抜き指定することができます。

▼配信ソフトの画面構成でいうとこんな感じです。
画面キャプチャで座標で切り取って、クロマキー合成してます。

６．結果

普段、ゼロ人の弱小配信者ですが、その日は一気に8人ほどの人が視聴してくれました。それくらいインパクトがあったんだと思います！

動画編集って、とにかくテロップつけるのが大変なんですよ…
100％の精度じゃなくていいので、テロップを自動で出したいなって思ってたんです。

こういう動画の技術が、標準装備の世の中になるといいですね！
ご清聴ありがとうございました！


有料記事にはいたしませんが、アカウントをフォローしていただけると泣いて喜びます。
https://www.twitch.tv/studiokarasu