Webカメラ絵文字リアクションアプリを作る

2020年10月9日 16:42

昨今の情勢でリモートで学校の授業を受けたり、仕事で打ち合わせすることが多くなった人もいるかと思います。

しかしながら、カメラ越しのコミュニケーションは対面と比較するとリアクションが取りづらかったり感情や意図を伝えにくく退屈になることもあります。

Zoomには絵文字で反応が返せるリアクションボタンがあるようですが、私はGoogle Meetを使うこと多く、Meetにはこの機能がないためWebカメラの映像に絵文字リアクションを乗せられるアプリをUnityで作ってみました。

まずは動いているところをどうぞ

Meetの様子(1人だけなので分かりづらいですが...)

仕組み

構成図は以下のようになります。肝となる要素としては仮想カメラとして動作するSputCam、仮想カメラに映像を送るSpoutSender、絵文字を表示するEmbedded Browserです。

Spoutは映像をアプリケーション間で共有できるシステムで、配信やVJ等でよく利用されているようです。SpoutCamこの映像を受け取ってカメラとして送出するアプリでSpoutをインストールすることで利用できます。

Windows専用ですが、OSやブラウザからはWebカメラとして認識されるためGoogle Meetに限らずzoom等でも利用可能です。

KlackSpoutはKeijiro Takahashi氏が開発したUnityでSpoutシステムを扱えるようにするプラグインで、映像を送信したり受信したりすることができます。

Embedded BrowserはUnity上でブラウザを表示するアセットです。Unityのネイティブ機能だけで絵文字を表現することはとても難しいため、ブラウザの機能を使って絵文字を表現しています。

有償ではありますが、uGUI上だけでなく3D空間に配置も可能で便利に使えるアセットです。

コード等は省略しましたが、上記のアセットやプラグインを利用すれば簡単に制作することができると思います。Spout関連の内容は下記の記事を参考にさせていただきました。ありがとうございます。

絵文字だけでなく、スタンプやテキストを組み合わせてオリジナルのリアクションを作ってコミュニケーションを楽しんでみてはいかがでしょうか。🌱