ユカイ工学
BOCCO emoと一緒にオンライン授業を受けよう!~うなずきBOCCO emo~
新型コロナウイルスに関係する内容の可能性がある記事です。
新型コロナウイルス感染症やコロナワクチンについては、必ず1次情報として厚生労働省首相官邸のウェブサイトなど公的機関で発表されている発生状況やQ&A、相談窓口の情報もご確認ください。※非常時のため、すべての関連記事に本注意書きを一時的に出しています。
見出し画像

BOCCO emoと一緒にオンライン授業を受けよう!~うなずきBOCCO emo~

ユカイ工学

こんにちは!エンジニア アルバイトの松井です。
本記事では昨年10月に公表した「BOCCO emo APIs」(ボッコ エモ エーピーアイズ)を使った作例を紹介します。

コロナ禍の生活の中で、テレワークやオンライン授業のときに仲間がそばにいてくれたら捗るのに…と思ったことはありませんか?
そこでBOCCO emoを一緒に仕事や勉強を頑張るような素振りをするようにカスタムしてみました!

今回は映像授業受講時を想定し、以下の4つの機能を実装しました。

  1. 出席確認機能

  2. 視聴時うなずき機能

  3. ポイント呼びかけ機能

  4. 振り返り動画再生機能


開発環境

・ハードウェア
    ・Webカメラ(今回は制御用PC内蔵カメラを使用)
    ・制御用PC(今回はMacBook Pro 2019を使用)
    ・BOCCO emo Custom Kit

・ソフトウェア
    ユーザのうなずきを検出するために下記のソフトウェアを用います。
    ・OpenCV-Python
    ・Dlib Python


各機能紹介

出席確認機能

授業開始時にBOCCO emoで出席確認ボイスが流れる機能です。
特定のボタン操作をすることで出席確認を行います。これでユーザの気持ちもBOCCO emoも授業モードに切り替えられます。


視聴時うなずき機能

ユーザが授業を見ながらうなずいたとき、BOCCO emoがそれに合わせてうなずく機能です。
授業を一緒に聞いている感覚になります。
この機能のシステム構成は下記の通りです。

ユーザの顔の角度がある一定値を境に上下したとき、システムが「ユーザがうなずいた」と判定します。
うなずきの深さに合わせてBOCCO emoの動きを変化させることもできます。


ポイント呼びかけ機能

授業動画内の重要なポイントを事前に指定しておけば、BOCCO emoが「ここテストに出るよ!」といった呼びかけを行う機能です。
単調になりがちな映像授業もこの機能で集中度が上がることが期待されます。


振り返り動画再生機能

この機能は「ユーザがうなずいたときはきっと先生が大事なことを言ったときである」という仮説を基に、動画内のうなずき箇所を基にして復習動画を作成する機能を実装しました。

この機能では、授業動画視聴中にうなずき箇所を記録します。そして授業動画再生終了後、うなずき箇所の前後100フレームを取り出して再生します。

この動画を見ることで効率良く授業の復習ができるはずです。


授業動画視聴時の様子

4つの機能を実装したシステムを使用して授業動画(今回はBOCCO emoの紹介動画)を視聴してみました。

授業の初めから終わりまでBOCCO emoと楽しく授業を受けられるようにカスタムすることができました。


おわりに

今回は映像授業を題材とした授業映像視聴時に役立つようにBOCCO emoをカスタムしてみました。

今回は映像授業を題材としましたが、これを応用すればテレワークやリアルタイムの遠隔授業も楽しくなりそうですね。

またオンラインライブや動画コンテンツの視聴にも応用できるのではと考えています。

BOCCO emo APIsの活用について、サポートしますので、ご興味ある方はお気軽にお問い合わせください!

この記事が気に入ったら、サポートをしてみませんか?
気軽にクリエイターの支援と、記事のオススメができます!
手元注意だよ〜!!
ユカイ工学
『ロボティクスで、世界をユカイに。』 スタッフがユカイ工学のロボットや内側をゆるっとお届けします!(アイコンはQoobo広報担当「くぅ坊」) ○ストア:https://store.ux-xu.com/ ○教育事業:kurikit(https://note.com/kurikit