見出し画像

絵文字を使ってメタバースの感情を評価する #Cyberworlds2022

REALITY

こんにちは。GREE VR Studio Laboratory（ラボ）の堀部です。ラボの先輩 山崎さん、堀部、白井さんの3人で行った「Evaluation of Time-Shifted Emotion Through Shared Emoji Reactions in a Video Watching Experience」が CyberWorlds2022 に Short Paper として採択され、9月27-29日に金沢歌劇座で堀部が代表して発表させていただきました。この記事では、研究内容とCyberworldsの様子を紹介します。
このたび、本論文がBest Short Paper Awardに選んで頂きました。実行委員の皆さん、引っ張ってくださった山崎さん、ご指導いただいた白井さん、実験に参加してくださった皆さん、本当にありがとうございました。

Cyberworldsは、コンピュータ技術を活かしてコミュニケーションや情報通信を拡張する国際会議です。Cyberworlds2022の採択率は、Full/Short Paper合わせて約56%、ポスターで約73%でした。本論文は、IEEE Digital Libraryにて公開されております。

Y. Yamazaki, T. Horibe and A. Shirai, "Evaluation of time-shifted emotion through shared emoji reactions in a video watching experience," 2022 International Conference on Cyberworlds (CW), 2022, pp. 110-113, doi: 10.1109/CW55638.2022.00024.

https://ieeexplore.ieee.org/document/9937393

研究概要

「Evaluation of Time-Shifted Emotion Through Shared Emoji Reactions in a Video Watching Experience」

我々は、”視聴者が動画に対して感じたエモーションを絵文字で表現すること”を「絵文字エモート」と表現し、絵文字エモートにより自分以外の視聴者の存在を感じることができるのか、視聴体験（視聴者の行動や印象）に影響があるのかの評価を行った研究です。

提案システムは、ラボが開発している熱狂共有システム「VibeShare」の機能のひとつである「TimeShift」がベースとなっています。画面上の絵文字をタップすると、絵文字が視聴中の動画上に半透明で流れてきます。タップされた時刻と絵文字の種類はサーバー上に保存されており、他の視聴者が動画を再生したときに絵文字が流れる仕組みになっています。また、「TimeShift」の機能に連打ボタンがあり、絵文字を1秒以内に2回以上タップすると、回数に合わせて流れる絵文字の大きさが変わる特徴があります。これは、サーバーリクエストによる負荷を軽減するという実用上の課題解決が目的にありましたが、視聴者のエモーションの強さを表現できるようになりました。

絵文字を連打すると、流れてくる絵文字の大きさが変化します。

目的である絵文字エモートにより自分以外の視聴者の存在を感じることができるのかを測るため、実験者が意図的に特定のシーンで流す絵文字を”stimulus emojis”と定義し、(1) たくさん stimulus emojis が流れる (“Many”)、(2) すこし stimulus emojis が流れる (“Less”)、(3) stimulus emojisは流れない (“None”) の3条件で、stimulus emojisによる視聴者の行動や印象について収集しました。

(左から) None, Less, Many条件下のstimulus emojisの量

実験では、ラボが UXDevプロジェクト を通して製作した「"Back to Metaver-School" - a blooming future of Metaverse in REALITY」と「"Metaverse Christmas" - UXDev by GREE VR Studio Laboratory」を使用しました。2つの動画を利用して、動画の内容による影響を比較しています。実験後に、提案システムに関する印象や実験で使用した絵文字の解釈などアンケートを実施しました。

結果

絵文字のタップ数/リクエスト数をまとめたグラフです。それぞれの条件においても、タップ数/リクエスト数が動画終盤に増える傾向にあることがわかります。提案システムによって動画の視聴継続率が向上していると考えられます。タップ数/リクエスト数を時系列のグラフで表現することで、タップ数/リクエスト数の変化から視聴者がどの部分に注目しているか、どのシーンが盛り上がったのかなど、数秒の解像度で動画コンテンツを評価できる可能性があることがわかりました。

また、アンケート結果を見ても、提案システムを好意的に受け止めていることがわかります。そして、他の視聴者の絵文字が流れることで他の視聴者の存在を認識し、”みんなで一緒に視聴している感”を作れることがわかりました。

次に、2つの動画において絵文字の推移を比較すると、動画Aとは異なるタイミングにリクエスト数のピークがあることがわかりました。絵文字エモートを使用するタイミングは、動画コンテンツに依存し、”stimulus emojis”は絵文字エモートを使用するタイミングに影響しないことが考えられます。

最後に、分散を利用して今回実験で使用した4つの絵文字の解釈を調べました。分散が大きい絵文字ほど視聴者の解釈が同じになります。今回の実験では、👏 と 😍 の分散が大きくなり、比較的明確なエモーションが可能であることがわかりました。一方で、😀 は視聴者間で傾向が分かれました。

今回の研究から、絵文字エモートによって他の視聴者の存在を感じながら視聴することができ、動画終盤でも視聴されるなど視聴体験が向上することがわかりました。また実験から、動画の内容によって絵文字を使い分けるところが見られるなど、タップ数/リクエスト数の推移や絵文字の解釈から、提案システムを利用してコンテンツを評価できる可能性があることがわかりました。これは、動画クリエイターにとって重要な要素だと思います。そして、今後のインタラクティブシステムにおける音響効果や視覚効果、触覚ディスプレイの評価手法として適応することも可能であると考えています。

おわりに

初めての国際会議・英語発表だったのですが、さらに全体で2番目ということで、自分でも信じられないくらい緊張していました。
現地開催されたならではのランチや懇親会では、有意義な機会だなと思いました。特に2日目の懇親会では、同じような年代でさまざまな分野の研究をしている学生と日本語・英語・（自分は全くわかりませんが）中国語が入り混じりながらコミュニケーションできたことは、とても貴重でした。

金沢での開催とあって、のどぐろの炭火焼（時価）をいただきました！

この記事では、絵文字エモートによる視聴体験について評価を行った研究について紹介しました。今回紹介した分析技術はコンピュータサイエンスとしては成立していますが、実際のサービス品質改善等にそのまま使われているわけではありません。なかなか研究開発の成果を製品とダイレクトに結び付けて紹介することは難しいのですが、例えばREALITYのアプリ内では、近い実装として「連打ギフト」があります。連打による通信リクエストを圧縮しつつ、楽しいUXが実装されています。推しの配信者さんを応援する時に発見してみていただければ幸いです。

改めて、Best Short Paper Awardに選んでいただき、とても光栄です。国際会議の場において、言語に依存しない絵文字によるインタラクションが評価していただけたのかなと思っています。英語は得意ではなかったので、呼ばれた驚きからあたふたしていまいました笑。関わってくださった皆さん、本当にありがとうございました。

ご興味がある方は[Web]やYouTube(https://j.mp/VRSYT)を観ていただけると嬉しいです。また、インターンに興味を持ってくれた方はぜひこちら[インターン希望の方へ]から詳細をご確認ください！