人間と良好な関係を築きながら対話できるバーチャルエージェント（論文メモ）

大学院生として論文を読む必要があるけれど、コースワークの課題やら留学上の手続きやらでつい後回しになってしまう…。読んでも内容をすぐ忘れちゃう…。というわけで読んだ論文の要点をnoteに投稿して残していこうと思う（長続きする気はしないけど）。

今は学習科学・認知科学・情報科学が交わる分野に興味を持っている。今回読んだ論文は以下のとおり。間違った解釈があるかもしれないので注意。

Socially-Aware Virtual Agents: Automatically Assessing Dyadic Rapport from Temporal Patterns of Behavior（R. Zhao et al., 2016）

概要

人間とエージェント（アバターやロボット）の2者が対話する状況を想定し、エージェントが人間のふるまいを自動的に検知しながら良好な関係（ラポール）を築くための技術的フレームワークを提案した。また、人間同士の会話（友人との会話／赤の他人との会話）において評価した。提案したラポールの予測モデルは線形回帰モデルよりも優位に高いパフォーマンスを示した。

新規性／優位性

社会的コミュニケーションにおいては、言語的ふるまいと非言語的ふるまいの経時的な関係（特に共起関係）を解析することが重要。その上で、頷き、目線、表情などの観察可能な所作が言語的ふるまいと非言語的ふるまいをつなぐ手がかりとされてきた。一方、異なる非言語的ふるまい同士の関係や、それらがどう人間に知覚されているかについては、まだ研究が及んでいない。本研究は temporal association rule に基づいてラポールに関連した異なる非言語的ふるまいのパターンを検出し定量的に評価した。

技術のキモ

Temporal Interval Tree Association Rule Learning (Titarl) を基としたアルゴリズム。会話の戦略（自己開示、共通した経験の参照など）や非言語的ふるまい（笑顔）の情報を入力として受け取り、定量的なラポール値と信頼水準を返す。

有効性の検証方法

人間同士の会話におけるラポールを評価。友人との会話、赤の他人との会話を対象に、Titarlモデル（提案手法）と線形回帰モデル（比較手法）を使ってラポールを定量化・比較した。
・12〜15歳アメリカ人英語話者のピアチュータリング（友人6組、他人6組で1時間のセッション✗合計60回分）
・データ：映像（各自の顔正面✗2方向、2名の側面✗1方向）、音声（各自のマイク）
・グランドトゥルース：thin slice annotation によって、30秒ごとの映像にアノテーションを付与

議論・リミテーション

ラポールの時間的変化については考慮しきれていない。

次に読む論文

インタラクション分析の文脈を教育に絞り、学習行動の量的な分析について調べてみる。
Multimodal Learning Analytics and Education Data Mining: using computational technologies to measure complex learning tasks (P. Blikstein and M. Worsley, 2016)

※要点のまとめ方については、筑波大学 落合陽一先生の要領を参考にさせていただいた。
https://www.slideshare.net/Ochyai/1-ftma15