[CHI2020採択] 機械学習による挙動の異常検知に基づいて、ビデオ振り返りをより効率的かつ効果的に行うためのツール

2020年には、ヒューマンコンピューターインタラクション（HCI）のトップ国際会議のひとつである ACM CHI 2020 に、荒川（東京大学）と矢倉（筑波大学）が共同で執筆した挙動解析に関する論文 “INWARD: A Computer-Supported Tool for Video-Reflection Improves Efficiency and Effectiveness in Executive Coaching” が Full paper で採択され、ハワイで口頭発表を行うはずがオンライン開催となっていました。本記事ではその内容について簡単に紹介したいと思います。

本研究は前回の記事に書いた REsCUE のアルゴリズムの発展となっています。ぜひそちらも併せてチェックしてください！

論文はこちら: https://rikky0611.github.io/resource/paper/inward.pdf

1. 背景

みなさんは「振り返りは大切だ」というような言葉を耳にしたことはないでしょうか？ PDCA サイクルもある意味で振り返りのサイクルだということができるでしょうし、哲学者のデューイも学びを深める上で自らの行為や考えを批判的に振り返ることの大切さ [1] を説いています。

もちろん、自分で自分の様子を思い出しながら振り返ることも有効なのですが、スポーツや教育の現場では、自分の様子を撮影したビデオを見返すことで振り返るという手法も広く取られています。例えば、先生が自分の授業の様子を撮影しておき、そのビデオをその先生自身や、あるいはより経験豊富な先生と一緒に振り返ることで授業の質を高めよう [2] というわけです。

コーチングでは、もう少し変わったビデオの使い方をすることもあります。コーチとクライアントの1対1の対話の様子を撮影しておき、それをクライアント側に見直してもらうことで、自分の発言や様子を客観的に振り返ってもらう [3] のです。コーチからの深い問いかけに葛藤しながらどんな仕草でどんな言葉を使って答えているかを見ることで、気づいていなかった自分の姿を知ることができるという訳です。

ただ、通常1時間近くあるセッションのビデオを最初から最後まで見直すというのはなかなか骨の折れる作業です。コーチが「次回までにビデオを振り返ってくださいね」とお願いしても、クライアントがサボってしまうということも多々あります。加えて、ただ漫然とビデオを見るのではなく、自分の様子をクリティカルに振り返るにはコツが必要です。アイスブレイクとか、次のセッションの予定調整なんかは見直してもあまり参考にならないでしょう。

そのため、クライアントと一緒にビデオを見ることで振り返りの機会を作ろうとするコーチもいます。また「33分40秒から36分20秒までは見てくださいね」と、重要なポイントだけを見るようお願いするケースもあります。こうすることでそもそも振り返りができないという事態は避けられますが、一方で、コーチ側のバイアスに引っ張られてしまうというリスクも生まれます。例えば、コーチは気づいていなかったけど、本人がビデオを見たら「ここで本音を隠してしまったな」と気づくようなシーンがあったかもしれません。

こうした点から我々は、コンピューターを使ってコーチングにおけるビデオ振り返りをサポートできないかと考え、研究を行いました。前回の記事で紹介した REsCUE は、コーチングセッションをリアルタイムでサポートするための手法でしたが、今回はその発展として、セッション後の振り返りをサポートすることが目標です。

2. アイデア

我々のアイデアはシンプルです。それは、前回の記事で紹介した REsCUE を活用するというものです。REsCUE を使うことで、コーチング中のクライアントの示唆的な動作や挙動の変化を教師データなしに抽出することができます。同じように、コーチングセッションのビデオからそうしたシーンを抽出し、見直すことで重要なポイントのみを振り返ることができるのではないかと考えました。

さらに REsCUE を使うことで、コーチのバイアスが含まれてしまうという問題を回避することができます。つまり、コーチが「ここは重要だ」と思ったから振り返るのではなく、コンピューターが教師なしアルゴリズムで見つけ出したポイントを振り返ることで中立的な議論を行うことができるのでは考えられます。もちろん、抽出されたシーンがすべて重要な意味を持つとは限らないですが、何らかの挙動の変化は現にあったわけで、それがなぜ重要でないのかをコーチとクライアントが議論することで別の発見が起こる可能性もあります。

このように、第三者的な視点を持つコンピューターを導入することで、コーチとクライアントが対等な立場で議論しあい、振り返りを深める効果もあるのではないかという点にも至りました。つまり、コーチとクライアントという二者関係では生まれなかった「振り返りの振り返り」が実現できるのではないかという訳です。

3. 提案システム: INWARD

そうしたアイデアに基づき、コーチングの振り返りをサポートするツール INWARD を設計しました。ここでは、2つのステップに渡ってセッションの振り返りを行います。

1つ目はビデオ振り返りです。ここでは、REsCUE によって抽出された重要そうなシーンがどこかという情報とともに、セッションのビデオを振り返ることができます。そして、それ以外のシーンは倍速再生するという仕組み [4] を取り入れることで、振り返りに掛かる時間を短縮できるようにしました。

ビデオ振り返りのためのインターフェース。
REsCUE が抽出したシーンに⭕❌をつけて、大事かどうかを判定していく。

そしてもう1つ、コーチとクライアントが「振り返りの振り返り」を行うためメタ振り返りのステップも用意しました。実はこのメタ振り返りのために、先ほどのビデオ振り返りに1つの仕組みを導入していました。それは上図右のように、REsCUE によって抽出されたシーンが振り返りにとって重要だったかどうかを⭕❌で判定し、メモを残すことができるという機能です。

メタ振り返りのためのインターフェース。
コーチとクライアントのビデオ振り返りの結果が下段で比較されており、
解釈の相違点などが一目でわかる。

メタ振り返りのステップでは、ビデオ振り返りにおいてコーチとクライアントがそれぞれのシーンをどのように判断したかが可視化されます。コーチが「なにかありそうだ」と思ったものの、クライアントは「単なる普通の会話だ」と判断したような場面、あるいはコーチが気づいていなかったけど、クライアントが「実は言いたいことを言ってなかった」というような場面を二人で見返し、議論することができる仕組みとなっています。これにより、単なるビデオ振り返りでは生まれなかったような気づきや自己理解が得られるのではないかと考えました。

4. 指標

今回の研究の目的は、コーチングの振り返りを「効率的」かつ「効果的」にすることです。これらを定量的に検証するために二つの指標を用います。

1つ目の「効率」に対応する指標としては、単純に掛かった時間を用いました。振り返りを行うのにかかった時間を INWARD を用いるグループと用いないグループで比較します。

2つ目の「効果」に対応する指標は、Authenticity Scale と呼ばれる指標 [5] で、これは心理学で研究されてきた「自身の本来性」を表すものです。噛み砕くと、どれだけ自分らしくあるかということで、コーチングの効果を測るのにもしばしば使用されます [6] し、振り返りを通して自己理解を深めるという趣意にもふさわしいと考えました。

この指標は3つの要素から成り立っています。Self-alienation, Authentic living, Accepting external influence の3つです。ここでは大雑把な説明に留めますが、それぞれ自己疎外感、本来的自己感、他者影響感と訳される [7] ことがあります。例えば、それぞれの要素に関する質問の例を挙げると、自己疎外感では「私は自分が自分でないように感じる」、本来的自己感では「私は自分の信念に寄り添って生きている」、他者影響感では「私は他者の意見に強く影響を受ける」などがあります。これらの要素の総合として、Authentic Scale が定義されており、この値が高いほど、自分自身のことを理解し、自分らしくいることができていると考えられます。コーチングの目的とも一致するところがあり、しばしば使用されている理由もうなずけますね。

5. 実験と結果

実験では INWARD を実際のコーチングのセッションに組み込んで使用してもらい、使用しなかった場合と比較することで評価を行いました。まず45分程度のコーチングセッションを実施した後に、INWARD を使うグループにはビデオ振り返りとメタ振り返りを、そして使わないグループには単純にビデオを見返して振り返りを行ってもらいました。

実験の順序を表した図。
INWARD を用いるグループ(上段)と用いないグループ(下段)で比較。
各パートの後にはアンケートで Authenticity Scale の測定を行った。

ビデオ振り返りにかかった時間は INWARD を用いたグループは18.8分、用いなかったグループでは45.3分となり、およそ 60% の短縮になりました。また Authenticity Scale に関しては、両グループで差がありませんでした。このことからINWARDは振り返りの効果を損なうことなく、その効率を高めることができたと確認できました。

興味深かったのは、Authenticity Scale は全体としてスコアが上昇している中、Authentic living の要素のみが INWARD 使用の有無によらず、同程度減少していたという点です。これは、一人でコーチングを振り返る中で、自分の様子や言動の齟齬に気づいてしまい、一貫性について自信がなくなってしまった人がいたことが原因だと考えられます。このような現象は最後のインタビューで得たコメントから確認できました。

次に、メタ振り返りの前後で Authenticity Scale を比較すると、有意に上昇していることが確認できました。内訳を見てみると、Authentic living のみが上昇し、それ以外の要素は変化していないことが確認できました。このことは、ビデオ振り返りで自分の言動の一貫性に対して自信を無くしてしまったが、メタ振り返りでその点をコーチとすり合わせることで、その自信が回復した、あるいは新たな自己理解が得られたという解釈ができます。ビデオ振り返りとメタ振り返りを併せた全体で見ると、INWARD によりコーチングの振り返りの効果が上昇したことが確認できました。

このようなメタ振り返りは INWARD のようなコンピューターが中立の立場から、振り返りポイントを最初に抽出して、コーチとクライアントそれぞれが独立に振り返りを行うことを可能にしたからこそ実現できるものです。人間の相手よりもバイアスを抱きにくい第三者としてコンピューターが導入されたというのが、上記のような多段の振り返りを行う上で、 INWARD の設計のミソになっています。

6. 結論と今後

まとめると本論文では、以下のような貢献をしました。

・コーチングにおけるビデオ振り返りをサポートするために、挙動解析アルゴリズム REsCUE を元に、コンピューターが抽出したシーンをコーチとクライアントがそれぞれ振り返り、両者で議論して深め合うツール INWARD を開発

・実験により、INWARDを用いることでビデオ振り返りの時間が約60%短縮され、新たに導入されたメタ振り返りによってクライアントの自己理解の効果が上昇することが確認

今後の展望としては、提案した手法はコーチング以外の分野でも応用ができると考えており、その検証を行っていきたいです。これは INWARD で用いた REsCUE は教師データなしに挙動から重要なシーンを抽出することができるためで、コーチング特有のルール・知識に依存していないからです（詳細は前回の記事を参照）。特に、ミーティングや営業活動など、以前は対面で行われていたものが COVID-19 の影響でオンライン化し、そのデータが組織内に蓄積されやすくなったことを考えると、それらの振り返りの効率・効果を高めることは価値があるでしょう。

もう一つは、ビデオ振り返りのためのサマリー動画を自動で作るという使い方です。INWARD では早送り機能と組み合わせて Web 上で効率的なビデオ振り返りを可能にしましたが、そのように一部を早送りした動画を出力することで、サマリー動画を作ることもできます。今回の研究では、コーチとクライアントがビデオ振り返りを行うという想定でしたが、冒頭で述べた先生のスキル向上のような使い方であれば、そうしたサマリー動画を熟練のコーチに見てもらうということもできる訳です。こちらについては、本noteの最後に余談として実際に現場で行っている取り組みをご紹介します。

7. FAQ

Q1. メタ振り返りを導入したことで、振り返りをする時間が単に増えたから、最終的な効果の上昇につながったのではないですか？

A1. 全体でみると、INWARD を使用したグループと使用しなかったグループが振り返りに使った時間はそれぞれ41分と42分であり、そこに差はありませんでした。そのため、最終的な Authenticity Scale の差は、時間を多く使ったからということではないと考えられます。言い換えると、INWARD によってビデオ振り返りが効率化され、短縮した分の時間をメタ振り返りに使用したことで、効果が深まったのだと考えられます。

Q2. 抽出したシーン以外を早送りしていることでのデメリットはないのですか？

A2. その可能性は否定できず、本実験では未検証です。ただビデオ振り返りにおいて、INWARD を使用したグループと使用しなかったグループでの振り返り効果には差がないことを考えると、必ずしも全てをちゃんと観ることが良いというものではないことと言えるのではないでしょうか。漫然とすべてを見るよりも、ごく一部の重要なパートを早送りしてしまっている可能性はあるにしても、シーンを絞るほうがよいという可能性は十分あり得ると考えています。

8. 余談: 本研究の現場での応用

株式会社チームボックスでは、実際のサービスの一環としてコーチングや1on1の提供を行っていますが、その中でも INWARD を元にしたシステムを実装し、活用しています。具体的には、今後の展望として触れたサマリー動画のような形で、セッションを別のコーチが見てフィードバックするという際に、抽出されたシーンをハイライトして効率化することを可能にしています。インフラ自体も Google Cloud Platform で解析のための動画変換や REsCUE での抽出処理、Web 上でのハイライト表示などをマイクロサービス化しながら抽出処理を行う面白い仕組みとなっています。我々としても、こうして研究開発をしたものを実際の現場で応用できているというのは、感慨深いものがあります。

「自分たちの組織にも導入してみたい！」などの話がございましたら、荒川または矢倉までお気軽にお声がけください！

参考文献

[1] J. Dewey. 1933. How we think: a restatement of the relation of reflective thinking to the educative process. Houghton Mifflin, Boston, MA.
[2] N. Hatton and D. Smith. 1995. Reflection in teacher education: Towards definition and implementation. Teach. Teach. Educ. 11, 1, 33–49.
[3] L. R. Stern. 2004. Executive coaching: A working definition. Consult. Psychol. J. Pract. Res. 56, 3, 154–162.
[4] K. Higuchi, et al. 2017. EgoScanning: Quickly Scanning First-Person Videos with Egocentric Elastic Timelines. In Proc. CHI. ACM, 6536–6546.
[5] A. Wood, et al. 2008. The authentic personality: A theoretical and empirical conceptualization and the development of the Authenticity Scale. J. Couns. Psychol. 55, 3, 385–399.
[6] I. Susing. 2011. The potential use of the Authenticity Scale as an outcome measure in executive coaching. The Coaching Psychologist 7, 16–25.
[7] 石川ら, 2014. 日本語版本来性尺度の検討. 日本心理学会第78回大会.