[CUI2024採択] AIはコーチとして行動変容を引き起こせるか？
対話型ユーザインタフェース（CUI）に関する国際会議 ACM CUI 2024 に、荒川（カーネギーメロン大学）と矢倉（マックスプランク人間開発研究所）が執筆した論文 “Coaching Copilot: Blended Form of an LLM-Powered Chatbot and a Human Coach to Effectively Support Self-Reflection for Leadership Growth” が Full paper で採択され、発表を行いました。本記事ではその内容について簡単に紹介したいと思います。
1. 背景
近年、大規模言語モデル（LLM）を用いた AI チャットボットが様々な場面で導入されています。人手に頼ることなく24時間いつでも高度な応答をできるという点は、幅広い応用可能性を示唆します。LLM の導入により AI チャットボットのどんな新しい使い方を生み出せるのか、本研究ではコーチングに注目して研究を行いました。
コーチングは、コーチとクライアントの対話を通じてリーダーシップの向上を図るものです。その中では、目標設定や行動変容に向けてのプランニング、そして振り返りなどが行われます [1]。我々はこれまでも、コーチングをテーマとして扱う研究を複数行ってきました。
そして実は当初、AI チャットボットを用いることでコーチングが自動化されてしまうのではないかという懸念も持っていました。しかし、熟練のコーチに話してみると、コーチングの価値は対話そのものだけにある訳ではなく、むしろチャットボットを使うことでコーチングの可能性が広がるのではないか、とポジティブな捉え方をしていました。そこで、LLM を用いたチャットボットの可能性を、コーチングという文脈においてさらに深堀りしてみることにしてみました。
2. AI 融合型コーチング
まず LLM でできることの幅を明らかにすべく、8人のプロフェッショナルコーチを招いてワークショップを行いました。具体的には、LLM の基本的な概念を説明した上で、OpenAI の提供する GPT Playground を自由に触ってもらう時間を設け、その後に参加者全員での議論を行いました。結果、「コーチと（行動変容についての）約束を行い、いい意味でのプレッシャーに晒されないと多くの人はアクションを行わないだろう」と、多くのコーチは LLM がコーチングセッションを置き換えることに懐疑的だったのですが、一方でテキストコーチングの補完ツールとして LLM を活用する可能性を示唆してくれました。
ここでテキストコーチングとは、図1のようにコーチングセッションの間に生まれるテキストベースのやり取りを指し、日々の振り返りの共有やちょっとした相談などが含まれます。そして、こうしたテキストコーチングを LLM が支援してくれれば、人間の側はコーチングセッションにおいて深い問いを投げかけ、振り返りを促進するという点に注力できるのではないかというフィードバックを得ました。
こうしたコメントを受け、我々は AI チャットボットとプロフェッショナルコーチの協働による新たなアプローチを設定しました。具体的には、まずチャットボットの使用開始前に、コーチングの目的やチャットボットの使用頻度をコーチとクライアントが議論するように設定しました。そして、定期的なコーチングセッションの合間に、クライアントが AI チャットボットを利用できるようにしました。これにより、次のコーチングセッションではコーチが AI チャットボットとのやり取りを参照しながら、より深い問いかけができるようになるという仕組みです。
実際に開発したシステムは図2の通りです。AI チャットボットの会話を終えるごとに、その内容を自動要約したものをクライアントに提示することで、担当の（人間）コーチに容易に状況を共有できるようにしました。
3. 実験と結果
こうした AI チャットボットの応用可能性について議論すべく、10組のコーチとクライアントが2週間このシステムを試用するという形式の評価実験を行いました。結果、クライアントは AI チャットボットの（自発的な）使用を継続しており、かつ振り返りの質も向上しているということが確認できました。また、特に具体的な指示を与えていないにも関わらず、Reflection, Inquiry, Acknowledgment といったプロフェッショナルコーチに劣らない対話スキルを LLM が発揮している様子も観察されました（図3）。
参加者に対する半構造化インタビューでは、24時間365日好きなタイミングで相談でき、課題解決に向けた具体的な相談もできるという点で AI チャットボットは価値を発揮できているということが確認できました。一方で、チャットボットが深い反省を促す質問を避ける傾向があることが限界として指摘されました。特に、現在の LLM が Alignment を通してユーザに不快感を与えないよう調整されている [2] ことを踏まえると、この限界をどう捉えるかという点は重要になってくるでしょう。
こうした結果は重要な示唆を与えてくれます。つまり、すでにモチベーション高く行動変容に向かっているクライアントならまだしも、そうでない場合は依然として人間のコーチの存在感が重要だという点です。その拘束条件でいかにうまく AI を活用できるのかということが、いま問われているのだということが明らかになりました。
4. コーチングにおける AI チャットボット活用ガイドライン
我々は、実験結果を元に「コーチングにおける AI チャットボット活用ガイドライン」を作成しました。詳細は以下に図4に示す通りです。（このわかりやすいイラストは @_sushiko_me さんに描いていただきました！）
チャットボットを補完的なテキストコーチングツールとして導入する
自発的な行動変容を促すには「だれかに期待されている・支えられている」という点が大きな意味を持ちます。そうした点で、コーチングをすべて自動化するのではなく、補完的なツールとして用いることが効果的だと考えられます。
AI チャットボットの使用開始前にコーチングセッションを行う
より効果的に活用するには、まず（人間の）コーチと「コーチングを通して何を成し遂げたいのか」や「その過程の中でどれくらいの頻度でチャットボットを活用しようと思っているのか」といった点を約束しておくことは役立ちます。こうしたプロセスを通して、クライアントはより真剣にコーチングに向き合うことになるでしょう。
テキストコーチング期間中にも、必要なコミュニケーションチャネルを維持する
AI チャットボットにテキストコーチングのすべてを自動化させるのもベストとは言えないでしょう。人間と協働しながら、適宜コミュニケーションを取れるチャネルを用意しておくことは重要だと考えます。
クライアントの進捗をモニタリングし、必要に応じて厭わず介入する
先述のように、現在の LLM は人間を時に不快にさせるような「鋭い質問」を投げかけるようには設計されていません。それぞれの相手の状況を観察しつつ、Double-loop Learning [3] と呼ばれるような深い内省が必要になるタイミングでは、（人間の）コーチが積極的に関与することも必要になるでしょう。
5. まとめ
まとめると本論文では、以下のような貢献をしました。
・LLM を用いた AI チャットボットと人間のコーチを組み合わせる AI 融合型の新たなコーチングアプローチをデザインしました
・提案したアプローチの有効性を実証し、振り返りの質やチャットボットの利用意欲の向上といった、相補的な手法の効果を確認しました
・また、実証結果をもとに AI チャットボットをコーチングに導入するための具体的なガイドラインを提供しました
今後の研究方向として、長期的な効果の検証に加え、他の分野への応用を広げていくという点が挙げられます。我々は、AI にすべてを委ねるのではなく、人間が介在することで生まれるモチベーションやコミットメントの力は普遍的であると考えています。コーチングに限らず、ヘルスケアや教育などの場面でもうまく AI を活用しながら、効果的な行動変容を生み出していけるとよいなと思っています。
6. FAQ
Q1. AI チャットボットが対応できないようなトピックや場面はないのですか？
A1. 上記でも述べた通り「鋭い質問を投げかけて深い振り返りを促す」という部分に限界があるように、AI チャットボットは万能ではないと考えています。だからこそ（人間の）コーチと協働したアプローチが重要であり、今回の評価においても、AI チャットボットに「対応できないトピックである場合には人間のコーチに相談するようクライアントに伝える」ようにプロンプトしています。
Q2. AI チャットボットの使用に関するプライバシーはどうなっていますか？
A2. センシティブなトピックを扱う可能性も踏まえると、プライバシーは非常に重要です。今回の評価でも、AI チャットボットとの対話内容を同意なしに第三者と共有できないようにしました。そして、AI 生成のまとめをコーチに共有する際も、クライアントが自由にその内容を編集できるようにしています。同時に、AI 技術をどう扱うのかについては関連するガイドラインなどを参照しながら、さらに議論を深めていく必要があるかと考えています。
参考文献
[1] R. R. Kilburg. 1997. Coaching and executive character: Core problems and basic approaches. Consulting Psychology Journal: Practice and Research 49(4), 281–299.
[2] L. Ouyang, et al. 2022. Training language models to follow instructions with human feedback. Proc. NeurIPS 2022, 27730–27744.
[3] C. Argyris. 1977. Double loop learning in organizations. Harvard Business Review 55, 5 (1977), 115–125.
この記事が気に入ったらサポートをしてみませんか？