ACM CHI '19に採択された研究を実世界に展開してCHI '23 Case Studyに出すまでの道のり
ヒューマンコンピューターインタラクション（HCI） のトップ国際会議のひとつである ACM CHI 2022 には、Full Paper 以外に Case Study というトラックがあります。今回、荒川（カーネギーメロン大学）と矢倉（筑波大学）が共同で執筆した "AI for human assessment: What do professional assessors need?" がこの Case Study トラックに採択されました。
今回の Case Study の特殊なところは、これまで2人で執筆してきた研究論文とは毛色が異なり、株式会社 ACES との共同研究として社会実装に取り組んだ内容をまとめたものになっているという点です。実際、Case Study トラックの Call for paper には以下のような記載があり、実世界での応用とその中で得られたコミュニティに還元すべき学びという部分に重点が置かれているのが分かるかと思います。
Case Studies are compelling stories about applied HCI practice based on real-world experiences that will be instructive and of interest to other community members.
https://chi2023.acm.org/for-authors/case-studies/
この記事では、Case Study の投稿に至るまでの流れと、30% 前後という採択率を切り抜けるために意識したことをいくつかまとめてみようと思います。ACM CHI 2022 では日本からの Case Study 採択がなかったようですが、Human-Computer Interaction (HCI) Advent Calendar 2022 21日目の記事として、これから投稿してみようという方に少しでも参考になる要素があれば幸いです。
(追記) 本研究はACM CHIにおいて Honorable Case Study Recognition という賞を受賞しました (上位3本) 🎉
1. 概要
この Case Study は、この2人で CHI 2019 に投稿した研究 [1] が原点となっています。この研究では、会話中の挙動解析に教師なし学習を用いることで、会話の機微をリアルタイム解析し、解釈性のある形で提示することを可能にしました。
この手法を人材アセスメントという領域でも活用できるのではないかというアイデアを頂いたのが、Case Study として取り組むきっかけでした。そして、この新たな領域に AI 技術を導入する上でのハードルはどこにあり、どのようにしてそれらを乗り越えることができるのか、Human-Computer Interaction (HCI) の観点から明らかにしようというゴールを設定しました。
この取り組みはまず、「人材アセスメント」とはどういった領域で、どのような流れで業務が行われているのかを理解するところから始まりました。詳しい説明は文献 [2] に譲りますが、面談などを通して人事選考の対象となっている候補者のコンピテンシーを見極めるもので、その歴史は第二次大戦期まで遡ることができます [3]。
つまり、企業の人事戦略をも左右する領域であり、だからこそ AI 技術の導入にあたっては「人と AI システム間の信頼」をどう担保するかという点が重要となります。それを踏まえると、ブラックボックスで評価するようなシステムは望ましくなく、解釈性や透明性を担保するという点で我々の REsCUE [1] は親和性が高いのではないか。こういった仮説を、現場でアセスメントを取り組んでいるアセッサーの方々との事前のワークショップを通して、導き出すことができました。
その後もアセッサーの方々を交えながら、アルゴリズムそのものの評価や、アセスメント支援のためのシステムとしての全体評価を行いました。またその中で、アセスメント対象者のどのような挙動が AI による解析に寄与したのかをフィードバックするアルゴリズムを新たに加え、解釈性をより向上させるという改善も加えました。さらなる詳細については、ぜひ論文をご参照ください。
2. Case Study としてまとめるまで
ここまでの内容は「実世界での応用」として説得力のあるものになっているのではないかと思います。ただ、私たち2人は HCI 研究者として、開発した技術を実装するというだけでなく、そこからの知見を研究コミュニティに還元したいという気持ちを持っていました。そこでターゲットとしたのが、この Case Study トラックでした。
同時に、ただ取り組んだ内容を記述するだけでは「得られた学び」という要素を欠いており、Case Study として魅力的なものにはならないことも理解していました。そのため、どのようにして我々の取り組みから「学び」を導くかという点で、以下のような箇所を意識して執筆を行いました。
領域の特殊性と一般性を共に際立たせる: 人材アセスメントという領域は、調べた限り HCI コミュニティにおいて未だ取り組まれていませんでした。だからこそ、その領域での新たなコンピュータシステムの使われ方を Case Study として共有することに価値があるということを述べました。
一方で、領域が特殊すぎるために、そこでの学びが他の領域に昇華できないようなものとなってしまっては意味がありません。その点で、「人と AI システムの信頼」というホットなキーワード [4] を軸に据え、AI による人事評価の Dark side といった議論 [5] も参照しながら、我々の Case Study のコンテキストをうまく位置づけることを心がけました。
予期しなかった結果を取り上げる: 実世界での応用を経たからこそわかった部分として、予期しなかった結果や使い方を取り上げることの意味も大きいのではないかと感じています。なぜなら、こうしたところからコンピュータの新たな使い方が生まれるからです。そうした点で、HCI 分野の文献としてまとめる上では Case Study に限らずとも欠かせない重要なポイントなのかもしれませんが、今回は特に意識をしました。
例えば、熟練のアセッサーは「自分と独立した観点で結果を提示してくれる」という点に AI システムの価値を感じた一方で、若手のアセッサーは「自分の観点と一致するような結果に安心感を感じる」という点で価値を感じるという違いは、全く想定していなかったものでした。他にも、人材アセスメントにおいて声の大きさや抑揚といったパラ言語情報も重要な鍵であるのに対し、当初の検証時点ではそれらを含めていなかったために、改善の余地があるというフィードバックももらいました。こういった内容をきれいに文章にまとめるのは少し苦労をしましたが、文章としての綺麗さよりも、生の気づきを含めることを優先するようにしました。
「学び」を「学び」として明確に記述する: 今回は、ワークショップや検証を経ての発見を「Findings」というセクションにまとめた上で、さらに「Lessons Learned」というセクションを用意しました。ここでは、それぞれのステップでの発見を振り返るとともに、最初に述べた Dark side の話なども意識しながら、「人と AI システム間の信頼」という点で活かすべき観点を議論しています。
例えば、REsCUE [1] のような教師なし学習によるアプローチではなく、教師あり学習に基づいたアプローチを採っていたとすれば、アセッサーごとの観点の違いをうまく統合できなかった可能性が高かっただろうとか、解釈性や透明性が高い形で結果を提示したことで、アセッサーが AI システムの挙動についてメンタルモデルを構築しやすくなるという利点があったといった内容を挙げています。少し定性的な記述ではありますが、それらが実世界での応用から導き出されているという点に、Case Study としての力点があるかなと考えています。
ここまでを改めて文章にしてみると、Case Study に限らず HCI の文献としてまとめる上では、どれも重要なポイントだと言えるかもしれません。一方で、Case Study では手法の新規性や結果の厳格さがあまり重要視されていない分、よりこれらの点に比重が置かれているように感じています。
3. まとめ
ここまでお読み頂いた方の中には、本記事の内容が Case Study を通すための「ハック」に見えている部分もあるかもしれません。確かにそういった側面も否定できませんが、私たちはそれ以上に「実世界での社会実装から得た知見を研究コミュニティに還元するための Tips」だと考えています。実際にやってみたからこその気づきや学びを、他の研究者や実務家が活かし、もっといいコンピュータの使い方を生み出していってくれればと願っています（余談：日本語で「実務家」と書くと堅苦しいですが、HCI コミュニティではよく「practitioner」という単語を目にすることが多く、研究者に留まらずに知見を広げていくことへの意識が共有されていると感じます）。
今回の Case Study を含め、私たちは実世界の問題を研究に落とし込み、またそれらを社会実装する中で得た気づきを広めていくことに、引き続き取り組んでいきたいと考えています。これまでの研究の多くはこの note にまとめていますが、それらに限らずとも、もし一緒に研究・実装したいという方がいらっしゃればお気軽にご連絡ください！
参考文献
[1] R. Arakawa and H. Yakura. 2019. REsCUE: A framework for REal-time feedback on behavioral CUEs using multimodal anomaly detection. Proc. ACM CHI, 572.
[2] I. Ballantyne and N. Povah. 2004. Assessment and Development Centres. Gower Publishing.
[3] D. W. Bray and D. L. Grant. 1966. The Assessment Center in the Measurement of Potential for Business Management. Psychol. Monogr. 80, 17, 1–27.
[4] L. M. Giermindl, et al. 2022. The Dark Sides of People Analytics: Reviewing the Perils for Organisations and Employees. Eur. J. Inf. Syst. 31, 3, 410–435.
[5] A. B. Arrieta, et al. 2020. Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. Inf. Fusion 58, 82–115.
この記事が気に入ったらサポートをしてみませんか？