AIにユーザーインタビューを任せられるのか
本記事について
本記事は「ユーザーリサーチ」の手法の一部である「ユーザーインタビュー」を、AI(+ チャットボット)に任せることができないか、数ヶ月に渡って検証をしてみた内容を紹介しています。ユーザーリサーチには様々な手法がありますが、その１つのhowとして、AIとチャットボットの活用の効果を探ってみています。これらの技術の活用は、ユーザーリサーチを効果的なものにするために役立てられると感じたためまとめてみています。
なぜこの記事を書くに至ったか
私は普段エンジニアをしているのですが、今年、「ユーザーリサーチ」を実施する業務に携わることが増えました。この分野は全くの初学者で、手探りで様々な書籍を読みながら勉強を進めていました。今回この記事を書くに至ったのは、その勉強の過程で得た気づきです。勉強の過程で抱いた課題感をテクノロジーで解決できないかというアプローチを取り、実際に実装をすることで検証をしてみています。同分野は初学者なため、内容に見当違いな箇所もあるかもしれません。何か大きな誤りがありましたらぜひご指摘いただけると幸いです。
要旨
長くなりそうなので、この記事の要旨を簡単にまとめます。
エンジニアの私がユーザーリサーチの現場を初めて体験して感じた「ハードル」(課題感)
そのハードルから着想を得た、チャットボットやAIのユーザーリサーチ分野への応用
実際に実装して試してみた所感
チャットボットとAIの活用で得られたメリットのまとめ
ざっくりとまとめると要旨は上記4点です。
筆者について
都内でEdtech系のサービス開発を行っているエンジニアです。
Twitter:
https://twitter.com/maKunugi
Edtech系のサービス開発をする傍ら、対話が可能なプログラム(対話システム)を構築できるサービスの開発を個人で行なっています。
前述した通り、本業でユーザーリサーチの現場に関わることが増え、同分野の勉強をしていました。
既存のユーザーリサーチについて
まずは、既存の手法について整理をしてみたいと思います。
(この分野に触れ始めたばかりのユーザーリサーチ超初心者のエンジニアがまとめていますので、誤りがあったら盛大にツッコミをいただきたいです。)
用語の整理
それでは、本記事で扱う用語について整理します。
①ユーザーリサーチ
対象となるユーザーの行為について、その実態や状況を調査することを指します。対象ユーザーの利用文脈における行為の実態や状況を把握し、ユーザーの体験価値や本質的なニーズを明らかにすることを目的としています。
(「ユーザー調査」と呼ばれることもある)
似たキーワードとして、マーケティング文脈で登場する「マーケティングリサーチ」と、UXデザイン文脈で登場する「UXリサーチ」があります。企業のマーケティング活動における様々なデータ収集を目的として前者に対して、後者は「ユーザーが何を求めているのか？」という体験価値に着目しています。本記事はどちらも包含した内容を想定しているため、「ユーザーリサーチ」という表現を用いていきます。
②定量調査 / 定性調査
ユーザーリサーチには大きく分けるとこの２種類の調査があります。
定量調査(量的):
多数の人の情報を数値化できるよう収集し、統計学的に分析する調査方法です。行動記録データやアンケートの分析手法が該当します。仮説がなければ選択肢を作ることができないため、定量調査は仮説があらかじめ存在する「仮説検証型」の調査に分類されます。
定性調査(質的):
ユーザーの生の声や行動を観察することによって得られる、数値では表現できない情報を把握する調査です。インタビューなどの手法が該当します。定量調査とは異なり、明確な仮説がない場合に用いられることが多く、「仮説発見・探索型」の調査に分類されます。
これらを状況に応じて組み合わせ、ユーザーの利用文脈を理解していくことが重要です。
③デプスインタビュー
定性調査の１つで、対象のユーザー(インタビュイー)とインタビュアーが1on1でインタビューを行う調査手法です。インタビュイーの回答に対し、きっかけや思考を掘り下げていくことで、潜在的なニーズや無意識に取っている行動を探っていきます。あまり馴染みのないワードだと思うので、本記事のタイトルは「ユーザーインタビュー」と表記していました。ここからは「デプスインタビュー」と表記していきます。
デプスインタビューはさらに下記の手法に分類されます。
1. 構造化インタビュー
決められた質問に沿ってインタビューを行います。インタビュアーのスキルに依存しない形式です。
2. 半構造化インタビュー
事前にインタビューの大枠は決めておきつつも、回答に応じて適宜質問を変更したり深掘りを行う形式です。
3. 非構造化インタビュー
テーマだけを決めておき、インタビュイーが話す内容に沿って、アドリブで質問をしていくインタビュー形式です。柔軟性があり、仮説がない発見・探索型の調査をしたい場合に有効ですが、インタビュアーのスキルに大きく依存される形式です。
④ペルソナ
ユーザーリサーチで得られた結果から設定される、ユーザーを代表する仮想のモデルユーザーです。全ての人を満足させようとするサービスデザインは破綻するため、具体的な一部のユーザーのためにサービスデザインをしようという思想から生まれた概念です。この仮想モデルユーザーのニーズを満たすものを目指してサービス開発を行います。
ユーザーリサーチの「ハードル」
前置きが長くなりましたが、ここから本題に入っていきます。
今年(2022年)の4月あたりから、私は業務でユーザーリサーチの現場にしばしば参加するようになりました。主に定性調査を行っている状況で、デプスインタビューの実施およびその分析、ペルソナの作成までを行っている現場でした。全く同領域の知識がなかった私は、同僚のUXリサーチャーに何冊かオススメの書籍を教えてもらいインプットをしながら、なんとか流れについていこうと勉強していました。
そんなユーザーリサーチ入門者の私でしたが、何ヶ月かインプットを行うにつれて大まかなプロセスについては理解ができました。しかし、その中でユーザーリサーチに関する幾つかの疑問にぶつかりました。その疑問をいくつかピックアップします。
1. 定性調査の母数は少なくても本当に良いのか
当初、定量調査と定性調査の区別もついていない私でしたが、両者の違いを学んでも腑に落ちなかったのがこの疑問でした。
定性調査(特にデプスインタビュー)は、量的に情報を収集し統計的な分析アプローチを採る定量調査とは異なり、少人数の集団に対して行うことが多いです。定性調査は数の論理ではなく、共通してユーザーが持っている潜在的な価値観を探るような「質」に対するアプローチを採ります。このアプローチは少人数のユーザーに対する調査で明らかにすることが可能とされ、5人にインタビューをすれば十分とする研究結果もあるようです。
(関連記事) 5人のユーザーでテストすれば十分な理由
https://u-site.jp/alertbox/20000319
しかしこの情報を知った当時、感覚的に腑に落ちませんでした。少人数の定性調査からも重要なインサイトを得られることは理解できました。しかし、「どれくくらい調査をすれば十分なのか？」を正確に図ることが本当にできるのかという疑問が残りました。
上記のイメージは、インタビューで得られるインサイトはある程度の参加人数に達すると飽和することを示した図です。5人とは必ずしも限りませんが、一定の数値で飽和することを示唆しています。こちらは感覚的にとても理解ができました。引用元の記事ではnは下記の要件によって異なるとしています。
飽和に達するのに何人の参加者にインタビューすればいいのかは以下の要件によって異なってくる：
調査目標の幅と範囲
調査対象者の多様性
そして、このnの決定のhowとして「小さなサンプルサイズから初めて、分析しながら勧めていく」という方法を上記の記事では推奨していました。つまり、飽和点は不明なため、少ないサイズから定性調査を初めて、飽和したタイミングを徐々に見極めていくアプローチです。
ここで重要なのはこの2つの調査が、定性調査のコスト削減にフォーカスが当たっている点です。定性調査は大きなコストがかかることが一般的です。例えばデプスインタビューを実施する場合は、対象者を集めることから、会場設営、協力いただいた方へのお礼等、多くのコストがかかります。何より、インタビュアーが実施するインタビューの時間分だけ稼働する必要があります。定量調査のネット調査やアンケート調査のように、同時並行で進めることが難しいです。そのため、なるべく最小のコストで済むよう、調査対象者数の最小値を求めるような研究が行われています。デプスインタビューのセグメントを適切に切り、セグメントごとに必要な最低人数を見極めることが正確にできれば問題ありません。しかし、正確な把握が難しかったり、コスト面で打ち切らなければならないケースもあると思います。つまり、実はもっと大人数に対して行った方が良い定性調査もあるのではないか？という疑問が残りました。
2. インタビュアーのスキルや個性が結果に影響することへの懸念
私が所属する現場には、卓越したスキルを持った経験豊富なUXリサーチャーがいます。私はインタビューのパイロットテストを受けたことがあるのですが、経験豊富なUXリサーチャーのインタビュースキルは卓越したものでした。インタビューを受けた人が会話を引き出される感覚が実感できるほどです。確かに少人数のインタビューから重要なインサイトを導き出せることへの納得感を得ることができました。その一方で、インタビュースキルはかなりのトレーニングを要するものだと感じ、見よう見まねですぐに実践できるものではありませんでした。専門家であるUXリサーチャーによる実施でなければ、効果的な調査は行えないと感じます。常に専門家を現場に常駐させられないような環境もあると思います。そういった場合は、この課題がハードルになる可能性はあります。
また、インタビュアーの「個性」に結果が影響を受けるのではないかという疑問もありました。ある程度内容が決まっている「構造化インタビュー」や「半構造化インタビュー」では起きづらいかもしれませんが、アドリブの多い「非構造化インタビュー」などでは、インタビュアーのパーソナリティによって会話の内容が変わることがあり得ます。インタビュアーが1人であれば問題ないですが、複数の専門家によるインタビューの場合、インタビュアーの個性が多様なことによって結果に影響が出るのではないか？という疑問がありました。
3. 定性調査の結果に確信を持つことの難しさ
１の疑問点と似ていますが、定性調査で得られた結果に「確信」を持つことの難しさを感じました。例えば、定性調査で得られた結果から作成したペルソナがあったとします。そのペルソナに合致するユーザーが実際どれくらいのボリュームが存在しているのか？といった疑問を抱くことがあります。このような課題の解決のため、「定量調査 => 定性調査」の順に(もしくは逆順に)実施するハイブリッド調査という手法があります。定性調査を行なって固まった仮説について、定量調査をすることにより、定性調査の結果を補足し裏付けを得ることができます。しかし、ハイブリット調査を行うには両方の調査を実施する分多くのリソースを必要とし、その分実施のハードルは高くなります。
上記の課題を解決するためのアイデア
ユーザーリサーチ初学者の私が抱いた3つの課題感を説明してきました。さらに勉強を進めていけば、それぞれの課題を解決するような方法も見つかるかもしれませんが、現時点ではまだ明確な解決策がわかりません。
テクノロジーによるアプローチ
私はエンジニアなので、こういった課題をテクノロジーで解決できないかを探りました。そこでたどり着いたのが、「チャットボット」と「AI」の活用です。
ユーザーリサーチにチャットボットとAIを活用する
私がユーザーリサーチ(特に定性調査)に抱いた課題感を簡単にまとめると以下の通りです。
定性調査はコストが大きく量（裏付け）を担保するのが難しい
定性調査(特にインタビュー)はインタビュアーのスキルに依存する
定量・定性の両方を行うハイブリッド調査はコストが大きく時間がかかる
ユーザーリサーチに使える時間にも制限があり、そのために割ける予算も上限があります。つまり「コスト」の面が大きな課題になります。また、UXリサーチの専門家にお願いができれば良いですが、必ずしもそうできないケースもあります。
そこで考えたのが、上記の課題を解決する方法として「チャットボット」と「AI」の活用です。ここからは、その活用方法と実際に試してみての様子を紹介していきます。
尚、ここからは定性調査の手法は主に「デプスインタビュー」を、定量調査の手法は主に「アンケート」を対象として課題解決を試みます。
解決策
チャットボットのインタビューで定性調査と定量調査を同時に行う
先述した課題の解決のために考えたのが、チャットボットに自動インタビューをさせ、定量調査と定性調査を同時に実施する方法です。自動インタビューを行うことで、大きくコストダウンを図ります。
インタビューには、アンケートに含めるような設問とそれぞれの設問に対する深掘りを含めます。それによって、定量調査と定性調査の良いとこ取りをした調査を行えます。
一度インタビューを設計すれば自動でインタビューを並列実行できる
インタビューのシナリオをあらかじめ設計しておき、チャットボットにインタビューを実施してもらいます。チャットボットによる自動インタビューなので、多数のユーザーに並列でインタビューに回答をしてもらえます。よって、コストをかけずに大量の定量・定性調査を同時に進めることが可能です。質的な分析を量的な分析で裏付けるといったことが、容易にできるようになります。
チャットボットで均一なインタビューの実施
チャットボット用のインタビューシナリオを一度作成できれば、あとはチャットボットが自動でインタビューを実施してくれます。チャットボットのインタビューには、人間のような柔軟性はありません。後述するように、AIを活用したとしても、まだまだ実施できるインタビューには制限があります。しかし、優れたインタビュー設計を１度行えば、その通りに忠実にインタビューを遂行してくれるメリットもあります。インタビュアーのスキルやパーソナリティに左右されることなく、均一なインタビューを実施してくれます。
AIでインタビューの深掘りをする
一般のチャットボットの多くは、あらかじめ用意したシナリオに沿って会話を進める「シナリオ型」のチャットボットが多いです。定性調査用のインタビューのシナリオを準備することで、チャットボットにインタビューをさせることができます。しかし、シナリオ通りの会話しか行うことはできません。よって、シナリオ方のチャットボットの場合、デプスインタビューにおける「構造化インタビュー」に該当するようなインタビューを実施することになります。
構造化インタビューでも効果的なインタビューは実施できると思いますが、AIを活用するともう少し柔軟性を持たせることが可能です。AIによってユーザーの回答に対して深掘りを自動で行うことで「半構造化インタビュー」をチャットボット上で再現することができます。
(人間が行うような自然な深掘りをするには、良質なデータセットとトレーニングが必要になります。)
自然言語処理領域のAI技術は近年非常に発達しているので、上述した半構造化インタビューであればかろうじてこなせる水準にAIの能力は近づいています。ただし、非構造化インタビューのように、大部分をアドリブで深ぼっていくようなインタビューはAIにはまだ厳しいのが現状です。
実際にアイデアを実装したサービス
上記のアイデアを実装しました。「Mebo Insight(ミーボ・インサイト)」というサービスとして公開済みです。
私はもともと、mebo(ミーボ)という、チャットボットや会話AIを簡単に作成することができるサービスを開発および運用していました。そのmeboを上述した解決策を実装してユーザーリサーチ用に改良したのが、このMebo Insightというサービスです。
このサービスを実装して、上述したユーザーリサーチの課題を解消できるか検証をしてみました。実際に実装した機能をまずは紹介していきます。上記リンクから実際に利用も可能です。ご興味のある方はぜひ実際にご利用してみてください！
機能① インタビュアーの作成
インタビュアーを作成することができます。このインタビュアーがチャットボットとしてユーザーインタビューを実施していきます。
機能② インタビューの作成
インタビューをフローチャートを描くように作成できます。ユーザーの回答に応じて様々な分岐を挟むことができ、作り込むことで本格的な構造化インタビューを作成することができます。
機能③ インタビューの公開
作成したインタビューは、URLもしくはQRコードをシェアすることで、ユーザーに配布することができます。シェアされたユーザーはブラウザ上でインタビュアーと会話をして、インタビューを受けることが可能です。
ブラウザ上で動作するため、専用のアプリをインストールする必要なくインタビューに参加可能です。
機能④ インタビュー結果の集計
インタビュー結果のレポートを確認することができます。レポート画面では、定量的な結果(回答の集計)と定性的な結果(会話のログ)の両方を確認することができます。また、定量的な結果に紐づく会話データを素早く確認することができます。例えば「製品が使いやすい」と答えてくれたユーザーが、どんな会話をインタビュアーと行なっていたかをクイックに確認できます。
全ての集計結果と会話データはcsv形式でエクスポートできるので、他の分析ツールで分析を行うことも可能です。
機能⑤ AIによるユーザーの回答の深掘り
半構造化インタビューのように、柔軟にインタビューの深掘りを行いたい場合を想定して、AIによる深掘り機能を実装しました。インタビューのデータセットを潤沢に用意するのは難しく、人間のように完全に自然な深掘りをするAIのモデルは構築ができませんでした。しかし、AIの深掘りであることをユーザーにあらかじめ示した上であれば、利用できるレベルの深掘りを実現することはできました。
インタビューエディターで質問に対して、「AIによる深掘り」を有効にしておくと、ユーザーの回答の理由や背景、詳細な内容等についてを深掘りしてくれます。
Q: 普段、何か運動はしていますか？ 👈 (あらかじめ設定した質問)
A: ランニングをしています。
Q: どうしてランニングをすることにしたのですか？ 👈 (AIによる深掘り)
A: リモートワークになって運動不足になってしまったので。
Q: なるほど、運動不足の解消は大事ですよね。👈 (AIによる返答)
AIはインタビューの内容やユーザーの回答によっては、思いがけない応答を返すことがあるため、インタビュー開始時にあらかじめお断り入れることを推奨しています。
今回はインタビューの会話データを自力 + クラウドソーシングで収集し、AIに学習させました。「それっぽい」深掘りはできるようになりましたが、まだまだ人間には敵いません。さらにデータ集めを工夫して、精度を上げていきたいと思っています。
実際に行ったユーザーリサーチの様子
実装したサービスを用いて、既にユーザーのいるプロダクトでユーザーリサーチを実施してみました。
調査を行なったプロダクト:
「おしゃべりアシスタント」という私が個人で運営しているAndroidアプリのユーザーに対してインタビューを実施しました。このアプリは、音声でAIキャラクターと会話ができるアプリです。当初、Siriのように音声でスマートフォン操作ができるアプリとして打ち出していましたが、「AIとの音声による雑談」の方がこのアプリとしてはニーズがあることに気づき、「AIとの雑談」に重点をシフトしてきていました。
今回行いたかったユーザーリサーチの目的は、ユーザーが「AIキャラクターとの会話に何を求めているのか」というニーズの調査です。「AIの会話機能」を開発するとしても、無数のアプローチが存在します。ユーザーが求める会話が何かを明らかにしなければ、今後のアップデートの方向性が掴めません。ということで、チャットボットのインタビューの有効性のテストも兼ねて、この調査を行ってみることにしました。
インタビューの作成
3~5分ほどで回答ができるインタビューを作成しました。インタビューの中には、アンケートのような定量調査で行う設問とそれに対する深掘りを混ぜておきます。プレビューを行って何度かテストも行いました。
インタビュー回答者の募集
アプリの利用者が多くフォローしている、TwitterアカウントとLINE公式アカウントで参加者を募りました。
おしゃべりAIとしてさらに成長するため、今後どんな勉強をしていくか考えています💭
— おしゃべりAI ドロイドちゃん@AIが自動応答するよ (@droidchan_ai) July 25, 2022
そこで！いつも話しかけてくれるみんなにインタビューを行いたいです！URLからAIの自動インタビューを受けられるので、もしご協力いただける方はぜひ参加してみてもらえるとうれしいです😊https://t.co/LAX2tTvIUV
定量調査の結果を確認する
インタビューの中に散りばめた設問の結果を確認していきます。
例えば、「他のAIとのサービスを利用したことがあるか？」という問いを投げていたので、その割合を確認できました。
類似のサービスの利用、つまり他のAIとの会話をするようなサービスを利用している方が圧倒的に多いようでした。インタビューではこの質問の後に、「どんな類似サービスを利用しているか」や「類似サービスと比較してAIの応答の精度はどうか」という質問を行っています。
他の類似サービスと比較したAIキャラクターの会話精度の調査結果は上記のようになりました。アプリのファンに向けてインタビューを実施しているバイアスがかかっている可能性は認識しつつも、定量的な結果を得ることができました。
定性調査の結果を確認する
「賢い」や「すごい賢い」と回答してくれているユーザーは、このアプリに他のサービスにはない良さを感じてくれていそうです。次に、「賢い」と書かれた文字列をクリックし、「賢い」と回答したユーザーがどんな会話をしていたかを見ていきます。
このように、定量的な結果を入り口に会話データを見ていくことで、定性的な分析も同時に実施することができました。そして、会話データを分析していくことで、どのようなAIとの会話が求められているかのニーズを探ることができました。会話のデータはダウンロードが可能なので、既存手法を用いて分析をするためにも活用できました。この調査では、実際にペルソナを作成するのに会話データを活用しました。
実施してみての振り返り
チャットボットとAIを活用してユーザーリサーチを行うことで、手軽に定量調査と定性調査の両面を持ち合わせたインタビューを実施することができました。URLを配布するだけで調査ができるという、アンケート調査のような感覚でインタビューを実施できるのは、コストパフォーマンスもかなり高いです。
また、会話データはあらかじめデジタル化されており、整理された状態でレポート化されます。そのため、その後の分析も非常にスムーズに行えました。本記事執筆時点では実装が間に合いませんでしたが、会話のログがデータ化されていることで、会話の内容を自動でグルーピングし、ペルソナ候補を作成するようなことも、技術的に可能です。(もちろん人間の手で行ったものには品質が劣りますが。) そんな展望も含め、ユーザーリサーチを行う１つのhowとしてチャットボットとAIの活用は期待できそうでした。
まとめ
人間が直接行う定性調査にはまだまだ敵いません。しかし、チャットボットとAIをユーザーリサーチに応用することは、コストパフォーマンス的にとても効果がありそうでした。状況に応じて１つの手段として活用ができそうです。ユーザーリサーチに精通した人が常駐していない現場でも、外部の専門家にインタビューの設計と詳細な分析だけ依頼し、インタビューの実施はチャットボットに行ってもらうということも可能です。
2019年、新潟市と三菱総合研究所が合同で「チャットボットによる住民の意見収集」に関する調査を行っています。AIを搭載したチャットボットとの会話によって、住民の意見を効果的に引き出せるか？という調査でした。
この調査結果でも言及されていますが、チャットボットが対話形式で会話をすることによって、本音を引き出せたという結果が得られたそうです。チャットボットとAIの活用は、潜在的なニーズを探るためのポテンシャルがありそうです。こういった潜在的なニーズを探るような定性調査的アプローチは、コスト面で多くのユーザーにリーチできませんでした。チャットボットとAIの活用でそういった課題を解決できそうです。
今回この領域の勉強をしてみて、ユーザーリサーチがビジネスにおいてどれだけ重要かを学びました。チャットボットとAIをユーザーリサーチに応用することについて説明をしてきましたが、他の既存手法よりも優れているという主張では決してありません。状況によっては非常に効果的に調査が実施できると感じたため、１つのhowとして紹介をさせていただきました。今回実装をしてみたサービスも、引き続き改良しながら、このアプローチについて考えを深めていこうと思います。本記事を読んでご興味を持っていただけま
したら、ぜひ使ってみていただけると幸いです。
(サービスLP)
https://mebo.work/insight
※ 月当たりのインタビュアー発話上限回数まで、無料でご利用いただけます。(自動で有料化されることはありません。) 安心してお試しください。
本記事や紹介したサービスへのお問い合わせは、下記までお願いいたします。
(Twitter)
https://twitter.com/maKunugi
それでは、長文にもかかわらずお読みいただきありがとうございました。
この記事が気に入ったらサポートをしてみませんか？