見出し画像

生成AIを使ったインタビュー分析自動化 〜UXデザインを超えてゆけ〜

しょーてぃー/ Experience & Prompt Designer


ども。しょーてぃーです。
本記事は基礎である、守・破・離の「守〜破」にあたる。

この記事を書いている人

協力者@PM DAO
yipingさん（UX/UI）  /  hasegawaさん（PM Associate）

結論

現代人は忙しいので、結論を最初に書くことにする。




分析精度はかなり高い。



🚸
「UXデザインを超えてゆけ」シリーズ第１話が
100いいねを超えたため、続編を執筆しました。
なおこの記事企画はPVやいいね数をみて
需要がなければすぐやめて、
また一人でAIと山奥にこもる予定です笑
（仮説実行検証！）


はじめに

インタビューは定性調査の一環として重要性を持つ一方で、その分析へは多大なコストと労力が必要となる。本稿では、生成AIを活用したインタビューの定性分析方法の紹介をする。

課題

  1. 定性調査のコストと費用対効果
    定性調査は詳細な情報を提供するが、その分析には時間とリソースが必要である。また、効果が直接的にわかりにくい場合もある。結果として、多くの場合、コストセンターとなりやすい。

  2. 実践スキルの不足と教育機会の限定
    定性調査は一定のスキルと経験を求められるが、それを身につける機会は十分には存在しない。多くの人々が概念や手法を理解しているものの、実践できる人はおそらく少ない。

解決策

  1. インタビューの自動書き起こしによる効率化
    従来、インタビューの書き起こしは多くの時間と労力を必要としていた。しかし、AIを利用すると、インタビューの音声を自動的にテキストへと変換できる。

  2. 長文コンテキストに対応したAIモデルの利用
    これまでの定性分析では、長く複雑な文脈を適切に分析することは困難だった。しかし、GPT-4 8K、Claude 100kといった長文コンテキストにも対応したモデルが登場し自動分析がさらいに容易になった。

  3. 経験を踏まえたプロンプト作成
    これまでの定性調査および、その後の企画やプロダクト改善につながる示唆だし経験から誰でも扱いやすい汎用的なプロンプトを作成し、再現性を高める。



やりかた

ケーススタディ
PM DAOでリリースしているGPTを活用して、アイデアからユーザー仮説を逆解析するプロダクト「Value Discovery」の価値検証や改善のためのインタビューを事例にする。


インタビュー概要：
価値検証・改善点を探索するためにデプスインタビュー調査(45-60min/人)
※インタビュー対象者様からは生成AIを活用した分析に許諾頂いている

条件：
生成結果の評価およびバイアス回避のために以下の条件を定めた
-他のPdMおよびUXデザイナーの2人がインタビューを実施・手作業で分析
-自動分析者の私はインタビュー・分析に参加しない
-自動分析後にインタビューの録画を見返すことは良い


1.インタビューの目的と検証項目をもらう

他メンバーがインタビュー終了させた後、下準備として目的と検証項目を回収する。あえてインタビューには参加せずにさら地でいくのだ。

2.インタビューの自動書き起こしの実行

オンラインで実施したインタビューの録画をAIを使用して音声を自動的に書き起こす。これにより、手作業による書き起こしよりも時間と労力を節約することができる。

発話者ごとに区切ってあげるのが後から見る人に親切だろう

例：
モデレーター：今日はよろしくお願いします。
Aさん：こちらこそ、よろしくお願いします。
…..

この記事に書き起こしのやり方概要を載せている


書き起こした後に校正をするのだが、校正プロンプトにValue Discoveryの概要やインタビュー目的を追加することを忘れずに。


3.汎用プロンプトの作成

AIモデルに対する適切な汎用プロンプトを作成する。プロンプトは分析アプローチや方向性、示唆出しのを指示する役割を果たす。

インタビューごとに異なるプロンプトを作成するのはもったいないので、目的と検証項目を書き換えるだけで毎回つかえるテンプレートをつくるのが賢いだろう。

ここは数百件インタビューをやってきてかつプロンプト・デザイナーを名乗ってしまっているからには自分が頑張るところ。

プロンプトの設計（下準備）：

実際のプロンプト：


すこし手間取り….初めて作るときは20-30分ほど掛かってしまった。


4.自動分析の実施とセルフレビュー


作成したプロンプトを用いてChatGPT-4、Easy-Peasy.AIやClaude 100kによる自動分析を実施し、その結果を確認する。


目的や検証項目と照らし合わせて、私が評価を行いながら、結果の信頼性や解釈の妥当性を内容を知らないなりに頑張る。


5.第三者による評価とフィードバック

今回はプロンプト作成に与えるバイアスを回避するために、あえて私はインタビュー内容を見ずに望んだ。なので自動分析の結果を、チームの第三者の専門家メンバーに評価してもらう

読みにくいかなと思い、抜粋して表にしたり。

ここで、2名のメンバーが手作業でおこなった上位下位分析やユーザー行動フローの結果と照合してもらう。

私が参加していない上位階分析や行動フローの整理

筋は結構良さそうです！（表を見ながらコメントしてます）
上位下位関係分析でヒアリング結果をもとに上位ニーズを整理していましたが、そこに上がっているキーワードと文脈はほぼほぼ網羅できている印象です。(8割〜9割)

 表のUser needs/User Challengesのところにチームに関するペインやニーズがもうちょっと入ったら完璧だったかなと思います。

筋通っていると思います！仮説の精度から外れるんですが、リサーチに参加していないメンバーはこのresultsは発話のどこから抽出されているか知りたいなと思いました。

やっぴー！


さらに、校正した書き起こしに対する反応

そして、頂いたフィードバックからプロンプトを微調整して
再度結果を出力して納品する。

つまり他の関係者の意見を取り入れ、結果の妥当性や洞察の質を向上させるのだ。

テンションがあがったのでインタビューしたユーザーのカスタマージャーニーマップを出力した。

すごい！
確かにStageを指定してあげればうまく流れを整理できそうですね。 あとは、横軸の項目がそれぞれちゃんと出てるのが良い感じ！

また、別のインタビューでは

XXXXXXXX
これいいですね。Value Assessor時代から目指していた価値。要は自信を持ってもらったり、周りから信頼をもらうために、Value Discoveryも存在するという、大きな感情的・社会的ジョブだと思う


おわりに

今回は簡単な分析プロンプトを使って行った。

もちろん高度なプロンプトを使ってさらに深く、そして多角的に分析することで、より人間の分析者が取りこぼしてたことや自身が陥っていたバイアスに気づきを与えることができる。（気が向いたら紹介する）


顧客にインタビューし、分析し、示唆出しをして、モノをつくりあげていくことは非常に大変な営みであり、UXデザインには欠かせない。
引き続き、「UXデザインの民主化」をしていこう。



★noteやTwitterで、「プロンプトデザイン」や「体験デザイン」について発信しています。このnoteが役に立ったらぜひTwitterでシェア、またはサポートいただけると嬉しいです！

★著者のプロフ
ご連絡はTwitter DMまで〜

★協力者@PM DAO
yipingさん（UX/UI）  /  hasegawaさん（PM Associate）



この記事が参加している募集

AIとやってみた

25,156件

いただいたサポートは、記事を書くモチベーションをあげるためのグミの購入に使わせていただきます！