生成AIはリサーチの現場で活用できるのか？
自己紹介
こんにちは。私はGO株式会社でタクシーアプリ『GO』のユーザーリサーチを担当している井立と申します。現在、プロダクトマネジメント本部データインテリジェンス部に所属し、マーケットリサーチ、UXリサーチを担当しています。
定量調査・定性調査を組み合わせながら、プロダクト改善や顧客戦略策定を支援をするのが主な業務です。
生成AIはリサーチの現場で活用できるのか？
GO株式会社では、業務効率改善のための生成AIの活用を推進しています。リサーチャーとしても気になるキーワード。
普段は比較的アナログな手法（アンケート調査とかインタビューなど）を駆使しているのですが、生成AIで業務の効率化を果たせないかを模索したので、記事にしたいと思います。
業務における課題感
アンケート調査に参加する際、最後の方に「◯◯について、ご意見・ご要望などをご自由にお書きください（以降「自由記述欄」と呼ぶ）」みたいなものを見かけたことはありますか？
自由記述欄は、アンケート回答者からの愛と期待が詰まった宝の山。
その一方で、自然言語で記述かつ大量なために有効活用するには多くのリソースとエネルギーを要します。
これらを整理する際、読み落としがないか、偏った解釈になっていないかなど客観的な視点が必要なのですが、これはレビュアーにとっても負担が高い工程です。
このような膨大な自然言語の情報処理は、生成AIが得意とするところ、という表面的な理解はあったのですが、一方で、要約結果をそのまま鵜呑みにして良いのだろうか？という疑問がありました。
そのような背景から、生成AIの活用に熱視線を送りつつも二の足を踏んでいたのですが、社内のIT戦略部が生成AIによる業務効率化を推進しており、手軽に「Dify.AI」を活用できる環境を用意してくれたので、活用してみました。
ちなみに弊社の敏腕プロダクトデザイナーも、業務で生成AIを活用しているそうです。
やったこと
①従来どおり人力による分析
②生成AIによる分析
これらの結果を比較し、実務に落とし込む時のポイントを考察しました。
①人力による分析
上記の写真のように、コメントを手作業で分類、整理、構造化し、アンケート集計で検知した課題に関連しそうな要素を抽出し、メンバー間でディスカッションをしました。
思えばコロナ禍の最中は、このように顔を突き合わせてデータの読み取りをすることも困難でした。
手間はかかりますが、手作業で分類・読み取りをするのも、また良いものだなと思いました。
余談ですが、"GOEN"という社内交流の支援制度を利用すると費用の補助が出るため、美味しいお弁当も食べることができました。
②生成AIによる分析
IT戦略部が用意してくれた環境（Dify.AI）にデータを投入し、いくつかのプロンプトを試しました。具体的なプロンプトは以下のようなイメージです。
アンケート回答者のコメントを共有するので要約してください。コメントを共有します。
（以下、アンケートローデータ（csvファイル等）から、自由記述欄のコメント部分のみコピペします）
この時点でいくつかの要素に整理してくれたのですが、箇条書きの域を出なかったため、次のように投げてみました。
アンケート回答者のコメントを「ポジティブ/ネガティブ」に分類してください
↓
ご意見と回答者の感情が紐づいたので、わかりやすくなってきました。
ここから、もう少し掘り下げていきます。
ネガティブな意見の中でも「ユーザーのストレスの原因となる箇所」について、要素をピックアップしてください
↓
目的意識を持って命令すると、的を得た答えが戻ってくる、という印象です。
構造化されているので読み取りやすいのも魅力です。
実は人力で分析した時も同じ観点で深堀りをしたのですが、その時の結果とも一致しており、要約力は高いと思いました。
メリデメ比較
「人力で分析」をするときのメリデメは以下の通りです※あくまでも個人の意見です
メリット
メンバー間で意見交換しながら整理・要約したので、深い腹落ち感を得ることができた
ディスカッションをしながら項目間のつながりを整理する事で、本質的なニーズや課題を理解できた
デメリット
単純に時間がかかる。データの読み取りと同じくらい、事前の準備はなかなかの手間がかかる
事前処理観点
データ分割の手間が大きい。1つのセル（コメント）に複数の要素があると後々処理しづらいため、事前に分解しておく必要がある
例
-◯◯ボタンが見づらいので大きくするなど改善してほしい。あと、◎◎の機能はあまり使わないので不要だと思う。
↓
-◯◯ボタンが見づらいので大きくするなど改善してほしい。
-◎◎の機能はあまり使わないので不要だと思う。
ロジ観点
手作業で分類するため、印刷し、カットし、ミーティングルームを用意して、、などロジの対応が必要（平成時代には当たり前にやっていたことではあるが、、、）
「生成AI」による分析のメリデメもまとめました。
メリット
インプット→アウトプットまで、圧倒的に早い
データクリーニングが不要（個人情報等の削除は必須）
数多の事例を元に程よい抽象度に昇華してくれ、非常に効率的に言語化できる
言語化力が高い
人力で行う際、言語化（抽象度の設定や、適切なワーディング）に頭を悩ますことが多いので、非常に助かる。
分析担当の語彙力・表現力に依存せずに、均一な要約・言語化できる
「言語化しろ」と簡単に言いますけどね。具体と抽象を行き来して、適切な語呂感も検証して、60%以上が「そうそうそう！そういうこと！」と納得して貰える、それが言語化なんだ。
— 松本健太郎 (@matsuken0716) March 13, 2024
（超超それな！と思ったのでご紹介）
デメリット（というか課題？）
要約結果が一方的に与えられるので、腹落ち感を感じにくい
与えたデータ以上のものは引き出せない。
コメント内容の抽象度を引き上げ、そこから本質的な課題やニーズを解釈してあげる事はできない。
補足：依頼内容と期待値設定は必須
今回は実務に落とし込めるかどうかの考察が目的だったため、生成AIで分析する手前に人力でデータ分析を行っています。
この工程があったので、生成AIお願いしたい作業範囲と期待値の設定ができたのだと思います。
もし、この工程をすっとばして自由回答データをいきなり分析させていたら迷走していたように感じます。
まとめ
以下、私なりの解釈です。いくつかのポイントを押さえた上で、目的を明確にして活用するのが利用価値が高いと感じました。
押さえるポイント
データの基礎集計や事前チェックを行い、AIに何の作業をお任せしたいのか明確にしておく
何を「問」とすべきかは、人間にしかわからない
要約させたいのか、具体的事例をピックアップさせたいのか決める
作業させたい内容を意識してプロンプトを作る
活用方法
顕在化している課題について要約させたり、具体例を抽出させる
人力で分析した時のヌケモレチェックとして使う
報告書を作成する際、語彙力・表現力を一定レベルに保つために使う
最後に
GO株式会社では、一緒に働く仲間を募集しています。
ユーザーの声を聴きながら移動の未来をつくってみませんか？