見出し画像

ユーザーリサーチの「7つの大罪」

UX note

　ユーザーリサーチで犯してはならない「７つの大罪」とは何か？以下では、David Travisの主張を概観する。 Travisは、MicrosoftやHP、SkypeやYahooといった錚々たる顔ぶれの企業に対してユーザビリティサポート提供実績を有するユーザーリサーチのエキスパートであり、Udemyで44,000人を超える受講生を抱え、自身は実験心理学(Experimental Psychology)のPhDを持つ。また、近著として『Think Like a UX Researcher』を2019年に出版している。


1.軽信Credulity

　ユーザーリサーチにおける第一の罪は「軽信」である。「軽信」とは、「適切な根拠もなく、何かを信じたがる態度」を意味する。例えば、ユーザビリティテストやインタビューで、ユーザーに対して「３つのデザインのうち、どれが一番好きですか？」と直接質問し、その回答を額面通りに信じてしまうのがこれに該当する。Travisが挙げているRichard NisbettとTimothy Wilsonが行った心理学の実験では、同一の品質のストッキングを4つ用意し、被験者にどれが一番高品質かを尋ねたところ、40%の人々が一番右側のストッキングを選択する結果が観察された。それゆえ、ユーザーリサーチにおいて重要なのは、人々が何を言ったかではなく、どのような行動を行ったかの観察(observe)である。

人々が欲するものを発見するための第一のルール：人々に何が欲しいかを尋ねるな。
the first rule of finding out what people want is: Don't ask people what they want.

　例えば、「どの画面が一番使いやすかったか？」「どんな機能が欲しいか？」「このサービスを利用してみたいか？」「このサービスに〇〇の料金を払う気はあるか？」などと尋ねるのは、典型的な悪いユーザーリサーチだ。基本的に、ユーザーは自身のニーズの言語化が不得手なだけでなく、将来における自らの行動（サービスを実際に利用するかetc.）を正確に予測できない。加えて、彼らはあなたの気分を害さないように配慮して、当たり障りのない回答をするだろう。したがって、ユーザーの発する表面的な言葉に振り回されてはならない。

　これに対して、Travisは良いユーザーリサーチを以下のように定義する。

私の定義では、「成功するユーザーリサーチ調査」とは、我々にユーザーのニーズに対して、アクション可能かつ検証可能な洞察をもたらすリサーチである」
"My definition of a successful user research study is one that give us actionable and testable insights into users' needs."
―David Travis

　繰り返すが、良いユーザーリサーチに必要なのは、ユーザーの「行動」に対するフォーカスである。

あなたのユーザーの未来の行動を予測するための最良の指標は、彼らの過去の行動である。
"the best predictor of your users' future behavior is their past behavior"
―David Travis　

　例えば、あなたが何かの課題を解決するためのソリューションを提供したい場合、ユーザーのニーズが生じるコンテクストを踏まえたリサーチのために、彼らが実際に活動（業務等）を行っている現場で、過去（現在）の行動を実演してもらうなどして以下のような問いを検証する必要があるだろう。

・ユーザーが過去にその課題に対してどういう行動をとったか
→解決しようとしていない場合、その理由は何か？
（例：軽微な問題にすぎない、解決のコストが高いと思っているetc.）

・ユーザーが現状どのようにその課題を扱っているか
→ワークフロー、使用されているシステム、関与しているアクターetc.
（例：ユーザー自身が気づかずに行っているプロセスの中に非効率な点はないか、現状のシステムが解決しきれていない問題は何か？etc.）

　良いユーザーリサーチ、悪いリサーチを実施するかによって、その結果得られる洞察の価値は大きく異なる。最後にTravisが言及する、Rob Fitzpatrickの言を引用しておこう。

顧客との会話から学ぼうとするのは、繊細な遺跡の発掘に似ている。真実はどこかにあるだが、それは脆い。シャベルで掘り進めるたびに真実に近づいて行くのだが、あなたがあまりにもそれを雑に使えば、無数の粉々の破片に砕け散ってしまう。
"Trying to learn from customer conversations is like excavating a delicate archaeological site. The truth is down there somewhere, but it's fragile. While each blow with your shovel gets you closer to the truth, you're liable to smash it into a million little pieces if you use too blunt an instrument."
―Rob Fitzpatrick（「The Mom Test」Introductionより）

2.教条主義Dogmatism

　第二の大罪である「教条主義」とは、「証拠や他者の意見を考慮せずに、ある原則が疑う余地なく真であるとみなす傾向」を指す。Travisによれば、ユーザーリサーチの文脈において特定のリサーチ手法（例：量的調査）のみが正しい方法論だと主張し、それ以外の方法（例：質的調査）の妥当性を認めない態度がこれにあたる。しかし、諸リサーチ手法は固有の役割があるため、それぞれを組み合わせたユーザーリサーチが必要であり、特定の方法論を信奉する教条主義は一面的なリサーチ結果しかもたらさない。例えば、大規模なサーヴェイを実施したからといって、小規模のサンプルを対象として実施される、エスノグラフィーなどの入念なリサーチが不要になるわけではない。
　また、軽信の箇所で挙げたように、誤った質問に基づいてサーヴェイを行っても意味がなく、サンプルサイズの多寡自体は「アクション可能かつ検証可能な洞察」をもたらすかという「良いユーザーリサーチ」の観点からは決定的な要因ではない。

質的データは、人々が何を行っているかを我々に教えてくれる。質的データは、人々がなぜそれを行っているかを我々に教えてくれる。
"Quantitative data tells us what people are doing. Qualitative data tells us why people are doing it."
―David Travis

　Travisは、映画の撮影の際のアングルを例として、こうした論点を説明している。大規模なサーヴェイといった量的調査は、いわば被写体の遠景を撮影する広角レンズによるものであり、全体像の把握には有意である反面、個々の被写体のディテールを描写してはくれない。そこで、クローズアップでの撮影、すなわち質的調査の導入が要求される。なお、様々なリサーチ手法の位置付けは、冒頭に掲載したTravisのスライドの13ページに掲載されている。

3.バイアスBias

　第三の罪はバイアスである。バイアスとは、「特に不当と考えられる方法で、人の思考を偏向させる特別な影響力」を指す。Travisは、「ユーザーリサーチとはバイアスとの絶え間ない戦いである」と表現し、以下の３種類のバイアスを例示する。

(1)サンプルリングバイアスSampling Bias
例：特定の対象に偏ったサンプリング。（例：知り合いばかりを選ぶ）

(2)方法バイアスMethod Bias
例：特定の方法論に偏ったリサーチ。（例：量的調査しか実施しない）

(3)反応バイアスResponse Bias
例：誤った質問によるリサーチ。（例：誘導質問）

　これらのバイアスは、サンプリングやリサーチ手法の偏りを減らし、オープンクエスチョンをインタビューの際に組み合わせるなどして、比較的克服可能しやすい一方で、Travisはより深刻なバイアスの存在を指摘している。それは、プロダクトがユーザーに必要とされていない事実を、上司などに伝えずに隠蔽したいというバイアスだ。無論、こうしたリサーチ結果は多大な時間やコストを投じた開発者にとっては不都合な事実である。　　
　しかし、UXリサーチャーの責務は上司や経営者にとって都合の良いリサーチ結果を届けるのではなく、可能な限り客観的な事実（fact）の提供である。『Think Like a UX Researcher』の中でTravisは、UXリサーチャーの仕事をシャーロックホームズのような探偵と類比している。つまり、探偵が証拠を集めて事件を解決するように、UXリサーチャーはユーザーインサイトという証拠を集めてユーザーのニーズを特定を目指す。探偵は客観的な事実にのみ基づいて推理すべきであって、「自分の家族が犯人なはずはない」「彼女が犯人に違いない」「クライアントにとっては彼が犯人だった方が都合が良い」といった根拠のないバイアスがあってはならない。UXリサーチャーも同様にバイアスを排さなければならない。

4.蒙昧主義Obscurantism

　第４の大罪、「蒙昧主義」とは「自身が知っている事実の全容を意図的に隠すこと」である。例えば、ユーザーリサーチャーが調査した結果をチームと共有せずに、自身の頭の中にだけに留めておく状態は蒙昧主義の罪を犯している。蒙昧主義のユーザーリサーチャーは、確かにリサーチを通じてユーザーに関する知識を学んでいるのだが、これはCaroline Jarrettの「ユーザーリサーチャーの誤謬」に陥っているとTravisは論じる。

ユーザーリサーチャーの誤謬：「私の仕事はユーザーについて学ぶことだ」
真実：「私の仕事はチームがユーザーについて学ぶのを助けることだ」
(Caroline Jarrett)

　Jarrettに従うと、ユーザーリサーチャーの職務は単にユーザーについて自分が詳しくなるだけでは不十分であり、リサーチで得られた知見をチーム内で上手く共有できて初めて達成されるものだ。
　蒙昧主義の罪を避けるには、チームメンバーがユーザーと接する時間を増やす直接的な方法もある。Travisは、「リアルなユーザーに接する時間が長いチームほど、効率的に開発を進める傾向がある」というJared M. Spoolの研究を挙げ、その利点を説く。ユーザーと接する時間は、「露出時間Exposure hours」と呼ばれ、露出時間のミニマムが6週間ごとに2時間を超えると良い結果がもたらされ、より長い露出時間を確保するほどデザインUXの向上が見られると報告されている。

5.怠惰Laziness

　５番目の罪である「怠惰」とは、「努力を出し惜しみすること」である。Travisは、自身のクライアントから「以前のプロジェクトで作成したペルソナを別のプロジェクトで使い回してよいか？」と聞かれた経験を数多く持つ。しかし、これはユーザーリサーチの目的を根本的に見誤っている。リサーチの目的はユーザーニーズの調査であって、ペルソナの構築が自己目的化してはならない。ユーザーからの学びの結果からペルソナが生まれるのであって、その逆ではない。ペルソナの再利用は、ユーザーからの学習を含まないため、「構築―測定―学習Build-Measure-Learn」のサイクルでユーザー中心的なデザインを目指す、反復的デザインのプロセスを逸脱する。以上の理由から、ユーザー中心設計にとってペルソナは重要ではないとTravisは主張している。

6.曖昧さVagueness

　６つ目の大罪である「曖昧さ」は、「ある事柄を明確・明示的に述べなかったり、表現しないこと」を意味する。例えば、ユーザーインタビューの際に、複数の論点が含まれた焦点の定まらない質問をしてしまうケースなどは、この曖昧さの罪を犯している。曖昧さの罪は、部分的には前述の怠惰の罪にも起因するとされる。
　曖昧さの罪に陥らないためにTravisが推奨するのは、ポストイットのサイズに収まるように、チームメンバーも巻き込んで質問を個別に書き出す手法である。この際、「ユーザーがどんな質問にも誠実に回答くれると想定するならば、どんな質問をすべきか？」という観点から、質問を考えると良い。最終的にポストイット上にアウトプットされた質問をAffinity Sort(グループ毎にまとめる)し、最も緊急性の高い質問に投票する。これにより、曖昧さを除去した明瞭な質問リストが作成できる。

7.傲慢Hubris

　最後の罪、傲慢とは「極度のプライドや自信」を指す。Travisによれば、リサーチの結果をまとめたレポートをリサーチャーが作成する際に、この傲慢の罪が表出する。中でも、最もこの罪を犯しやすいのがPhD（博士号）持ちのリサーチャーだとされる（Travis自身も含まれる）。彼らは、アカデミズムにおいて長大な論文を執筆する専門的訓練を受けているがゆえに、ユーザー調査のレポートも同様に、グラフや引用といった情報を過度に詰め込んだ詳細なレポートを作成する傾向にあるとTravisは指摘する。
　しかし、「ユーザーリサーチャーの誤謬」で確認したように、リサーチャーの任務は「チームがユーザーについて学ぶのを助けること」である。不必要に長いレポートは、その完成に無駄な時間を要すだけでなく、最終的に誰にも読まれない。このように、傲慢の罪はユーザーリサーチの目的を阻害する。重要なのは、要点をおさえたレポートのスピーディーな共有だ。

おわりに

　以上が、Travisによるユーザーリサーチにおける７つの大罪である。これらの大罪に注意を払えば、少なくとも「悪いユーザーリサーチ」に陥るリスクは軽減できるはずだ。７つの大罪については、『Think Like a UX Researcher』の冒頭でも触れられているため、関心のある方はご参照いただければと思う。

*本稿では、「ユーザーリサーチ（ユーザーリサーチャー）」と「UXリサーチ（UXリサーチャー）」を相互互換的に用いている。


いただいたサポートで次の記事を書きます。