見出し画像
Photo by kasumim

思考発話法でUXリサーチをしてみた話

manamin

Lancers（ランサーズ） Advent Calendar 2020 の23日目を担当します@manamin0521m です。(調子に乗って今年3回書くことにしたら結構大変でした。)

UXリサーチに参加したきっかけ

TwitterでHCD専門家のchachakiさんにたまたまお声がけいただいたことにより、突如運営することになったクローズドのHCD勉強会に、当時同じチームのデザイナーさんだった@hiroyanumataさん(現在は転職されています)をお誘いしたことがきっかけで、社内でUXリサーチをやる際にお声がけをしていただきました。

普段はエンジニアなのでなかなかそういう機会がないのですが、実践する機会があり嬉しかったです。

リサーチの概略

使った方法
思考発話法 ユーザーテスト(ユーザビリティテスト)

被験者
社員・インターン生 計4名

リサーチ時間
1人あたり1時間

リサーチャー
インタビュアー1名 書記1名

録画
表情や操作の様子などを三脚を立ててビデオ撮影 + 画面収録

分析
効果、効率、満足度の項目においてインパクト分析

被験者は以下の4名です。社内メンバーの中でそれぞれの条件に合致した方々に許可をいただいた上で一人1時間ほどお時間をいただき、一人ずつユーザーテストをさせていただきました。

1、発注側・初心者
2、発注側・熟練者
3、受注側・初心者
4、受注側・熟練者

※なお弊社は、仕事を発注したい企業と仕事を受注したい個人をオンラインでマッチングするサービスを運営しています。

初心者役は弊社サービスを使ったことがない新しく入った社内メンバーの方に、熟練者役は業務や副業でヘビーユーズしている社内メンバーの方にお願いしました。まずは社内の人で試すというのがハードルが低く、オススメです。

ユーザーテスト


ユーザビリティテストでは、5人のユーザーでユーザビリティ問題の約85%を発見できることが明らかになっています（Nielsen and Landauer, 1993）。ユーザビリティを向上させるには、一度に何十人に協力してもらってテストするよりも、5人程度の小規模なユーザビリティテストを繰り返したほうが効果があります

引用: https://u-site.jp/usability/evaluation/usability-test/

思考発話法について

リサーチの内容については任せていただいたので、勉強会で初心者が一番試しやすいとオススメしていただいたユーザーテストを行い、ユーザビリティエンジニアリングの8章にある思考発話法を使いました。

この方法は、考えていることを逐一話しながらサービスを操作してもらう方法です。発話からユーザーがサービスのどの部分に注目して、それをどのように解釈して、どんな行動を取ったのか詳細に知ることができます。

この方法ではユーザーの言動から以下の3点に着目します。

1、ユーザーが独力でタスクを完了できるか(効果)
2、無駄な操作を行っていたり、戸惑っていたりしないか(効率)
3、不満があったか(満足度)

※国際規格ISO9241において、ユーザビリティは以下と定義されています。

特定のコンテキストにおいて、特定のユーザによって、ある製品が、特定の目標を達成するために用いられる際の、効果、効率、ユーザの満足度の度合い

ユーザビリティというと効率や満足度のイメージがあるかと思いますが、「使えない」という効果問題が最も深刻です。

準備の方法

タスクシート
忙しい中時間を作っていただいた被験者の方のためにも、ユーザーテストは準備が肝心です。そのため、タスクシートを使って、テストで被験者に行ってもらうタスクの設計と、想定する行動として仮説の設計を行いました。

ユーザーテストについて調べている中で下記記事を発見し、タスクシートについてこちらの記事をかなり参考にさせていただきました。ありがとうございます！

なお実際のタスクシートはこんな感じでした。

タスクシート

タスクの達成時間はタスクごとの効率問題の測定に使えるので記録しておいた方が良いです。また、ユーザーの発言とヒアリングの違いですが、ユーザーの発言は操作時の発言、ヒアリングは操作後に回顧法という方法で聞いたことを記録していました。満足度の推測が思考発話法だけでは難しく感じたので、回顧法では満足度に当たる部分を中心に質問するようにしていました。

※回顧法: 操作が終わってから質問すること。途中で操作に関するヒントを与えてしまうことがない

パイロットテスト
また操作中に不具合がないよう、あらかじめリサーチャーの二人でユーザーテストのシュミレーション(＝パイロットテスト)をしました。ビデオを設置する際に結構手間取ったり、インタビューの仕方に改善点が見つかったりなど、事前に試してみることで発見することが多くあり、ユーザーテスト当日もスムーズにできたので、必ずパイロットテストをして欲しいです。

ユーザーテストのポイント

思考発話法での注意点
下記記事を参考に以下を実践していました

・ユーザーが「～できるんですか？」と聞いてきたら「どう思います？」と逆に聞き返す。
・ユーザーが思考発話でひとりごとを発している時には、「そうなんですね」とオウム返しをしてあげる。
・ユーザーが少し戸惑っていたら、「どうしました？」と聞く。
・ユーザーが操作を中断してしばらく経ったら、「～あたりに何かないですか？」とヒントを伝える。

どのくらい補助をするのか、というのが結構難しかったです。

タスクシートへのメモ
「え〜と」や「あっ」などといった、意識しないで発言したことや表情の方が自然な情報のため、参考になると勉強会で学んだので、発言したことをほぼ全て記録するようにしていました。あとで見返しても、悩んでいるタイミングや発見したタイミングなどがわかりやすくてよかったです。

タスクの伝え方
被験者が自主的にで実行しようとしていた条件ではないために、何をすればいいか忘れがちでした。そのためタスクの前提条件は紙に書いて、いつでも参照できるように横に置いておくようにしました。

インパクト分析

インタビュー後はタスクシートを見ながらユーザーの発言を抽象化して抽出しました。そして似たものはグルーピングした上で、まずは効果・効率・満足度の3要素に分けて分類し、次にそれらの発生頻度ごとに5段階に分けて並べました。

インパクト分析

なお上記の優先度としては下記となります

インパクト分析

「樽本徹也. ユーザビリティエンジニアリング（第2版）chapter 11 ➂データの分析」より引用

思ったこと・学んだこと

全然仮説と違う
あらかじめ仮説を書いていたのでよりわかりやすかったのですが、初心者の方は想定していた部分と違う部分で詰まっていたり、意外な点を疑問に思っていたりしました。自分自身がすでにサービスに慣れてしまっていたので、初めて触った時の感覚を忘れていたことに驚愕しました。

また熟練者の方は想定していなかったところで強いストレスを感じていたり、サービスを使い込んでる分自己流にハックして使っている機能などもあり、初心者の方で発見したこととはまた違った点で発見がありました。

施策の前段階で課題に携われる
実装終わった後のブラッシュアップ等でユーザー目線から案出しをするようにはしてたものの、どうしても優先度が下がりがちなので、広くユーザーのユーザービリティ面の課題解決に施策の前段階から関わる機会があったのは貴重な経験でした。

インタビュー時もっと表情を見ればよかった
手元や画面を見てしまいがちでもっと表情などを見ればよかった！と後から思いました。そういう時は撮ったビデオを見返すという方法もあるのでビデオを撮ることをオススメするのですが、後からビデオを見返すのも結構時間がかかりますし、適切なタイミングで適切な質問をする上でもう少し表情を見ておくとよかったなと思います。(表情はタスクシートにメモしていなかったので)

終わりに

現在、インパクト分析をもとに優先度が最も高かった課題の施策チームに所属しています。開発しながらユーザーテスト時にユーザーさんが詰まってた様子が浮かぶとモチベーションが上がるかと思います。よりユーザーさんにとって使いやすいサービスになると嬉しいです。

追記

インパクト分析の最も優先度が高いゾーンにあった課題を解決する施策をリリースしました！

またこちらの記事を下記のマガジンに追加していただきました。わーい！


サポートは書籍や勉強会参加費に活用させていただきます。学んできたことを記事にしたいと思います！