初めてのユーザビリティテストで失敗した４つのこと（＆対処法＆参考になった資料）
最近はユーザビリティテスト（UT）をファシリティする機会をもらった。ユーザーと対話する機会がありすごく楽しみと感じつつ、すごく緊張していました。
💪「いや、緊張は無駄だ！備えあれば憂いなしっていうんじゃないですか！」
初めてのUTを準備するために、スクリプトを書いたり、チュートリアルを見たり、先輩たちのUT映像を見学したりをしていました。
「もうUTマスターになりました（？）！ユーザビリティも難しくなさそうね！」とUTの前日にやと自信をつきました。
しかしUTの結果、タイトルでご覧の通りでした。
なので、自分のUT失敗談から４つのミスとその改善策をまとめてみました。参考になれば幸いです。
失敗した点その❶ 時間管理を意識していない
実験のように、UTも必ず実験の目的が事前に決められている。検証したいことを軸にし、実験を設計するのは一般的です。
しかし、実際にユーザーと対話すると、UTの目的と逸れた気になる話題が必ずインタビューで出てくる。
「この機能はこう使っているのだ！」、「このユーザーフローはやはり直感的ではないか」とか、全部深掘りできそうな情報ばっかりでした。
けど、気になったことを聞いたら、時間がオーバーになってしまって、肝心のテストは途中で終わっちゃいました。
特に30分間のUTは、かなり時間のコントロールを的確にやらないと、テストが終わられない可能性が高いので、初心者は最初に1時間を取って、プロセスやファシリティの感覚を掴めたから、時間を短くにした方がいいかもしれません。
【次はこうしたほうがいい】
→UTの目的をしっかり把握し、最初はそれをやり遂げることが大事。
事前インタビューとかの時に、気になったことがあっても、最後に時間があれば聞いたほうが無難。
失敗した点その❷ クローズド・クエスチョン・誘導的な質問をしてしまう
これは本とかチュートリアルで何度も言及されたことなんですが、いざ自分がファシリティをする時に犯してしまいました。
特にデザイナーが実験の目的をもとにUTを行った際に、自分が検証したいことを意識しすぎちゃうと、ついクローズド・クエスチョンや誘導的な質問をしてしまうと痛感しました。
例えばタスクをやってもらった後のインタビューで、 「操作した後の動作は、予想と同じだったか？」を質問すると、相手は「はい」、「いいえ」しか答えられないので、それ以上の情報が得られないし、場合によって誘導的な質問になる可能性もあります。
「操作した後の動作は、予想と同じだったか？」→「操作した前に、どんな挙動を予想したですか？」「操作してみて、どんなことを思いましたか？」「そのボタンを見ましたか？」→「この画面に何か気になったことがありますか？」「この機能、使いやすいと思いましたか？」
→「この機能、使いやすい、使いにくい点があればお願いします。」
【次はこうしたほうがいい】
1. 「5W1H」を使った質問をする
2. 事前にシチュエーションを想定して、質問をなるべく事前にリストで書き出す
3. たくさんの練習するしかない（笑）
失敗した点その❸ 相手が予想外の行動をしてしまうと焦っちゃう
「完成度の高いFIgmaのプロトを用意しました！」と自信満々だった。
しかし、プロトはあくまで紙芝居。特にインタラクションが複雑なプロトは、実際の製品のように自由に動くのが極めて難しい。受験者が一歩間違って、他のフレーム（画面）に行ってしまったら、想定した機能が使えなくなちゃっていることもある。
受験者はデザインのプロではないので、プロトと実際のプロダクトの違いがわかりません。「なぜここをクリックしたら、何もクリックできなくなった？」と焦る受験者もいた。
受験者を正しいページに導きたいだとしても、前回と全く一緒な操作をする可能性がある。こういった指示のサイクルが繰り返してしまうと、受験者が困惑になってしまう。
【次はこうしたほうがいい】
→相手の操作意図を聞く：「今はどんな操作を行おうとしていますか？」と相手から操作の意図を聞く。
→操作の意図を聞いた上で、プロトの制限を説明し、正しい道に誘導してあげる
失敗した点その❹ 受験者が使う単語を注意していない
例えば、新設したヘルプ機能のUTを行っています。
相手が「このアイコンがありましたね」と言ったら、「そのアイコン」という言葉で返すべき。「ヘルプアイコン」で返事しちゃうと、相手がまだ認知していない情報でネタバレになり、テストの妨害になってしまいます。
一見みると当たり前のことなんですが、外人の自分にとってハードル高いなとも感じました。相手の言葉を理解しようとするのが精一杯だったので、いざ自分から質問しようとする時に、「さっきはどんな言葉を使ったっけ…？」とうっかり忘れることが多かった。
【次はこうしたほうがいい】
→なるべく受験者が使う言葉を覚える。忘れた時でも、「そのアイコン」、「さっき言っていただいたところ」とか、曖昧な言葉を使った方が、ネタバレを防止することができる
その他の学び
受験者の「あ、これか！」といった気づきの瞬間はとても大事。→「何を発見したか」、「いつ気づいたですか？」とかのことをもっと詳しく聞くいいチャンスになる。
基本的にテストを邪魔しないように受験者の質問を答えない方がいいが、答えていいところは答えてあげても大丈夫です。関係ないことに無駄の悩む時間もあるから。しかし、そこの判断基準が難しいから、UTの数を重ねて、経験で判断しかない。初心者の自分はとりあえず「話さない」、「オウム返し」でやっていこうかなと思います。
UTは、時間をかけて練習することが必要
I guess just that, you know, this（※interview） is a craft and when I say the interviews are a craft, it's a skill that takes a lot of time to refine. And even now as someone who teaches these courses, I still catch myself making these occasional mistakes.
So my, I guess my one. Piece of advice would be, you know, don't sweat it, just practice what you can learn, what you can and iteratively improve.
UTはデザインスキルのように、時間をかけて練習する必要がある。
タイトルに「失敗した」と書いたのですが、失敗するのが当然であり、失敗することは悪い、いけないとかは１ミリも思っていない。
これからもたくさんのUTを行い、たくさん失敗し、そして上達になりたいと思っています。
UT初心者に役に立つリソース
失敗したと言いつつ、以下のリソースはすごく参考になったので、UT初心者におすすめします！
この記事が気に入ったらサポートをしてみませんか？