対面でユーザーテストしてみて気付いた5つのこと
イントロダクション
こんにちは！viviONリサーチチームの鈴木と申します。
今回お伝えするのは、とある自社プロダクトについて対面ユーザーテストを行ったときの話です。
実は私は、今までオンラインでのユーザーテストしか経験がなく、対面での実施は人生で初めて。
オンラインと違うと気づいた点・やってみての反省点を、準備段階と実査段階に分けてお話します。
準備段階で得た2つの気づき
①リクルーティングが大変
今回の調査では、対象者が比較的時間に融通の利きやすい学生さんであったこと・サービス担当者側で対象者のツテがあったことから、リクルーティングにはそこまで苦労はしませんでした。
しかし、平日日中は仕事をしている社会人や、地方在住の方等を対象者にする場合には、
そもそも応募が集まらない
応募が集まったとして、日程や場所の調整が難しい
といった壁を乗り越える必要がありそうです。
②準備することが多い
単純に慣れの問題なのかもしれませんが、オンライン調査時よりも準備することは多かった印象です。
【参考：準備したもの一覧】
対象者のお迎え・お見送りの方法
当日の準備物一覧と準備担当者
会場設営方法と担当者
実査中継モニタリング部屋の確保
まず、ユーザーテスト自体の流れの設計だけでなく、お迎えからお見送りまでを含めた流れの設計が必要でした。
対象者とは誰がどこで待ち合わせをして、どこまで案内するのか。また、その際入社キーの申請等は必要あるのかなどなど…。
一見ユーザーテストには全く関係なく、「よしなに」でやれそうなことではあります。しかし、いざ実査当日になると、会場設営の準備や気持ちの焦りでいっぱいいっぱいになり、事前に決めていなかったことに割く脳みそのリソースがありません。
対象者の方に安心感を感じてもらう意味でも、調査担当者自身が焦りを実査に持ち込まないようにするという意味でも、実査前後の流れまでを想定した準備をしておいてよかったと感じています。
また、会場設営と中継の方法についても事前に準備する必要がありました。
今回の調査では、紆余曲折を経た結果、下記のような中継方法に落ち着きました。
撮影用PCをオブザーブ用のGoogle meetに接続
対象者は撮影用PCを抱え込むようにして持つ
撮影用PCのカメラにプロトタイプ操作用のスマホの画面が映るようにする
この際、撮影用PCやスマホの位置がずれてしまうと、操作画面がカメラに映らなくなってしまいます。
そのため、カメラで映る位置にスマホを固定できるようにテーブルにテープを貼って、この目印を基準にスマホを持ってもらうことにしました。
この方法で実際にやってみた反省点は下記の2つです。
PCを抱えながら、かつ、スマホを固定して持つため、対象者は普段通りの体勢で操作できない
オブザーバーからは対象者の表情や仕草が読み取れない
しかし、総合的な所感としては「いい感じでできた」ため、現状のベストプラクティスな気はしています。
実査段階で得た3つの気づき
主に、オンラインでのユーザーテストと比較して気づいたことについて記載します。
①アイスブレイクがしやすく、本音を引き出せている感がある
オンラインの実査と比べ、身振り手振りの仕草も含めてリアクションが伝わりやすい・タイムラグがないためコミュニケーションの壁を感じないといった理由で、対象者とすぐに打ち解けることができ、比較的本音を引き出せた感覚があります。
また、画面だけでなく表情や指の動きといった付加情報も読み取れるため、「操作自体はスムーズだったが対象者が一瞬戸惑ったポイント」等についても明らかにすることができました。
(ただし、「オンラインの方が対象者は自宅などリラックスした環境で参加できるため、より本音を引き出しやすい」という説もあります)
②隣にファシリがいるので、万一エラーが起こっても安心
今回は、完成されたプロダクトでなく、figmaプロトタイプを用いたテストでした。
入念にプロトタイプは作成したつもりですが、想定していない挙動を対象者が行なってしまったりバグが発生したりしてしまうと、動かなくなってしまいます。
このような際、オンラインだと、ファシリテータが口頭で説明 & 対象者が手元で操作しながら、エラーの原因を特定して解消するまでを行わなければなりません。すぐに実査が再開できない場合もあります。
しかし、オフラインであれば、動かなくなってしまったプロトタイプを直接ファシリテーターが操作し、すぐに元の画面に戻すことができます。
限られた時間を有効活用するためにも、調査の分断を極力最小限にするためにも、挙動が不安定なプロトタイプを使用する場合はファシリテータが隣にいると安心です。
エラー回避のためのTips
また、エラーが起こった際にスムーズに調査に戻れるように、プロトタイプに「開発者用隠しボタン」を仕込みました。
全く想定していない事態に陥っても、とりあえず隠しボタンを押せば復帰できるため、非常に便利でした。
③タスク指示は工夫をしないと伝わりづらい
ユーザーテストでは、対象者に「どんな状況を想定して」「どんな行動をして欲しいか」(タスク)を事前に指示します。
オンラインだと、Google meetやZoomのチャット機能を利用して文章でもタスク指示を行うことができます。特に複雑なタスクを行なう場合には、口頭説明と並行して文章でも送ると対象者に理解してもらいやすいです。しかし、対面だともちろんチャット機能は使えません。
そのため、タスク指示を記載した紙を用意し、口頭での説明と同時にその紙を読んでもらうという設計にしました。
やや複雑なタスクもありましたが、文章を読んで理解してもらうことで、スムーズに進行することができました。
オンラインと対面の比較
ここまで対面ユーザーテストを行なっての気づきをお伝えしてきましたが、最終的な結論として、どんな場合に対面 or オンラインを選択すべきか、所感をまとめます。
オンラインユーザーテストのメリット
会場の設営や対象者への案内といった負担が少なく、手軽に実施できる
場所や時間の融通がきくため、日中は仕事をしている方、地方在住の方等でも実施しやすい
こんな場合はオンライン実施がよさそう
居住地域や仕事の内容にかかわらず、幅広く対象者を募集したい場合
なるべくコストや時間をかけずにテストを実施したい場合
対面ユーザーテストのメリット
発話以外にも、表情や実際に画面を触る指の動き等、読み取れる情報が増える
音声が聞き取りづらい・映像が見づらい等の事象が発生しづらい
まだ挙動が不安定なプロダクト(プロトタイプ等)で想定外の事態が発生しても、ファシリテーターがそばにいるので安心
こんな場合は対面実施がよさそう
対象者が近郊に住んでおり、対面実施でも時間や場所の調整が可能な場合
完成しているサイトやアプリでなく、プロトタイプを用いたテストの場合
対象者のITリテラシーが低いことが想定される場合
最後に
初めての対面ユーザーテストでしたが、実際に行ってみると新しい気づきが盛りだくさんでした。
オンラインの方が調査する側としては楽でとっつきやすいですが、課題発見のためにも、リサーチャーとしての経験のためにも、ぜひ一度対面でのユーザーテストに取り組んでみてはいかがでしょうか。
viviONで一緒にリサーチしませんか？
株式会社viviONでは、秋葉原から世界へ二次元コンテンツを共に盛り上げていく仲間を募集しています。
「オタクってどんな人々か研究したい！」「オタクを幸せにするサービスを考えて提案したい！」などUXリサーチチームの仕事やviviONの社風に興味をお持ちいただけましたら是非お気軽にご応募くださいませ。
