BtoB SaaSの社内ユーザビリティテストからの学び

こんにちは。ストックマークの西村です。 社内でユーザビリティテストを実施した際に学んだことをご紹介します。

ユーザビリティテストとは

対象のユーザーに、実際にプロダクトを触ってもらい、迷わずに使えるかどうかといったユーザビリティの問題を発見し、問題の原因を探し出す、HCD（人間中心設計）の手法のひとつです。

見つかる問題としては、ユーザビリティエンジニアリングの本では３つに分類されています。

・効果問題 ... ユーザーのタスク達成を困難いするような問題
・効率問題 ... ユーザーを戸惑わせたり、無駄な操作を行わせるような問題
・満足度問題 ... ユーザーが不安や不満を口にするような問題

ユーザビリティエンジニアリング(第2版)―ユーザエクスペリエンスのための調査、設計、評価手法―

開発中にユーザーからフィードバックをもらい、改善していく方法として、私たちのチームでは開発プロセスの一部として取り入れています。（毎回開発プロセスに入っているのではなく、大きな変更などで必要と判断した時に実施しています）

社内でユーザビリティテストを行う準備

ペルソナに合致する人をリクルーティングし、テストできるとベストだと思いますが、時間もコストもかかってしまいます。まずはライトに行う方法がないものかと考え、社内のユーザビリティテストを計画しました。

BtoB SaaSのユーザビリティテストを社内で行う場合、ペルソナに合致する業種や職種の人を社内で発見するのはかなり困難です。特定の職種、例えば、新規事業担当者向けのサービスだと、社内でその業務をしている人はごく一部です。また、プロダクトの細部を知っているとタスクを容易に完了できてしまい、テスト対象者としては不適合でしょう。

私たちのチームでは、以下のような基準で被験者を選ぶことにしました。

・プロダクト開発に関わりの薄い人を対象にする
・新しく入社した人を対象にする

入社したばかりのメンバーに被験者になって頂く方法は、良い面もあると思っています。

・プロダクトについて知る時間になる
・開発チームとの対話がプロダクトを中心にして生まれ、関係性の構築に繋がる

特にやってみて思うのは、２つ目の項目です。

開発チームとの対話によって、プロダクトをどのようなメンバーが、何を考えてつくっているのかを伝える場にもなりますし、一度話す機会があることで、その後も話しやすくなるように思います。

タスクをどう設計するか

社内でテストするときに、難しくなるのがタスク設計です。

上の項目で述べたような基準で選出しているため、対象業務に詳しくない被験者も含まれます。

特に、専門的な背景知識が必要になる業務を想定しているプロダクトの場合、背景知識をどう扱いタスクを設計するかで全然違うものになると思います。そこで、あくまでも「背景知識を必要としない作業において発生する問題を発見すること」に目的を絞ることにしました。

・主観的な選択をせまるようなタスクを設計しない
・被験者には、意味を考えなくて良いと伝える
・どうしても知識が必要な場合は、データを用意する

オンラインでテストするときに考えたこと

今回はオンラインで実施することにしました。フルリモートでプロダクト開発をするようになり、チームメンバーもオンラインに慣れてきたという背景もあります。

オフラインの際は、テスト会場を用意し、カメラなどを設置してユーザビリティテストを行っていましたが、オンラインであれば物理的な空間の準備が不要です。

オンラインで難しかったことには以下のようなものがありました。（私たちがまだ良い方法を発見していないだけかもしれないので、アドバイスなど頂けると幸いです...）

・タスクリストを手元に用意してもらうことが難しい
・目線や仕草をとらえにくい

タスクリストを手元に用意してもらうことが難しい

オフライン時には、タスクリストを印刷して渡し、横においてテストしてもらっていましたが、オンラインでは画面上に表示せなばならず、テストの邪魔になります。

モニターが複数ある人なら良いのですが、全ての人がそうではないですし、画面の解像度が低い場合にはほぼ無理でしょう。

これに関しては、タスクの全体感を知ってもらうために、一度リストを眺めてもらい、その後はモデレータがタスク指示を補助しながら進めるようにしました。

目線や仕草をとらえにくい

オンラインではカメラに映る範囲で理解することになります。まず、被験者の方にはカメラをONにして頂き、表情を見せて頂くようにしました。表情を録画するようにし、画面の録画ももちろん行います。そして、記録者を複数人にし、テスト中の様子に注意深く観察するようにしました。

何かよい解決策があるかもしれませんが、現状のところ、上記以外のことは試せていません。

テストの心得

当日のテスト中に重要なことは、オフラインとさほど大きく変わらないと思います。zoomのリンクを正しく共有し、準備した内容でテストします。

なお、テスト中は被験者の方にプレシャーがかからないように、モデレータ以外はカメラをOFFにし、視線を最小限に抑えるなどの工夫をしました。（具体的にそれが効果があったのかは調査できてはいませんが、なるべく少人数になるように心掛け、リラックスして行って頂く目的です）

やりがちだった失敗

初歩的なものから、オンラインならではのもあります。これは徐々に改善していく項目になりますが、事前に参考になればと思い載せておきます。

・タスクの完了条件が曖昧になってしまう（これは、オンラインオフライン関係なく必要なことですが...）
・オンラインだからと詰め込んでしまう（連続する場合は必ず間を開けましょう。チームの振り返りの意味でも...）
・zoomのリンクが正しく共有できていない（事前に確認しましょう。間違えると時間を消費してしまいます）
・オンラインで共有するファイルの参照権限がない（事前に確認しましょう。。）

おわりに

十分にプロダクトをテストするには、適切な被験者（ペルソナに近い）を探し、実施することが求められると思います。

今回のようなテストで見つけ出せる問題は、一般的で非常に深刻な問題（タスクが完了できない、タスクを遠回りしてしまうなど）の発見までかもしれません。

しかし、意見を聞くことで、自分たちが気づきもしなかった発見は毎回ありました。何も収穫がないということはないと思います。社内ユーザビリティテストはライトに実施できるので、ぜひ一度試してみてください。