”お客さまとともに価値あるサービスを作り続けるために” ユーザビリティテスト実践

こんにちは。GMOサインのPMM兼カスタマーサクセスをしている松平です。

2022年、GMOサインはデザインリニューアルを予定しています。
フェーズに分けてリニューアルしていきますが、まずは1月に「電子文書の受信・署名をする部分」の改善を予定しています。

UI改善の背景については、こちらの記事を参照ください。↓

ユーザビリティテストの意義

今回のリニューアルにあたって、ユーザビリティテストを実施しました。

「作り手の思い込みや感覚だけではなく、エビデンスに基づいて、より良いサービス作りをしていきたい」からです。

昨今、ユーザーが「使いやすい」と感じること、使っているときの体験の品質が高いこと、を実装するのが当たり前になってきました。さらに、SDGs観点からも地球にとって良いサービスなのか？ 顧客だけではなく従業員も持続可能なサービスなのか？ そんな体験も考えていく時代になってきていると感じます。

さて、私自身は、ユーザビリティテストは、10年ほど前から機会があれば実施してきました。はじめは、色々なサイトや書籍やセミナーなどに参加し、実践を重ねて体系化してきました。もし、これからユーザビリティテストを実施したいと考えている方がいましたら、少しでもお役に立てればと思い、すぐにはじめられるテンプレートも公開したいと思います。

ユーザビリティテストとは

ユーザビリティ評価の目的はプロダクトを改善するために、できる限り多くのユーザビリティ上の問題点を見つけることです。その手法には大きくわけてふたつ、ユーザテストとヒューリスティックテストがあります。

①ユーザテスト
実際のユーザにシステムを使ってもらい、問題を抽出する方法

②ヒューリスティックテスト
専門家が彼らの知識や経験からユーザビリティ上の問題点を抽出するもの

今回は、①の方法を採用しました。

ユーザビリティの定義

そもそも、ユーザビリティって何なんでしょうか？
ISO9241-11におけるユーザビリティの定義はこう書かれています。
「ある製品が、特定のユーザーによって、特定の利用状況において、指定された目標を達成するために用いられる際の、有効さ、効率、ユーザーの満足度の度合い」

そこで、ユーザビリティテストでは、評価者はユーザーがタスクを実行する様子を観察し、

（1）ユーザーはタスクを完遂できたか（有効さ）
（2）効率よく完遂できたか（効率）
（3）不満はなかったか（満足度）

を評価します。

ユーザーが、それぞれのタスクを実行した時に、上記の（1）（2）（3）について、定量的に評価していきます。（どうやって定量化するのは後述します）

ユーザビリティテスト実施人数

ユーザビリティ業界の第一人者であるヤコブ・ニールセン博士が提唱していますが、「5人で85%の課題を発見できる」という、理論を聞いたことがある方もいるかと思います。そして、もっとも明らかな事実は、ユーザーが0人だと得られる洞察もゼロだということ、です。

思考発話法

タスク実行の過程でユーザーが考えていることをその場で発言してもらうユーザビリティテストの方法として主な方法で、「思考発話法（シンキング・アラウド）」を用います。

思考発話法は、UX調査において有効なツールです。主に被験者の思考プロセスを理解するために使われますが、インターフェイスの問題点を明らかにすることもできます。

要は、ユーザーが操作している時に「ぶつぶつ」と独り言を言いながら、使ってもらいます。ここがこのテストの肝です。

操作に夢中になってしまって、なかなか、独り言を言っていただけないケースもありますので、そういう時には運営側から「今、どういうことを考えていますか？」という投げかけをするのも大切な方法だと思います。

ユーザビリティテストの方法

対象、募集、時間、時期、実施方法、実施内容、用意するもの、運営担当などを決めます。

例えば、こんな風に決めます。

・対象：GMOサインの受信・署名を行う方
・募集：顧客のうち、5社にお声かけする
・時間：1回1時間～1時間半程度（平日10:00-20:00）
・実施方法：オンライン上で実施（Zoomまたはmeet）、操作画面と顔を録画する
・実施内容：GMOサインの受信・署名画面の操作。思考発話法でタスク操作を行う。タスク操作の後に、簡単なインタビューを実施する
・用意するもの：ユーザビリティテスト概要、機密保持契約書※、同意書※、謝礼、オンライン会議室、タスク項目、インタビュー項目、メールアドレス
・運営担当：被験者：1名、インタビュアー：1名、記録係：1名

※ 契約書類は事前に、GMOサインで被験者に送付しておくと便利です！

ユーザビリティテストの実践！

前述した、ユーザビリティの定義に則って、タスクごとに3つの項目を評価していきます。ユーザーはタスクをかなり早く操作していくので、ユーザビリティテスト中は、記録係は「○」「△」「☓」を手際良く、エクセル表に記載していきます。

●達成
◯（0）はタスクを完了した場合
△（4）はインタビューアーのヒントを得てタスクを完了した場合
☓（8）はタスクを完了できなかった場合

●効率
◯（0）は想定の操作通りにできた場合
△（3）は多少迷っていた場合
☓（7）は目安時間を超過した場合

●満足
◯（0）は被験者が特に不満を持っていないと思われた場合
△（2）は不満を持っていそうだと思われた場合
☓（5）は不満を露わにしていた場合

●評価
達成・効率・満足を数値化してどの操作（タスク）が問題となっていたかを把握します。数値は一般的な優先順位付けではなく、重要度を測りやすくするため、数値が多いほど問題が大きくなるようにします。
タスクが正常に完了すれば0、最も深刻な問題は20となります。

「ひとり20点×5人＝100点」となるように係数を設定しています。以前は、ひとり12点で設定したのですが、100点にしたほうが評価しやすいというメリットがあると思います。カスタマーサクセスのヘルススコアのように100点満点の方がデータ分析しやすいなと思い、改訂しました。

インタビュー

ユーザビリティテストの後に、1対1のインタビューを合わせて行うことで、ユーザーの潜在的なニーズや期待を引き出します。直前に行ったユーザビリティテストの直感的な行動や発言を、言葉にしてあらためて聞き出していくことで、普段さほど強いこだわりや関わりを自覚していないプロダクトやサービスに対する、ユーザーの心の声に近づいていくことができます。

UIUXの定量化・改善に向けて

ユーザビリティテストの実施後は、結果をレポートしていきます。
タスクごとに5人の点数を、エクセルで集計します。100点満点ですので、点数が大きいほど、問題の深刻度が大きい、ということがいえます。
これを、5人分の総合点として、可視化して表現するとわかりやすいです。

ユーザビリティテストとインタビューで記録した、ユーザーの発言・行動を今一度振り返り、考察します。

問題の深刻度が大きい、点数が高かった事項を中心に、1ページごとにまとめてレポートすると課題が把握しやすいと思います。

・該当のUI画面
・ユーザの発言・行動
・課題・仮説
・解決案

良いユーザビリティテストは、「想定外の気づきがあった」「もともとの検証ポイント以外にもっと知りたいことが出た」など、いかに多くの新しい仮説があったか、が重要だと考えています。

これらのレポート内容を、開発メンバーやデザイナーなどと共有し、改善指針や新規設計のためのコンセプトに落とし込んでいきます。

また、ユーザビリティテストは、ひとりで実施することも可能ですが、できれば仲間を巻き込める体制づくりをすることで、継続的に取り組んでいくことができます。

GMOサインにおいても、引き続きユーザビリティテストを実施して、お客さまとともにより良いプロダクト・サービス作りをしていきたいと思います。