定性調査＋定量調査で、プロダクトのUI/UXを総合的に評価する

こんにちは、AQUARINGの渡辺です。ディレクターとして、主にサイト制作におけるUXリサーチやそれを基にした情報設計なんかをやっています。

前回に引き続き、「中部国際空港 セントレア」のサイトリニューアルで用いたUXリサーチの手法を紹介します。（↓前回の記事はこちら）

開発プロセスは検証・改善の繰り返し

AQUARINGでは、ユーザビリティテストによって成果物を評価・改善する、アジャイル開発のアプローチを取り入れています。

ユーザビリティテストとは
プロトタイピングやWebサイトをユーザーに利用してもらい、課題を実行する過程を観察することで、問題点を発見する手法。

「中部国際空港 セントレア」のサイトリニューアルでも、公開に至るまでに3回のユーザーテストを行い、検証・改善を繰り返しました。

1回目：ユーザーインタビューによる成功体験シナリオの評価
2回目：プロトタイプを用いたユーザビリティテストによるUI/UX評価
3回目：公開前の画面を用いたユーザビリティテストによるサイト評価

この記事では、定性調査になりがちなユーザビリティテストに、定量的な評価手法を取り入れた、2回目のUI/UX評価についてお話します。

ユーザビリティテストの進め方

最初に、被験者ごとにイメージしやすいテストシナリオを用意。「どういう状況下で、どういった情報を得ようとしているか」を読んで理解してもらいます。（以下、空港サイトで用いたテストシナリオのサンプル）

はじめての海外旅行（アウトバウンド / ビギナー向け）

あなたは大学4回生で就職も決まり、あとは卒業を迎えるだけです。
そんな中、友達と卒業旅行の話が上がり、中部国際空港を利用してタイへ旅行に行くことになりました。
チケットやホテルは友達と一緒に取って、旅の準備も佳境を迎えています。

ただ、はじめての海外旅行のため、前日までにインターネットを利用して、次のことは調べていこうと考えています。

・出発までの手続きの流れ
・荷物の制限（重量や持ち込みNGなモノなど）
・空港内の両替所やWifiレンタルの場所

また、当日のフライト時間が0:30（便名：●●●）と遅いため、空港に向けて出発する時間＋空港までのアクセス方法は事前に調べようと思っています。

被験者には、この「役」になりきってもらい、プロトタイプからタスクを実行してもらいます。テスターはその行動をつぶさに観察。
その後、被験者にインタビューし、テスト時の行動や感情、思考を深掘りしていきます。

定性調査だけじゃダメなの？

ユーザビリティテストの結果、次のような意見（課題）が得られました。

フライト詳細
フライトをブックマークするボタンは目に入ったが、タップ後のアクションがイメージできないのでスルーした。または、すぐに下へスクロールしてボタンにすら気づかない。

駐車場
現在の混雑状況を示すステータスに「混雑」と書かれても、どれぐらい混雑しているかが分からないので判断材料にならない。

レストラン一覧
「お子様メニューあり」などの条件で絞り込み可能なソート機能が、開閉式になっていて気づかない。

上記を含め40を超える課題が出ましたが、被験者ごとの定性的な評価が中心となります。もちろん、これだけでも十分改善に必要なネタは集まります。

ただ、その課題の中から「どの課題を対応すべきか」をプロジェクト内で検討する際に、評価基準を数値化できないため、客観性を保ちにくくなります。そこで、定量調査の手法が役に立ちます。

NEMによる定量的な評価

NEMとは
Novice Expert ratio Methodの略で、ある一定のタスクにおいて、初心者ユーザー（Novice）と開発者（Expert）の操作に要する時間等を比較し、ユーザビリティに問題のある操作ステップを把握する手法です。つまり、制作者とユーザーの間に生まれるギャップが大きい部分に、使いにくさの要因があることを定量的に把握するための評価手法です。

NEMで被験者に実施してもらう内容は、ユーザビリティテストと同じです。
被験者を以下の2タイプで5名ずつ、双方に同じタスクを実行してもらいます。テスト時の様子は動画で記録し、タスク完了までの時間を計測。

初心者ユーザー（Novice）
はじめてプロトタイプを閲覧するユーザー

開発者（Expert）
これまで画面設計やUIデザインを担当したプロジェクトメンバー

テスト終了後、タスクごとに完了までの平均時間を比較。差が大きかった部分にフォーカスして課題を深掘りします。

定性評価では、半分近くがフライト周りの課題だったのに対し、定量評価では、アクセスとレストランのタスク完了時間に倍以上の開きがありました。

NoviceとExpertの比率
・フライト / 自身のフライト情報検索：1.7
・アクセス / 駐車場案内のページ到達：2.86
・レストラン / 店舗一覧の絞り込み　：2.52

課題のプライオリティを決める指標に

このように定量調査も合わせて実施することで、定性調査だけでは発見できない課題を把握することができ、定量的な判断基準も得ることができます。

定性評価
具体的な問題の抽出が可能。対応課題の検討は、複数の被験者から得た課題以外はクライアントや開発者の判断となり、判断基準が主観的に。

定量評価
数値化できるため、誰が見ても同じ評価になり、客観性を保ちやすい。反面、数値化できる範囲に限界があり、具体的な問題の抽出は難しい。

抜け漏れなくUI/UX評価をするにあたっては、定性評価と定量評価を組み合わせて、総合的に評価することベターだと考えています。

最後に、評価・改善を経てどのように画面が変化したか、その一部を紹介。

定量調査をアドオンしても、通常のユーザビリティテストに、Expertの被験者を加えて比較するだけなので、導入コストもそんなに高くないと思います。ぜひ、みなさんのプロジェクトでも取り入れてみてください。