ユーザビリティテストの種類

開発をしているサービスを評価する機会があるかと思いますが、今回は評価にフォーカスを当ててどんな種類があるのか、どういった使われ方をするのかをまとめます。

総括的評価と形成的評価とは？

これまでの人生の中で評価を受けるタイミングは、期末試験、昇格試験など様々な場面で、多くの人が色々な評価を体験してきたかと思います。
そのような評価は評価をやる目的によって「総括的評価」と「形成的評価」に分けることができます。

「総括的評価」は、学んできたものに対して達成度（理解度）を「測る」ことを目的とした評価です。これは学校で行われる中間テスト、期末テストのように、これまで学習してきた授業内容がどのくらい理解できているのか、どのレベルにまで達成できているのかを見るために試験を行い、点数として結果を表します。また点数の平均や、分布図を作成することで客観的に自分がどのレベルにいるのかを見ることができます。

対して「形成的評価」は、点数を測るのではなく、現状を「改善」することを目的とした評価です。現状どのくらい理解できているのか、理解するためにはどうすればいいのかを「フィードバック」します。これは英会話のレッスンを講師と行う際に、ここの発音はこうした方が良いなどを行うことが当てはまります。ここを直した方がいいというフィードバックをもらい、改善することでその人の英会話能力を向上することができます。しかし、その人のレベルを他の人に理解してもらうためには、総括的評価を行い点数を見せる必要があります。

ユーザビリティテストに当てはめると？

サービスの評価を行うユーザビリティテストも先ほどの総括的評価と形成的評価に分けることができます。

総括的評価に当てはまるユーザビリティテストの代表として、「パフォーマンス測定」があげられます。これは複数名のユーザにタスクを与えた状態でサービスを触ってもらい、タスク達成率やタスク完了時間、満足度を測ります。ここで得られる結果としては「タスク達成率：50％」「平均タスク完了時間：5分」「満足度（５段階表じゃ）：3」のように、点数として表すことができます。

対して形成的評価に当てはまるユーザビリティテストの代表として、サービスをユーザに触ってもらう際の「思考発話法」といったことがあげられます。思考発話法は複数名のユーザにサービスを触っている際に、頭の中で考えていることを独り言のように口に出してもらい、そこからフィードバックを得ることです。得られる結果としては、「登録ボタンの近くに戻るボタンがあるので、誤って戻るボタンを押してしまう」のように具体的なフィードバックを得られることができ、どのように改善すべきかが自ずと見えてくるようになります。

総括的評価と形成的評価の原則とは？

総括的評価は設計工程の「前後」で行い、形成的評価は設計工程の「途中で繰り返し」行います。例えば、設計が終わりすぐに開発に取り組める状態で、形成的評価を取り入れてもこのタイミングで今さら修正することなんてできないといったことが発生してしまいます。
そのため評価を始める前に、自分たちは「いまから」設計をやるのか、「途中」なのか、設計が「完了」したのかを客観的に見ることで、どの評価方法を取り入れるべきかが自ずと決まります。

またもう一つ「総括的評価しか行わない評価は、無駄な投資」という大事な原則があります。例えばパフォーマンス測定で結果が悪かったとしても、結果が悪くなってしまった原因はここからは読み取れません。そのため形成的評価も併せて行うことで、具体的にどんな点が悪くて、点数が悪くなってしまったのかが分かります。

終わりに

今回は点数で評価する総括的評価とフィードバックから改善するために評価する形成的評価について記載しました。
次回はユーザビリティテストを「分析的手法」と「実験的手法」の2つに分けて、それぞれの特徴について記載したいと思います。

参考にした書籍

「ユーザビリティエンジニアリング(第2版)」