論文：ユーザビリティ評価方法の実践的拡張及び適用
こちらです。JaSST2013の論文ですね。NEMを拡張して、適用しました、という話だと理解しました。
まとめると、
・専門家が必須ではないユーザビリティテストの手法としてNEMがある
・NEMは定量的なユーザビリティ評価手法である
・NEMの、文脈に応じた適用と拡張を考えた
・適用した結果、経験からはわかっていなかった問題が検出できた
ということです。全体的に論理が整理されていて、優れた論文なのだろうな、と思います。
＞NEMによるユーザビリティ評価は、操作時間及び一般ユーザと開発者の対比といったユーザビリティの部分的側面からしか評価できていないことに注意されたい
ここは大事なポイントですね。時間の側面なので、運用操作性とかの副特性に重きが置かれている感じがするので、例えば快美性などはどう考えても対象にならないですね。
＞評価結果の整理と分析において、操作時間の平均値を表すとしているとしているが、操作時間のばらつきも考慮に含めたほうがよりよい分析が行える
このことから、平均値ではなくばらつきも含めて表現するようにした、というのがこの論文の拡張とのことです。表現としては箱ひげ図を使うとのこと。直感的にはとてもわかりやすいです。平均だけじゃ語れないことがある、とおもうので。
＞評価者の選定において非熟練者と熟練者と捉えるようにすること
ここは、組織の背景とかがあるのでしょうね。品質保証部内で閉じて調査をしたかったとかだと思われます。まぁ極端な違和感はないです。
＞今回の適用で初めて分かった問題であった
設定画面において問題があることが、この実験で初めて分かったとのこと。いいですね。直感でわかることも検出できるでしょうし、直感では隠されていることも見つかるとより価値が高いと思います。
ばらつきも含めて表現したことによって新たに分かったことがあったか、という点に関しては、論文の中からはっきりとはわかりませんでした。ここはもうちょっと実験が必要なところなのかもしれませんね。
いずれにせよ、優れた論文だなと思いました。NEMの原典は読みたい。