UX Book Club

Measuring the User Experience

Soyeon Lee(@theuxer)11 Jan 2015At Volare Inc.https://www.facebook.com/events/790293781020794/

Chapter 5 Issue-Based Metrics

5.1 What is a usability issue?

• Usability issueの例

–タスク完遂を妨げる行動

–コースから離脱しちゃう行動

–被験者からの苛立ちの表現

• Real Issues versus False Issues–被験者の一人が提起する問題だとしても、そのロジックがはっきりしていればReal Issueとして扱うが良い

5.2 How to identify an issue

• どうやって問題を見つけるか

–被験者と直接接して特定する

• 言葉や行動を観察

–あらかじめ予想しておくことも良いが、オープンマインドでいることも重要

–予想外の問題が発見されることもある（1982年Appleの例）

–自動化されたテストにて、被験者にコメントを書いてもらうことも可能

5.3 Severity ratings

• 問題の深刻度を決めること

– Low/Medium/High

– UXへの影響、頻度、ビジネスへの影響、コストといった要因をあわせてメトリクスを作ることも可能

– BTSと同じRating systemを使うとなおよし

–人によって「深刻度」の見解が異なるという問題もある

5.4 Analyzing and reporting metrics for usability issues

• Iterationを重ねて、デザインがよくなっていることを検証する

–問題の数、深刻度、問題を見つけた被験者の数を追いかける

–フォーカスしたい領域を明確にするためには、問題をカテゴリーに分けたり、タスク毎に問題を整理すると良い

5.5 Consistency in identifying usability issues

• ユーザビリティテストにおいて、同一な評価基準を持つことは可能か？

–様々な研究が行われたが、おおむね難しいという結論

– CUE(Comparative Usability Evaluation)という名前で9回のリサーチが行われたが、「深刻度」において、毎度ユーザービリティ専門家たちの意見が割れた

5.6 Bias in identifying usability issues

• バイアスは完全に排除できないが、理解しておくと良い

–被験者、タスク、検証対象、環境、モデレータ、期待値

–深刻な問題の発見率はユーザーの数よりタスクの数と関係がある、という調査結果がある

–バイアスをおさえるためには、ユーザー数を増やすよりタスクの数を増やすと有効である

– Moderator Biasの例（Eye tracking）

5.7 Number of participants

• “Magic number 5”

– 5人で足りる vs足りない– この本のオススメ

• 経験からして、5〜6人で足りるといえる。特にターゲットがはっきりしていてデザインスコープが限られている場合

• できるだけ多くの問題を見つけたい、ユーザーターゲット層が複数ある、またデザインスコープが広い場合は被験者を増やす

http://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Summary

• ユーザーと直接接して言葉や行動を観察記録することが問題発見には最も良いが、他の手段も考えられる

• 問題がRealかFakeかを決めるときは、その経緯がロジカルか気まぐれかを考慮する

• 深刻度やその他の影響を合わせて指標とするとその後の改善に役立つ

• ユニークな問題の頻度、特定の問題を見つけたユーザーの数、タスク・カテゴリー毎の問題を指標とするとその後の改善に役立つ

• 一貫した指標を用いて、バイアスに注意する

感想

• ユーザビリティ専門家orチームと、実際の開発チームが離れている前提で書かれている本だと思った。In-houseの場合は結果の活用においてより柔軟に対応することができると思った。

• ケーススタディが面白かった。もっと知りたかった。また、自分の中のケーススタディを浮かべながら読むことができて非常に楽しかった。

• 今まで体験してきたユーザビリティテストでは、発見された問題のRatingが正しく行われていなかったと感じた。発見された問題に対して深刻度をつけることもいいけど、そもそも問題をなぜ解決しないといけない？というゴールを明確にするためにもメトリクスが必要だと思った。「ビジネスへの影響」「UXへの影響」はまだ定義としてはあいまいだと感じた。

• “Magic Number 5”は自分も護身でよく使う出典であるが、より多くの被験者がいた方がいいケースや、5人で足りるケースを分けてそれぞれどうするといいかを提案してくれていたのでありがたい。

Discussions