measuring the user experience, chapter 3

Chapter 3 - Planning

IWASAKI, Yusuke

発表者について

こんにちは

要するに

ユーザビリティ調査の設計手法を説明する。（主にどんな指標を設定すればよいかの解説）

● 調査目的の設定● ユーザーゴールの設定● 測定指標の設定● 評価手法の設定

● その他の設定（予算／スケジュール、関係者、データ収集・抽出手法）↑これらを（体系的に）紹介するのが第3章の内容。

調査目的の設定

ユーザーゴールの設定

測定指標の設定

調査手法の設定

その他の設定





その他の設定

Formative / Summative


2種類に大別される● Formative（形成的ユーザビリティ調査）● Summative（総括的ユーザビリティ調査）

調査目的の設定 - 2 ways of approaches

Formative（形成的）

● 開発途中のプロダクトを定期的に評価し、最高のものに仕上げていく目的。

● いわゆる中間試験、期末試験みたいなもの。Formative Testに近い。

Summative（総括的）

● 完成したプロダクト（全体または一部）の目標達成度合いを評価する目的。

● いわゆる総まとめテスト、全国統一学力テストみたいなもの。Summative Testみたいな。

調査目的の設定 -目的設定例

Formative（形成的）

● ユーザーがよくやる誤りを知りたい

● 何がユーザーを満足させ、何がユーザーをいらだたせるのかを知りたい

● 開発工程でのデザイン修正は効果が有ったのかを知りたい

● リリース後も発生するであろう課題を知りたい

Summative（総括的）

● ユーザビリティ上の目的が達成されたのかを知りたい

● 全体的なユーザビリティを評価したい

● 競合と比較してどうなのかを知りたい

● 追加リリースの効果を知りたい





その他の設定


Performance / Satisfaction


計測する指標は2種類に大別される● 客観的に計測可能な指標（Performance）● 客観的に計測できない指標（Satisfaction）

ユーザーゴールの設定 -客観的／主観的指標

Performance -客観的指標

● プロダクトとのinteractionを通し、

実際に行ったことに関連する指標

● 使い道が明らか／選択の余地が無いプロダクトでは重要

● 完了できたか／時間／クリック数／エラー件数／…

※Ch.4で詳しく説明

Satisfaction -主観的指標

● そのユーザーが感じること、発言する事に関連する指標

● 大半のWebサービス、ソフトウ

ェア、消費者向けプロダクトに重要

● 使いやすさ／わかりやすさ／有効性／満足度／学びやすさ、・・・

※Ch.6で詳しく説明

ユーザーゴールの設定 -客観的／主観的指標

PerfomanceとSatisfactionに相関関係はあるか└相関関係があるなら、片方の指標だけ取れば良いとなる

→ありそうだけど断言は出来ないから両方の指標を見る

▼User Satisfaction vs. Performance Metrics

http://www.nngroup.com/articles/satisfaction-vs-performance-metrics/

http://www.nngroup.com/articles/satisfaction-vs-performance-metrics/





その他の設定



(10 sample scenarios)


具体的に測定指標を決める上で、10種類の典型的な調査シナリオ毎の例を紹介する（省略）。

処理手続きの完了プロダクト比較

同一プロダクトの頻繁な使用の評価ナビゲーション／IAの評価

認識度合いの向上問題の発見

ユーザビリティの最大化全体的にポジティブなUXの提供

細かい変更による影響度合い評価代替デザインの比較

評価指標の設定

（Measuring the User Experience Second Edition, P46）

評価指標の設定

↑意識していないですが、過去に実施したテストで該当する項目は（自分の場合）おおよそこんな感じでした

←ABテストで実はよく利用していました

←新規プロダクトの開発で使用

←UI改善を目的とした評価で使用

←UI改善を目的とした評価で使用

←UI改善を目的としたユーザテストで使用





その他の設定




Moderated / Unmoderated / Online Surveys


大まかに3種類● ラボ型テスト● オンライン型テスト● オンライン型調査





その他の設定





Budgets / Schedule / Recruiting / Data Processing

その他の設定

● 予算とスケジュールo 一般的なビジネスマナーで何とかなる

大規模になればなるほど綿密にオンライン調査は設計とデータクレンジング・分析に時間を割かれる

その他の設定

● 参加者o 形成的アプローチでは６～８人で良い

グループが複数存在する場合、各グループ4人程度

o 包括的アプローチでは50～100人程度 20人程度でも良いが、当然ながら精度は落ちる細かいデザインの変更の場合は100人程度必要

←詳細はこれを読みましょう● “Observing the User Experience - A

Practitioner’s Guide to User Research

(Second Edition)”

o 前回の勉強会でやりましたソヨンさんによるレポート:

http://goo.gl/mMoyUz

Kindleで読めます

http://goo.gl/mMoyUz

その他の設定

● データの収集o 少人数ラボテストはスプレッドシートやエクセルで十分最近はOffice OnlineでExcelファイルもクラウドで編集可能簡単に結果の記入が出来るようにカスタマイズすると便利

o 大人数を対象としたテストは自動化できるようにデータのexport/importの手段も備える

その他の設定

● データのクレンジングo rawデータをそのまま解析に持ち込む前にデータの洗浄や正当性の確認を行う。

o 基本的に行うのは以下。フィルタリング、新しい変数の作成、回答内容の検証、一貫性の確認、データの移行

メトリクスが少なければ1hで終わる。

メトリクスが多く、かつオンライン調査の場合は確認の手間がかかるためより時間がかかる。2週間に及ぶ場合も。

利用するツールの動作が適切かも確認したほうが良い





その他の設定





Budgets / Schedule / Recruiting / Data Processing

所感

● 基本的な要素なので本来は全て覚えるべきだと思われる。

● 社内に落とし込む場合、デザイナー、特にインタラクションデザイン担当に対して共有するのが第一。その後実務レベルまで落としこみノウハウを形成・・・の流れになりそう。

● ユーザ調査を行う上で10の典型例は参考として役に立つ。調査設計の段階で典型例を眺める→合致しそうなものをピックアップ→具体的に検討を行

う、というプロセスを踏む事で（自分の様な）経験の浅い人に対する指針として有効。o 新規プロダクト開発時に細かくラボテストを繰り返してUIの改修を図

るというプロセスを良く行うのですが、その時に利用している指標が大きく乖離していなくて個人的には安心しました

● Planningという側面だとスケジュール設定や調査手法の項目がこの章では大きく欠落しているので、他の資料による補足が必要。

おわり（ご静聴ありがとうございました）

measuring the user experience, chapter 3

Design