skąd w badaniach użytkowników bierze się liczba 5
DESCRIPTION
TRANSCRIPT
Skąd w badaniach użytkowników bierze się liczba 5
Piotr Jardanowski
A-Symetria
Skąd bierze się liczba 5 w badaniach użytkowników
Ilu użytkowników badać?
53 8 10 15 …
A-Symetria 2
Znana teoria Nielsena
Skąd bierze się liczba 5 w badaniach użytkowników
Liczba badanych
5
Odsetek wykrytych problemów użyteczności
85%
A-Symetria 3
Skąd bierze się liczba 5 w badaniach użytkowników
Co twierdzą eksperci?
• [Nielsen] Why You Only Need to Test With 5 Users
• [Woolrych & Cockton] Why and When Five Test Users aren’t Enough
• [Perfetti & Landesman] Eight is Not Enough
• [Spool & Schroeder]“Testing Web Sites: Five Users Is Nowhere Near Enough”
• “The “Magic Number 5″: Is It Enough for Web Testing?”
A-Symetria 4
Rzut monetą
• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki
• Ile razy musimy rzucić monetą,aby mieć 85% pewności, że przynajmniej raz zobaczymy reszkę?
Skąd bierze się liczba 5 w badaniach użytkowników
• Powtórzenia: 3• 30 prób (93%):
5, 1, 1, 1, 2, 1, 2, 2, 1, 1, 2, 1, 1, 3, 5, 1, 1, 3, 1, 3, 2, 1, 1, 1, 1, 1, 1, 2, 1, 2
A-Symetria 5
Rzut monetą
• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki
• Ile razy musimy rzucić monetą,aby mieć 95% pewności, że przynajmniej raz zobaczymy reszkę?
Skąd bierze się liczba 5 w badaniach użytkowników
• Powtórzenia: 4
A-Symetria 6
Rzut kostką
• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6
• Ile razy musimy rzucić kostką,aby mieć 85% pewności, że przynajmniej raz wyrzucimy 1?
Skąd bierze się liczba 5 w badaniach użytkowników
• Powtórzenia: 10• 30 prób (87%):
1, 1, 3, 2, 6, 2, 4, 6, 1, 2, 14, 23, 5, 7, 1, 7, 15, 1, 6, 1, 4, 6, 1, 1, 13, 1, 1, 1, 6, 2
A-Symetria 7
Rzut kostką
• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6
• Ile razy musimy rzucić kostką,aby mieć 95% pewności, że przynajmniej raz wyrzucimy 1?
Skąd bierze się liczba 5 w badaniach użytkowników
• Powtórzenia: 16
A-Symetria 8
Zależność
Powtórzenia = f(prawdopodobieństwo, pewność)
Skąd bierze się liczba 5 w badaniach użytkowników
3 = f(0,5; 0,85) (reszka)
4 = f(0,5; 0,95) (reszka)
10 = f(0,5; 0,85) („1”)
16 = f(0,5; 0,95) („1”)
A-Symetria 9
Jak to odnieść do użytkownika
Skąd bierze się liczba 5 w badaniach użytkowników
P – prawdopodo.
Pewność (85%, 95%)
Powtórzenia
Wystąpienia orła lub reszki
Wystąpienia liczby z puli 1,2,3,4,5,6
Wyrzucenia jednej strony
Wyrzucenia konkretnej liczby
Liczba wykonanych rzutów
Liczba wykonanych rzutów
Wystąpienia błędu w serwisie
Wykrycia błędu
Liczba badań = liczba badanych
A-Symetria 10
Liczba badanych - zależność
Liczba badanych = f(prawdopodobieństwo, pewność)
Skąd bierze się liczba 5 w badaniach użytkowników
3 = f(0,5; 0,85)
4 = f(0,4; 0,85)
5 = f(0,3; 0,85)
9 = f(0,2; 0,85)
18 = f(0,1; 0,85)
http://www.measuringusability.com/problem_discovery.php#estp
A-Symetria 11
Skąd zatem teoria Nielsena?
Skąd bierze się liczba 5 w badaniach użytkowników
Liczba badanych
5
Odsetek wykrytych problemów użyteczności
85%
Prawdopodobieństwo wystąpienia błędu = 0,31
A-Symetria 12
Zmiana prawdopodobieństwa wystąpienia błędu
Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 13
W czym tkwi problem
Nikt nie wie, jakie jest prawdopodobieństwo, że użytkownik natrafi na jakiś problem.
Nikt nawet nie wie, że problem występuje, bo gdyby wiedział to by ten błąd naprawił.
Co dalej?
Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 14
Szacowanie prawdopodobieństwa wystąpienia błędu
Skąd bierze się liczba 5 w badaniach użytkowników
Zbudowanie macierzy wymaga wprowadzenia następujących elementów:- Liczba badanych, - Liczba wykrytych błędów,- Prawdopodobieństwo.
A-Symetria 15
Szacowanie prawdopodobieństwa wystąpienia błędu
Skąd bierze się liczba 5 w badaniach użytkowników
Uzupełniamy macierz w oparciu o wyniki wcześniej uzyskane np.:- Próba testowa, - Wcześniejsze badania.
A-Symetria 16
Szacowanie prawdopodobieństwa wystąpienia błędu
Skąd bierze się liczba 5 w badaniach użytkowników
Na podstawie powtarzalności wyników i zastosowania odpowiedniej formuły otrzymujemy informacje na temat przewidywanej wielkości próby.
A-Symetria 17
Testowanie cykliczne
Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 18
Testowanie cykliczne w liczbach
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I
Liczba błędów
Pozostałych
-
Nowych 100
Dany cyklWykryte 85
Niewykryte 15
Razem Wykryte 85
P=0,85 | Liczba badanych = 5 | P. błędu = 0,3
A-Symetria 19
Testowanie cykliczne w liczbach
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I Cykl II
Liczba błędów
Pozostałych
- 15
Nowych 100 42
Dany cyklWykryte 85 48
Niewykryte 15 9
Razem Wykryte 85 133
P=0,85 | Liczba badanych = 5 | P. błędu = 0,3
A-Symetria 20
Testowanie cykliczne w liczbach
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I Cykl II Cykl III
Liczba błędów
Pozostałych
- 15 9
Nowych 100 42 24
Dany cyklWykryte 85 48 28
Niewykryte 15 9 5
Razem Wykryte 85 133 161
P=0,85 | Liczba badanych = 5 | P. błędu = 0,3
A-Symetria 21
Testowanie cykliczne w liczbach
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I Cykl II Cykl III Cykl IV
Liczba błędów
Pozostałych
- 15 9 5
Nowych 100 42 24 14
Dany cyklWykryte 85 48 28 16
Niewykryte 15 9 5 3
Razem Wykryte 85 133 161 177
P=0,85 | Liczba badanych = 5 | P. błędu = 0,3
A-Symetria 22
Testowanie cykliczne w liczbach
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I Cykl II Cykl III Cykl IV Cykl V
Liczba błędów
Pozostałych
- 15 9 5 3
Nowych 100 42 24 14 8
Dany cyklWykryte 85 48 28 16 9
Niewykryte 15 9 5 3 2
Razem Wykryte 85 133 161 177 186
P=0,85 | Liczba badanych = 5 | P. błędu = 0,3
A-Symetria 23
A gdybyśmy od razu testowali 15
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl I
Liczba błędów
Pozostałych
-
Nowych 100
Dany cyklWykryte 100
Niewykryte 0
Razem Wykryte 100
P=0,85 | Liczba badanych = 15 | P. błędu = 0,3
Zmiany w projekcie generują nowych 50 błędów, których już nie badamy.
A-Symetria 24
15 vs 3 x 5
Skąd bierze się liczba 5 w badaniach użytkowników
Cykl IIIJeden cykl
15Liczba
badanych15
161Wykryte
błędy100
19Pozostałe
błędy50
P=0,85 | Łączna liczba badanych = 15 | P. błędu = 0,3
A-Symetria 25
Uwaga
Nielsen nigdy nie powiedział, że: „wystarczy przebadać 5 osób.”
Skąd bierze się liczba 5 w badaniach użytkowników
Nielsen powiedział: „Najlepsze wyniki pochodzą z testowania 5 użytkowników …
… i przeprowadzenia tak wielu cyklów badawczych na ile cię stać”*.
* „The best results come from testing no more than 5 users and running as many small tests as you can afford” http://www.useit.com/alertbox/20000319.html
A-Symetria 26
Dziękuję za uwagę
Piotr [email protected]