case study: badania użyteczności portalu dla dzieci euroman
DESCRIPTION
Case study z badania przeprowadzonego przez agencję K2 dla Ministerstwa Rozwoju Regionalnego. Więcej o badaniu na www.ifixux.pl/blog/case-study-badania-serwisu-euroman-z-dziecmi-i-mlodzieza/TRANSCRIPT
K2 Internet S.A.
Badania użyteczności portalu dla dzieci Euroman.gov.pl
Case Study
2
O czym będzie
Prezentujemy case study z projektu badawczego serwisu euroman.gov.pl z listopada 2011. Będzie o:
Wyznaczonych celach badania
Zastosowanych metodach badawczych
Obserwacjach z badania
Oczywiście! Przeprowadzimy badania z dziećmi, a zdobytą wiedzę uzupełnimy ekspercką analizą użyteczności
Zaprojektowaliśmy edukacyjny serwis dla dzieci o Funduszach Europejskich – euroman.gov.pl Chcemy dowiedzieć się czy jest użyteczny i dopasowany do potrzeb użytkowników. Potraficie to zrobić?
3
www.euroman.gov.pl to edukacyjny portal internetowy dla dzieci i młodzieży szkolnej w wieku 6-17 lat, poświęcony propagowaniu informacji o Funduszach Europejskich w Polsce
Wygląd serwisu w czasie badań
4
Celem portalu jest dotarcie z informacją o
Funduszach Europejskich do dzieci i młodzieży szkolnej oraz rozpowszechnianie wiedzy w zakresie zmian jakie dokonują się w otaczającej nas rzeczywistości dzięki środkom unijnym.
Wygląd serwisu w czasie badań
5
Serwis jest podzielony na trzy obszary, przeznaczone dla poszczególnych grup wiekowych dzieci i młodzieży (6-10 lat, 11-14 lat, 15-17 lat).
Wygląd serwisu w czasie badań
6
W każdej części portalu znajdują się interaktywne narzędzia edukacyjno-rozrywkowe – gry, kolorowanki, puzzle, komiksy, krzyżówki, quizy
Wygląd serwisu w czasie badań
Cele i plan
8
źródło
Cele badania 1. Określenie sposobu funkcjonowania strony w interakcji z użytkownikami
2. Ocena zrozumiałości i atrakcyjności całości portalu i wszystkich poszczególnych jego elementów dla grupy docelowej
3. Ocena portalu pod kątem zgodności architektury informacyjnej i zastosowanych rozwiązań graficznych portalu z obowiązującymi standardami budowy użytecznych serwisów internetowych dla dzieci
4. Wskazanie możliwych zmian w obrębie obszarów dedykowanych poszczególnym grupom wiekowym
9
Zarekomendowaliśmy 2 metody
Badania z dziećmi Wywiady i obserwacje w laboratorium K2 UX
Analizy eksperckie Lista kontrolna Cognitive walkthrough
Cel
Zobaczyć najważniejsze:
czy użytkownicy potrafią korzystać z serwisu?
czy treści są dla nich interesujące?
czy wiedza przekazywana jest w sposób zrozumiały?
Cel
Uzupełnić obserwacje o szczegółową ocenę wszystkich funkcji, a przede wszystkim tych, które nie zostały przetestowane z dziećmi.
10
Plan projektu
Przygotowaliśmy dokument zawierający:
Cele badania i szczegółowe pytania badawcze
Kryteria rekrutacji respondentów
Szczegółowy opis kolejnych etapów badania z dziećmi – wraz z listą zadań i pytań do wywiadów
Opis metodyki audytu eksperckiego oraz listę heurystyk do oceny serwisu
Harmonogram projektu
eksperckie Audyty
12
Lista kontrolna
Trzech ekspertów oceniło serwis w oparciu o
listę heurystyk, czyli ogólnych zaleceń
dotyczących użyteczności serwisów
internetowych.
Listy kontrolne są tworzone z myślą o
serwisach, mających umożliwiać dorosłym
użytkownikom wykonanie konkretnych
zadań. Na potrzeby testowania serwisu
dla dzieci, mającego dostarczać rozrywkę i
jednocześnie edukować, odpowiednio
dostosowaliśmy kryteria oceny.
13
Cognitive Walkthrough
Ci sami eksperci przetestowali również kilkanaście najczęstszych
scenariuszy użycia serwisu i oceniali go w kontekście realizacji
najważniejszych celów. „Wchodzili w skórę użytkowników”, wykonywali zadania
i na każdym kroku zastanawiali się: „czy użytkownik będzie wiedział co zrobić dalej?”
źródło
z dziećmi Badania user experience
15
Młodzi respondenci
Na badanie zaprosiliśmy 12 dzieci – 6 chłopców i 6 dziewczynek
6 – 10 lat 11 – 14 lat 15 – 17 lat
wiek 6 7 8 9 9 11 12 13 14 15 16 17
5 osób 4 osoby 3 osoby
Kryteria rekrutacji
Minimum roczne doświadczenie w korzystaniu z Internetu
Korzystanie w domu, przynajmniej 2 razy w tygodniu, przez min. 0,5h
W miarę płynne, samodzielne czytanie
16
Poczekalnia dla dzieci Od samego początku staraliśmy się stworzyć atmosferę zaufania, aby młody respondent poczuł się swobodnie – w poczekalni przygotowaliśmy kolorowanki i komiksy.
W czasie gdy dziecko oswajało się z nowym otoczeniem, opowiadaliśmy opiekunom na czym będzie polegało badanie. Następnie rodzic decydował, czy chce przebywać z dzieckiem w czasie całego badania.
17
Kwestionariusz rodzica W międzyczasie rodzice wypełniali kwestionariusz, w którym pytaliśmy:
Jak dziecko korzysta z Internetu, jakie serwisy odwiedza, czy korzysta z serwisów edukacyjnych
Preferowane metody nauki oraz rozwoju
Wiedza dziecka o Funduszach Europejskich
18
Etapy badania z dzieckiem
Rozmowa wprowadzająca
Obserwacja użytkowników
Poznanie doświadczeń, potrzeb i oczekiwań związanych z wykorzystywaniem Funduszy Europejskich
Obserwacja dzieci w czasie swobodnego eksplorowania serwisu i wykonywania określonych zadań
Karty reakcji Ocena serwisu za pomocą kartek z przymiotnikami, wspomagającymi wyrażenie opinii
Wywiad końcowy Podsumowanie wrażeń i oceny serwisu przez respondentów
Obserwacja użytkowników
Badanie prowadził moderator – rozmawiał z dzieckiem, dawał zadania do wykonania, dopytywał o wrażenia, odpowiadał na pytania. Drugi ekspert pełnił rolę obserwatora i prowadził notatki z przebiegu sesji badawczej.
Foto: Natalia Borkowska
20
Procedura
Postawiliśmy głównie na swobodną eksplorację serwisu, umożliwiającą
obserwację naturalnego sposobu korzystania z serwisu – w jakiej kolejności
zapoznają się z kolejnymi działami, co je realnie zainteresuje, a co znudzi.
Przygotowaliśmy również listę zadań. Zazwyczaj dzieci wykonywały czynności,
na których nam zależało. Jeśli jednak respondent samoczynnie nie zrealizował
zadania, moderator prosił o wykonanie go.
Zadanie Obszary zainteresowania Pytania
Komiksy
Obejrzyj wybrany komiks [Po obejrzeniu] Jak przeszedłbyś teraz do innego komiksu?
Sposób wyboru komiksu Sposób zmieniania slajdów Sposób przejścia do innego komiksu Czy przegląda komiks do końca? Ile komiksów ogląda?
Co myślisz o obejrzanych komiksach?
21
Zachowanie i emocje
Większość dzieci z zainteresowaniem przejrzało cały serwis. Najmłodsi poświęcili
na to średnio 50 minut, a najwięcej czasu spędzili nad opowiadaniami i
komiksami. Starsi bardziej zainteresowali się krzyżówkami i quizami.
Ważnym źródłem oceny serwisu były emocje wyrażane:
mimiką twarzy, postawą ciała
ogólnym nastrojem w czasie badania
spontanicznymi komentarzami
Uuuła, krzyżówka, uuuła. Ja sama nie wiem, ja nie umiem krzyżówek… - Marlena, 9 lat
Oooo koniec, koniec kasy! O jej, nie mam forsy! Całą forsę straciłem! Nie udało się zbudować drogi :( - Olek, 6 lat
22
Piramida potrzeb
Analizowaliśmy wszystko w oparciu o piramidę potrzeb serwisów edukacyjnych – w zachowaniu, emocjach i wypowiedziach badanych szukaliśmy wskaźników, dotyczących każdego z 4 wymiarów (zainteresowanie, użyteczność, zaangażowanie, edukowanie).
edu
zaangażowanie
zainteresowanie
użyteczność interakcja z serwisem,
napotykane problemy
co robią, emocje,
spontaniczne komentarze
emocje, poświęcony czas,
chęć korzystania, polecanie
odbiór treści edukacyjnych,
zrozumienie, przyswajanie wiedzy
23
Odbiór treści edukacyjnych
Ważnym celem badania było również określenie w jakim stopniu serwis
przekazuje wiedzę o Funduszach Europejskich.
Wśród wielu wypowiedzi, pojawiły się również te, dotyczące sposobu
przekazywania wiedzy.
Pierwszy [komiks] był taki trochę banalny, no, ale w drugim widać już, na co idą fundusze – co jest dla mnie ciekawe, bo sama nie wiem właśnie, a teraz przydałoby się dowiedzieć. - Daria, 15 lat
Gra w sumie ok. Takie trochę klikanie. Ale no ogólnie wiadomo, o co chodzi i tak jakby się nasuwa na myśl, na co idą Fundusze Europejskie - Olga, 16 lat
Ciągle mówi o tych funduszach europejskich… - Olek, 6 lat
Przy 9 komiksie, ze znudzeniem w głosie:
Karty reakcji Po zakończeniu korzystania z serwisu prezentowaliśmy dzieciom karteczki z 24 przymiotnikami. Badani wybierali te przymiotniki, które ich zdaniem odnosiły się do serwisu Euroman. Następnie decydowali się na 3 najlepiej opisujące stronę.
25
Łatwo się po nim poruszać - Paulina, 11 lat
Nie widziałam jeszcze takich stron z grami o Funduszach Europejskich - Zuza, 8 lat
Można się czegoś dowiedzieć o Unii - Marlena, 9 lat
Uzasadniali wybór słów
pomocny
Coś nowego, z czym się nie spotkałam, dobry pomysł - Daria, 15 lat
26
Analiza kart
Przymiotniki wybierane przez dzieci również analizowaliśmy w odniesieniu do piramidy potrzeb – wybór danego przymiotnika mógł wskazywać na dobrze spełnioną funkcję serwisu na jednym z wymiarów (szczebli). I tak wybór przymiotników „fajny” i „zabawny” wskazywał na pozytywna realizację szczebla „zainteresowanie”.
edu
zaangażowanie
zainteresowanie
użyteczność
27
Wywiad końcowy
Po obserwacji i wykonywaniu zadań, przeprowadzaliśmy krótki wywiad
podsumowujący wrażenia dziecka z korzystania ze strony.
„Co myślisz o tym serwisie?”
Spełnia swoje zadanie, bo pokazuje, na co tak naprawdę fundusze europejskie idą i jak wygląda cały proces z nimi związany - Olga, 16 lat
No dobrze, tylko ta strona uczy tylko o Europie, jak wydaje na jakieś sklepy te fundusze i to tylko tyle - Szymon, 9 lat
Ten serwis jest bardzo ciekawy i przydatny ogólnie mówiąc, ponieważ inne dzieci może nauczyć o… Unii Europejskiej - Paulina, 11 lat
Efekty
29
9 godzin 31 minut nagrań z badania
217 godzin pracy specjalistów
253 strony raportu
194 slajdy prezentacji
239 rekomendacji zmian
30
Dostarczyliśmy
Raport, zawierający opis interakcji użytkowników z serwisem oraz wyniki audytu eksperckiego
Prezentacja, przedstawiająca wyniki badania w sposób skrócony, wzbogacona fragmentami video z badania
Pełne nagrania video oraz fragmenty „the best of”
31
Zaplanowane przez Ministerstwo Rozwoju Regionalnego i przeprowadzone przez firmę K2 Internet S.A. badanie miało na celu ocenę, a następnie przedstawienie propozycji usprawnień i modyfikacji serwisu dla dzieci i młodzieży www.euroman.gov.pl. Badanie zostało przeprowadzone zgodnie z obowiązującymi standardami i z zachowaniem zasad specyfiki badań z dziećmi. Uzyskane wyniki stanowią obszerne kompendium wiedzy o zaletach i wadach serwisu, a wdrożenie szczegółowych rekomendacji pozwoli jeszcze lepiej spełniać stawiane przed Euromanem cele i zadania.
Departament Informacji, Promocji i Szkoleń
Opinia Klienta o projekcie
Lubi badania K2 User Experience
33
Mamy masę metod badawczych
Wywiady IDI
Obserwacje użytkowników (testy zadaniowe w laboratorium)
Badania etnograficzne (contextual inquiry)
Współprojektowanie z użytkownikami (participatory design)
Eyetracking
Cardsorting
Clicktracking
Testy struktury
i wiele wiele innych…
34
Badamy na różnych urządzeniach
Laboratorium Posiadamy własne laboratorium badawcze z eyetrackerem, lustrem weneckim, nagłośnieniem i podglądem. Zapewniamy pełną obsługę procesu badawczego od rekrutacji respondentów do przeprowadzenia badań i analizy wyników
36
Robiliśmy już badania dla
Dziękujemy za uwagę K2 Internet S.A., al. Solidarności 74A, 00-145 Warszawa
tel. +48 22 4487000 , fax. +48 22 4487101, www.k2.pl, [email protected]
NIP: 951-19-83-801 Regon: 016378720 KRS: 0000059690
Wysokość kapitału zakładowego: 2.026.000,00 PLN
Pytania do raportu? [email protected]