Case study badaniaEyetracking Facebooka

Paulina Makuchhttp://www.flickr.com/photos/34489786@N08/6731246141/

2

O Badaniu

W marcu 2011, K2 Internet opublikowało raport z przeprowadzonego przeze mnie badania eyetrackingowego Facebooka. Raport został wyróżniony w międzynarodowym konkursie IAB Europe Research Awards 2011.O raporcie było głośno, ale odbiór okazał się różny – jedni interesowali się wynikami i gratulowali inicjatywy, inni krytykowali, zarzucając błędy w metodyce. Jest to jedna z przyczyn, dla których napisałam tego case’a. Szersze podsumowanie raportu znajdziecie na moim blogu.

Case study powstało, aby Wyjaśnić, dlaczego badanie

zostało przeprowadzone w taki sposób a nie inny sposób i jak wyciągnęłam z niego takie wnioski

pokazać warsztat badacza UX – podzielić się moimi decyzjami metodycznymi i zachęcić innych badaczy do dyskusji

Case study nie powstało na zlecenie K2. Zrobiłam to wyłącznie hobbystycznie.

3

Co chcieliśmy zbadać

Strona główna – tablicaPrzede wszystkim chcieliśmy przeprowadzić badania na prawdziwych tablicach użytkowników i zobaczyć jak przeglądają znajdujące się tam treści. Nie interesowało nas testowanie na tablicach spreparowanych na potrzeby badania, ponieważ istotne było realne zainteresowanie pojawiającymi się wpisami. Za główne cele postawiliśmy sobie znalezienie odpowiedzi na pytania: W jaki sposób użytkownicy na co dzień przeglądają swoją tablicę? Jakiego rodzaju posty są chętniej i dokładniej konsumowane?

znajomych vs marekczysto tekstowe vs atrakcyjniejsze wizualnie

Czy marki mają realną szansę na dotarcie do swoich odbiorców przez Facebooka?

Fan pagesPrzy okazji postanowiliśmy pokazać respondentom kilka fan pages. Staraliśmy się wybrać profile o różnej tematyce, aby sprawdzić: Jakie treści przyciągają uwagę użytkowników poza postami?

4

Czego nie badaliśmy

Przy okazji chciałabym zaznaczyć, że naszym celem nie było pełne zbadanie odbioru marki na Fecebooku. Nie mierzyliśmy wielu czynników z tym związanych, np: Poziomu zaangażowania użytkowników w prezentowane treści – czy video bądź link

jest dla nich ciekawy Ukrywania czy usuwania marek ze znajomych Odwiedzalności fan page’a

Naszym celem nie było również zbadanie zauważalności reklam. Gdyby tak było, procedura badania wyglądałaby inaczej. Stawialibyśmy wtedy na swobodę chodzenia po „całym Facebooku”, a następnie analizowali na ile reklamy są zauważane na różnych stronach, w czasie wykonywania różnych czynności – przeglądania zdjęć, wydarzeń, grup, profili znajomych, fan pages itd.W naszym badaniu wnioskowaliśmy jedynie o zauważalności reklam w czasie przeglądania swojej tablicy.

5

Jakie usłyszeliśmy zastrzeżenia?

Prawdy oczywiste„Fajnie, że zrobili badanie, ale niczego nowego nie wnosi”. Bolesne to słowa, bo przekreślają cały wysiłek, jaki włożyłam w badanie… Ale na szczęście mogę się z tym nie zgodzić.Czy wcześniej wiedzieliśmy, czy użytkownicy naprawdę czytają na tablicy posty polubionych marek? Czy wiedzieliśmy, czy patrzą na wpisy mówiące co polubili ich znajomi? Czy wiedzieliśmy, czy zwracają uwagę na zakładki na fan page’u? Nie, nie wiedzieliśmy. Może domyślaliśmy się. Ale dzięki temu badaniu mamy dane to potwierdzające.

Dekalog oderwany od wyników badaniaNa końcu raportu zamieściliśmy Dekalog: Skuteczny fan page na Facebooku. Usłyszeliśmy potem, że znajdujące się w nim zalecenia nie znajdują poparcia w wynikach badania.I tak, zgadzam się, że zrobiliśmy duży skrót myślowy. Tworząc ostateczny kształt dekalogu, skupiliśmy się na tym, aby go nie przegadać i nie dawaliśmy do każdego przykazania rozległych uzasadnień. Ale każde przykazanie jest poparte danymi uzyskanymi w badaniu. Zabrakło tego w raporcie, ale opisałam to później w artykule dla Marketingu w Praktyce.

Zupełnie inną kwestią jest aktualność wyników badania. Nie chciałabym się nad tym rozwodzić, ale uważam, że główny wniosek dotyczący zainteresowaniem postami marek, nadal jest aktualny.

6

DECYZJE METODOLOGICZNEDlaczego zaprojektowaliśmy badanie tak a nie inaczej

http://www.flickr.com/photos/kevinpaulmorris/5308665535/in/photostream

7

Ciąg dalszy zastrzeżeń

Źle dobrani respondenciJednymi z najczęstszych sceptycznych głosów były te podważające wartość badania „przeprowadzonego na tak małej próbie, nie będącej odzwierciedleniem populacji polskich użytkowników Facebooka”. Bo w Polsce więcej użytkowników to kobiety, bo heavy userzy to mniejszość i tak dalej.

Metoda budząca wątpliwościWątpliwości budził również przebieg badania i wyświetlanie respondentom statycznych screenów, a nie działającej, klikalnej strony internetowej. Usłyszałam też zdanie podważające zasadność normalizacji danych.

Za chwilę postaram się odpowiedzieć na dwa pierwsze „zarzuty”. O normalizacji będzie trochę dalej.

8

Ograniczenia badań laboratoryjnych

Projektując badanie laboratoryjne należy skupić się na zmiennych, umożliwiających zdobycie odpowiedzi na pytania badawcze i odpuścić kontrolowanie tych zmiennych, które mają mały wpływ na nasze hipotezy.

Wiadomo, że dzieje się to kosztem innych aspektów badania (m.in. realizmu), ale takie są prawa badań laboratoryjnych. Nie ma badań idealnych – odwzorowujących rzeczywiste warunki w połączeniu z dokładnym pomiarem zmiennych zależnych. Niestety, trzeba iść na ustępstwa.

Każdy eksperyment laboratoryjny jest uproszczeniem sytuacji z realnego świata - z pewnych rzeczy po prostu trzeba zrezygnować, aby mieć kontrolę konieczną do przeprowadzenia pomiaru tego co nas interesuje.

Maciek LipiecUX Director K2

z dyskusji na Goldenline

9

Dlaczego nieklikalna strona?

Tak jak zostało to napisane we wstępie do raportu – zrobiliśmy tak w celu ujednolicenia warunków badania między respondentami.

Jeśli każdy mógłby dowolnie konsumować treści publikowane na tablicy (zewnętrzne linki, video itp.), pojawiłoby się wiele zmiennych zakłócających: Kliknięcie w link na tablicy, powodowało otwarcie strony docelowej w tym

samym oknie (obecnie otwiera się w nowym), a po kliknięciu Wstecz, tablica nie ładowała się w odpowiednim miejscu, tylko ponownie na samej górze. Tak więc kontynuowanie przeglądania tablicy, wymagało przewinięcia strony do odpowiedniego miejsca. A wtedy pojawiałyby się nowe fiksacje, zakłócające oryginalne wyniki.

Czas trwania video i poziom zainteresowania nim znacząco wpływałby na ilość fiksacji na danym poście, wywierając duży efekt na końcowe wyniki. Poza tym nie wszystkie filmy odpalały się w obrębie Facebooka, niektóre przenosiły na zewnętrzne serwisy.

Dodatkowo budowa Facebooka (dynamiczne elementy na stronie, ciągły refresh) oraz ograniczenia oprogramowania wykorzystywanego do analizy fiksacji, uniemożliwiały analizę takich danych.

10

Dlaczego heavy userzy?

Heavy users to w naszym rozumieniu użytkownicy najbardziej aktywni, mający sporo znajomych, obserwujący marki. Uznaliśmy, że taki profil jest najbardziej wartościowy dla marketerów.

Po drugie chcieliśmy mieć respondentów regularnie korzystających z Facebooka i będących fanami marek, a nie ludzi, którzy „tylko mają tam konto”.

Reprezentatywność i odwzorowywanie realnej grupy odbiorców, nie ma, naszym zdaniem, dużego znaczenia przy pomiarze percepcji, a szczególnie w środowisku kreowanym przez odbiorcę (strona główna Facebooka zawiera przecież głównie takie treści, które użytkownik polubił i chce oglądać). Czy to będzie kobieta, mężczyzna, newbie czy zaawansowany użytkownik, manager czy kasjer – każdy z nich patrzy na wpisy swoich znajomych czy profili, które go interesują. Wykonywany zawód nie zmienia sposobu ich percepcji.

11

Dlaczego tylko 30 osób?

Nie badaliśmy potrzeb, motywacji, nawyków, ale reakcje fizjologiczne na bodźce wizualne. W takiej sytuacji badanie setek osób jest bezcelowe.

Po drugie, padre światowej użyteczności i eyetrackingu, Jakob Nielsen, przeprowadził badania, w których sprawdzał minimalną ilość respondentów potrzebnych do uzyskania trafnych wyników w eyetrackingu. To właśnie 30 osób.

To badania percepcji (reakcji fizjologicznej) a nie opinii, preferencji, czy zachowań w długim okresie czasu. W związku z tym kwestia reprezentatywności grupy respondentów ma małe znaczenie.

Maciek LipiecUX Director K2

z dyskusji na Goldenline

The conclusion from the curve is that we need to have eyetracking data from 30 users if we want to be able to draw sound conclusions from the resulting heatmap.

Jakob Nielsenuseit.com

z Eyetracking Methodology

12

Dlaczego tylu mężczyzn?

Po części odpowiedziałam na to pytanie przy heavy userach (dwie strony wcześniej). Po prostu płeć nie była naszym kryterium rekrutacji.

Dodatkowo pojawiły się dyskusje, w których przywoływano badania eyetrackingowe wykazujące różnice między płciami. Tak, rzeczywiście różnice istnieją, ale pragnę zaznaczyć, że dzieje się tak w przypadku złożonych bodźców obrazkowych (np. kobiety więcej patrzą na krocze, a mężczyźni na twarz bejsbolisty).

Po drugie, jakiekolwiek porównania między płciami miałyby sens, gdyby wszyscy patrzyli na ten sam bodziec wzrokowy. W naszym badaniu, każdy patrzył na inaczej wyglądającą stronę główną.

Nie było naszym celem robienie porównań wewnątrzgrupowych. Gdybyśmy chcieli, to ilość respondentów mnożymy razy 2 conajmniej, co odpowiednio zwiększa koszt i czas trwania badania i analiz. Nie pytałem o to czy są obserwowalne różnice między kobietami i mężczyznami, ale czy gdybyśmy mieli 15 kobiet i 15 mężczyzn w badaniu, to wynik wyglądałyby diametrialnie inaczej?

Maciek LipiecUX Director K2

z dyskusji na Goldenline

13

PRZYGOTOWANIA DO BADANIA

Tobii, htmle i kwestionariusze

http://www.flickr.com/photos/h_is_for_home/3388655598/

14

Testy Facebooka na Tobii

Pierwsze co zrobiłam, to przetestowałam, jak zapisują się dane na eyetrackerze, podczas przeglądania Facebooka. Niestety okazało się, że przez dynamiczność tej strony, ciągłe doładowywanie się elementów, java scripty i całą resztę, Tobii zapisuje wyniki na kilkunastu podstronach, zamiast na jednej, co uniemożliwiało zupełnie jakąkolwiek analizę.Postanowiliśmy więc badać na statycznych screenach.

Po głębszym zastanowieniu, doszliśmy do wniosku, że takie rozwiązanie jest o wiele lepsze (argumenty wymieniłam już przed chwilą na stronie 9).

15

Screeny w htmlu

Tobii Studio (oprogramowanie do przeprowadzania i analizy badań eyetrackingowych) ma niestety problem z wyświetlaniem bodźców w formie plików graficznych – skaluje je tak, aby zmieściły się na ekranie bez przewijania. Można więc sobie wyobrazić, jak wyglądałaby strona Facebooka z kilkudziesięcioma postami…Dlatego wrzucamy zawsze pliki png lub jpg w htmla, aby wyświetlały się w przeglądarce.Jak to robię:

1. Tworzę nowy plik w notatniku, pod odpowiednią nazwą (tutaj: P01.txt)2. Piszę najprostszy kod html:

3. W żółtym zaznaczeniu, wpisuję oczywiście odpowiednią nazwę pliku do wyświetlenia (png o tej nazwie musi znajdować się w tym samym folderze)

4. Zapisuję, zamykam plik i zmieniam mu rozszerzenie na P01.html

<html><body>

<center><img src=P01.png></center></body></html>

16

Przygotowywanie plików

Jeżeli założyliśmy, że wszystko będziemy badać na statycznych png, musiałam zawczasu przygotować sobie odpowiednią ilość potrzebnych plików.

I tak, przed przeglądaniem Facebooka, respondenci mieli dla rozgrzewki oglądać stronę Gazety. Przygotowałam więc odpowiedni screen png i plik html.To samo zrobiłam dla 4 badanych fan pages.To czego jeszcze potrzebowałam, to 30 takich par „png + html”, gdzie png jest screenem z tablicy każdego respondenta. Aby w trakcie badania nie powtarzać całej procedury tworzenia txt, wpisywania nazwy pliku png i zamiany rozszerzenia z txt na html, przygotowałam sobie wcześniej cały folder z plikami.

17

Przygotowywanie plików

Stworzyłam 30 plików png (w rzeczywistości był to ten sam plik, zapisany 30 razy pod inną nazwą) kolejno od P01.png do P30.png

Do pary zrobiłam 30 plików html, pod odpowiednimi nazwami od P01.html do P30.html. W każdym pliku html wpisałam w kodzie odpowiednią nazwę pliku png (to zaznaczone wcześniej na żółto).

Dzięki temu, jedyne co musiałam zrobić w trakcie badania, to nadpisać zrobiony właśnie screen pod odpowiednią nazwą (np. P08.png), a html był już gotowy.

18

Projekt badania w Tobii

Przed wyświetleniem każdej strony, miały pojawiać się instrukcje. Ustawiłam, aby na ekranie instrukcji widoczny był kursor, a ekran znikał po kliknięciu.

Kolejnym krokiem w przygotowaniach było ustawienie w Tobii sposobu wyświetlania bodźców. Screeny stron miały wyświetlać się w przeglądarce, więc wybrałam opcję Web Elements. Ale że html jest lokalny, to jako URL należało wpisać ścieżkę systemową do pliku. Wyłączyłam też ograniczenie czasowe dla wyświetlania strony.

19

Samoobsługa i brak losowości

Projektując przebieg badania, założyłam pełną samoobsługę (no, poza kalibracją) – respondent sam będzie decydował, czy skończył już przeglądanie strony i sam przełączy się do następnej. W Tobii, można to zrobić za pomocą klawisza F10, więc przykleiłam na nim czerwoną karteczkę i poinformowałam o tym w instrukcji.

I pora przyznać się do wpadki. Układając kolejność wyświetlania stron założyłam, że przed każdym fan page powinna pojawić się instrukcja „Za chwilę zobaczysz profil Lady Gaga na Facebooku…”. Bo tak przecież jest realnie – zanim wejdziesz na jakiś profil, znasz jego nazwę, bo sam w nią kliknąłeś.Taki przeplataniec instrukcji i stron spowodował, że nie można było wprowadzić losowej kolejności wyświetlania fan pages, bo strony pomieszałyby się z instrukcjami (głupi ten Tobii jest jak but!). Więc wszyscy respondenci przeglądali profile w takiej samej kolejności. Wierzę jednak, że nie miało to dużego wpływu na wyniki końcowe.

20http://www.flickr.com/photos/morville/3220961846/

PRZEBIEG BADANIACo dokładnie robili respondenci

21

Screen strony głównej Facebooka

Pre-kwestionariusz

Instrukcja do badania

Przeglądanie stron na eyetrackerze

Post-kwestionariusz

Respondenci proszeni byli o „nieprzeglądanie Facebooka przez kilka godzin przed badaniem, aby uzbierało się kilka ekranów nieprzeczytanych postów”.

Po przyjściu na badanie, respondent logował się do swojego Facebooka i od razu odwracał głowę, skupiając się na wypełnieniu pre-kwestionariusza.

W tym czasie przewijałam stronę do dwóch doładowań i robiłam screena, którego zapisywałam pod odpowiednią nazwą (np. P30.png). Jednocześnie w Tobii musiałam zmienić ścieżkę wyświetlanego bodźca na P30.html.

22

Pre-kwestionariusz

Badani wypełniali podstawową metryczkę Wiek Płeć Wykształcenie

oraz opisywali jak korzystają z Internetu Od kiedy korzysta z Internetu Ile godzin dziennie Co zazwyczaj w nim robi

23

Instrukcja

Przed rozpoczęciem przeglądania stron na eyetrackerze, tłumaczyłam na czym będzie polagało badanie:

Najpierw będziesz przeglądać swoją stronę główną Facebooka i prośba, abyś robił to tak, jak zazwyczaj. Jeśli coś zazwyczaj pomijasz, a coś innego czytasz dokładnie – teraz rób tak samo.

Następnie wyświetli się kilka fan page’y. Zapoznaj się z nimi, jeśli Cię zainteresują. Jeśli nie, to przełącz się do następnego zadania, wciskając czerwony klawisz.

Niestety na oglądanych stronach nie da się otwierać linków, są nieklikalne,ale prośba, abyś klikał we wszystko tak, jak byś normalnie klikał. Strony można swobodnie przewijać w dół. Możesz je przeglądać tyle czasu ile chcesz.Gdy skończysz, wciśnij czerwony klawisz.

W trakcie przeglądania stron nie komentuj – będzie na to czas po badaniu.

Instrukcje będą Ci się wyświetlały na ekranie. W razie wątpliwości – pytaj. Zaczniemy teraz od rozgrzewki – wtedy wszystko Ci się wyjaśni.

24

Przeglądanie stron na eyetrackerze

Przed każdym bodźcem na ekranie wyświetlała się instrukcja. Po zapoznaniu się z nią, respondent klikał, co z kolei powodowało wyświetlenie bodźca (strony).Badany przeglądał stronę tak długo jak chciał i wciskał czerwone F10, aby przełączyć się od kolejnego zadania.

Respondenci oglądali kolejno:1. Stronę główną gazeta.pl – rozgrzewka dla zapoznania się z procedurą badania2. Stronę główną swojego profilu na Facebooku3. 4 fan pages – Lagy Gaga, Centrum Nauki Kopernik, IKEA,Musi być głośno, kiedy jest

impreza (Sprite)

25

Treści zadań

Instrukcje były dość rozbudowane, w sumie powtarzały część tego, co mówiłam wcześniej.

26

Post-kwestionariusz

Po zakończeniu przeglądania stron, respondenci wypełniali ankietę z pytaniami dotyczącymi Facebooka: Od kiedy ma profil na Facebooku Jak często na niego wchodzi Ile czasu spędza na serwisie Gdzie z niego korzysta Z jakich powodów Czy jest coś, co mu przeszkadza w

Facebooku Czy ukrywa coś na swojej tablicy Czy jest fanem marek lub sławnych

osób

27

Post-kwestionariusz

Na końcu post-kwestionariusza pojawiały się pytania z USE – znormalizowanego narzędzia do pomiaru satysfakcji.

Dla ułatwienia, na krańcach skali Likerta, zamieściłam uśmiechniętą (zdecydowanie się zgadzam) i smutną (zdecydowanie się nie zgadzam) emotikonę.

To był pierwszy raz, kiedy użyłam tego kwestionariusza w badaniu z użytkownikami. W trakcie wypełniania część zwracała uwagę, że pytania się powtarzają (w rzeczywistości się nie powtarzały, tylko mówiły o tym samym innymi słowami – przypadłość „rzetelnych” testów).Spore rozbawienie wzbudzały pytania„Czuję, że muszę go mieć” i „Jest wspaniały”.

28

ANALIZA WYNIKÓWDużo excela, procentów i wykresów

http://www.flickr.com/photos/an-and/4265094194/

29

Podstawy analizy eyetrackingu

Wbrew pozorom, analiza eyetrackingu nie polega tylko na oglądaniu map cieplnych i ścieżek fiksacji. W podejściu ilościowym, główną wartością są dane statystyczne. Analizę przeprowadza się w oparciu o tzw. obszary zainteresowania, dla których zliczane są dane ilościowe.

Jednak warto podkreślić, że w badaniach użyteczności z wykorzystaniem eyetrackingu, analiza statystyczna nie jest najważniejsza. Poza obserwacją zachowania i pomiarem miejsca patrzenia, chcemy wnioskować o motywacjach, celach i satysfakcji użytkowników. Aby to było możliwe, bierze się pod uwagę:• dane jakościowe – zachowanie badanych oraz ich spontaniczne wypowiedzi i deklaracje• dane statystyczne dla określonych obszarów zainteresowania• ekspercką analizę ścieżek patrzenia („ekspercką”, bo przeglądając nagrania z

fiksacjami, nie przeprowadzamy żadnej „twardej analizy”, ale poszukujemy pewnych schematów i wnioskujemy o motywacjach)

Z drugiej strony muszę podkreślić, że nasze badanie, nie było badaniem użyteczności. Nasze badanie było pomiarem percepcji. Nie próbowaliśmy badać potrzeb i oczekiwań użytkowników. Przy celu badania, którym było określenie sposobu czytania treści na stronie, najważniejsze były dane ilościowe i analiza statystyczna.

30

OBSZARY ZAINTERESOWANIA

Przygotowania do analizy statystycznej

31

AOI na fan page

Pierwszym krokiem do analizy statystycznej, jest stworzenie AOI (Area of Interest), czyli obszarów zainteresowania, dla których będą zliczane fiksacje. Polega to na zaznaczaniu określonych obszarów strony (analogicznie jak na schemacie obok), za pomocą specjalnego oprogramowania.

Określenie obszarów zainteresowania dla fan pages było dość łatwe – wszystkie te strony były zbudowane według tego samego schematu i posiadały takie same obszary. Wytypowałam takie obszary, jak widać po prawej.

Błędem, który niestety zbyt późno zauważyłam, było niezrobienie obszaru dla dodatkowych boksów, które marki mogły wstawiać w lewej kolumnie, zazwyczaj jako bannery graficzne. (Niedługo po badaniu, Facebook zniósł możliwość tworzenia takich boksów).

32

AOI na stronie głównej

Dla strony głównej sytuacja wyglądała inaczej. Liczyliśmy się z tym, że każdy respondent patrzył na inną (swoją) stronę główną, ale nie spodziewaliśmy się aż takich różnic. Okazało się, że prawa kolumna serwisu wyglądała inaczej u każdego respondenta (po prawej 4 przykłady).

I nie chodziło tylko o wielkość obszarów, ale o ich różnorodność – niektórzy mieli Wydarzenia a inni ich nie mieli, niektórzy mieli Sponsorowane, a inni nie. Podobnie było z Zaproszeniami, Zaczepkami, Wyświetlanymi, Osobami, które możesz znać itp.

Określenie jednego schematu i wytypowanie sensownych obszarów, było sporym wyzwaniem.

33

AOI na stronie głównej

Ostatecznie zdecydowałam się na zaznaczanie tylko tych obszarów, które potencjalnie mogą być przydatnym narzędziem dla marketerów Sponsorowane (reklamy) Wydarzenia (wydarzenia mogą być

obrandowane) Zaproszenia (a wśród nich sugerowane

strony)

Niezbyt interesowało mnie, czy ktoś patrzy na Osoby, które możesz znać. Z tego powodu też, nie analizowałam fiksacji na tym obszarze, ani na Czacie, Wyszukiwarce czy Menu głównym – takie dane nie miały znaczenia dla moich pytań badawczych (czy marki mają szansę zainteresować i dotrzeć do użytkowników Facebooka?)

34

Podział postów na AOI

Kolejnym krokiem był podział na obszary (AOI) postów, pojawiających się na tablicach badanych.

Podział według źródła postówPrzede wszystkim musieliśmy oddzielić posty znajomych od postów marek. To było dość proste, po zdefiniowaniu marki jako „fan page nastawiony głównie na promocję konkretnego brandu”. I tak trafiły tu m.in. marki fmcg, banki, seriale telewizyjne i znane osobistości. Ale zostało jeszcze wiele innych postów – np. newsy z TVN24 czy wpisy dotyczące Forfitera. Długo dyskutowaliśmy (Socialistka – dzięki za wsparcie!) i pojawiały się nawet takie pomysły jak „post ideologiczny”, pochodzący np. ze strony Wiosno napierdalaj!.

Na szczęście zachowaliśmy zdrowy rozsądek i dokonaliśmy prostego podziału na posty: tematyczne obrandowane – posty skupiają się wokół konkretnego tematu, dla którego

użytkownik śledzi stronę, ale nie promują marki wprost (TVN24, Seromaniacy, Kocham ogród) tematyczne nieobrandowane – wpisy skupiają się na danym temacie, bez obecności

jakiejkolwiek marki. Fan pages prowadzone „dla idei” (Forfiter, Batman, Paczaizm)

Podział po rodzaju postówPodzieliłam również posty według typu – czysty tekst, link, video, zdjęcie (mogące być połączone z tekstem), aktywności (kto co polubił) oraz aplikacje (np. wynik quizu czy wylosowany cytat)

35

Zaznaczanie AOI w Tobii

Sporym wyzwaniem było również zaznaczanie obszarów w oprogramowaniu Tobii.

Niestety Tobii, w ramach jednego bodźca (pojedynczej strony), nie pozwala na stworzenie kilku AOI o tej samej nazwie (np. „znajomi”), aby automatycznie tworzyć dla nich wspólne statystyki. Nie mogłam więc narzędziem Rectangle zaznaczać każdego wpisu osobno.Musiałam dla wszystkich postów danego typu (np. wpisów znajomych), stworzyć jeden obszar. Zrobiłam to dzięki narzędziu Polygon, którym można zaznaczać obszary o dowolnym kształcie. Mówiąc obrazowo – pojedynczy AOI był cienkim paskiem z prawej strony tablicy, wychylającym się w lewo tylko w celu zaznaczenia posta danego rodzaju. Ilustracja po prawej: fragment tej samej tablicy z zaznaczonymi trzema AOI (znajomi, marki, temat-nobrand).

Taka metoda oznaczała, że musiałam każdą tablicęprzewinąć do samego dołu kilkanaście razy,za każdym razem zaznaczając tylko wpisy jednego typu.Żeby się w tym nie pogubić, miałam cały czas otwartynotatnik z listą wszystkich AOI.

36

Po wielu godzinach żmudnego zaznaczania obszarów w Tobiim,powstały 34 takie tablice (30 respondentów oraz 4 fan pages).Tutaj tylko fragmenty, w rzeczywistości tablice były o wiele dłuższe.

37

Ilość postów na tablicach

Pierwsze co sprawdziłam, po zaznaczeniu wszystkich AOI, to stosunek różnego rodzaju postów na tablicach badanych. Jednak nie chciałam tego robić zliczając ilość postów. Postanowiłam przeanalizować powierzchnię jaką zajmują na tablicy. To bardziej precyzyjna statystyka, na podstawie której mogłam potem normalizować dane dotyczące fiksacji (więcej o normalizacji za chwilę).

Takie informacje o AOI znajdują się w Tobii (lewy screen). Wystarczyło wklepać do excela (prawy screen) odpowiednie wartości, a potem wziąć poprawkę na to, że procenty prezentują „powierzchnię na stronie” a nie na tablicy. Sumę postów wszystkich typów (ok. 40% powierzchni strony), należało „przerobić” na 100% tablicy. W tym celu każdą pojedynczą wartość należy podzielić przez sumę.

38

Ilość postów na tablicach

Uzyskane wyniki (dwa wykresy po prawej) nie były zaskoczeniem – raczej spodziewaliśmy się tak miażdżącej przewagi postów znajomych. Duża ilość publikowanych linków była tego naturalnym następstwem – znajomi najczęściej dzielą się linkami.

Dla fan pages zrobiłam taką samą analizę rodzaju postów. Jednak dane z 4 stron uznałam za mało reprezentatywne, aby publikować je w raporcie. A wyglądały jak poniżej.

39

ROZPOCZYNAM ANALIZĘNo to przechodzimy do statystyki

40

Analiza statystyczna w excelu

Niestety zakładka Statistics w Tobiim jest daleka od doskonałości. Pozwala jedynie na sprawdzenie różnych średnich (np. czasu fiksacji) dla wybranego AOI (np. sponsorowane), na pojedynczym bodźcu (np. stronie głównej respondenta P26). Oznacza to możliwość przeglądania statystyk tylko dla każdego respondenta osobno.

A ja potrzebowałam danych zbiorczych (z wszystkich respondentów) i możliwości dalszej ich obróbki.

Z pomocą przyszedł mi Tomek Rutkowski, który stworzył ETCrunch – superhiper excela do analizy danych z Tobii. Zainteresowanych szczegółami, zapraszam do Tomka. Ja pokrótce mogę tylko powiedzieć, że:1. Wypluwaliśmy z Tobii totalnie surowe dane dla

każdej strony (na zakładce Statistics, przyciski Export… i AOI Statistics Export…) – w ten sposób otrzymaliśmy 68 plików txt z tysiącami wierszy różnych danych

2. ETCrunch zaciągał je do swojego pliku excel i mielił na różne sposoby – liczył średnie, robił różne zestawienia, zaznaczał dewiantów, a nawet rysował wykresy!

41

Jak wyglądał excel EtCrunch

Zawierał osobne zakładki ze statystykami dla każdej strony. Była też zakładka Porównania AOI, gdzie znalazło się zestawienie wszystkich respondentów i ich dokładnych statystyk dla każdego AOI

A zmienne dla AOI były następujące: Czas do pierwszej fiksacji na obszarze Czas fiksacji na obszarze Czas pierwszej fiksacji na obszarze Ilość fiksacji na obszarze Czas obserwacji na obszarze Ilość obserwacji na obszarze Procent użytkowników fiksujących na

obszarze Czas od fiksacji na obszarze do kliknięcia Czas do pierwszego kliknięcia w obszar Ilość kliknięć w obszar

Ile celek miał arkusz do analizy strony głównej?10 (zmiennych) x 16 (AOI) x 30 (respondentów)= 4 800

42

Data mining pełną parą

To była naprawdę duża ilość danych, którą trzeba było sensownie przetworzyć. Oczywiście nie wszystkie statystyki miały sens, nie dla wszystkich AOI.

Z czasem, zagłębiając się w cyferki i poszukując odpowiedzi na pytania badawcze, okazało się, że w EtCrunch nie ma wszystkich potrzebnych mi danych. Wtedy albo Tomek dorabiał kolejne narzędzia do zliczania czegoś, albo robiłam to „na piechotę”, spisując z Tobii. I tak dla przykładu: Tomek dorabiał zliczanie czasu spędzonego przez respondentów na stronach, bo Tobii

nie daje takich danych w formie tabeli czy średnich. Jako ciekawostka – aby sprawdzić czas przeglądania profilu CNK, potrzebny był excel z 16 639 wierszami danych (fragment na screenie poniżej)

Ja, chcąc wykonać dokładną analizęjakościową kliknięć, musiałam przeglądaćwszystkie heat mapy i spisywać to wkolejnym excelu (szczegóły za jakiś czas)

Szukałam wielu danych, normalizowałam je,liczyłam mnóstwo średnich, rysowałamnajróżniejsze wykresy… to był największydata mining, jaki w życiu zrobiłam!

43

NORMALIZACJA DANYCH

Skąd wzięła się taka potrzeba?

Więc zaczęłam liczyć średnie dla różnych zmiennych, np. średni czas fiksacji. Chcąc dowiedzieć się, na czyje posty respondenci patrzyli najdłużej, dostałam takie wyniki – 70% na wpisach znajomych, 14% na wpisach marek.

Nie trudno było się domyslić dlaczego tak jest. Sprawdzałam przecież przed chwilą rozkład postów na tablicach respondentów i dowiedziałam się, że postów pisanych przez znajomych jest 70%,a postów matek 17%.

Jak więc wyciągać z tego sensowne wnioski, a nie oparte na przypadkowości badanego środowiska (tworzonego przez respondenta i przez to za każdym razem innego)? Musiałam sprowadzić wszystkie wyniki do wspólnego mianownika, znormalizować. A to polegało na uwzględnieniu różnic w wielkości AOI u każdego respondenta.

44

45

Dlaczego normalizowałam dane?

Mówiąc bardziej obrazowo: u każdego respondenta, strona główna wyglądała inaczej, więc i każdy AOI wyglądał inaczej – u jednego badanego posty znajomych mogły zajmować 3/4 tablicy, a u innego 1/3. Naturalne jest wtedy, że u pierwszego badanego, ilość fiksacji na postach znajomych będzie mniej więcej 3 razy większa, niż u drugiego badanego. Ta różnica jednak nie świadczy o większym zainteresowaniu, ale o innym dostępie do informacji. A moim celem nie było zbadanie różnic w dostępie do postów, ale w sposobie ich konsumowania.

Normalizacja była konieczna, aby: uśredniać dane dla wielu respondentów porównywać wyniki dla obszarów zainteresowania o różnej wielkości dowiedzieć się, jaka jest prawdziwa „siła przyciągania” wpisu znajomego vs wpisu

marki

46

Sposób normalizacji

Jak już wcześniej wspominałam, Tobii liczy procent powierzchni zajmowanej przez każde AOI (dla przypomnienia screen po prawej). Do normalizacji wykorzystałam właśnie te dane. A dokładniej tą część, która mówiła o obszarach poza tablicą. Bo do normalizacji postów, wykorzystałam przeliczone już wcześniej procenty (sumujące się do 100% dla samej tablicy, patrz strona 37).

Dane znormalizowane uwzględniały stosunek uzyskanej wartości zmiennej do wielkości obszaru, dla którego zmienna była liczona.

Najpierw normalizowałam wyniki pojedynczych osób (wizualizacja po prawej).

Dopiero te dane lądowały w zbiorczych tabelach dla wszystkich respondentów, gdzie można było nareszcie (!) zacząć liczyć jakieś średnie.

47

• mmmmm

Miałam dwa excele z tymi samymi danymi.W jednym analizowałam dane znormalizowane (na górze), w drugim surowe (na dole).

48

• mmmmmAnanlizowałam te same dane na różny sposób, aby upewnić się, która z dróg jest sensowna.Przykładowo, te trzy wykresy prezentują to samo – średni czas fiksacji na obszarach strony głównej.

49

Analizowałam dużo zmiennych, ale nie wszystkie wnosiły coś nowego. I tak np. zrezygnowałam z ilości fiksacji i czasu obserwacji . Czas fiksacji (pokazany na poprzedniej stronie) w zupełności wystarczał.

50

Za to kliknięcia respondentów wydały się być ciekawą zmienną. Świadczyły o realnym zainteresowaniu kontentem.Tutaj przyglądałam się ilości kliknięć na wybranych AOI

51

Jakościowa analiza kliknięć

Jednak informacje wynikające ze statystyk dla AOI – czyli w czyje posty i jakiego typu klikali badani – nie były dla mnie zaspokajające. Chciałam dowiedzieć się w co dokładnie klikali – w link, lubię, pole do wpisywania komentarza, w zdjęcie (celem powiększenia) itp.Oczywiście jedyny sposób, w jaki mogłam to sprawdzić, to przejrzeć wszystkie mapy cieplne (na których Tobii zaznacza kliknięcia) i spisać obserwacje do kolejnego excela.Dane były ciekawe (kolorowa tabela poniżej), ale zbyt szczątkowe, aby wykorzystać je w raporcie.Drugim powodem dla wykonania takiej analizy była chęć sprawdzenia jaki typ posta, spośród wpisów tylko marek, jest najatrakcyjniejszy (efekt na wykresach).

52

Gdzieś po drodze…

… zrobiłam jeszcze bardziej szczegółową analizę kliknięć na fan pages. I dostałam takie dość ciekawe wyniki. Ale znowu uznałam, że to zbyt mało reprezentawywne do publikacji.(Powinna być przeprowadzona analiza większej ilości fan pages, aby można było takie dane „poważnie” brać pod uwagę)

53

Kończąc już z analizą zmiennych

Dużo było tych danych i zapewne można by znaleźć w nich jeszcze inne ciekawe rzeczy. Ale w pewnym momencie trzeba zachować zdrowy rozsądek i powiedzieć sobie „dość” :)

Wniosków wyciągniętych z tych wszystkich danych, nie ma sensu jeszcze raz teraz powtarzać – zostały opisane w raporcie. Chętnych zapraszam do lektury.

Będąc już blisko końca, chciałam tylko jeszcze pokazać dwie rzeczy, które zrobiłam na potrzeby raportu: Przejrzałam wszystkie nagrania ze

ścieżkami fiksacji wzroku respondentówi zauważyłam pewne schematy wkolejności przeglądania elementówna stronie głównej. Postanowiłam więcdokładniej je sprawdzić

Zrobiłam też mapę cieplną prezentującąuśrednione fiksacje wszystkichrespondentów na stronie głównej

54

Jak określiłam sposób przeglądania?

Najpopularniejszy sposób przeglądania strony głównej Facebooka, ustaliłam na podstawie: Wspomnianej już na poprzedniej

stronie, eksperckiej analizy ścieżek wzroku respondentów, widocznych na video z badania

Średniego czasu do pierwszej fiksacji na AOI ze strony głównej

Jakościowej analizy kliknięć – Tomek zdobył kolejność kliknięć każdego respondenta w AOI. Zliczyłam jaki obszar klikali jako pierwszy, jaki w drugiej kolejności itd. (screen po prawej)

Analizy mapy cieplnej strony głównej po pierwszych 5, 10 i 15 sekundach patrzenia

Wszystkie te drogi wskazywały na jeden najpopularniejszy schemat przeglądania strony (szczegóły w raporcie).

55

Jak zrobiłam wspólną heat mapę

Jak już wcześniej wspomniałam, Tobii pozwala tylko na osobną analizę dla każdej badanej podstrony. Nie można było więc tak po prostu uzyskać wspólnej mapy cieplnej dla fiksacji wszystkich respondentów na swoich stronach głównych. Trzeba było poszukać drogi na około.

Jedyną opcją są tzw. Web Groups, gdzie można „przesuwać” dane z jednego bodźca na drugi. Przykładowo, fiksacje respondenta P25 na stronie Lady Gaga, mogę przesunąć na profil CNK.

Mogłam więc fiksacje wszystkich badanych przesunąć do jednej grupy i uzyskać uśrednione dane. Oznaczało to jednak totalne pomieszanie wszystkiego. Postanowiłam więc zrobić to na kopii – zrobiłam archiwum danych i zaimportowałam je do nowego projektu pod inną nazwą. Tam mogłam już ze spokojną głową mieszać danymi do woli.

56

Jak zrobiłam wspólną heat mapę

Za pomocą Web Groups uśredniłam fiksacje wszystkich respondentów. Kolejnym krokiem było przygotowanie „strony”, na której zostaną one wyświetlone.

Jak zapewne pamiętacie, każda strona główna miała inną prawą kolumnę (z innymi obszarami o różnej wielkości), przez co niemożliwe było poprawne zaprezentowanie fiksacji. Posłużyłam się więc makietą strony, która miała podkreślać pewną umowność obszarów z zaprezentowanymi danymi.

Pozostało tylko wyeksportować png z samymi fiksacjami i nałożyć je na przygotowaną makietę.

A po co tak się siliłam? Chciałam zobaczyć jak czerwono będzie na Powiadomieniach, lewym menu i prawej kolumnie. To była też jedyna możliwość sprawdzenia, jak będą się rozkładały fiksacje w miarę przewijania strony w dół.

57

ANALIZA KWESTIONARIUSZY

58

Post

Dane z post-kwestionariusza przerzuciłam oczywiście do excela :) Te, które mogłam – uśredniłam. Odpowiedzi z pytań zamkniętych zliczyłam, a następnie policzyłam ich udział procentowy.

Było tez kilka pytań otwartych. Niestety okazało się, że odpowiedzi były tak różnorodne, że nie dało się stworzyć sensownego klucza. Dlatego nie znalazły się ostatecznie w raporcie.

Ale było kilka ciekawych odpowiedzi:Dlaczego korzystasz z Facebooka?Chcę publikować fajne rzeczy (3)Używam jako komunikator i pocztę (3)Co Ci w nim przeszkadza?Uzależnia (3)Zjada czas (1)Wall nie pokazuje tego, co mnie interesuje (1)

59

USE

Pytania w kwestionariuszu pochodzą z 4 skal:Usefulness, Satisfaction, Ease of use i Ease of learning.Uśredniłam wyniki dla każdego pytania, a następnie uśredniłam wyniki dla każdej skali.

W książce Meausuring the User Experience wyczytałam, że wyniki z tego kwestionariusza najlepiej pokazywać na wykresach procentowych. Więc wyliczyłam procenty, dzieląc każdą średnią przez 7 (maximum, ilość stopni na skali odpowiedzi) i zmieniając format liczb w komórkach na „procentowe”. Na koniec ładny wykres radarowy i wygląda identycznie jak sugerują autorzy książki :)

60

ZBLIŻAM SIĘ DO KOŃCAI nareszcie

http://www.flickr.com/photos/photography-andreas/6491386965/in/set-72157625593125283

61

Podsumowując

Siedzenie w excelach zajęło mi kilka tygodni (niestety po drodze trzeba było też robić inne projekty). W trudniejszych momentach wspierał mnie Tomek – nie tylko narzędziowo, ale przede wszystkim merytorycznie. Dużo dyskutowaliśmy o tym, jak obrabiać dane, uśredniać i przeliczać, aby nimi nieświadomie nie zamanipulować. Wydaje mi się, że nam się udało.

Potem już tylko napisałam raport prezentujący wyniki badania. K2 Motion przygotowało film zachęcający, do zapoznania się z raportem. Na Flickr wrzuciłam kilka map cieplnych. Na YouTube kilka filmików (niestety nie mogłam opublikować nagrań z przeglądania strony głównej, bo stanowiły zapis kawałka prywatności naszych respondentów). Napisałam artykuł dla Marketingu w Praktyce. Kilka miesięcy później zgłosiłam badanie w konkursie IAB Europe Research Awards 2011 i dostaliśmy wyróżnienie, stając koło podium z Google, Yahoo!, Microsoft, CNN, Orange.

A teraz napisałam tego case’a. Nie było łatwo odnaleźć się w gąszczu danych i kilkunastu excelach. Ale mam nadzieję, że udało mi się przybliżyć cały proces i choć trochę Was tym zainteresować.

62

Paulina Makuch

DZIĘKUJEZA UWAGĘ

www.IfixUX.plwww.facebook.com/IfixUX@IfixUX