Jak badać korzystanie ze zbiorów cyfrowych:
kilka propozycji
Marcin Wilkowski Ta prezentacja będzie dostępna na wilkowski.org
Badanie korzystania ze zbiorów jest potrzebne instytucjom GLAM:
• element ewaluacji własnej działalności
• argumenty dla instytucji finansujących
• poprawianie własnych usług
• budowanie propozycji edukacyjnych (w celu lepszego wykorzystywania zbiorów)
Dlaczego nie ewaluacja?
• ewaluacja to badanie o szerokim zakresie:
- efektywność - w perspektywie wydanych funduszy czy wysiłku organizacyjnego;
- efektywność – w perspektywie realizacji potrzeb użytkowników;
- wpływ działań instytucji - na rozwój edukacji, nauki, świadomości itp.;
“How are digital libraries transforming research,
education, learning and living?”
T. Saracevic, Evaluation of digital libraries: An overview, Library Trends,
Vol. 49, No. 3, p. 368
The Balanced Value Impact Model (BVI Model) - Simon Tanner
• Badanie wartości i znaczenia zbiorów cyfrowych
• Impact = „the measurable outcomes arising from the existence of a digital resource that demonstrate a change in the life or life opportunities of the community for which the resource is intended.”
• http://www.kdcs.kcl.ac.uk/innovation/impact.html
• http://ninateka.pl/film/kultura-2-0-2012-simon-tanner (wykład w ramach festiwalu Kultura 2.0)
use & reuse
• Use: jakie materiały są czytane/wyświetlane, w jakich kontekstach (kiedy, jak długo, ile razy itp); czego potrzebują nasi użytkownicy a co dostają?
• Reuse: ponowne wykorzystanie, republikacja, wykorzystanie w badaniach, komentowanie, obecność w mediach itp. - w zależności od charakteru zbiorów.
użycie zbiorów ≠
efektywność serwisu
Nie badamy użyteczności (usability) ani dostępności (accessibility)
Uwaga #1
Liczy się nie tylko wykorzystanie: digitalizacja to także działanie na
rzecz ochrony zbiorów.
Uwaga #2
Mierzenie efektywności użycia zbiorów nie może opierać się wyłącznie na
oglądalności/popularności
Zob.: Mierzenie efektywności działań instytucji kultury w internecie
http://historiaimedia.org/2012/10/18/mierzenie-efektywnosc-dzialan-instytucji-kultury-w-internecie/
Uwaga #3
Problemy metodologiczne z mierzeniem use i reuse: mamy do
dyspozycji dużo danych, łatwo możemy gromadzić kolejne, łatwo
popełnić błąd jeśli korzysta się z nich bezkrytycznie / bez przygotowania.
Fakt: mamy ~300 tys. odsłon w 2014
Dane pochodzą z systemu Google Analytics
Na stronę naszej biblioteki cyfrowej weszło w 2013 roku ponad 300 tys.
użytkowników
Nasze zbiory cyfrowe zostały wykorzystane ponad 300 tys. razy.
300 tys. Polaków czytało publikacje udostępnione na naszej stronie.
Uwaga #4
Mity: 1) badanie nie wymaga naszego
aktywnego uczestnictwa;
2) dane rozwiążą nasze problemy.
(wg. Daniel T. Larose, Odkrywanie wiedzy z danych. Wprowadzenie do eksploracji danych, Warszawa 2013.)
use & reuse
• Wykorzystanie (use): w ramach naszego serwisu, repozytorium, biblioteki cyfrowej;
• Ponowne wykorzystanie (reuse): poza naszym serwisem, repozytorium, biblioteką cyfrową itp.
use & reuse
• Use: jakie materiały są czytane/wyświetlane, w jakich kontekstach (kiedy, jak długo, ile razy itp); czego potrzebują nasi użytkownicy a co dostają?
• Reuse: ponowne wykorzystanie, republikacja, wykorzystanie w badaniach, komentowanie, obecność w mediach itp. - w zależności od charakteru zbiorów.
#use
1. Odsłony i użytkownicy (GA)
• Odsłony = łączna liczba odsłon stron. Wliczane są tu powtórne wizyty na poszczególnych stronach.
• Użytkownicy = mający co najmniej jedną sesję w wybranym zakresie dat. Obejmuje zarówno nowych, jak i powracających użytkowników*
• Sesja = okres, w którym użytkownik aktywnie korzysta z Twojej witryny, aplikacji itp.
* GA musi obliczać dane unikalnych/aktywnych użytkowników dla każdego zakresu dat, który możesz wybrać w raporcie. Dla przykładu, jeden użytkownik może odwiedzić witrynę 31 sierpnia i 1 września – w takim przypadku GA policzy go jako jednego unikalnego użytkownika w zakresie tych dwóch dni. Jeśli zmienisz zakres dat w swoich raportach z 1 sierpnia – 31 sierpnia na 1 sierpnia – 1 września, GA nie może dodać tej wartości do liczby unikalnych użytkowników, ponieważ nie jest ona zwykłą sumą danych z tabel. (Źródło: Google Analytics)
2. Zaangażowanie (GA)
3. Raporty danych demograficznych i zainteresowań (GA)
• problem etyczny: prywatność
• Google wykorzystuje te same dane, którymi targetuje reklamy
• Z nie ze wszystkimi użytkownikami są powiązane dane demograficzne, dlatego te raporty opisują tylko pewną grupę i mogą nie być reprezentatywne dla ogólnej struktury użytkowników witryny (Źródło: Google Analytics)
• dane nie mówią nam o tym, jak wykorzystywane są nasze zbiory.
lubi książki ≠
przeczytał naszą książkę
4. Zawartość witryny (GA)
• dostajemy informacje o najczęściej wyświetlanych stronach
• czy wiemy, co jest najczęściej wykorzystywane?
• Uwaga: Popularność to nie wszystko - użytkownicy mogą wyświetlać określone strony przez pomyłkę, nie znamy ich intencji.
• Ile odsłon generujemy sami? (filtry)
5. Wyświetlenia @dLibra
Wyświetlenia @dLibra
Liczba dostępów do treści, ale kilka dostępów ramach jednej sesji użytkownika jest zliczanych jako 1. Wykluczane są też z tego zliczania roboty wyszukiwarek. (Źródło: Marcin Werla, PCSS)
6. Wyszukiwanie w witrynie (GA)
7. Linki do pobieranych plików (GA)
• Zdarzenia to interakcje użytkowników z treścią, które można śledzić niezależnie od strony internetowej lub wczytania ekranu. Śledzonymi zdarzeniami mogą być np. pobrania, kliknięcia reklam mobilnych, gadżety, elementy Flash, osadzone elementy AJAX oraz odtworzenia filmów.
https://support.google.com/analytics/answer/1033068?hl=pl
8. Ankieta online
zalety:
• dotarcie bezpośrednio do użytkowników;
• możliwość zadania konkretnych pytań o użycie;
• dostępność respondentów;
• proste bezpłatne narzędzia (formularz Google Drive)
8. Ankieta online
wady: • trudna konstrukcja, rozumienie pytań, pytania
sugerujące; • motywacja użytkowników (czy wypełniają tylko Ci,
którzy chcą ponarzekać?), przerywanie udziału w badaniu, brak zainteresowania;
• autocenzura, prywatność (pytania o email czy imię i nazwisko);
• czy badamy opinie czy fakty? • dobór uczestników: można korzystać z naszych zbiorów
poza naszym serwisem.
8. Ankieta online
Co warto zrobić?
• podać konkretny cel badania;
• wskazać konkretny termin zakończenia;
• poinformować o tym, jak wykorzystywane będą dane;
• gratyfikacja dla uczestników (ebook z wyborem materiałów, książki dla wylosowanych użytkowników)?
• ponawianie badania.
9. A może pytanie przez Facebooka?
zalety:
• bezpośredniość;
• możliwość interakcji;
wady:
• badanie organiczone do użytkowników FB;
• autocenzura.
10. Analiza zasięgu postów na FB
Zasięg postów (link, grafika itp.):
• Całkowita liczba wyświetleń postu
• Użytkownicy aktywnie korzystający
• Konsumenci postów
• Wyświetlenia postu przez osoby, które polubiły Twoją stronę
• Osoby, które lubią Twoją stronę i podjęły działania wobec Twojego postu
• Wyświetlenie na FB ≠ wyświetlenie na stronie
Czy lajki maja znaczenie?
#reuse
1. Szukanie obrazem (Google)
2. Przypisy (Google Scholar)
3. Wikipedia (hasła)
• Narzędzie wyszukiwania linków zewnętrznych w hasłach Wikipedii:
http://en.wikipedia.org/wiki/Special:LinkSearch
• Informacje dostępne też w formie zestawów danych http://dumps.wikimedia.org/plwiki/20141102
4. Wikimedia Commons
• Repozytorium z materiałami wizualnymi dla projektów Wikimedia (w tym Wikipedii)
• TYLKO wolne licencje lub domena publiczna
• http://commons.wikimedia.org/w/index.php?search=
• Informacje dostępne też w formie zestawów danych http://dumps.wikimedia.org/commonswiki/20141105/
Dziękuję
[email protected] Ta prezentacja będzie dostępna na wilkowski.org