Valutazione del portale della provincia di

Milano

Daniele Begotti

Il Portale

La struttura

Diversi tipi di contenuto• Organi di Governo• Area amministrativa• Area news• Territorio• Siti tematici

Profondità dei gradi di navigazione

La mappa del sito presenta fino a 5 livelli di profondità

Le statisticheMesi N° visitatori unici % visitatori*

Marzo 2014 389.042 12,7%

Febbraio 2014 352.076 11,4%

Gennaio 2014 374.672 12,2%

*Percentuale calcolata sul totale degli abitanti della provincia di Milano (N=3.075.083) dati ISTAT

Area Numero visite % visite

Lavoro 89.322 28,4%

Turismo 69.876 22,2%

Cultura 24.266 7,7%

URP 21.183 6,7%

Politiche sociali 19.084 6%

Perché l’ergonomia cognitiva?

Punti critici

• Vastità del contenuto

• Numero di livelli per accedere all’informazione

• Varietà di utenti del target di riferimento

Questi punti possono intaccare

• Usabilità

• Esperienza utente

• Valore sociale del servizio

Valutazione in due fasi

Fase 1

Valutazione Esperta

Fase 2

Valutazione Partecipata

Valutazione Euristica Esperta

Obiettivi:- Valutazione preliminare del portale;- Valutare se i punti critici abbassano

l’usabilità del portale;

Strumenti:

Sono state utilizzate 12 euristiche per la valutazione di usabilità

Le euristicheApprendibilità• Visibilità• Coerenza• Familiarità• Chiarezza

Facilità d’uso• Navigazione• Controllo• Feedback

Efficacia• Ripristino• Vincoli

Adattabilità• Flessibilità• Stile• Convivialità

Visibilit

à

Coerenza

Familia

rità

Chiarezz

a

Naviga

zione

Controllo

Feed

back

Ripristino

Vincoli

Flessi

bilità

Stile

Convivial

ità0

2

4

6

8

10

12

Problemi riscontrati nella valutazione

Problemi graviProblemi mediProblemi lievi

I risultati della prima fase

Le euristiche che appaiono più critiche sono quelle di: • Chiarezza; • Navigazione;

Di minore entità risultano essere quelle di:• Coerenza; • Controllo;• Feedback; • Visibilità;

Valutazione Euristica Partecipata

Obiettivi:• Verificare e integrare quanto trovato in

sede di VEE;• Valutare l’esperienza utente;

Due step:• Test del portale con gli utenti;• Intervista post-test;

I Test Utente (parte 1)

Fase pretest • misurazione dei tempi ottimali allo svolgimento

dei task

Fase test• 3 utenti (Nielsen 2000)• 5 task scelti • Thinking Aloud• Registrazione tempi/errori

I Test Utente (parte 2)

Errori differenziati per 3 punti:

• Errori lievi: piccoli errori trascurabili che allungano soltanto il

percorso per concludere il task;

• Errori medi: aggiungono serie difficoltà alla conclusione del task ma

non ne pregiudicano il completamento;

• Errori gravi: una volta compiuti non è possibile completare il task. Si

manifestano con un aumento drammatico dei tempi di svolgimento.

Sono accompagnati a comportamenti esplorativi, innescando anche

altri errori;

I Test Utente (parte 3)

Finalità del portale1. Ricerca di informazioni riguardo

la giunta;

2. Ricerca di informazioni riguardo bandi e concorsi;

3. Ricerca di informazioni riguardo la regolamentazione provinciale riguardo un dato tema;

4. Ricerca di informazioni riguardo l’accesso a dei servizi provinciali;

5. Ricerca di informazioni sul territorio;

Task1. L’utente deve raggiungere la

pagina dedicata alla giunta provinciale;

2. L’utente deve raggiungere i bandi di gara aperti;

3. L’utente deve trovare la pagina che descrive l’iter per poter ottenere una licenza di pesca;

4. L’utente deve scaricare la carta dei servizi legata alla scuola;

5. L’utente deve scegliere un evento in un comune a scelta a cui partecipare la prossima settimana

I SoggettiSoggetto 1 Soggetto 2 Soggetto 3

• Donna• 25 anni• Bassa familiarità con

la tecnologia• Bassa familiarità con

la burocrazia e gli uffici amministrativi

• Nativa digitale

• Uomo• 26 anni• Alta familiarità con

apparecchi elettronici (PDA e computer)

• Moderata familiarità con burocrazia e uffici amministrativi

• Nativo digitale

• Donna• 61 anni• Moderata familiarità

con gli apparecchi elettronici (PDA e computer)

• Alta familiarità con burocrazia e uffici amministrativi

• No nativa digitale

I risultati – i tempi

1 2 3 4 50

50

100

150

200

250

300

350

400

450

500

Soggetto 1Soggetto 2Soggetto 3tempi medi pretest

I risultati – Gli errori

t1 (s1) t1 (s2) t1 (s3) t2 (s1) t2 (s2) t2 (s3) t3 (s1) t3 (s2) t3 (s3) t4 (s1) t4 (s2) t4 (s3) t5 (s1) t5 (s2) t5 (s3)0

1

2

3

4

5

6

7

errori gravierrori medierrori lievi

I risultati - Errori per euristica

Chiarezza Familiarità Visibilità Feedback Navigabilità0

1

2

3

4

5

6

7

8

9

Soggetto 1Soggetto 2Soggetto 3

Tipologie generali di errori riscontrati

• Cliccare nella sezione sbagliata

• Cercare in una parte della pagina errata

• Confusione di terminologie, ad esempio tra bandi di concorso e bandi di gara (familiarità)

• Non trovare la voce di menù nella lista di minisiti (chiarezza, visibilità)

• Non considerare rilevante una voce di menù fondamentale (familiarità)

• Percepire elementi chiave come privi di interazione (feedback)

L’intervista

Ha l’obiettivo di estrapolare componenti che non è stato

possibile inferire dai dati:

• Individua le difficoltà incontrate;

• Valuta se l’utente ha capito a cosa servono le varie

funzionalità

• Valuta se l’utente sa come utilizzare i vari strumenti per

la navigazione;

• Valuta l’esperienza utente e la gradevolezza del servizio;

La traccia di intervista

• Quali difficoltà hai incontrato?

• Se dovessi descrivere il tipo di sito (sito vetrina, e-commerce, portale, aggregatore, ecc.)

dove lo collocheresti a prescindere dal tipo di contenuti?

• Hai capito l’utilità dei minisiti?

• Hai capito che differenza c’è tra i minisiti e l’URP?

• Sai cos’è un URP?

• Come ti sembra generalmente la facilità d’uso del sito?

• Il linguaggio del sito ti sembra chiaro? E gli strumenti per la navigazione?

• Ti è piaciuto utilizzare il sito?

• Come giudichi la gradevolezza della grafica del sito?

• Ti sei mai sentito frustrato nell’utilizzo del sito? (in caso di numeri eccessivi di errori)

Risultati delle Interviste

• Difficoltà su sidebar di sinistra, form per la navigazione e tag-

cloud dei servizi;

• Un portale «a metà»;

• Funzionalità apprese per tentativi ed errori o per esclusione;

• L’URP visto come mini-sito;

• Sito utilizzabile solo dopo averne capito la logica;

• Linguaggio chiaro se familiare con le P.A.

• Scarsa esperienza utente;

• Scarsa gradevolezza della grafica;

Conclusioni

Visibilit

à

Coerenza

Familia

rità

Chiarezz

a

Naviga

zione

Controllo

Feed

back

Ripristino

Vincoli

Flessi

bilità

Stile

Convivial

ità0

2

4

6

8

10

12

Problemi valutazione espertaProblemi test utente

Conclusioni - Guidelines

• No portale! Le esigenze di dinamicità vengono

soddisfatte anche con una soluzione più statica;

• Accorpare le sezioni, riducendo il numero di voci di

menù, eliminando così il menù tagcloud per i servizi;

• Strutturare un sistema di feedback;

• Migliorare il controllo sulla posizione dell’utente

durante la navigazione;

• Ridurre i livelli di navigazione;

• Più chiarezza e visibilità al menù dei siti tematici;