lesperienza di unipd con i questionari di esse3 cristina stocco 1area didattica e servizi agli...
TRANSCRIPT
L‘ESPERIENZA DI UNIPD CON I QUESTIONARI DI ESSE3
Cristina Stocco
1 Area Didattica e servizi agli studenti10 ottobre 2012
Valutazione degli insegnamenti
Dal 1999/00
al 2009/10
•questionario “tradizionale” cartaceo a lettura ottica
•sperimentazione parallela di un questionario via WEB
Nel 2007/08
Dal 2010/11
•cambio del sistema informativo studenti e passaggio ad ESSE3 (aprile 2010)
• utilizzo dei questionari via WEB di ESSE3
Il metodo
Indagine rivolta a tutti gli studenti iscritti a Corsi di Laurea e laurea Magistrale attivati presso l’Ateneo di Padova esclusi i Corsi erogati totalmente con modalità ON LINE
E’ prevista la compilazione di un questionario via WEB per ogni docente che svolga almeno 15 ore di attività didattica in ciascun insegnamento previsto nel piano di studio dello studente per l’a.a. di riferimento
Rimane la scheda a risposta aperta cartacea da somministrare in aula da parte del docente utile a favorire lo scambio diretto delle opinioni con gli studenti anche durante il periodo di lezione
Il metodo
Il questionario via WEB è attivo a partire da 20 gg. prima della fine del periodo ufficiale di lezione fino alla fine dell’a.a. (30 settembre)
Il questionario via WEB di ogni singola AD è obbligatorio per l’iscrizione all’esame. E’ prevista una domanda preliminare attraverso la quale lo studente può rifiutare la compilazione assolvendo comunque all’obbligo suddetto in modo da consentire l’iscrizione all’esame anche a chi rifiuta la compilazione
Il questionario
Le domande proposte nel questionario sono differenziate per studenti “frequentanti” e “non frequentanti”
La Sezione “non frequentanti” prevede una domanda per indagare i motivi della mancata frequenza e altre su aspetti organizzativi e di contenuto dell’AD non legati all’attività del docente in aula.
La Sezione “frequentanti” prevede le stesse domande del questionario “tradizionale d’indagine “tradizionale” per permettere la comparazione nel tempo e per soddisfare le indicazioni fornite dal CNVSU (DOC 9/02)
La scala dei giudizi (da 1 a 10), scelta per tentare di evitare fenomeni di appiattimento, è la stessa adottata negli anni precedenti e può essere facilmente ricondotta a quella proposta dal CNVSU (scala ordinale a quattro modalità di risposta).
I numeri – a.a. 2010/11
Il tasso di copertura
AD-DOCENTE da valutare
AD-DOCENTE senza valutazione
AD-DOCENTE valutate
N N % N %
5.710 726 12,7% 4.984 87,3%
2005/06 2006/07 2007/08 2008/09 2009/10 2010/1150.0%55.0%60.0%65.0%70.0%75.0%80.0%85.0%90.0%95.0%
100.0%
62.3%
73.2%
83.2%78.1%
81.5%
87.3%
Tasso di copertura per anno accademicoDal 2005/06 al 2009/10 indagine “tradizionale”, 2010/11 indagine via WEB
I numeri – a.a. 2010/11
Numero di rispondenti e questionari
Numero di rispondenti Questionari completi
N TOTMEDIA PER
STUD.
38.664 175.929 4,55
Numero di rispondenti (esclusi erasmus n.568)
Numero di iscritti Tasso di partecipazione
TOTdi cui
REGOLARITOT
di cui REGOLARI
TOTSTUDENTI REGOLARI
38.096 34.292 58.333 39.688 65,3% 86,4%
Tasso di partecipazione degli studenti
I numeri – a.a. 2010/11
L’adesione degli studenti. % di questionari compilati
Questionari compilati per livello di frequenza
Questionari proposti agli studenti
Questionari rifiutati Questionari compilati
175.929 19.701 11,2% 156.228 88,8%
N. % VALIDA
studente non frequentante 14.296 9,2% meno del 30% 5.591 3,6%
tra il 30% e il 50% 8.247 5,3% tra il 50% e il 70% 19.326 12,4%più del 70% 107.990 69,5%Totale 155.450 100%N.D. 778
19.887 (12.8%) NON FREQUENTANTI
135.563 (77.2%) FREQUENTANTI
Il sistema via WEB
Apertura questionariApertura questionari
Apertura dei questionari
Schema dei periodi ufficiali a.a. 2011/12
10 gennaio28 maggio
20 novembre 27 febbraio 21 maggio
Date di apertura questionari
Apertura dei questionari criticità …
… se i periodi di lezione rispettano i periodi ufficiali l’apertura dei questionari avviene correttamente
• il docente può sollecitare gli studenti e distribuire il questionario a risposta aperta
20 gg. prima della fine effettiva delle lezioni
• gli studenti trovano il vincolo attivoprima dell’apertura degli appelli
altrimenti …è necessario variare puntualmente l’apertura in modo da garantire a docenti e studenti il corretto funzionamento del sistema
Il sistema via WEB
Lo studente accede alla pagina relativa al suo libretto e compila
il questionario
Lo studente può iscriversi all'esame
Apertura questionariApertura questionari
Mail informativa allo studenteMail informativa al docente
Il docente sollecita gli studenti a compilare il questionario
Il libretto on line
Il sistema funziona se tutti i dati relativi all’offerta e al carico didattico sono presenti in Esse3.
È necessario che i libretti siano popolati in maniera corretta e che i dati dell’offerta didattica siano completi e corretti
Il libretto on line criticità …
… se i libretti degli studenti sono popolati nei tempi previsti• Lo studente trova nel libretto on line tutte le
icone dei questionari associate alle AD/docenti da valutare
dopo l’apertura dei questionari
altrimenti …• Lo studente dovrà inserire a libretto l’AD da
“ricerca appelli” quindi tornare al libretto on line per compilare il relativo questionario e solo a quel punto potrà iscriversi all’esame
al momento dell’iscrizione
all’esame
Il sistema via WEB
Lo studente accede alla pagina relativa al suo libretto e compila
il questionario
Lo studente può iscriversi all'esame
Al termine dell’anno accademico lo studente potrà accedere ai risultati in forma aggregata
Apertura questionariApertura questionari
Mail informativa allo studenteMail informativa al docente
Il docente sollecita gli studenti a compilare il questionario
Durante il periodo di apertura il docente potrà monitorare quanti studenti hanno
compilato il questionario
Al termine della prima sessione di accertamento del profitto il docente potrà
accedere ai risultati di sintesi parziali
Al termine dell’anno accademico il
sintesi e confronto definitivedocente potrà accedere ai risultati di
Elaborazione e diffusione dei risultati
I dati raccolti sono stati estratti dal DB di ESSE3 ed elaborati dal Servizio Studi Statistici attraverso propri strumenti (Crystal Report e APEX)
I risultati della Valutazione della didattica sono accessibili dai diversi attori, attraverso la propria password, in un’area WEB appositamente costruita: www.unipd.it/pg/valutazione_didatticaGli utenti sono: Docenti
(monitoraggio dei questionari e risultati parziali e definitivi delle proprie AD) Responsabili delle UOI
(risultati parziali e definitivi di tutte le AD dei CDS della propria UOI) Referenti delle Segreterie di UOI
(monitoraggio dei questionari di tutte le AD dei CDS della propria UOI)
I risultati destinati agli studenti, aggregati per CDS, sono pubblicati nel sito di Ateneo: Università >Università in cifre >Valutazione della didattica
Altri report
Interesse e soddisfazione degli studenti frequentanti. Valore medio dei giudizi a livello di AD-Docente per Facoltà.
Facoltà di erogazione
Indipendentemente da come si è svolto il corso, i
contenuti dell'insegnamento sono stati interessanti per
lei? (F16)
Complessivamente, quanto si ritiene
soddisfatto di come si è svolto il corso? (F14)
AGRARIA 8,04 7,59 ECONOMIA 7,84 7,23 FARMACIA 8,18 7,65 GIURISPRUDENZA 8,28 7,79 INGEGNERIA 7,87 7,18 LETTERE E FILOSOFIA 8,34 7,82 MEDICINA E CHIRURGIA 8,01 7,50 ….Ateneo 8,01 7,47
Altri report
Interesse e soddisfazione degli studenti frequentanti. Percentuale di AD-Docente caratterizzate da un giudizio medio insufficiente (inferiore a 6/10) e più che sufficiente (maggiore o uguale a 8/10), per Facoltà (NB: sono evidenziati i valori superiori al valore medio d’Ateneo).
Facoltà di erogazione
Indipendentemente da come si è svolto il corso, i contenuti dell'insegnamento sono stati
interessanti per lei? (F16)
Complessivamente, quanto si ritiene soddisfatto di
come si è svolto il corso? (F14)
% insufficienti% più che sufficienti % insufficienti
% più che sufficienti
AGRARIA 1,9% 59,0% 4,9% 35,0%ECONOMIA 5,8% 48,5% 16,5% 28,2%FARMACIA 1,6% 68,0% 6,2% 41,4%GIURISPRUDENZA 0,0% 65,8% 2,6% 45,1%INGEGNERIA 4,1% 50,4% 16,0% 24,7%LETTERE E FILOSOFIA 1,7% 73,8% 5,4% 50,1%MEDICINA E CHIRURGIA 2,9% 58,7% 8,9% 36,3%……..Ateneo 2,9% 57,2% 9,4% 34,8%
Prospettive e sviluppi
Autovalutazione, valutazione e accreditamento del sistema universitario italiano (Documento finale ANVUR del 24 luglio 2012)Sezione G. La valutazione della didattica e dei servizi di supporto
Opinione degli studenti frequentanti e non frequentanti sullo svolgimento dell’insegnamento, a circa 2/3 del corso sull’organizzazione del CDS e sugli esami sostenuti nell’a.a.
precedente, all’inizio di ogni anno accademico
Obbligo di compilazione e individuazione degli studenti attivi (+ del 25% dei cfu previsti nell’a.a. precedente) e inattivi (- del 25% dei cfu previsti nell’a.a. precedente)
Possibilità di verifica della frequenza almeno con la comparazione tra numero dichiarato dal docente e numero di studenti che hanno dichiarato la frequenza.
Prospettive e sviluppi
Garanzia di anonimato … esigenze di dati per l’analisi (es. confrontare risposte date dallo
stesso studente a questionari diversi insegnamento esame)
Opinioni dei laureandi riferimento Alma Laurea (Profilo dei laureati)
Opinioni dei laureati a 1-3-5 anni riferimento Alma Laurea (Indagine occupazionale)
Opinioni del docente… raccolte “in parallelo” a quelle degli studenti… a quale evento associare la compilazione… nessuna indicazione sull’obbligo (prima del primo appello)
GRAZIE