Evaluation des enseignements et des formations.

Contrôler ou valoriser?

Expériences de l’Université de Genève

Dr Nicole Rege Colet

Plan

Evaluation formative et démarches qualité

Le contexte européen

Genèse de l’évaluation à UniGe

Epistémologie de l’évaluation

Bilan des pratiques

Perspectives et enjeux

EvaluationDémarches qualité

Assurance qualité

Quality management

Accréditation

Quality culture

Démarches qualité – assurance qualité

Accréditation

Audit qualité

Evaluation institutionnelle

Evaluation d’unité d’enseignement et de recherche

Evaluation de discipline ou de filières

Evaluation de programme

Evaluation de l’enseignement par les étudiants

Une progression qui implique de passer de

Unités de formation Systèmes de formation

Evaluation interne Evaluation externe

Micro-régulation Pilotage institutionnel

Gestion individuelle Gestion collective

Ajustements Décisions

De l’EEE aux démarches qualités intégrées

Approche qui vise à Améliorer pratique

d’enseignement Renforcer apprentissages

des étudiants Favoriser dialogue entre

enseignants et étudiants

Approche qui vise à Renseigner/informer sur la

qualité de l’enseignement Promouvoir la formation

universitaire Contrôler les prestations

Une démarche orientée vers

Développement pédagogique

Valorisation des activités d’enseignement

Une démarche orientée vers

La régulation et le pilotage institutionnel

Développement professionnel & académique

Reconnaissance - ranking

EEE AQ

Principaux enjeux

Documenter la qualité de l’enseignement et de la formation

Mesurer les prestations Construire des indicateurs Systématiser les démarches

Bases de donnéesTableaux de bordOutils de gestion/aide à la prise de décisionCritères

Principaux enjeux

AQ en Europe ….

Objectif de la Déclaration de Bologne

Promotion de la coopération en matière d’évaluation de la qualité (critères & méthodologie)

ENQA – ESIB – EUA – EURASHE = 4E

Analyse des pratiques d’évaluation en Europe

Rencontre ministérielle à Bergen en 2005

Adoption des standards et du guide [ESG] pour l’AQ dans l’enseignement supérieur

Colloque européen annuel

Forum AQ de l’EUA, Rome novembre 2007

Genèse à l’Université de Genève

Principales étapes

Années ‘80: Études exploratoires & premiers outils

1996-1998: Phase des projets pilotes 1998-2000: Phase de généralisation 2000-2003: Phase de consolidation &

mesure impact 2003-2004: Premier audit qualité 2004-2007: La traversée du désert 2007-2008: Deuxième audit qualité

Principes clés

Approche formative

Consentement

Anonymat

Confidentialité

Retour aux étudiants

Valorisation dans dossier d’enseignement

Les démarches qualité de l’enseignement

Évaluation de l’enseignement– Depuis 1999– Méthode: questionnaire auprès des étudiants– Mesure: perceptions des étudiants par rapport aux situations

d’enseignement et d’apprentissages (degré de satisfaction) Évaluation des programmes

– En développement– Méthode: questionnaire– Mesure: perceptions des étudiants par rapport à l’ensemble d’un

cursus ou programme (degré de satisfaction) Évaluation des UERs

– De 1992 à 2000 puis reprise dès 2007– Méthode: rapport d’auto-évalution et évaluation externe par experts– Mesure: qualité des prestations de recherche, d’enseignement et de

services

49

321

554 581

854 814 850

1542

0

500

1000

1500

2000

H99-E00 H00-E01 H01-E02 H02-E03 H03-E04 H04-E05 H05-E06 H06-E07

Évolution du nombre de dossiers d’évaluation:1999 à 2007

3

76

138

340

751

0

100

200

300

400

500

600

700

800

Très mauvais Insuffisant Suffisant Bon Excellent

Classement 06-07 de 1308 enseignements évalués selon l’indice de satisfaction: valeurs comprises entre 0.00 - 1.00

[0.00–0.40] [0.41–0.70] [0.71–0.80] [0.81–0.90] [0.91–1.00]

Une épistémologie de l’évaluation

L’évaluation, une forme de recherche

• QdR: Quelle est la perception des étudiants?

• Hypothèse: satisfaction par rapport à certaines

dimensions

• Opérationnalisation: construction d’indicateurs

• Méthode: questionnaire & élaboration cadre

d’analyse

• Analyse & interprétation

• Plan d’action & suivi

Choix méthodologiques

15-20 items fermés Énoncés positifs Items libres Échelle de lickert: 4 positions 3-4 questions ouvertes

Dimensions couvertes

Contenus Structure Habiletés communication Supports Évaluation apprentissage Encadrement Investissement

Choix méthodologiques

Tableaux de fréquence Graphique: valeurs relatives Retranscription intégrale

Indice de satisfaction: 0.00 – 1.00

0.00

0.20

0.40

0.60

0.80

1.00

Obj

ectif

s

Con

tenu

Equi

libre

Plac

e du

cou

rs

Con

naiss

ance

spr

éala

bles

Prés

enta

tion

Ryt

hme

Doc

umen

tatio

n

Disp

onib

ilité

docu

men

tatio

n

Supp

orts

Con

tenu

exa

men

Crit

ères

exa

men

Com

men

taire

s

Trav

ail p

erso

nnel

Enca

drem

ent

Scor

e gl

obal

Echelle de classification

Très

mau

vais

Insu

ffisa

nt

Suffi

sant

Bon

Exce

llent

0.00

0.20

0.40

0.60

0.80

1.00

Très mauvais Insuffisant Suffisant Bon Excellent

Profils individuels Comparaison profil individuel –

tendance générale Groupes de comparaison

Type d’enseignementDépartementNiveau d’études

Études longitudinales

Exploitation de l’indice de satisfaction

Profils individuels

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

Objectifs du cour Contenu Equilibre théorie-

exemples

Place cours plan

d'études

Présentation Rythme Documentation Usage supports Modalités

d'évaluation

Critères

d'évaluation

Commentaires

enseignants

Charge de travail Encadrement

off ert

Disponibilité

enseignant

1er semestre

2ème semestre

3ème semestre

4ème semestre

Comparaison profil individuel – tendance générale

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

Obj

ectif

s

Con

tenu

Equi

libre

Plac

e du

cou

rs

Con

naiss

ance

spr

éala

bles

Prés

enta

tion

Ryt

hme

Doc

umen

tatio

n

Disp

onib

ilité

docu

men

tatio

n

Supp

orts

Con

tenu

exa

men

Crit

ères

exa

men

Com

men

taire

s

Trav

ail p

erso

nnel

Enca

drem

ent

Con

tact

s

Groupe de comparaison

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

Obj

ectif

s

Cont

enu

Equi

libre

Plac

e du

cou

rs

Conn

aiss

ance

s pr

éala

bles

Prés

enta

tion

Ryth

me

Docu

men

tatio

n

Disp

onib

ilité

docu

men

tatio

n

Supp

orts

Cont

enu

exam

en

Critè

res

exam

en

Com

men

taire

s

Trav

ail p

erso

nnel

Enca

drem

ent

Cont

acts

Cours, 1ère année bachelor

Étude longitudinale

0.00

0.10

0.20

0.30

0.40

0.50

0.60

0.70

0.80

0.90

1.00

Obj

ectif

s

Con

tenu

Appo

rts

Plac

e du

cou

rs

Con

naiss

ance

s pr

éala

bles

Doc

umen

tatio

n

Ryt

hme

Supp

orts

Fil c

ondu

cteu

r

Rép

artit

ion

tem

ps

Inté

rêt m

atiè

re

Mod

alité

s év

alua

tion

Nive

au d

e tra

vail

2000-2001

2001-2002

2002-2003

2003-2004

2004-2005

Bilan des pratiques

Évaluation de l’enseignement

Forces Augmentation nombre

dossiers Généralisation à toutes les

structures académiques Émergence d’une culture

d’évaluation Analyses des résultats Satisfaction des usagers Impact sur pratique

d’enseignement Observatoire des pratiques

A développer Suivi & exploitation des

résultats Articulation entre

évaluation diagnostique et évaluation formative

Mécanismes de régulation et de pilotage

Procédures d’arbitrage La politique & le dispositif

de travail: répartition des responsabilités

Évaluation de programmes

Forces Intérêt marqué Suivi des innovations

dans le cadre du processus de Bologne

Quelques expériences pilotes

Impact sur planification curriculaire

A développer Politique & dispositif de

travail: principes et cadre Articulation entre

satisfaction des étudiants et analyse de la cohérence et pertinence d’un programme

Suivi des résultats Lien avec l’accréditation et

les démarches de l’OAQ

Évaluation des UERs

Forces Importante expérience

antérieure Nouveau concept ‘07:

principes et cadre de travail

Procédure bien définie & guide de travail

Mise en place d’un bureau qualité

Projet pilote en cours

A développer Planification des

évaluations Suivi des résultats et des

plans d’action Évaluation externe de la

procédure Lien avec procédures

d’assurance qualité et d’accréditation de l’OAQ

Se rappeler que

Démarche qualité ≠ Qualité

Prochains enjeux

Définir une politique en matière d’assurance qualité pour l’Université de Genève

Impliquer l’ensemble de la communauté académique

Établir un dispositif intégré et unifié de travail Réviser & développer les différentes

procédures existantes Dégager les ressources nécessaires Communiquer et informer sur la politique AQ