réflexions sur une approche compétences dans l...

Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne

Réflexions sur une approche Compétences dans

l’enseignement supérieur

Synthèse au 27 janvier 2012


3-3 - L’évaluation de l’acquisition des compétences


Plan   Introduction  Des questions à se poser

o  Pourquoi évaluer ? o  Qu’évalue-t-on ? o  Quand évaluer ? o  Qui évalue ? o  Quelles situations d’évaluation ? o  Quels principes et outils d’évaluation ? o  Comment évaluer ?

 Risques et opportunités o  Complexité de l’évaluation o  Granulométrie des compétences évaluées o  Conditions de réussite

 Conclusions

3


Introduction

 Dans la première partie de ce document consacrée à la démarche de mise en place d’une approche compétence :   A été introduite la notion de référentiel de compétences

professionnel pour un poste  La problématique de l’évaluation a été rapidement formulée

 Cette partie du document se propose de donner des éléments de réponse à cette problématique

4


Rappels sur l’approche compétences


Contenu d’un référentiel de compétences professionnel pour un poste

 Positionnement dans le processus général ou les principaux processus de l’entreprise

 Finalité de l’emploi (mission)  Activités types impliquées  Compétences requises pour chaque activité type

 Techniques  Méthodologiques  Fonctionnelles  Comportementales  Relationnelles

 Modalités d’évaluation envisageables  Modules de formation nécessaires


L’évaluation (1/2)

 Au cœur du dispositif, pose le plus de difficultés  Principaux enseignements des expériences présentées :

 Nuance entre réussite aux examens et acquisition en profondeur et durable des savoirs   Nécessité d’augmenter le taux de rétention à 6 mois des connaissances

acquises (45% des étudiants qui ont validé un module ont tout oublié 6 mois après)

 Un mode d’évaluation de type Rubrics, définissant des situations observables, peut faciliter l’évolution de l’enseignement

 L’intégration des stages dans l’évaluation suppose la mise en place d’une véritable collaboration école - entreprise

 L’étudiant doit être capable  De construire son portfolio de compétences  D’en faire un élément de différentiation sur le marché

7


L’évaluation (2/2)   Comment faire coexister ce type d’approche transversale avec les

contraintes des modules de 30 ECTS ?   Pour pouvoir passer à la notion de crédits ECTS, double évaluation fournie par

les enseignants (compétences + savoirs classiques)   Majoration des temps d’évaluation estimée à 25%

  Le problème est amplifié par les échanges avec l’étranger   Absence, dans les ECTS, de séparation entre connaissances et compétences   L’actuelle approche CTI inspirée de Bologne a tendance à ajouter (plaquer ?)

l’approche compétences plutôt qu’à l’intégrer avec l’acquisition des connaissances

  L’approche « sur étagère » de Bologne, selon laquelle chaque étudiant construit son parcours en empilant des « briques » est déstructurante par rapport à un ensemble cohérent de compétences

  Les compétences, qui peuvent s’acquérir à l’issue d’un continuum pédagogique, peuvent-elles s’acquérir au terme d’un parcours très modulaire dont l’étudiant est le principal concepteur ?

  Référentiel propre à chaque formation, qui ne doit pas chercher à coller systématiquement à des fiches métiers : mettre en avant les potentialités

  Permet de guider la procédure de VAE (analyse réflexive de l’individu sur son expérience, base de construction d’un portfolio)

8


Questions à se poser

9

Granulométrie des compétences

évaluées

Qu’évalue-t-on ? Quand évaluer ? Qui évalue ? Comment évaluer ?

Evaluation des compétences

Complexité de l’évaluation

Quelles situations d’évaluation ?

Conditions de réussite

Pourquoi évaluer ?

Quels principes et outils

d’évaluation ?

Risques et opportunités





 Conclusions

10


Pourquoi évaluer ?

 Pour objectiver l'acquisition de compétence sur critères suite à mises en situation  La notion de critère est indissociable de la notion

d’évaluation. Mais selon ce que l’on cherche à évaluer (connaissances unitaires, mise en œuvre de connaissances…), il faut déterminer ce qui est objectif et ce qui est subjectif

11


Pourquoi évaluer ? Deux fonctions de l’évaluation

 Elle vient d’abord en aide à l’apprentissage et permet également la reconnaissance des compétences. L’évaluation se vit en cours d’apprentissage, du début à la fin de la formation. Partie intégrante du contrat pédagogique, elle sert :  d’une part, l’enseignant qui utilise l’information prise

régulièrement afin de réguler son enseignement selon les besoins,

 et d’autre part, elle permet à l’étudiant d’ajuster ses efforts en fonction de l’information qu’on lui livre, et selon son autoévaluation

12


L’évaluation est nécessaire  Pour l’étudiant

  Pour mesurer l’atteinte de ses objectifs d’acquisition d’apprentissage   Pour vérifier la conformité au référentiel de compétences retenu   Pour contribuer à sa formation en lui permettant -  une prise de conscience -  une reconnaissance par son environnement

  Pour valider une certification  Pour l’établissement de formation et ses enseignants

  Afin d’aider à objectiver la cartographie du profil de l’ingénieur, dans le dialogue avec les industriels (conseil de programmes)

  Afin d’ajuster en permanence ses démarches pédagogiques et ses méthodes d’évaluation, sur la base d’un certain nombre d’exemples

 Pour l’entreprise   Pour bénéficier de la garantie d’un niveau de compétence initial

 Pour la société   Pour assurer l’insertion dans le monde du travail en garantissant une

adaptabilité sur le long terme 13





 Conclusions

14


Qu’évalue-t-on ?

 On évalue le degré d'acquisition par chaque étudiant des compétences définies dans le référentiel mis en place par l’école et leur niveau d'atteinte en référence aux objectifs d’apprentissage observables qui y sont définis (p. ex. taxonomie de Bloom)

 On mesure de manière combinatoire le degré d'apprentissage des aspects   Scientifiques et techniques   Méthodologiques   Comportementaux   Relationnels   Linguistiques

15





 Conclusions

16


Quand évaluer ?

 La planification de l’évaluation, qui se réalise simultanément à la planification des activités d’apprentissage, contribue à assurer une cohérence d’intervention

 Il est possible, en se rapportant aux phases d’acquisition de la compétence, de déterminer les moments d’évaluation, afin de vérifier, à des périodes régulières, l’intégration et le transfert des apprentissages

17


Quand évaluer ? Les rythmes

 Une évaluation spontanée ou informelle cohabite harmonieusement avec une évaluation plus structurée. Cependant, l’une ou l’autre ne saurait être exclusive en aide à l’apprentissage

 Il convient d’évaluer avec une périodicité liée à la démarche pédagogique retenue  Conformément à une progression par étapes ; les indices de

cheminement et le degré de performance dans la compétence sont importants à recueillir et à interpréter tout au long de l’apprentissage

 Avec des échéances individualisées

 Il faut prévoir plusieurs occasions de valider les acquis d’apprentissage

18


Quand évaluer ? Les temps forts de l’évaluation

 Dans nos domaines, l’évaluation ne peut se réaliser que dans la mise en œuvre, ce qui suppose d’avoir défini le cadre de celle-ci :  Les apprentissages par projet  Les stages  Les projets de fin de parcours  L’élaboration du projet professionnel assorti d’un bilan de compétences puis

la présentation de ce projet  Evaluation (continue) au cours des modules

 Evaluation écrite ou orale classique  Mises en situation (nécessitant transversalité et interdisciplinarité)

  Etudes de cas réel   Simulations   Jeux de rôle   Travaux pratiques

 Capacité à mobiliser des connaissances pour la résolution d’un problème

19


Quand évaluer ? Un exemple

 La méthode d’évaluation de l’EI CESI basée sur Rubrics  Point de synchronisation hebdomadaire  Similitude avec la qualité : atteinte de l’objectif et non perfection. Puis

pondération des notes obtenues selon une grille définie par le concepteur de l’évaluation

 Les mêmes grilles existent pour le comportement professionnel (savoir-être)

 Il existe un risque de recherche de sous-optimisation par l’étudiant à un niveau médian, si l’ensemble des grilles d’évaluation est connu d’entrée.

 La difficulté sur les compétences est de définir les critères. Ceux-ci sont assez faciles à définir pour des connaissances, voire des savoir-faire

20





 Conclusions

21


Qui évalue ?

 Les personnes qui sont intervenues dans la construction des compétences

  Il s’agit d’une dynamique d’équipe  Travail collectif sur le questionnement  Chaque enseignant doit changer de posture par rapport à ses habitudes

d’évaluation de connaissances  L’évaluation des savoir-être et comportements professionnels est de la

responsabilité de l’école en liaison avec les intervenants extérieurs, par exemple :  Écoute et reformulation  Travail en équipe et sens relationnel  Hiérarchisation et organisation des problèmes  Recherche de solutions  Leadership et prise de décision  etc.

22


Qui évalue ?

 Équipes d’évaluation  Les enseignants  Les maîtres de stage ou tuteurs d’apprentissage d’entreprise (cf.

annexe 1)  Les pairs  L’étudiant lui-même  Les jurys

 Pour décerner le diplôme, le jury devrait intégrer l’évaluation des compétences acquises au même titre que celle des connaissances

23


Qui évalue ? Importance de l’autoévaluation

 Appropriation de l’approche compétences par les étudiants  Maîtrise du langage  Construction des acquis en fonction du référentiel des compétences et de ce

langage  Renforcement de l’autonomie

 Perception de la portée professionnelle de la formation : l’école et l’entreprise ont un langage commun

 Nécessité d’une base documentée pour la préparation du projet professionnel, afin de se positionner sur le marché du travail en fonction de son portefeuille de compétences

 Une responsabilité vis-à-vis de soi !  Cf. Annexe 2

24





 Conclusions

25



 Soutenance de projet  Présentation d’une activité, d’une problématique…  Stage en entreprise  Point d’avancement de projet  etc.

 De manière générale, toute situation donnant lieu à une évaluation multicritères (savoirs, savoir-faire, savoir-être)

26



 Situations particulièrement favorables à l’évaluation  Apprentissage par projet

 Une situation réaliste, multidisciplinaire  Favorable à l’évaluation des compétences  Pas de solution unique  Prétexte à l'apprentissage - Apprendre en s'aidant du groupe - Points sur le travail en groupe

 Pédagogie active  Tuteur facilite l'apprentissage - Questionne, diagnostique, stimule, suscite





 Conclusions

28


Principes de l’évaluation  Repérer la progression de l’étudiant en référence à des

situations associées à un profil de compétences visé  Cerner les ressources disponibles à tel niveau de

développement et apprécier l’efficacité de leur mobilisation  Cerner les ressources manquantes ou non mobilisées  Donner à chacun les moyens d’atteindre les objectifs qu’on

lui a fixés  Etablir les preuves confirmant, pour chaque compétence :

 la progression dans son acquisition  l’autonomie dans sa mise en œuvre

 Partager avec les étudiants  Les informer des conditions et objectifs de l'évaluation  Leur fournir un retour rapide pour définir des axes de progression

29


Quels principes et outils d’évaluation ?

 Principes  Système pragmatique  Équitable  Objectivable  Reproductivité de la mesure  Nécessité d’une transparence sur les différences de notes sur un projet

collectif  Niveau de progression

  Donner une rétroaction, y compris vis-à-vis de l’entreprise qui a été impliquée

 Évaluations doivent   Être descriptives car il existe des attentes différentes d’une entreprise à l’autre   Être formatives : -  Ne pas se limiter à une évaluation binaire -  Donner un retour sur le processus d’apprentissage de l’étudiant en vue d’acquérir

la compétence   Être normatives par rapport à l’obtention du diplôme

30


Quels principes et outils d’évaluation ?

 Outillage  Grilles d’évaluation

 Évaluation par les pairs, par exemple : - Pratiques de l’Université de Québec à Montréal (UQAM) - Activités associatives…

 Autoévaluation - Nécessite un apprentissage de l’analyse réflexive

 Grille Rubrics (cf. Annexe 4)  …

 Synthèse et représentation des acquis  Portfolio de compétences  Histogramme radial (radar)  …

31


Données de sortie du processus d’évaluation

 Plusieurs cas de figure se présentent au niveau individuel, par exemple :  Compétence acquise  Compétence en cours d’acquisition  Absence totale d’acquisition

  Il est, dans ce dernier cas, indispensable de chercher à comprendre ce qu’il s'est passé dans le processus d'apprentissage, d’identifier les éléments nécessaires pour faire acquérir la compétence et mesurer le pourquoi de l'échec

 Il est important de définir les retours de l’ensemble des évaluations :  Au niveau de l’enseignant sur l’efficacité de sa pédagogie  Au niveau de l’établissement sur l’adaptation de l’organisation

générale de son enseignement

32





 Conclusions

33


Comment évaluer ?

 Se poser la question de l'évaluation dès la définition de la compétence

 Aligner les objectifs d’apprentissage, le processus d’apprentissage et l’évaluation de l’atteinte des objectifs

 S’appuyer sur des outils permettant l’objectivation et la quantification de l’évaluation

 Constat sur les outils  Nécessité de créer un catalogue d’outils, bonnes pratiques… avec des

exemples eux-mêmes évalués (par exemple : confronter et analyser les méthodes d’évaluation des stages)

 Besoin d’un partage d’expériences sur les grilles de critères (comme « Open Rubrics ») pour évaluer un certain nombre de compétences clés, par exemple en gestion de projet

34


Comment évaluer ?  L’approche par les objectifs d’apprentissage (terminaux,

intermédiaires ou opérationnels) permet de valider :  Un premier niveau de performance dans la résolution de « situations

problèmes »  Le niveau d’autonomie  Nota : néanmoins la granulométrie des objectifs peut aller à l’encontre

de la transversalité

 Il est impératif que l’apprenant soit mis dans des situations proches du champ professionnel, en entreprise ou en laboratoire de recherche, afin de démontrer la réelle intégration de ses acquis

35


Comment évaluer ? Degré de performance

 Plusieurs niveaux d’objectifs sont nécessaires pour la mesure du degré de performance dans une compétence, par exemple :  Compétence en cours d’acquisition

  De base   Intermédiaire

 Compétence acquise   Maîtrise   Avancé

 Chaque niveau est caractérisé par  un état des indicateurs identifiables  une organisation spécifique des connaissances correspondant

à des apprentissages critiques

36





 Conclusions

37


Complexité de l’évaluation

 Savoirs aisément évaluables  Savoirs faire plus délicats  Savoir-être en situation préprofessionnelle

 Savoir-être en situation, par exemple   Comportement professionnel   Implication dans des projets transversaux   Implication dans la vie associative...

 Évalué dans les jurys   Délicat quand il n’y a pas de critères objectivables : ceux-ci

devraient être liés aux compétences professionnelles demandées par les entreprises

 Porter une attention particulière à l’évaluation de l’autonomie

38


Complexité de l’évaluation : Savoir - être préprofessionnel

 Prise en compte  D’un contexte général et d’éléments largement reconnus, avec des critères

tels que :   Capacité d’intégration dans l'équipe   Reconnaissance par l'équipe   Langage et expression   Qualité d’écoute   Comportement en présentation   Ponctualité   Tenue vestimentaire   Etat d'esprit   …

 De normes culturelles spécifiques à chaque entreprise   Que le diplômé devra identifier rapidement après son embauche

 À évaluer  Dans le contexte courant de la formation, en particulier à l’occasion des

périodes en entreprise plutôt que sous forme d’un enseignement spécifique  À faire apparaître dans les grilles d’évaluation

39


Complexité de l’évaluation : Dimension collective

 Evaluation entre enseignants pour définir une compétence : regard croisé prenant en considération plusieurs situations, plusieurs interlocuteurs (clients) de plusieurs horizons...

 Cela suppose que :   l’enseignant soit formé aux objectifs et techniques d'évaluation des compétences et

familiarisé avec la formulation d’objectifs pédagogiques   l'équipe d'évaluation ne se limite pas aux référents habituels, rattachés en général à la

Direction des Etudes et plus axés sur un traitement par exception que sur la dimension apprentissage

  les enseignants, qui de ce fait ne sont plus cantonnés à évaluer leur seul domaine de savoir, acceptent d’autres règles

 Evaluation entre étudiants dans les projets, stages, associations   Se pose la question du mode d’évaluation par les pairs et du suivi fait sur le projet   Besoin d’objectivation des évaluations entre pairs

40





 Conclusions

41


Granulométrie des compétences

 Nécessité de :  se limiter à l'évaluation d'un nombre restreint de compétences  de hiérarchiser celles-ci  de formuler des questions qui éclairent la compétence  de mesurer l'évolution de l'acquisition de chaque compétence  Prendre en compte de la même manière le mode d'évaluation

des connaissances de matières théoriques (maths, statistiques…)   Matrice interdisciplinaire   Complémentarité avec les matières d'application

 Voir annexe 5

42





 Conclusions

43


Conditions de réussite : principes

 Moteur pour la réflexion pédagogique  Innovations pédagogiques et interdisciplinarité

-  Évaluation des étudiants

 Évaluation des enseignements / valorisation des enseignants -  Formation des enseignants-chercheurs

 Le plus important : motiver et convaincre les enseignants chercheurs  S’organiser pour travailler en équipe  Travailler de manière collaborative  Partager ses expériences  Reconnaître l’implication

 Accompagnement et gestion du changement  Voir Annexe 6

44


Conditions de réussite : Risques

 Associer trop étroitement l’évaluation de l’efficacité de la pédagogie et l’évaluation de l’acquisition de la compétence

 L’évaluation, « exercice du pouvoir » de l’enseignant :  « plus c’est difficile mieux c’est ! »  assure la position de détenteur du savoir  vécu par les étudiants comme un piège

 Difficultés de mise en œuvre liées au caractère chronophage de l’évaluation :  Dimension collective, en raison de la multiplicité des

intervenants  Correction de questions ouvertes

45





 Conclusions

46


Conclusions  Il existe des démarches permettant d’évaluer un premier

niveau de compétences des nouveaux diplômés, ce qui répond aux enjeux de l’approche Compétences :

 Garantir aux entreprises que -  le niveau de compétences du jeune ingénieur est compatible avec les

attentes liées à un premier poste - Le jeune ingénieur est familiarisé avec le processus d’évaluation de

compétences de l’entreprise  Aider les futurs diplômés à - appréhender la construction et la gestion de leur employabilité à court

terme (recrutement) et à long terme (parcours professionnel) - définir ses compétences personnelles - positionner les compétences acquises vis-à-vis de celles requises par un

employeur donné pour un poste donné  Assurer la continuité entre les différents types de formation (initiale

et continue) 47


C’est le début d’un processus que l’ingénieur va pouvoir développer tout au long de sa vie professionnelle

48


Annexes

49


Le rôle des tuteurs

Annexe 1

50


Rôle des Tuteurs et Maîtres d’Apprentissage dans l’évaluation (1/3)

 Double dimension de la période en entreprise (tâches à vraie valeur ajoutée en entreprise et contexte réel et concret de transfert des acquis académiques)

 L’évaluation d’une compétence relève d’une démarche continue et progressive vers le niveau de performance attendu (le temps et la diversité des situations permettent de fiabiliser la performance)  Pour l’étudiant (stagiaire), le temps en entreprise est limité, il faut donc

qu’enseignants et intervenants d’entreprise travaillent conjointement dans la conception de situations d’apprentissage multidisciplinaires permettant une évaluation réelle de compétences (projets, études de cas, jeux de rôles, BE….)

 Pour l’apprenti, le temps en entreprise est important il faut donc s’assurer que les connaissances construites en école (intégrations des contenus disciplinaires) puissent périodiquement trouver leur application sur les projets proposés lors des périodes en entreprise (transfert).

51


 Evaluent spontanément par rapport à leurs valeurs, leurs critères, rarement sur la base d’un référentiel explicite de compétences

 Sont très souvent en position d’évaluation dans un but de recrutement potentiel

 Quelle posture au regard des types d’évaluations mises en œuvre (ex: évaluation formative, critères et indicateurs d’une évaluation formelle) ?  Posture à adopter en évaluation au regard des conséquences pour l’apprenant

et pour le tuteur ou le MA lui-même (qui est évalué ?)  Posture d’évaluateur lors d’un jury de soutenance,

  harmonisation et pertinence des critères,   performance du questionnement,   limitation de l’inférence / réponses,…

52



 Triple dimension d’une évaluation  connaissances techniques, scientifiques & méthodologiques du métier

  éléments factuels de démonstration des compétences : produits ou prestations réalisées

 comportements et attitudes   pertinence dans l’explicitation des démarches cognitives mises en œuvre

dans le traitement des problématiques professionnelles (stratégie, processus de choix au regard des exigences, processus et critères explicites de décision sur les alternatives, intégration des exigences diverses….)

  situations critiques maitrisées…   connaissances contextuelles

53



Le rôle de l’autoévaluation

Annexe 2

54


Cas d’évaluation et autoévaluation

 Situation  122 stagiaires pour un stage de 5 mois en début de 2e année

 Objet d’évaluation et d’autoévaluation  3 compétences générales :

  agir en acteur dynamique dans une équipe   en bon communiquant   en professionnel responsable

 4 compétences spécialisées :   agir en mode projet   conception,   Développement   résolution de problème techniques

 Démarche :  Validation de la grille d’évaluation avec la collaboration de 12

maîtres de stage  Évaluation d’abord et autoévaluation ensuite mais

indépendamment

55


Analyse de l’autoévaluation

 Le taux de convergence des vues est significatif : autour de 2/3

 Compétences générales :  Une plus grande homogénéité dans le cas des compétences

générales : [63% ; 69%] contre [57% ; 68%] pour les autres compétences

 le contexte professionnel conduit le stagiaire à plus d’humilité !

 Compétences spécialisées :  nuances et inversion des appréciations

56


Évaluation et autoévaluation

 3 « vues » sont produites  L’autoévaluation de l’apprenant  L’évaluation dans un contexte académique approprié  L’évaluation dans un contexte professionnel

 Croisement : autoévaluation – évaluation  Dans tous les cas, il s’agit de mesurer les performances de l’apprenant

en appliquant les principes de l’évaluation  Repérer le niveau de développement des compétences  Cerner les écarts et les interpréter  Qualifier l’efficacité de la mobilisation des ressources  Contrôler la maîtrise des ressources impliquées dans les apprentissages

critiques

57


Critères d’évaluation

Annexe 3

58


 Organisation du référentiel d’activités :  Définition des activité et tâches  Définition des compétences associées aux activités et tâches

 Référentiel de certification :  Compétences ou capacités qui seront évaluées  Modalités d’évaluation  Critères d’évaluation

59


Structure des fiches RNCP

60

Référentiel d’activités Référentiel de certification Activités &

Tâches Compétences associées aux

activités et tâches

Compétences ou capacités qui seront évaluées

Modalités d’évaluation

Critères d’évaluation

Management de projets : Activités centrées sur : •  compréhension du métier client •  mise en œuvre de cadres méthodologiques •  découpage et planification du projet •  constitution d’une équipe et affectation des lots •  …

•  Au niveau national ou international, en s’appuyant sur des standards et des cadres méthodologiques, •  piloter le projet en organisant le planning et en coordonnant les tâches à effectuer par les acteurs impliqués en gérant les problèmes qui peuvent survenir et en veillant au respect du cahier des charges et des normes qualité…

•  En respectant le cahier des charges et les normes qualité, sélectionner les standards et les cadres méthodologiques à utiliser •  A partir d’une analyse du projet à conduire, définir les différentes actions à réaliser •  Tout au long du projet, identifier les problèmes et aléas pouvant nuire…

•  Gestion d’un projet •  Définition d’un plan d’action •  Elaboration de la stratégie de gestion des risques •  Animation de réunions

•  Cohérence des différents plans avec la problématique et la dimension du projet •  Exhaustivité des risques principaux identifiés •  Pertinence du plan de prévention et d’atténuation de chacun des risques •  Exhaustivité de la prise en compte des besoins client • …


Apports des référentiels

 Description assez fine des catégories liées au métier d’ingénieur :  compétences professionnelles  compétences personnelles  compétences interpersonnelles

 Adaptations ponctuelles

61


Exemple d’état des critères

62


La technique Rubrics

 Une technique pour l’évaluation sur critères de réponses à des questions ouvertes :  pour les étudiants : précise les attentes des enseignants  pour les enseignants : facilite et accélère l’évaluation (et la

notation éventuelle)  permet l’auto-évaluation (par les étudiants)  pour les étudiants et les enseignants : objective la rétroaction

 Cette technique amène à formuler des indicateurs suffisamment précis et mesurables pour permettre concrètement le travail d’évaluation

 Les critères décrivent des qualités attendues  Les indicateurs permettent de mesurer le niveau de

satisfaction de ces qualités 63


Outils d’évaluation synthétique

 Le portefeuille fondé sur une autoévaluation vérifiable : « déclarations et bilan de compétences »  Il s’agit d’une collection d’informations numériques décrivant

et illustrant l’apprentissage ou le parcours professionnel et démontrant une acquisition, une maîtrise, des réussites issues de l’expérience de l’intéressé

 On peut le comparer au « book » d’un artiste complété par une réflexion tirée de l’expérience

 La grille d’observation des maîtres de stage  Le « cahier de suivi » des tuteurs : observation lors

des apprentissages  Une grille d’observation commune : Elève - Tuteur et

Elève - Maître de stage

64


Aspect docimologique

  Le niveau attendu : maîtrise des éléments du modèle cognitif associés et mobilisation efficace des ressources

  Jugement global et jugement par critère : des évaluations qualitatives   Le problème de passage d’un niveau à un autre : observation !?   D’où l’éclatement hyperfin : loin ; proche ; très proche ; au-delà. Ce qui

est utile pour l’apprenant est de cerner les écarts et d’agir en conséquence

  Des règles de conversion peuvent conduire à des évaluations quantitatives – factices, mais rassurantes !

65

Niveau d’atteinte Sans objet Compétence Loin Proche Très

proche Attendu Au-

delà Jugement global

Critère 1

Critère 2…


Exemple d’évaluation critériée Rubrics

Annexe 4

66


Sommaire

 Contexte de l’expérimentation  Pourquoi Rubrics ?  Qu’est-ce que Rubrics ?  Déploiement au sein de l’eXia-Cesi  Retour d’expérience et pistes de travail

67


Contexte: L’eXia.Cesi

  12 centres en mode synchrone   1 pédagogie: PBL   1 Conception pédagogique nationale   L’évaluation : point de « re synchronisation »

hebdomadaire

68


Problématique des évaluations

 Une évaluation peut être le plaisir de l’enseignant:   plus c’est difficile mieux c’est !   assure la position de détenteur du savoir de l’enseignant   vécu par les étudiants comme un piège

 Difficulté de conception:   PBL vise a développer le Deep Learning   Le champ de questionnement peut être très vaste

  Temps de correction :   L’évaluation par question ouverte est chronophage

69


Rubrics : c’est quoi

Une technique pour l’évaluation critériée de réponses à des questions ouvertes :

 précise les attentes des enseignants (pour les étudiants)

 facilite et accélère l’évaluation (et la notation éventuelle) (pour les enseignants)

 permet l’auto-évaluation (par les étudiants)

 objective la rétroaction (pour les étudiants et les enseignants)

70


Rubrics : critères → indicateurs

 La technique des rubrics amène à formuler des indicateurs suffisamment précis et mesurables pour permettre concrètement le travail d’évaluation

 Les critères décrivent des qualités attendues; les indicateurs permettent de mesurer le niveau de satisfaction de ces qualités

71


Exemple

 A la fin des quatre premières semaines du cours Java,

les étudiants de 1ère année seront capables de décrire

de façon précise les effets externes qui seront

produits par l’exécution d’un programme Java de

quelques pages qu’ils n’auront jamais vu auparavant

72

Quand ? Qui ?

Comment ? Quoi ?


Rubrics : l’exemple Java

73

Critères ↓

Niveaux de qualité

A B C D

Description des effets produits

chaque effet produit est décrit de façon complète, correcte et en utilisant le vocabulaire approprié

un petit nombre d’imperfections: certains effets sont mal décrits (< 20%)

environ la moitié des effets sont mal décrits

(presque) tous les effets sont mal décrits

Exhaustivité tous les effets produits sont décrits

un petit nombre d’effets sont omis (< 20%)

environ la moitié des effets sont omis

(presque) tous les effets sont omis


Rubrics : l’exemple Java (suite)

74

Critères ↓

Niveaux de qualité

A B C D Cas particuliers en entrée

tous les cas particuliers sont décrits

un petit nombre de cas particuliers sont omis (< 20%)

environ la moitié des cas particuliers sont omis

(presque) tous les cas particuliers sont omis

Conditions d’erreur

toutes les conditions d’erreur sont décrites

un petit nombre de conditions d’erreur sont omises (< 20%)

environ la moitié des conditions d’erreur sont omises

(presque) toutes les conditions d’erreur sont omises


Mettre en place Rubrics !

 Investissement fort demandant d’aligner les objectifs pédagogiques avec la compétence recherchée et le moment d’évaluation.

 Un travail en tunnel:  Etablir un référentiel de compétences en identifiant le moment

de l’évaluation dans le parcours de l’étudiant  Identifier les objectifs pédagogiques de chaque cours  Aligner en identifiant le moment d’évaluation

75


Retour d’expérience

•  Vision programme: •  Des objectifs pédagogiques de plus en plus pertinents •  Une cartographie compétences/objectifs pédagogiques /

moments d’évaluation naissante

•  Vision étudiant: •  Savent ce que l’on attend d’eux

•  Vision enseignant: •  Temps de conception des fiches assez long •  Meilleure qualité des évaluations

76


Conclusion

•  Rubrics à amener un travail, une réflexion de fond nécessaire:

•  Pourquoi évaluer l’étudiant ? •  Quand évaluer ? •  « désacraliser » l’évaluation •  L’évaluation de la connaissance est préparatoire et

nécessaire avant l’évaluation de la compétence en projet ou en stage c’est aussi un acte formatif

•  Une réticence : présenter la grille Rubrics avant l’évaluation peut permettre aux étudiants de se satisfaire du B

77


Méthode d’évaluation Rubrics 1/2

 Point de resynchronisation hebdomadaire. La question est de savoir ce que l’on a évalué. On essaye d’informer les étudiants de ce sur quoi ils vont être évalués. Nécessité d’une rétroaction.

 Similitude avec la qualité : atteinte de l’objectif et non perfection. Puis pondération des notes obtenues selon une grille définie par le concepteur de l’évaluation.

 Les mêmes grilles existent pour le comportement professionnel (savoir être)

 Il existe un risque de recherche de sous-optimisation par l’étudiant au niveau B, si l’ensemble des grilles d’évaluation est connu d’entrée.

78


Méthode d’évaluation Rubrics 2/2

 Il est nécessaire de donner plusieurs occasions de valider une compétence.

 La difficulté sur les compétences est de définir les critères. Ceux-ci sont assez faciles à définir pour des connaissances, voire des savoir-faire.

 On note une structure pyramidale de la progression.

79


Exemple de granulométrie

Annexe 5

80


Exemple de granulométrie

 Un corpus bien découpé en KLP (Key Learning Points)clairs, chaque KLP étant enseigné par n supports et validé par 1 QCM, semble une idée séduisante, mais le travail à fournir est énorme. Avec du QCM, on risque de ne fabriquer que de la certification.

 Notion d’exhaustivité dans la liste des critères.  Trois niveaux au total. Quand on monte en

compétences, on sort de l’évaluation par les seuls QCM vers des exposés, par exemple

 Ces techniques semblent bien s’appliquer à des concepts très précisément décrits (courant en informatique, ex. ITIL)

81


Analyse des conditions de réussite à Télécom Bretagne

Annexe 6

82


Un historique de près de 10 ans

  Formulation d’objectifs pédagogiques   Application de l’approche compétences sur les projets semestriels

  Interdisciplinarité   Lien avec le contexte industriel   Progression des objectifs au fil des semestres   Mise en œuvre de la pédagogie active

  Fortes interactions avec l’Université de Louvain-la-Neuve   Formation des enseignants-chercheurs

  Apprentissage par projet   Une situation réaliste, multidisciplinaire   Pas de solution unique   Prétexte à l'apprentissage

  Apprendre en s'aidant du groupe   Points sur le travail en groupe

  Pédagogie active   Tuteur facilite l'apprentissage

  Questionne, diagnostique, stimule, suscite

83


Quelques conditions significatives de réussite

  A l’issue de la première phase...   Un noyau d’enseignants est fortement impliqué   Ils sont formés à l’approche par compétences en projets (1/3 a suivi la formation à la

pédagogie active   Ils sont familiarisés avec la formulation d’objectifs pédagogiques (taxonomie de Bloom)

  Aide à l’expression des Objectifs Pédagogiques   Compréhension des différents niveaux   Ils ont expérimenté

  Ils ont l’habitude de travailler ensemble dans un contexte inter/multidisciplinaire   Les enseignants ne sont pas seulement dans leur domaine de savoir : ils acceptent

d’autres règles   Apport des référentiels : CDIO* et correspondance CTI

  Description assez fine des catégories : compétences professionnelles & personnelles, interpersonnelles, et liées au métier d’ingénieur (contexte et CDIO)

  Adaptations ponctuelles

  Dialogue actif avec les industriels (conseil de programmes)

84

* CDIO Initiative http://www.cdio.org/ Conceive — Design — Implement — Operate


Extraits des exposés du colloque du 17 mai 2011 disponibles sur

http://www.assopascaline.fr/index.php?option=com_content&task=view&id=207&Itemid=119

Documents ayant éclairé la réflexion et disponibles sur le site de Pasc@line

85