1 insérez ici votre logo nom de l'intervenant - titre de l'intervention lanalyse de...
TRANSCRIPT
1Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo L’analyse de logiciels de
formation :
entre critériologie descriptive et nécessaire subjectivité
Olivier Hû - Philippe Trigano
Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206
Compiègne, [email protected] ; [email protected]
2Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Plan
• Les sources des critères d ’analyse• La nécessité d ’une structuration
adaptative• La nécessité de prise en compte de la
subjectivité• La confrontation entre subjectivité
humaine et évaluation analytique• Notre prototype• Validations• Perspectives• Conclusions
3Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Les sources des critères
d’analyse
• Les Sources :– Les Normes– Les Guides de style– Les Critériologies et Ontologies des domaines
• D ’où un grand nombres de recommandations :– A tous les niveaux de détails : directives,
critères, recommandations… – Dans tous les thèmes : ergonomie, documents
multimédias, génie logiciel, pédagogie…
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
4Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Les sources des critères d’analyse…
en ergonomie
• Normes :– Norme ISO/WD 9241 – Accessibilité W3C WAI ATAG / UAAG / WCAG
• Guide de style :– Windows Interface Guidelines For Software Design– OSF Motif Style Guide– Mac OS 8 Human Interface Design Apple
• Recueils de recommandations et critériologies :– J. Vanderdonckt - Guide ergonomique des IHM. – D. Scapin - Ergonomic criteria for evaluating the
ergonomic quality of interactive systems.– International Journal of HCI ; TFWWG ; CADUI ; ERGO-
IA ; IHM...
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
5Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
WAMMI (Website Analysis MeasureMent Inventory)WebSATProjet EvalWeb (INRIA, LIHS Toulouse,UCL)
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
pour le Web
Les sources des critères d’analyse…
en multimédia
• Questionnaire NUMI• J. Ziegler - Standards for Multimedia User
Interfaces• Les normes d ’édition• Musicologie (Chion M.), Photographies…
6Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Les sources des critères d’analyse…
en pédagogie
• La norme RIP : critères pédagogiques, critères techniques, critères juridiques
• Le questionnaire d ’évaluation METANE
• A l ’intérieure de différentes méthodes ou ouvrages (MEDA…)
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
7Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Les sources des critères d’analyse…
conséquences
• Un très (trop) grand nombre de recommandations
• Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation…
• Un temps d ’évaluation long
• Pas besoin de toutes les recommandations tout le temps
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
8Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité d’une
structuration adaptative
…
…
… …
… …Q221
Q222
Q223
…
Themes
Criteria
Sub-Criteria
Questions
T1 T2
C1 C2 C3
C21 C22 C23
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Un parcours synchrone
9Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité d’une
structuration adaptative
Q1
Q2
Q3
Q4
1
3
3
1
Criterion mark
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Un parcours synchrone
Une pondération adaptable
10Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité d’une
structuration adaptative
Question : Avez-vous…?Réponses :
Proposition 1Proposition 2
...
… …Q221
Q222
Q223
…
C21 C22 C23
P=1P=3
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Un parcours synchrone
Une pondération adaptable
Une adaptation dynamique
11Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité d’une
structuration adaptative
-10
-5
0
5
10
always often sometimes never
Do you see this default ?
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Un parcours synchrone
Une pondération adaptable
Une adaptation dynamique
Des calculs évolués
12Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité d’une
structuration adaptative
• Un parcours synchrone
• Une pondération adaptable
• Une adaptation dynamique
• Des calculs évolués
Une
évaluation
toujours
incomplète
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
13Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité de prendre en
compte la subjectivité
• Un contexte complexe : plaisir d’utilisation, motivation, empathie…
• Des compétences hétérogènes des enseignants
• Pouvoir confronter les a priori de l ’évaluateur
• Détecter des défauts ressentis et non formulés
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
14Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité de prendre en
compte la subjectivité
• Les Impressions Générales
Rassurant / DéconcertantLuxuriant / Sobre
Ludique / AcadémiqueActif / Passif
Simple / ComplexeInnovant / Traditionnel
Une capitalisation
Une description « neutre »
Deux exploitations futures :
des impressions « calculées »
une description du public cible
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
15Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo La nécessité de prendre en
compte la subjectivité
• Les Impressions Générales
• Une Notation Instinctives
• Une Profondeur d’Analyse Variable
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
16Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
• Le résultat doit être vu comme une proposition :
sa qualité est de la responsabilité de l ’évaluateur
il permet de confronter son opinion à la vision analytique
la méthode aide et ne remplace pas l ’évaluateur
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
La confrontation entre subjectivité humaine et évaluation analytique
17Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Explanation
Reformulation
Exemples
Theory
Help
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
La confrontation entre subjectivité humaine et évaluation analytique
Une aide à l ’évaluation
Vers un apprentissagede l ’évaluation
18Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants
… …
C2
C21 C22 C23
+10
-9 -10 -8
Notes Instinctives
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Une aide à l ’évaluation
Un indice de cohérence
La confrontation entre subjectivité humaine et évaluation analytique
19Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Note Calculée Note Instinctive
Indice decohérence
Pondéréepar
Proposition de résultat
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Une aide à l ’évaluation
Un indice de cohérence
Une proposition de note « intelligente »
La confrontation entre subjectivité humaine et évaluation analytique
20Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
• Une aide à l ’évaluation
• Un indice de cohérence
• Une proposition de note « intelligente »
• Vers un rapport descriptif
CommentairesGénérationde descriptions
Rapportdescriptif
Notes finales
Rapport final d ’évaluation
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
La confrontation entre subjectivité humaine et évaluation analytique
21Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Notre prototype
22Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Note instinctive
Impressions Générales
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Notre prototype
23Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
Proposition de note finaleLes sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Notre prototype
24Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Validations
• Des cycles de conceptions avec des étudiants de second cycle :
– Une cinquantaine d’étudiants pour une trentaine de logiciels
• Usage réel– Recueil d’informations sur l’usage du prototype
par des enseignants ou des experts
• Observation sur le terrain– Observation de l’usage de différents logiciels
par une classe de cm2
• Une confrontation avec les concepteurs
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
25Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Validations
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
• Impressions Générales :– Terrain : bonne prédiction de l ’adéquation
public/logiciel– Concepteurs : retour sur la population cible
• Le Questionnaire :– Terrain : bonne détection des erreurs
ergonomiques– Concepteurs : vision clinique multicompétence
• Notes Instinctives / Calculées :– Terrain : investissement et apprentissage de
l’évaluateur– Concepteurs : priorité de développement
26Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Perspectives :
• Utilisabilité du prototype
• Présentation des résultats
• Ordonnancement des critères
• Portabilité de la méthode à d’autres questionnaires
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
27Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Perspectives : (M)-1
• Un outil d ’aide à la conception• La même base de critères que EMPI• Génération d ’un « cahier des charges »
Un formalisme de description Gérer toutes les caractéristiques de la méthodeProduire le questionnaire sur différents supports
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
Perspectives : QML
28Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo Conclusions
• La base de recommandations est riche en taille et en diversité
• Ne jamais oublier le contexte humain
• Une instrumentation plus qu’une automatisation
Les sources
Adaptation
Subjectivité
Confrontation
Prototype
Validations
Perspectives
Conclusions
29Nom de l'intervenant - Titre de l'intervention
Insérez icivotre logo
L’analyse de logiciels de formation :
entre critériologie descriptive et nécessaire subjectivité
Olivier Hû - Philippe Trigano