page 1 approche critique des produits idl master 1 idl année 2009 - 2010 faureauriane@gmail.com ...
Post on 03-Apr-2015
105 Views
Preview:
TRANSCRIPT
Page 1
Approche critique des produits IdL
Master 1 IdL Année 2009 - 2010
faureauriane@gmail.com http://aurianefaure.free.fr
Auriane Faure
Page 2
Objet du cours
• Produits IdL et Sciences du langage
• Construction et mise en œuvre d’une évaluation
• Quelle évolution possible / nécessaire d’un logiciel
• Regard critique sur le TAL et les outils qui l’utilisent
Approche critique des produits IdL - Cours 1
Page 3
Déroulement
• Cours d’introduction à l’évaluation
• Cours sur 4 grandes familles d’outils IdL
• Mener une évaluation
Approche critique des produits IdL - Cours 1
Page 4
Plan
1. Le TAL et les produits IdL
2. Une approche critique ?
3. Principes d’évaluation– Pourquoi ?– Quoi ?– Comment ?
Approche critique des produits IdL - Cours 1
Page 5
1. Le TAL
Approche critique des produits IdL - Cours 1
Page 6
Terminologie
• TAL : plutôt recherche. Utilisation de l’informatique pour traiter le langage naturel
• TAL = NLP = Linguistique computationnelle = CL
• IdL : domaine applicatif. Logiciels utilisant le langage sous des aspects très limités
Approche critique des produits IdL - Cours 1
1. Le TAL
Page 7
D’où vient le TAL ?
• Du mythe de l’automate…– Imiter les fonctions humaines– Mécanique physique– Mécanique des langues
• À la linguistique computationnelle– Naissance de l’ordinateur– Ordinateur et cerveau humain…– Linguistique informatique
D’après J. Véronis (2001)
Approche critique des produits IdL - Cours 1
1. Le TAL
Page 8
Le TAL
• Double objectif– Etude des langues et de la faculté de
langage– Exécution de certaines tâches
linguistiques
• Double compétence– Sciences du langage– Informatique
• Traditionnel « Analyse / Génération »
Approche critique des produits IdL - Cours 1
1. Le TAL
Page 9
Le TAL (2)
• Modélisation informatique– Opérationnaliser des modèles
linguistiques pour les tester et comprendre le système linguistique sous-jacent
– Reproduire une capacité humaine (sans comprendre son fonctionnement) pour exécution d’une tâche
• Modélisation linguistique– Parole– Ecrit
Approche critique des produits IdL - Cours 1
1. Le TAL
Page 10
Produits IdL
• Typologie– Parole
• A : reconnaissance• G : synthèse
– Ecrit• Traduction automatique• Recherche d’information• Dialogue homme-machine• Aide à la rédaction• Outils pour l’apprentissage des langues• Génération automatique de textes
Approche critique des produits IdL - Cours 1
1. Le TAL
Page 11
2. Approche critique
Approche critique des produits IdL - Cours 1
Page 12
Esprit critique…
• La Zététique – La science de l’esprit critique– Je doute donc je suis
Approche critique des produits IdL - Cours 1
2. Approche critique
Page 13
Approche critique…
• Approche critique– Regard complet et complexe– Analyse– Méthode expérimentale
• Evaluation• Croiser les regards critiques :
– Journaux spécialisés– Campagnes d’évaluation
Approche critique des produits IdL - Cours 1
2. Approche critique
Page 14
3. Principes d’évaluation
Approche critique des produits IdL - Cours 1
Page 15
3.1. Pourquoi évaluer
Approche critique des produits IdL - Cours 1
Page 16
Pourquoi évaluer ?
• Emulation• Validation• Retour d’expérience
Approche critique des produits IdL - Cours 1
3.1. Pourquoi évaluer ?
Page 17
Pourquoi évaluer en TAL?
• Problématique ancienne– Test de Cranfield : 1960– Pratique informatique forte
• Problématique actuelle– Maturité des propositions– Foisonnement de l’offre
Approche critique des produits IdL - Cours 1
3.1. Pourquoi évaluer ?
Page 18
Deux orientations
• Evaluation orientée système– Méthodes de laboratoire– Limites
• Evaluation orientée utilisateur– Prise en compte du contexte
d’usage– Modélisation des usages/usagers
Approche critique des produits IdL - Cours 1
3.1. Pourquoi évaluer ?
Page 19
Campagnes d’évaluation
• Campagnes thématiques• Organisation et objectifs• Ressources fournies• Déroulement
– Phase d’entraînement
– Phase d’apprentissage
– Phase de test
– Analyse des résultats
Approche critique des produits IdL - Cours 1
3.1. Pourquoi évaluer ?
Page 20
Campagnes d’évaluation
• Cranfield 2 (1960)• Campagnes USA (80’s)• Programmes européens (90’s)• Le programme Technolangue
– Organisation de campagnes d’évaluation
– Élaboration de méthodologies génériques d’évaluation
– Enjeux théoriques et méthodologiques des pratiques évaluatives
Approche critique des produits IdL - Cours 1
3.1. Pourquoi évaluer ?
Page 21
3.2. Quoi évaluer ?
Approche critique des produits IdL - Cours 1
Page 22
La « qualité » d’un système
• « Ensemble des caractéristiques d’un logiciel pour répondre aux besoins de ses utilisateurs »
• 3 dimensions– À l’usage– Externe– Interne
3.2. Quoi évaluer ?
Norme ISO
Page 23
La « qualité » d’un système
• « Ensemble des caractéristiques d’un logiciel pour répondre aux besoins de ses utilisateurs »
• 3 dimensions– À l’usage– Externe– Interne
3.2. Quoi évaluer ?
Norme ISO
Page 24
5 niveaux d’évaluation
• Evaluation de la recherche de base
• Evaluation technologique• Evaluation d’usage• Evaluation d’impact• Evaluation de programme
D’après le consortium ELSE
Approche critique des produits IdL - Cours 1
3.2. Quoi évaluer ?
Page 25
5 niveaux d’évaluation
• Evaluation de la recherche de base
• Evaluation technologique• Evaluation d’usage• Evaluation d’impact• Evaluation de programme
D’après le consortium ELSE
Approche critique des produits IdL - Cours 1
3.2. Quoi évaluer ?
Page 26
Dimension « usages »
• Utilisabilité• Satisfaction• Rendement
• Replacer l’utilisateur dans processus d’évaluation
• Analyse des pratiques
3.2. Quoi évaluer ?
Page 27
Dimension « externe »
• Pour résoudre un problème posé :– Performance– Couverture – Robustesse– Pertinence
3.2. Quoi évaluer ?
Page 28
Dimension « interne »
• Caractéristiques intrinsèques– Modèle linguistique– Conception du système
3.2. Quoi évaluer ?
Page 29
3.3. Comment évaluer ?
Approche critique des produits IdL - Cours 1
Page 30
Individuelle vs comparative
• Evaluation individuelle– Aptitude d’un système à réaliser
une tâche– Mesure de performance au
regard d’une mesure étalon
• Evaluation comparative– Réalisation d’une tâche et
comparaison avec résultats d’autres systèmes
Approche critique des produits IdL - Cours 1
3.3. Comment évaluer ?
Page 31
Deux types d’évaluation
• Boîte noire– Entrée/sortie– Evaluation des résultats
• Boîte transparente– Structure interne– Diagnostic précis des
performances
• Le choix entre les 2 dépend du but de l’évaluation
Approche critique des produits IdL - Cours 1
3.3. Comment évaluer ?
Page 32
Processus
• Quelle tâche linguistique ?• Quelle tâche de contrôle ?• Quelles ressources ?• Quelle métrique ?
• Exemple : campagne d’évaluation en RI
Approche critique des produits IdL - Cours 1
3.3. Comment évaluer ?
Page 33
Métriques
• Idée générale du niveau de performance
• Etat de l’art commun• Types de mesures :
– Une valeur de référence– Une comparaison entre
systèmes
• Implication de l’humain
Approche critique des produits IdL - Cours 1
3.3. Comment évaluer ?
Page 34
Ressources
• TOUT tester est impossible• Echantillon représentatif et
significatif• Construction :
– Cas général– Cas particuliers
Approche critique des produits IdL - Cours 1
3.3. Comment évaluer ?
Page 35
Exemples de travaux rendus
• Analyse comparative de la correction orthographique entre Word et OpenOffice (accessible en ligne : )
• Google vs. Yahoo!Search (RI)• RI avec ou sans index dans
l’encyclopédie Universalis
top related