Instrumenter la lecture critique personnelle multimédia
Thomas Bottini
Direction :Pierre Morizet-Mahoudeaux
Bruno Bachimont
Compiègne, lundi 13 décembre 2010
Plan
I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures
Motivations& approchesVers une lecture critique/savante/intensive multimédia
Situation lectoriale contemporaine
Lecture critique : clef de voûte des sociétés lettrées.→ Production de nouvelles connaissances.
Changement de supports. Multimédia + Web → contenus non textuels.
La lecture multimédia est pensée sous l’angle d’une lecture hyperextensive… Le Web : l’idée d’une bibliothèque mondiale organisée. Plateformes de partage (fonction sociale et non critique). Outils de consommation passive (lecteurs).
… mais le numérique achoppe sur la lecture d’étude*. Le Memex de V. Bush (1945) n’est toujours pas réalisé !*[GIFFARD 2009]
Caractérisation de la lecture critique
Régime analytique : Annotation, marquage & balisage. Sélection, décomposition & fragmentation des contenus. Reformulation & commentaire des unités identifiées.
Régime synthétique : Mise en relation des unités. Hiérarchisation, spatialisation, articulation* (valeur critique). Construction de nouveaux contenus.
Une activité toujours instrumentée**… … faute d’outils adéquats, pas de tradition critique du
multimédia.**[GOODY 1989, GHITALLA 1999, STIEGLER 2005] *[NAKAKOJI ET AL. 2005]
Enjeu technique
Quelle discrétisation des contenus multimédias pour rendre possible la conduite de ces opérations critiques fondamentales ?
annoter
sélectionner
découper
écrire
spatialiser
relier
structurer
regrouper
Notion de chaîne lectoriale
Grille d’analyse historique : Intérêt porté à chaque maillon
selon l’époque.
Manque instrumental : Passage C ↔ D.
Entretiens avec des lecteurs savants
Étudiants, chercheurs en SHS. Souplesse du papier pour la prise de note et l’exploration des
idées… … mais prédominance du numérique pour la production finale.▪ Ainsi, MS Word se trouve investi de tous les rôles :▪ Milieu d’articulation intersémiotique ET critique.▪ Milieu d’articulation des opérations lectoriales.
▪ Orienté production finale et non travail sur les idées. Les contenus sonores restent esclaves du texte (transcription).
Musicologues (segmentation & mise en tableau de partitions). Une pratique fondamentalement multimédia… … mais un « artisanat du papier ».
Une instrumentation déficiente
Positionnement
Une technologie cognitive pour la lecture critique. Un dispositif de suppléance et non de substitution*… … car l’intelligence est matérielle ** et située.
Positionnement disciplinaire : Ingénierie des connaissances (inscriptions numériques***) Ingénierie documentaire/multimédia Hypertextes spatiaux (spatialisation libre, activité
exploratoire) IHM
**[LATOUR 1992, BACHIMONT 2005]
*[GAPENNE ET AL. 2001]***[BACHIMONT 2004]
Plan
I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures
État de l’art4 classes d’outils et d’approches en rapport avec la question de la LCPM
Écoute active et annotationde flux sonores
1. GUI pour feuilleter, zoomer, segmenter et annoter un flux.
Associer du texte à des intervalles temporels.2. Organiser les annotations en lignes de temps
parallèles.
Manquent : Espace de synthèse & comparaison.▪ … car un document source unique.
Relations hiérarchiques (tout-partie, plan logique).
XCAPTURE [HINDUS ET AL., 1993]MEDIA MATRIX [KORNBLUH ET AL., 2005]
PROJECT PAD [NORTHWESTERN UNIVERSITY, 2006]
Annotation d’images fixes
Ontologies personnelles : Automatisation de l’annotation. Documents techniques.
AKTIVMEDIA [CHAKRAVARTHY, 2006]
ARMARIUS [DOUMA ET AL., 2008]
[FAURE ET VINCENT, 2007]
Manquent : Manipulation
exploratoire « informelle ».
Espace de synthèse & contextualisation.
Faciliter l’annotation répétitive de manuscrits anciens (CBR).
Importance de la structuration comme opération critique pour l’appropriation d’images « brutes ».
Images en mouvement
Annotations. Modèles de MD avec degré de
formalisation variable (pour soi, pour les pairs).
Restitution des résultats analytiques sous forme de vues XHTML.
Lignes de temps hiérarchiques, couleurs.
MEDIA MATRIXADVENE [AUBERT ET PRIÉ, 2005]
ANVIL [KIPP, 2001]PROJECT PAD
Manquent…
L’approche des hypertextes spatiaux
Pas de distinction nette entre lecteur et auteur. Favoriser la phase exploratoire car structuration souple.
[MARSHALL ET SHIPMAN, 1995]
[NAKAKOJI ET AL., 2005][YAMAMOTO ET AL., 2005]
Transition structurelle : du réseau d’idées au document.
Limitations : Contenus « désincarnés », petits morceaux
de texte uniquement. Évacuation de l’unité documentaire. Pas
d’annotation, pas de localisation interne. Matérialité interne → relations externes.
Ingénierie documentaire & multimédia
SMIL… Annotation multimédia*. Mais ne convient pas…▪ … car sa sémantique est orientée présentation…▪ … et non représentation de relations critiques.
L’IDM thématise la notion de fragment… … mais celle-ci reste enclose dans le champs des outils
d’écriture et de production**.
** [MIKAC ET AL. 2008] *[BULTERMAN, 2003]
Des outils trop spécialisés
Une seule classe d’opérations
Un seul type de contenu
Un seul document
Plan
I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures
Problématiques
1. MAÎTRISER LA MATÉRIALITÉ DES CONTENUS2. ÉCLATEMENT, CONTEXTE, CONSTRUCTION3. LES ESPACES DE LA CRITIQUE
Problématique 1
→ Tension fondamentale de la lecture critique : entre « maîtrise matérielle » et « maîtrise critique ». Souplesse matérielle : Adobe Photoshop, MS Word.▪ Outils ordinaires : trop génériques → « artisanat documentaire ».
Expressivité : hypertextes, grammaires doc., ontologies.▪ Outils issus de l’état de l’art scientifique : trop spécialisés.
Enjeu : une lecture multimédia « qualitative ». Des opérations matérielles efficaces « déduites » des
opérations mentales (WYDIWYM).
Maîtriser la matérialité des contenusOpérations mentales Opérations matérielles
Qualification, mise en relation, structuration, comparaison…
Marquage, fragmentation, agrégation, synchronisation, spatialisation…
Problématique 2
La LC apporte une valeur ajoutée aux contenus en matérialisant des points de vue singuliers et non triviaux. Par fragmentation des sources… … puis en produisant des configurations nouvelles des unités.
La LC outrepasse donc les frontières des documents : Chaque fragment doit être adressé pour lui-même. Mouvement constant entre entre décomposition et
recomposition (analyse/synthèse). LC = lecture-exploration + lecture-construction :
Nécessité d’une souplesse sémantiques et structurelle.▪ Le sens des unités est déterminé par leur contexte, et non prescrit par
un modèle préexistant. Abolir la distinction écriture (structuration)/lecture (annotation).
Éclatement, contexte, construction
Problématique 3
La LC exige une articulation fluide entre : des gestes de « concentration » (étude d’un contenu); des gestes d’ « orientation » (étude de n contenus).
1) Quel espace critique pour le document non textuel ? Livre, mise en page, interstices… : la critique repose
sur des dispositifs typodispositionnels. Quelle « grammaire de la lisibilité »* pour les contenus
multimédias non textuels ? Quelle « mise en espace » ? 2) Quel espace synthétique pour le corpus multimédia ?
Surplomb : condition de la posture critique (Ex. : METP). Représenter les relations inter/intradocumentaires.
→ Une question d’interaction humain/documents.
Les espaces de la critique – gestes & interaction
*[PARKES 2001]
Plan
I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures
Un modèle conceptuelTrois familles d’entités génériques pour la lecture critique multimédia
1. NIVEAU MATÉRIEL fragmenter, agréger, localiser2. NIVEAU ANNOTATIF qualifier, mettre en relation3. NIVEAU ORGANISATIONNEL structurer, agencer,
construire
1. Le niveau matériel
Les fichiers du SGF sont abstraits dans des Ressources. FRAGMENTER : les Ressources sont éclatées en Fragments. AGRÉGER : les Fragments forment des Entités matérielles. LOCALISER : les Entités matérielles reçoivent des Sélections. → Opérations d’édition matérielle sur lesquelles reposent les
opérations critiques.
Préparation du matériel lectorial
1. Le niveau matériel
2. Le niveau annotatif
QUALIFIER : les Sélections sont associées à des Entités sémantiques (métadonnées, description, étiquettes).
METTRE EN RELATION : les Entités sémantiques sont connectées par des Liens. Orientés, n-aires → réseaux interprétatifs complexes.
Une glose multimédia
Lorem
Lorem ipsum
Lorem ipsum
3. Le niveau organisationnel
STRUCTURATION EXTERNE : Listes, arbres, tableaux… Espaces libres.
Structurer les contenus et l’espace de lecture
STRUCTURATION INTERNE : Matérialiser la structure
logique des documents.
Les Entités structurelles.
3. Le niveau organisationnel
Les Entités structurelles : Sont des Entités sémantiques.▪ Peuvent être qualifiées, liées, etc.
Réalisent une encapsulation sémantique et structurelle des contenus (Entités matérielles).
→ Unifier l’interprétation de contenus hétérogènes.
2+3. Les niveaux annotatifet organisationnel
QUALIFICATION
OBJETS COMPOSITESSPATIALISATION LIBREDE LA DESCENDANCE
MISE EN RELATION
COMPARAISON
Plan
I. Motivations & approchesII. État de l’art scientifique et techniqueIII. Exposition des problématiquesIV. Un modèle conceptuel générique pour la LCPMV. Prototype logiciel & terrains expérimentauxVI. Conclusion et ouvertures
Prototype logiciel& terrains expérimentauxLes modules et leurs usages
Plateforme Flash (frameworks Flex+AIR) : Bibliothèques multimédias Desktop + Web Maturité des outils (framework PureMVC)
Terrains expérimentaux : A. Commentaire composé audio
Philosophie B. Analyses sémiotiques multimédia SHS C. Mise en tableau de partitions multimédias Musicologie
Organisation générale
1. Navigateur (contenus + structure).2. Interface MDI (outils + instruments).3. Inspecteur d’éléments (persistant).
1. 2. 3.
Exp. A.1. Commentaire composé de conférences de philosophie enregistrées Méfiance des enseignants à l’égard du
multimédia (approche passive et non active/critique)…
→ Approche critique du contenu. → Localisation précise de la glose.
Principe du module : Définition d’instants remarquables. Construction du plan. Inscription du commentaire. Annotations libres + enrichissements.
Exp. A.2. Relations structurelles et liens hyperdocumentaires
Un instrument de lisibilité : la carte synoptique.
Exp. A.3. Publication hypermédia
Double finalité : professeurs + publication « élargie ». Gérer deux niveaux de discours. Documenter/contextualiser le commentaire
(enrichissements, discussions, références…). Chaîne éditoriale Scenari WebRadio.
Un pas vers les chaînes lectoriales
Modèle
Exp. B.Analyses sémiotiques de corpus non textuels1. Corpus de Unes de titres de presse.
Matérialiser et commenter la structure typodispositionnelle.2. Étude sémiotico-culturelle musique/couleur.
Manipuler un matériau audible/visible/commentable.3. Étude « ethnomusicologique » comparative.
Mise en série et étude de similarités musicales.
Exp. B.Au-delà des hypertextes spatiaux
1. Articuler matérialité interne et contextualisation critique.2. L’espace comme moyen* (exploration) et fin* (restitution).
*[YAMAMOTO ET AL. 2005]
Exp. C.Mise en tableau de partitions multimédias
À disposition du musicologue… … des contenus « bruts » (partitions numérisées, mp3).
Comment manipuler l’ « œuvre », et non les divers contenus dans lesquels elle s’incarne ?
1. Synchronisation. Faire coïncider n linéarités (spatiales & temporelles). C’est déjà une opération critique singulière*.
2. Délinéarisation et segmentation de la partition.3. Exploration libre des groupements motiviques.4. Fixation de l’analyse : mise en tableau.
*[DONIN ET GOLDSZMIDT 2007]
Exp. C.1.Synchronisation hypermédia
1
2
1) STRUCTURER
2) MARQUER
3) RELIER
Exp. C.1.Atelier de synchronisation
Exp. C.2.Le segment musical synchronisé
La synchronisation rend possible une « découpe hypermédia ». Agrège :
Entités matérielles graphiques (morceaux de partitions). Entités matérielles sonores (segments d’interprétations).
Pour chaque Fragment graphique de partition : Manipulation matérielle → lisibilité accrue. Contextualisation (Entité matérielle graphique d’origine).
Exp. C.3→4.Espaces libres & tableaux hypermédiasSPATIALISER, CATÉGORISER, EXPLORER
ÉCOUTER & VALIDER
Exp. C.Un décalage épistémologique
Un environnement multimédia : Validation par l’oreille. Confrontation au matériau source. → Analyse multimodale.
Un environnement pour l’analyse : Mener de front plusieurs analyses. Garder les pistes non suivies. Possibilité de « refaire » l’analyse, de la faire varier*.
→ Falsifiabilité. → Document = le produit de l’analyse + son contexte.
*[DONIN & GOLDMAN 2008]
ConclusionEt ouvertures
Conclusion
Contribution : Modèle générique. Principes d’organisation, représentation, interaction.
Approche : Concepts « auteurs » au service de la lecture :▪ Fonctions d’éditions contrôlées par les opérations critiques
(synchronisation).▪ Création libre d’entités, fragmentation, agrégation.▪ Structuration, disposition spatiale
Ouvertures
Travaux futurs : Intégration plus fine avec des chaînes de publication. Expressivité du modèle (typage des nœuds, ontologies
personnelles et collectives, grammaires documentaires). → Collectivité & ouverture vers le Web. → Couche d’ « abstraction critique » du SGF.