application à la transmission des savoir-faire musicaux
TRANSCRIPT
Application à la transmission des savoir-faire musicaux
1
Véronique Sé[email protected]://lim.univ-reunion.fr/staff/vero/
Cette thèse a bénéficié du soutien financier de l’Europe et de la Région Réunion
Direction de la thèse : Noël Conruyt et Henri Ralambondrainy
25/10/2013
Plan
• Problématique
• Définitions : Signes et interprétations
• Contribution 1 : modélisation et acquisition des Signes
• Contribution 2 : comparaison, validation et réutilisation de Signes
• Prototypes
• Conclusion et perspectives2
Problématique
Bases de Connaissances
- titre
- compositeur
- date de publication
- lien partition
- lien vidéo 1
(interprétation Merlet)
- lien vidéo 2
(interprétation pianiste B)
- lien vidéo 3
(interprétation pianiste A)
- liens similaires
- liens hommages
Forum- A : Je mets ce doigté à la mesure 5 : 34213
(lien vidéo 1)
- B : je préfère ce doigté : 34215. Ce geste est
plus souple pour les petites mains (lien vidéo 2)
- A : à la mesure 35, sur les relevés, je mets la
pédale à la fin de la seconde croche. Voici un
exemple de comment ça sonne : lien vidéo 3
- B : je préfère la mettre sur la 1ère note
- A : je distingue 2 parties dans le morceaux
(mesures 0-10, puis 11-25)
- B : on peut aussi diviser la 1ère partie en 2
sous parties, de 0 à 5, puis de 6 à 10.
structurations
ad
ap
tatio
n
contexte
Interprétations
Mesure 5
Interprétations
Mesure 35
réutilisation
(Œuvre différente,
passage similaire)
Connaissances Savoir-faire
op
po
sitio
nillustration
Pianiste C
3
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Problématique• Interprétations de cas → savoir-faire
• Gérer des interprétations de sujets (= individus) :
– Modélisation
– Acquisition
– Partage
– Réutilisation
• Utilité : apprentissage, préservation patrimoine, évolution des pratiques
• Problèmes :
4
Connaissances formelles
Interprétations personnelles Gestion des connaissances
Pédagogie
Musique
Communication
Multimédia?
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Le Signe
• Signe = objet mis pour un autre objet, communiquant une idée ou un état.
• Un mot, un geste, un phénomène, un son, un symbole,…
/iPhone/
mot « iPhone »
prononcé
Compréhension : un
téléphone, un
smartphone, un
appareil Apple,…
L’iPhone 4
sur le
bureau
Signe
signifiant
signifiéréférent
5
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Le Signe Interprétatif (SI)
• Un objet véhiculant des interprétations de sujets
• Interprétation = point de vue construit par un individu sur un objet, dans le but de lui attribuer un sens.
6
Signe
Connaissance
Objetperception
interprétation
Signe
Connaissance
perception
interprétation
comparaison
sujet 1 sujet 2
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Modélisation des SI
7
Musical
Auditeur / compositeur /
interprète / professeur / élève
Extrait musical / geste / paroles
Concert / enregistrement audiovisuel
/ partition / cours de musique
Expression / sentiment,
technique / explication /
question
Données
Informations
Connaissances
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Acquisition des SI : l’annotation
8
Jeux d’Eau (Maurice Ravel)
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Acquisition des SI : l’Annotation Sémiotique (AS)
9
V. Sébastien, D. Sébastien, N. Conruyt, "Constituting a Musical Sign Base through
Score Analysis and Annotation", International Journal On Advances in Networks
and Services, 2011 no 3&4.
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Proposition de formalisation de l’AS
10
Soit a une application de 𝑂𝑏𝑗𝑒𝑡𝑠 × 𝑆𝑢𝑗𝑒𝑡𝑠 × 𝑇𝑒𝑚𝑝𝑠 dans 𝐶𝑜𝑛𝑡𝑒𝑛𝑢𝑠 × 𝑆𝑒𝑛𝑠 ×
𝐹𝑜𝑟𝑚𝑒𝑠 :
𝑎 𝑜, 𝑠, 𝑡 = < 𝑐𝑜𝑛𝑡𝑒𝑛𝑢, 𝑠𝑒𝑛𝑠, 𝑓𝑜𝑟𝑚𝑒 >
Une annotation sémiotique as est un couple (𝒔,𝒂 𝒐, 𝒔, 𝒕 ).
Pour tout 𝑎𝑠 = (𝑠, 𝑎 𝑜, 𝑠, 𝑡 ) et 𝑎𝑠′ = (𝑠′,𝑎 𝑜, 𝑠′, 𝑡 ), si 𝑠 ≠ 𝑠′ alors 𝑎𝑠 ≠ 𝑎𝑠′
Soit d une distance sur l’ensemble des annotations sémiotiques. Si 𝑑 𝑎𝑠, 𝑎𝑠′ ≈ 0 alors
as et as’ sont proches. Objets proches => Interprétations proches ?
Autres relations binaires sur les AS : commentaire de, réponse à, amélioration de,
opposition à, etc.
Crédit d’une AS : 𝑐𝑠′ ∈ [0,1] indique le crédit qu’accorde 𝑠′ à 𝑎𝑠.
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Schéma de Classe de l’AS
Savoir-faire
Savoirfrbr:Work
WorkPart
SemioticAnnotation
frbr:part
is_aoac:Annotation
Namespaces :
frbr: Functional Requirements for
Bibliographic Records
(http://vocab.org/frbr/core.html)
oac: Open Annotation Model
(http://www.openannotation.org/spe
c/beta/)
foaf: Friend Of A Friend
(http://xmlns.com/foaf/spec/)
relatedTo
relatedTo
foaf:Personpartitioner
oac:hasTarget
frbr:Manifestation Selection
frbr:realization
onManifestation
frbr:Expression
frbr:embodiment
selection
FormContent
hasSense
Subject
hasContent hasForm createdBy
SenseDomain ontology
is_a
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
11
Application à la musique
mo:MusicalWork
mo:Score
MusicalWorkExtractSelection
SemioticAnnotation
FormContentSense
frbr:realization
frbr:part
selectiononManifestation
hasSense
Subject
Namespaces :
frbr: Functional Requirements for Bibliographic
Records (http://vocab.org/frbr/core.html)
oac: Open Annotation Model
(http://www.openannotation.org/spec/beta/)
mo: Music Ontology (http://purl.org/ontology/mo)
foaf: Friend Of A Friend
(http://xmlns.com/foaf/spec/)
is_aMusical
Forms and Structures Ontology
relatedTo
MusicalFormmform
Foaf:Person
partitioner
hasContenthasForm
createdBy
mo:PublishedScore
frbr:embodiment
oac:hasTarget
Musical Performance
Ontology
relatedTo
MO concepts
MFSO concepts or groups of concepts
SA concepts
MPO groups of concepts
V. Sébastien, D. Sébastien, N. Conruyt, « Annotating works for music education: propositions for a musical forms and
structures ontology and a musical performance ontology », 14th International Society for Music Information Retrieval
Conference, ISMIR 2013, à paraître.
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
12
Méthodologie d’acquisition des AS
• Logiques descriptives : « guide » de saisie des AS selon les logiques du domaine
• Correspond à un modèle descriptif
• Correction du modèle par un processus itératif
13
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Méthodologie d’acquisition des AS
14
S1 : Voici ma version
S1 : Voici ma version
S2 : J’utilise le doigté 53241 ici
S2 : J’utilise le doigté 53241 ici
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Base de Signes
15
• Base de Signes = ensemble d’objets et d’AS connectés
• Comparaison, classification des AS → identification de notions de savoir-faire,
points de vue émergents
document 1
document 2
document 3
O1
O3
O4
O5
AS1
AS3
AS2
AS8
AS10
AS7
Notion N1
Notion N2
Notion N3AS4
AS6
AS5
Notion N4
AS9
Objets Interprétations Savoir-faire
O2
_______
_______
_______
_______
_______
_______
_______
_______
_______
_______
_______
_______
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
16
Traitements
SemioticAnnotationSA2
SemioticAnnotationSA1
question
answer
reaction
adaptation
opposition
enhancement
finalVersion
comments
validates
details
similar
similarContext
previousVersion
draft
• Comparaisons d’AS :
Notion N1
tags: t1, t2, t3
• Requêtes : « comment jouer un trille ? », « comment jouer avec un son doux
mais expressif ?»
• Classification d’AS :
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Traitements
• Génération automatique d’AS
– À partir de données contextuelles
– À partir de structures et d’éléments caractéristiques
17
Composer =
&
Measure 5 =
=> =
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Traitements
– À partir de cas difficiles connus• Technique / expression
– À partir du profil d’un utilisateur (recommandations)• Goûts, expérience, points faibles, points forts, morphologie, âge, etc.
18
Exploitation d’AS de « qualité »
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Validation des AS
19
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Exp(s) : degré d’expertise du sujet s
𝑐𝑠′ : crédit accordé par s’ à as = (s, a(o,s,t))
Taux de crédibilité de as :
𝑐(𝑎𝑠) = 𝐸𝑥𝑝 𝑠 +
(𝑐𝑠′ × 𝐸𝑥𝑝 𝑠’ )𝑠′
(𝐸𝑥𝑝 𝑠’ )𝑠′
2
Fonction de :
- L’expertise du sujet interprétant
- Sa participation sur la plateforme
- Les évaluations des autres sujets, pondérées par leurs degrés
d’expertise respectifs
Prototypes : @-MUSE- Objectif : Annotation Sémiotique de partitions musicales
V. Sébastien, D. Sébastien, N. Conruyt, "Constituting a Musical Sign Base through
Score Analysis and Annotation", International Journal On Advances in Networks
and Services, 2011 no 3&4. 20
SemioticAnnotation
Form Content Sense
hasSense
hasContent
hasForm
« Chaque doigt de MD
sera également enfoncé,
on détendra bien les
doigts supérieurs en allant
vers le pouce et on
remontera le poignet à la
fin de chaque groupe »
tags: gamme, groupe,
main droite, geste,
poignet
Cadre de sélection :
Tracés :
Menu de l’annotation :
Vidéo :
Audio :
Image :
Description :
Mots-clés :
Similaires :
Titre :« Groupes MD »
AS1 AS2
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Prototypes : @-MUSE
• Résultats
– Comparatif
– Appropriation par des musiciens :
• +- apprentissage « académique » (référence = partition)
• + communication (comparaison pédagogie, master class), collaboration, mobilité, annotation (doigtés), multimédia (gestes, sonorités)
• - ergonomie : complexe (étapes, fonctionnalités, enregistrements audiovisuels, précision tactile), difficultés techniques (MusicXML, bande passante, performances)
21
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Prototypes : Score AnalyzerObjectif : Evaluer la difficulté
d’une pièce de musique
Multicritère :
- Vélocité de jeu
- Déplacements
- Doigtés
- Polyphonie
- Harmonie
- Rythme
- Durée
Analyse par Composantes Principales
http://e-piano.univ-reunion.fr/tests/ScoreAnalyser/selectScore.php
V. Sébastien, H. Ralambondrainy, O. Sébastien, N. Conruyt,
« Score Analyzer: Automaticaly Determining Scores Difficulty
Level for Instrumental e-Learning », 13th International
Society for Music Information Retrieval Conference, ISMIR
2012, October 8-12, Porto, Portugal, 2012. (Best Student
Paper Award).22
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Prototypes : Score Analyzer• Résultats
23
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Conclusion et Perspectives• Contributions :
– Des modèles et des outils pour la gestion de savoir-faire via l’étude d’interprétations :
• Un modèle théorique de l’interprétation personnelle : le Signe Interprétatif (SI)
• Un modèle de représentation des SI et une méthodologie pratique pour les collecter :
– L’ Annotation Sémiotique (AS)
– Modèle descriptif, logiques descriptives et ontologies
– Des applications au domaine musical :
• Partage d’interprétations par des AS
• Organisation et structuration des AS : logiques descriptives, modèles descriptifs et ontologies pour la pratique musicale
• Des outils innovants pour une pratique musicale collaborative et la co-construction d’une base de Signes Musicaux : @-MUSE et Score Analyzer
• Perspectives :
– Formalisation : distances entre les interprétations
– Expérimentations à grande échelle et exploitation des résultats : contacts et partenariats : MuseScore.com, PRAISE, Conservatoire, Living Lab.
– Application à d’autres domaines de savoir-faire : apprentissage des langues, danse, cuisine, éco-tourisme, etc. 24
Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion
Principales publications
26
Articles dans des journaux internationaux à comité de lecture :
V. Sébastien, D. Sébastien, N. Conruyt, « Constituting a Musical Sign Base through Score Analysis and Annotation », International Journal On Advances in Networks and Services, No 3&4, pp. 386-398, 2011.
Articles dans des actes de conférences internationales à comité de lecture :
V. Sébastien, D. Sébastien, N. Conruyt, « Annotating works for music education: propositions for a musical forms and structures ontology and a musical performance ontology ». 14th International Society for Music Information Retrieval Conference, ISMIR 2013, à paraître.
V. Sébastien, H. Ralambondrainy, O. Sébastien, N. Conruyt, « Score Analyzer: Automaticaly Determining Scores Difficulty Level for Instrumental e-Learning », 13th International Society for Music Information Retrieval Conference, ISMIR 2012, October 8-12, Porto, Portugal, 2012. (Best Student Paper Award).
V. Sébastien, N. Conruyt, O. Sébastien, « Score Analyzer: Extracting Performance Information for Instrumental e-Learning », 15th International Conference on Interactive Computer Aided Learning, ICL 2012, September 26-28, Villach, Austria, 2012.
V. Sébastien, P. Sébastien, N. Conruyt, « @-MUSE: Sharing Musical Know-how Through Mobile Devices Interfaces », 5th Conference on e-Learning Excellence in the Middle East, Dubaï, 2012.
V. Sébastien, D. Sébastien, N. Conruyt, « Dynamic Music Lessons on a Collaborative Score Annotation Platform », The Sixth International Conference on Internet and Web Applications and Services, St. Maarten, 2011. (Best Paper Award).
V. Sébastien, D. Sébastien, and N. Conruyt, « An Ontology for Musical Performances Analysis. Application to a collaborative platform dedicated to instrumental practice », The Fifth International Conference on Internet and Web Applications and Services, Barcelona, 2010.
V. Sébastien, D. Sébastien, and N. Conruyt, « A collaborative platform model for digital scores annotation », 3rd Annual Forum on e-Learning Excellence in the Middle East, Dubaï, 2010.
Articles dans des actes d’ateliers de conférences internationales à comité de lecture :
N. Conruyt, V. Sébastien, O. Sébastien, D. Grosser, D. Sébastien, « From Knowledge transmission to Sign sharing: Semiotic Web as a new paradigm for Teaching and Learning in the Future Internet », In 20th European Conference on Artificial Intelligence and 1st International Workshop on Artificial Intelligence for Knowledge Management, AI4KM'2012, ECAI’2012, Montpellier, France, 2012.
Comparatif @-MUSE et autres applications d’annotation musicale
27
NeumaLiveScore
AnnotatorTonara Vemus INScore iAnalyse @-MUSE
Type d’application Application WebApplication Web
mobileApplication mobile
Application pour
Tablet PC
Application offline
(Multiplateforme)
Application offline
(MAC OS)
Application mobile
(iOS et Android)
Cibles
musicologues,
interprètes de la
musique ancienne
élèves et
professeurs de
musique
élèves et
professeurs de
musique,
interprètes
élèves et
professeurs de
musique
compositeurs et
enseignants
musicologues et
enseignants
élèves et professeurs de
musique, musiciens
amateurs
Objectif principal
centraliser des
partitions de
musique ancienne
support
d'annotation
commun pour
cours de musique
en visioconférence
tourner
automatiquement
les pages d'une
partition pendant
son interprétation
support
d'annotation
augmenté pendant
un cours de
musique en
présentiel
création
d'animations
musicales à visées
pédagogiques ou
artistiques
structuration et
explication d'une
partition animée
collecte, partage et
explication
d'interprétations de pièces
musicales
Saisie des
annotationsClavier+souris Manuscrite
Glissé-déposé /
clavier iPad Manuscrite Clavier+souris Clavier+souris Manuscrite, audiovisuelle
Contenu des
annotationsTexte, tags Tracés manuscrits
Bibliothèque de
symboles
Tracés manuscrits
+ Bibliothèque de
symboles + fichiers
audio
Texte + éléments
graphiques
vectoriels et bitmap
+ fichiers
audio/vidéo
Texte +
Bibliothèque de
symboles
Texte + éléments
graphiques vectoriels et
bitmap + fichiers
audio/vidéo
Indexation sur la
partition A la note près non non A la note près A la note près A la note près A la note près
Référencement des
annotationstags non non non non non tags
Recherche
d’annotationsinconnu non non non non non à implémenter
Mobiliténon (navigateurs
Web mobiles ?) oui oui oui non non oui
Export partition
annotéeinconnu non non inconnu
fichier pdf, image
jpeg, png, etc.
image jpeg, vidéo
H264à implémenter
Travail collaboratif à
distance
Entre utilisateurs
authentifiés ?
Entre 2 utilisateurs
connectés non non non non
Entre utilisateurs
authentifiés
Statut de la
partition annotéepublique privée privée privée privée privée
publique ou privée (choix
de l'utilisateur)
Type de
communicationasynchrone synchrone asynchrone
Modération des
annotationsinconnu non à implémenter