gti745 – interfaces utilisateurs avancées les interfaces pour la musique maxime dumas – hiver...
TRANSCRIPT
GTI745 – Interfaces utilisateurs avancées
Les interfaces pour la musique
Maxime Dumas – Hiver 2014
Plan de cours
• Mise en contexte – TP3• Principes fondamentaux• Interfaces pour la musique• Visualisations pour la musique
Survol du travail pratique 3
• Trois choix de sujets– Visualiser les relations d’influence entre des
musiciens– Modifier un logiciel interactif permettant de jouer
de la musique– Créer une interface multitactile avec un ou
plusieurs instruments de musique
TP3 – Projet #1
• Jeu de données à visualiser– 600 artistes– 193 « styles » ou « marchés »– 13 styles principaux ou genres– 3000 liens d’influence entre les artistes
• Application de départ à modifier ou votre propre application (sur approbation)
• Important: le jeu de données est confidentiel
TP3 – Projet #1
Simple Network Visualizer (application de départ)
Piano Roll
TempsNotes
TP3 – Projet #2
• Modifier ou créer un logiciel permettant d’écrire des notes de musique et de les jouer
• Application de départ: Simple Piano Roll• Vous pourriez développer un autre type
d’instrument qu’un piano (sur approbation)• Démo
TP3 – Projet #3
• Créer un logiciel multitactile permettant de jouer de la musique
• Tirer profit des capacités du multitactile• Peut être un piano, une percussion ou tout
autre instrument conventionnel ou non• Important: Communiquez avec le chargé de
laboratoire pour réserver des sessions au laboratoire avec les écrans multitactiles.
Exemples Hiver 2012
Vidéo: https://www.youtube.com/watch?v=6yH9ifBvK6o
Caractéristiques d’un son musical
• Hauteur (pitch): Lié à la fréquence de vibration• Intensité: Degré de force / niveau sonore• Durée (sustain): Période de temps durant lequel le
son est maintenu• Timbre: Caractéristiques sonores qui permettent
d’identifier un instrument
Les notes sur un piano
C D E F G A B
Do ou Ut
Ré Mi Fa Sol La Si
Source image: http://www.josef-k.net/mim/ThePianoKeyboard.gif
Les notes en fréquenceNote\octave 1 2 3 4 5 6 7 8
Do 32,70 65,41 130,81 261,63 523,25 1046,50 2093,00 4186,01
Do ou Ré♯ ♭ 34,65 69,30 138,59 277,18 554,37 1108,73 2217,46 4434,92
Ré 36,71 73,42 146,83 293,66 587,33 1174,66 2349,32 4698,64
Ré ou Mi♯ ♭ 38,89 77,78 155,56 311,13 622,25 1244,51 2489,02 4978,03
Mi 41,20 82,41 164,81 329,63 659,26 1318,51 2637,02 5274,04
Fa 43,65 87,31 174,61 349,23 698,46 1396,91 2793,83 5587,65
Fa ou Sol♯ ♭ 46,25 92,50 185,00 369,99 739,99 1479,98 2959,96 5919,91
Sol 49,00 98,00 196,00 392,00 783,99 1567,98 3135,96 6271,93
Sol ou La♯ ♭ 51,91 103,83 207,65 415,30 830,61 1661,22 3322,44 6644,88
La 55,00 110,00 220,00 440,00 880,00 1760,00 3520,00 7040,00
La ou Si♯ ♭ 58,27 116,54 233,08 466,16 932,33 1864,66 3729,31 7458,62
Si 61,74 123,47 246,94 493,88 987,77 1975,53 3951,07 7902,13
Référence: Wikipédia et http://www.think-underground.com/post/2011/11/15/Notes,-fr%C3%A9quences%E2%80%A6-et-binaire
Les altérations
• Un octave = 12 demi-tons • 1 ton = Écart de 2 touches sur un piano• 1 demi-ton = Écart d’une touche sur un piano
• Les bémols (flat): ½ ton chromatique plus bas que la hauteur naturelle
• Les dièses (sharp): ½ ton chromatique plus haut que la hauteur naturelle
• Les bécarres (natural): annule une altération
Les altérations (suite)
Différence entre dièse et bémol
Source: http://commons.wikimedia.org/wiki/File:YB0212_Demi_ton_commas.pnghttp://fr.wikipedia.org/wiki/Comma_(musicologie)
Les composantes de la musique
• Le timbre: Caractéristiques sonores qui permettent d’identifier un instrument
• Le rythme: Détermine la durée des notes les unes par rapport aux autres
• La mélodie: Séquence de hauteurs des notes• L’harmonie: Utilisation délibérée de fréquences
simultanées pour produire des sons plus riches
Le rythme et la mesure• La durée des notes les unes par rapport aux autres• Déterminé par une horloge ou pulsation qui détermine des temps• Numérateur: Nombre de temps par mesure• Dénominateur: Durée de chaque temps par rapport à la ronde
– Ex: 4/4 -> 4 temps de 1/4 de ronde (un temps = une noire)– Ex: 6/8 -> 6 temps de 1/8 de ronde (un temps = une croche)
Le tempo• Vitesse des pulsations• 120 bpm = 120 battements par minute
Qualificatif TempoLargo 40-60 bpmLarghetto 60-66 bpmAdagio 66-76 bpmAndante 76-108 bpmModerato 108-120 bpmAllegro 120-168 bpmPresto 168-200 bpmPrestissimo 200-208 bpmA tempo tempo spécifié
Les figures de notes
8 4 2 1 ½ ¼ 1/8 1/16Nombre
de temps(à la noire)
Les gammes
• Gammes chromatiques:– Gammes contenant 12 degrés (notes différentes). La gamme
chromatique contient toutes les notes d’un octave sur un piano
• Gammes heptatoniques:– Gammes comprenant 7 degrés (ex: gamme majeure, seulement
les touches blanches du clavier)
• Gammes pentatoniques:– Gammes comprenant 5 degrés (ex: seulement les touches
noires du clavier)
Les gammes heptatoniques les plus connues
• Gamme majeure: T T D T T T D T = 1 ton D = ½ ton– Do majeur: do ré mi fa sol la si do– Mi majeur: mi fa# sol# la si do# ré# mi
• Gamme mineure: T D T T D T T– La mineur: la si do ré mi fa sol la
Tonalité• Gamme de sept notes, désignée par sa tonique et son mode• Représente la « couleur » de la gamme• Tonique: première note de la gamme
Les transpositions• Monter ou descendre toutes les notes d’un même
intervalle.• Permet de modifier la tonalité sans changer la
perception des mélodies• Plusieurs instruments sont transposés naturellement
Les intervallesContenance Désignation Classement
Aucun intervalle Unisson Consonnance parfaite
½ ton Seconde mineure Dissonance
1 ton Seconde majeure Dissonance
1 ½ tons Tierce mineure Consonnance imparfaite
2 tons Tierce majeure Consonnance imparfaite
2 ½ tons Quarte juste Consonnance mixte
3 tons ou Triton *Quarte augmentée ou quinte diminuée
Consonnance mixte
3 ½ tons Quinte juste Consonnance parfaite
4 tons Sixte mineure Consonnance imparfaite
4 ½ tons Sixte majeure Consonnance imparfaite
5 tons Septième mineure Dissonance
5 ½ tons Septième majeure Dissonance
6 tons Octave Consonnance parfaite
Référence: http://dictionnaire.metronimo.com/img/intervalle.jpg
Les accords
• Accord majeur: Tonique + Tierce majeure + Quinte (Tonique + 4 demi-tons + 3 demi-tons)– C = do - mi – fa– C7 = do – mi – fa – sib (+ septième mineure)
• Accord mineur: Tonique + Tierce mineure + Quinte (Tonique + 3 demi-tons + 4 demi-tons)– Cm = do - mi bémol – fa
* Tonique : note dominante de la tonalité– Ex: pour la gamme de do, la tonique est do
Les accords sur un pianoAccord de do majeur:
Accord de do# majeur:
Les degrés
• Désigne la place d’une note dans une échelle musicale spécifique. Ex: en musique tonale (gamme heptatonique):– Le premier degré = Tonique (I)– Le second degré = Sus-tonique (II)– Le troisième degré = la médiane (III)– Le quatrième degré = la sous-dominante (IV)– Le cinquième degré = la dominante (V)– Le sixième degré = la sus-dominante (VI)– Le septième degré = la sensible (VII)– Le huitième degré = l'octave ou la tonique
Lier les concepts: les progressions• Un accord peut être construit à partir de n'importe quelle note
d'une gamme. Une gamme de sept notes permet sept accords de base, chaque degré de la gamme devenant la fondamentale de son propre accord.
• La progression est une séquence d’accords basés sur la gamme. Il est possible d’imaginer un nombre infini de progressions, mais certaines progressions caractéristiques sont souvent récurrentes.
• Ex:– I - IV - V - V : À la base de La Bamba de Ritchie Valens, Like A Rolling Stone de Bob Dylan, celle aussi
de Twist and Shout des Isley Brothers, et celle de Lucy in the Sky with Diamonds des Beatles, etc.– I - I - IV - V. - My Boy Lollipop de Millie Small, Heartbeat de Buddy Holly, le refrain de Get Off of My
Cloud des Rolling Stones, Diamonds on the Soles of Her Shoes de Paul Simon, Madame George de Van Morrison, etc.
– I – IV- V – IV: http://fr.wikipedia.org/wiki/Liste_de_chansons_construites_sur_la_progression_I-V-vi-IV
Référence: Music: In Theory and Practice et http://fr.wikipedia.org/wiki/Progression_d'accords
Exemple vidéo: http://www.youtube.com/watch?v=oOlDewpCfZQ
Le MIDI
• Musical Instrument Digital Interface• Protocole de communication et de
commande permettant à des instruments de musique électronique d’échanger de l’information
Références utiles:http://www.cs.cf.ac.uk/Dave/Multimedia/node158.htmlhttp://www.thewhippinpost.co.uk/midi/midi-messages.htmhttp://www.midi.org/techspecs/midimessages.php
Le protocole en résumé
• 16 canaux indépendants• Chaque canal contient 128 notes*• 7 types de message
*Peut être utiliser pour transférer des paramètres autres que des notes de musique
Messages MIDI
• Chaque message est composé de 24 bits• [1sssnnnn] [0xxxxxxx] [0xxxxxxx] statut donnée 1 donnée 2
– sss: type de message– nnnn: numéro de canal midi– xxxxxxx: valeur (entre 0 et 127)
Types de messagesMessage Data 1 Data 2
Note off Note number Velocity
Note on Note number Velocity
Polyphonic aftertouch Note number Pressure
Control change Controller number Data
Program change Program number -
Channel aftertouch Pressure -
Pitch wheel LSbyte MSbyte
Référence: http://www.nyu.edu/classes/bello/FMT_files/9_MIDI_code.pdf
Note on / off
Permet d’activer / désactiver une note• Donnée 1: Numéro de la note [0-127]• Donnée 2: Vélocité [0-127]
Schéma complet : http://fr.wikipedia.org/wiki/Musical_Instrument_Digital_Interface
Les notes en MIDI
Control Change (CC)
Permet de changer les paramètres d’un canal• Donnée 1: Numéro du paramètre • Donnée 2: Valeur du paramètre
Exemples de contrôleurs: volume, pan, pédales de contrôle, etc.
Program Change
Permet de changer le programme • Donnée 1: Numéro du programme [0-127]• Donnée 2: Vide
Habituellement, le programme est associé à un instrument ou un son sur le séquenceur
General MIDI définit une liste des programmes standards. Voir spécifications.
Le MIDI en Javaimport javax.sound.midi.*;
public class MidiSynthesizerSample { public static void main(String[] args) { try { Synthesizer synthesizer = MidiSystem.getSynthesizer(); synthesizer.open(); MidiChannel channel = synthesizer.getChannels()[0]; // Choisir le canal 1 channel.programChange(46); // Choisir un son de harpe (programme #47) channel.noteOn(48, 64); // Appuyer sur la note - Numéro de note C3, Vélocité 50% Thread.sleep(1000); // Tenir la note pour 1 seconde channel.noteOff(48); // Relâcher la note - Numéro de la note } catch (Exception e) { e.printStackTrace(); } }}
Autre exemple: voir SynthesizerTest.java
Les interfaces pour la musique
Les contrôleurs MIDI “conventionnels”
Tirer profit des tablettes
Kaossilator
Vidéo: http://www.youtube.com/watch?v=45d2Yomsct4
Ocarina2 (iPhone)
Vidéo: http://www.smule.com/ocarina/#prettyPhoto
Artiphon
Vidéo: https://www.youtube.com/watch?v=tqKj7GWhIOk
Tenori-on
Vidéo: http://www.youtube.com/watch?v=_SGwDhKTrwU
Claviers isomorphiques
Claviers isomorphiques
Application Musix pour iPad
Axis Keyboard
Piano isomorphique!
Source: http://en.wikipedia.org/wiki/Janko_keyboardVidéo: https://www.youtube.com/watch?v=NqCsEcNeswk
GenSession – François Cabrol
http://vimeo.com/68455966
Harpejji
Vidéo: http://www.youtube.com/watch?v=2CrjvsJAkBs
Beat blocks
Vidéo: http://www.youtube.com/watch?v=Jug3iYAuJes
Beat bearing
Vidéo: http://www.youtube.com/watch?v=wreP8FMupyM
Reactable
Vidéo: http://www.youtube.com/watch?v=MPG-LYoW27E
Leap Motion
Exemple 1: https://www.youtube.com/watch?v=3yfDFzgy2FYExemple 2: https://www.youtube.com/watch?v=TjF8JN5aVfc
Live coding
Vidéo: http://en.wikipedia.org/wiki/Live_coding
Wall Balls
Vidéo: http://www.youtube.com/watch?v=qQmSwuj7DZw
HighC - Draw your music
Démo: http://highc.org/samples/demo.html
Graphic Notation
Vidéo: http://www.youtube.com/watch?v=71hNl_skTZQ
Drawdio
Vidéo: http://www.youtube.com/watch?v=PV_w38ldZaE
MaKey MaKey
http://www.youtube.com/watch?v=rfQqh7iCcOUhttp://www.youtube.com/watch?v=wkPt9MYqDW0
Projets du groupe IDMIL – Université McGill
• Les Gestes http://vimeo.com/54022254#• T-Stick http://vimeo.com/47134373#• FM Gloves https://
www.youtube.com/watch?v=c9a33VViU2w• T-Box https://
www.youtube.com/watch?v=gnSgVQEYlss• The Rulers https://
www.youtube.com/watch?v=BtzEb6QiTXI
Vidéo: https://www.youtube.com/watch?v=-Dqvf1CXPWg
Réalité virtuelle / Jeux vidéos
Détails: http://hitmuri.net/index.php/Main/HomePage
Chroma
http://www.youtube.com/watch?v=d5YFrd5tr7o
Sound sculpture
Projet: http://www.coolhunting.com/culture/absolut-machine.phpVidéo: http://www.youtube.com/watch?v=5zbFVfEGwnw
The Shape of Song
Détails: http://www.turbulence.org/Works/song/
Music Animation Machine
Vidéo: http://www.youtube.com/watch?v=_PhathoNcXM
What different sorting algorithms sound like
Vidéo: http://www.youtube.com/watch?v=t8g-iYGHpEA
Narratives 2.0
Détails: http://www.matthiasdittrich.com/projekte/narratives/visualisation/index.html