space in electroacoustic music, 5.1 surround systems and...

Thélème Contemporain ‡ 1/40 26/11/09

Space in electroacoustic music,

5.1 surround systems and DTS encoding

B. MERLIER

Université Lyon2 / Dépt Musicologie & THELEME CONTEMPORAIN ‡ [email protected] Grises 26740 SAVASSE FRANCE

I- Space and electroacoustic music II- Several processes of spatialization III- Difficulties related to sound spatialisation IV- What is 5.1 ? V- Encoding processes for multichannel sound VI- DTS encoding VII- Benefits of spatialisation VIII- Listening to some examples IX- Conclusion : Benefits for electroacoustic music X- FAQ


I- Space and electroacoustic music

Space in music is a long-time concern.

Numerous experiments can be found in instrumental music (Monteverdi, Tallis, Mozart, Berlioz and more…).

This new parameter of the sound becomes very important in the XXth century, thanks to several technological or aesthetic innovations.

A brief history of sound spatialization in the XXth century 1904-13 Invention of the amplifier and the loudspeaker 1930 stereophonic recording and reproduction 1940-41 Walt Disney presents Fantasia with the FantaSound system: five channel

broadcasting, similar to the current 5.1 system; 1948 Invention of « musique concrète » by P. SCHAEFFER 1950 first public concert spatialized on 4 loudspeakers thanks to the « pupitre

potentiométrique de relief » (SCHAEFFER, HENRI, POULLIN, LEROUX)


Figure 1 : Pierre Schaeffer performing his « pupitre d’espace » - 1951


1958 Iannis Xenakis’ Concret PH: work in three tracks, spatialized on 400 loudspeakers in the Philips Pavillon of the Universal World Fair of Brussels;

1958 Stockhausen works with 4 tracks and 4 loudspeakers, arranged in the four corners of the concert hall.

60’s Invention, then development of the multitracks technologies; First big concerts of P. Henry on several dozens of loudspeakers; 1970 acoustic Sphere of Karlheinz Stockhausen in the World Fair of Osaka; 70’s Generalization of the multi-channel sound broadcasting for movies; 1972 John CHOWNING produces rather efficient illusions of moving sounds

owing to computer sound synthesis.


Figure 2 : sound trajectories perceived at the beginning of Turenas (John Chowning, 1972)


1973 first loudspeakers orchestra in the GMEB / Bourges / FRANCE 1974 GRM Acousmonium by F. BAYLE (approximately 80 sound projectors

distributed on 16 to 24 channels) This type of device for sound projection is relatively specific to the French

school.


Figure 3 : GRM Acousmonium: loudspeakers position


Figure 4 : spatialisation by a « space performer » a diffusion desk (the opposite of a mixing desk)

allows to spread a stereo signal onto N loudspeakers. (source : Thélème Contemporain)


80’s Researches about “moving sounds in the space” in several musical research centres, in the United States and in Europe (IRCAM with the SPAT software);

1984 acoustic dome of Léo KUPPER with 102 loudspeakers driven by a keyboard.


Figure 5 : Léo Kupper’s dome


Figure 6 : IRCAM SPAT software


1986 Sinfonie (a computer driven space automaton) by Grame (Lyon); 1989 Espaces Paradoxes, Patrick ASCIONE's work is realized in spatial

multiphony on a 16 real tracks recorder. end of 80’s Development of multiphonic works in acousmatic music


Figure 7 : Overview of SINFONIE


since 1986, THELEME CONTEMPORAIN is an active precursor: 1986-96 Thélème Contemporain organizes five master-classes about sound

spatialization of electroacoustic music; 1996 Concerts " 1 work, 3 performers " during the FUTURA festival 1996 Organization of a conference about “spatializing electroacoustic music” Proceeedings were published by Ars Sonora and French CDMC 90’s Méta-instrument of S. de Laubier and Dury Méta-duo of D. Kientzy and R. Portondo, ennéaphonic spatializing standardization of multichannel broadcasting thanks to the "Home

Cinema", “surround 5.1” and the DVD (from 6 to 12 channels maximum). 1996 B Merlier: Les couleurs du vent: a space performer live on stage. 2000 B Merlier: first CD of spatialized electroacoustic music in DTS 5.1.

Sources: [Merlier, 1998], [Prager, 2005] et [Van de Gorne, 1988, in Dhomont]


Figure 8 : 1996 - B. MERLIER : Les couleurs du vent, a space performer live on stage


2001 Web site about electroacoustic music and space (more than 10 years of researches) http://tc2.free.fr/Espace/

2004 2nd CD of spatialized electroacoustic music in surround 5.1 and DTS encoded


II- Several processes of spatialization

1) « Artistic » domain Creation of spaciousness, without any care for realism!

• “projection” of a stereophonic work on a loudspeaker orchestra by a performer,

e.g.: MERLIER Bertrand http://tc2.free.fr/Espace/

• tracks multiplication at the composition time (multiphonic works), e.g.: DUCHENNE Jean-Marc http://multiphonie.free.fr/

• mixed or interactive works, live electronics works are concerned as well as “already recorded electroacoustic music

• new instruments (sensors, virtual instruments and other devices) allowing to perform space live on stage.

based on using several loudspeakers


2) « Scientific » domain Recording, synthesizing and restitution of a real spaciousness.

• recording and storing a real sound space thanks to microphones (stereophonic couple, artificial head, “Soundfield” mic.)

capture, encoding et restitution of acoustic fields

Ambisonic (ca 1970) ou WFS (WaveField Synthesis)

• space « synthesis or simulation », artificial sound spatialization realized by signal processing, based on equations or acoustic models.

re-construction of localisation and room effect of each sound source, thanks to elementary monophonic sounds and description parameters (position, orientation, directivity of each sound source and acoustic characteristics of the room).

CHOWNING John “The simulation of moving sound sources”, in Journal of the audio engineering Society 1971.

Possibility of headphones listening


III- Difficulties related to sound spatialisation Sound spatialization is generally obtained by increasing the number of loudspeakers.

Consequences :

• expensive, cumbersome and specific hardware, therefore reserved to the specialists / the initiates...

• hardware specifications discourage any concerts organizers (not already member of the initiates…)

• absolutely no standardization it gives place to all kinds of experiments (interesting but not easily reproducible)

• electroacoustic music lovers cannot find the concert listening conditions at home.


IV- What is 5.1 ?

5 audio channels reproduced by 5 loudspeakers located all around the listener: The centre loudspeaker guarantees the localization of the sounds to the screen, especially human voices, the front left and right loudspeakers restore stereophony and the two surround loudspeakers add a depth of sound wrapping the listener. Listening bandwidth is in general 20 to 20000 Hz. .1 indicates a possible additional channel in the low frequencies (below 120 Hz)


V- Encoding processes for multichannel sound Multichannel sound (5.1 = 6 tracks) is encoded on two tracks. It can thus be stored on simple audio CD (and even broadcast by Hertzian waves such as radio FM or TV). After decoding, space is restored thanks to the 5 (or 6) loudspeakers of a HiFi surround installation.

Pro Logic

Old process (90’s)

Simple matrix manipulation of analogical channels in order to produce an "improved" stereophony.

Note: Prologic system bears also the name Dolby Surround. One will take care not to confuse the process Dolby Surround with the "sound surround", which is a general name for the spatialization of the sound in home cinema.

an tricky artifice, at the end of its lifetime.


AC3 (Adaptative Coding Version 3) or Dolby Digital Audio Perceptual coding intended for large-public applications.

Possibility to transmit 5.1 audio channels on only one, with a low bitrate.

rather suited for video applications

• DVD video recording (or digital TV: cable or satellite)

• sound is to be synchronized on video frames.

• The world has been cut into 5 non-compatible zones, diffusion is limited to 1 zone or realization of 1 version for each zone.

• audio bitrate limited by cohabitation of: 5.1 audio version + stereo audio version (linear PCM) + video signal

• audio compression ratio: 12 :1 Six audio channels encoded to 5.1 Dolby Digital have a flow of 384 kb/s

• cost of a DVD and an engraver


DTS (Digital Theatre Surround) DTS Coherent Acoustics is a differential encoder by frequency bands perceptually optimized. The compression algorithm is largely applicable and flexible: from the low flows Multimedia applications (5.1 channels with 384 kbit/s or less), to the professional musical applications implying higher sampling rates, words of longer size, a variable number of audio channels and a compression without losses. Multichannel 5.1 audio quality is "at least comparable with that of CD".

The decoding algorithm is rather simple compared to the coder. It does not imply calculations of fundamental importance for the quality of the decoded audio signal. The possible improvements of DTS can be done only by modifying the encoding algorithm, without any modification of the software or the hardware of the decoders.

Figure 5: Coherent Acoustics Features (source: SMYTH & al., 1996) • 1 to 8 channels of multiplexed audio • Sampling rates from 8 kHz to 192 kHz per channel audio Bandwidth from 3,5 to 90 kHz • 16-bit to 24-bit audio word length (max dynamic : 138 dB) • Compression ratios from 1:1 to 40:1 • Total data rate operating range from 32 kbits/sec to 4096 kbits/sec


DTS encoding offers a simplicity of implementation:

• recording on a simple DAT or audio CD

• compression ratio: 3:1 (4 times weaker than the AC3) (to be chosen according to the use)

• compatible with the whole world surround installations

• inexpensive encoding and support duplication by a simple computer CD engraver or CD factory pressing for great quantities

• disadvantage: DTS encoded CD are out of standards: a decoder is imperatively needed.

DTS process astutely diverts the CD standard, it is simple, perfectly defined and inexpensive

it is an ideal solution for electroacoustic music!


Débits audionumériques

in stéréo : • CD audio stéréo :

16 bits / 44.1 kHz 1,41 Mbits/s 100 %

• MiniDisc (MP3) 2 x 192 kbits/s 25 % 1/4 audio quality really similar to that of an audio CD

in 5.1 : • 6 audio channels (CD quality) 16 bits / 44.1 kHz / 4,3 Mbits/s 100 %

compressed

signal

perceptuals encoders

• surround / Prologic analogical matricing

• ac3 (dolby) 384 kbits/s 8 % 1/12 limited audio quality audio for the benefit of video

• dts 1,4 Mbits/s 33 % 1/3 20 bits / 48 kHz / 6 channels / no video audio quality really similar to that of an audio CD


Thanks to the recent audio encoding processes, nowadays listening spatialized or multiphonic music on a home-cinema 5.1 surround hi-fi system became possible.


VI- DTS encoding

1) First step: The composition of a musical work

Figure 9 : the 6 audio files

At the end of the work of the composition work, 5 (or 6) audio files are required: Left, Right, Center, Surround Left, Surround Right and possibly SubBass.

✔ 8 seconds of silence are required at the end of the music, as a separator. (silence must be

integrated in DTS file in order to avoid rocking in stereo mode PCM between 2 pieces = risk of clics)

✔ Digital audio files are required in 16 bits/ 44.1 kHz / wav format ✔ Files need to be clearly identified (L, R, C, SR, SL, LF) and to carry a .WAV extension. ✔ The 4 5 (or 6) files must have exactly the same duration. ✔ If any intermediate index is wished, it will be necessary to cut musical work into N files (which

will be restuck at engraving session, after encoding).


2) The encoding software

Figure 10 : DTS encoding software

Encoding is realized piece per piece. Calculation duration is about 2 mn for a 5 mn piece (according to the computer power). A listening control is available. www.minnetonka.com Minnetonka Audio Software - USA

List Price: $499.00 Your Price:$439.00


3) The result

Figure 11 : the DTS file

The coder provides 1 DTS file (in WAV format)

✔ compression ratio is 3:1

6 x (37 Mo mono files) 1 x (75 Mo DTS file) sound quality after encoding is excellent it is not possible to distinguish original from DTS

✔ The duration of a 5.1 DTS CD is about 74 mn of music (like a normal CD-A) es studios numériques ou échantillonneurs (muni d’un décodeur DTS) encapsulation in a WAV file makes it possible to store the signal on CD, DAT, as well as handling in audio softwares or samplers (provided with a DTS decoder)


VII- Benefits of spatialisation

• 1) listening comfort ; listening pleasure ; Sound quality can be compared with that of CD [ 20 Hz - 20000 Hz ] in spite of compression

Increasing sound sources improves depth , dynamics and intelligibility of sound (with identical sound message).

better restitution of sound reality, as well as possibilities of unheard spaces creation (i.e. extraordinary, but also ever heard).

• 2) adds a new dimension to domestic listening: spatialization;

• 3) standardization of 5.1 systems allows a world diffusion of spatialization;

• 4) reduction of the distance between concert and domestic listening;

• 5) 5.1 supports make it possible to fix work and its spatialization, exactly like the composer wants it to be;


- audience is limited to 8 to 10 people

• electroacoustic music is well suited to spatialization activities (writing or performing), because of its lack of causality.

• Recording (or fixing) spatialized works on a general public support will allow :

• 7) emergence of a space discourse ;

• 8) analysis and formalization possibilities


VIII- Quelques écoutes Un programme musical varié a été élaboré afin d'explorer les nouvelles possibilités de spatialisation dans une écoute de salon :

• Picson, le hérisson, un conte musical, spécifiquement composé en 5 pistes ; 5.1

cas idéal pour le 5.1 : La voix du conteur est placée au centre en monophonie. La musique électroacoustique est librement répartie sur les 4 enceintes restantes. L'absence de causalité instrumentale facilite énormément le positionnement des sons. Les enceintes arrières peuvent être utilisées de façon créative sans contraintes particulières.


• Les chevaux de Ladoga, un trio instrumental et vocal ; Gérard Le Vot Dominique Regef Bertrand Merlier

Voix

Vielle / Harpe

Echantillonneur

La causalité instrumentale limite les mouvements d’espace et pose le problème : que faire des voies arrières ?

Le trio a été enregistré dans des conditions de studio, c'est à dire prise de son individuelle et rapprochée, puis mixé en 5 pistes.

La voie centrale est réservée au texte.

C

L

SL

R

SR

C

L

SL

R

SR

texte

harpe harpevielle viellepuis

position des instruments lors du mixage Les faibles dimensions du salon d’écoute jouent ici en faveur du mixage 5.1 (de la mise en espace 5.1), contrairement au §4). La fusion des voies se fait instantanément, sans aucun problème, malgré les 5 pistes différentes. Malgré les prises de sons séparées, l'impression du trio instrumental fonctionne bien.


• Sillages, une musique acousmatique stéréo spatialisée sur 5 points ;

2 -> 5

Que faire du nombre impair d'enceintes ? que faire sur la voie centrale (à partir d'une source stéréo) ?

L’interprétation requiert une extrême finesse, une très grande précision. Les gestes sont souvent de très faible amplitude, car :

. le nombre de haut-parleurs est petit ;

. les dimensions de la salle sont petites ;

. les distances entre les haut-parleurs sont petites ;


• Nébuleuses NCG2359, la réduction en 5 pistes d'une pièce octophonique.

8 -> 5

En musique électroacoustique, l'absence de causalité instrumentale facilite énormément le positionnement des sons. Les enceintes arrières peuvent être utilisées de façon créative sans contraintes particulières.

• les outils logiciels ou matériels d'assistance à la spatialisation sur 5 points (panoramique multidimensionnel) sont quasiment inexistants, ce qui rend les déplacements sonores assez difficiles à réaliser ;


IX- Conclusion : Intérêts pour la musique électroacoustique

• Le home-cinéma a normalisé les installations HiFi 5.1 (nombre de haut-parleurs et position dans l'espace d'écoute) et médiatise la spatialisation des sons, à travers le “son surround”. • Plus de 10 millions de chaînes HiFi surround au monde. Les compositeurs de musique électroacoustique ont 50 années d'expérience de spatialisation du son derrière eux ; • L'enjeu est de permettre une meilleure diffusion des œuvres électroacoustiques sur des supports audio standards. Ix- Conclusion: Interests for the music electroacoustic • the home-cinema standardized the installations HiFi 5.1 (a number of loudspeakers and position in the space of listening) and médiatise the spatialization of the sounds, through the "sound surround". • More than 10 million chains HiFi surround in the world. The type-setters of music electroacoustic have 50 years of experiment of spatialization of the sound behind them; • the stake is to allow a better diffusion of works electroacoustics on standard audio supports. Remerciements : Gérard LOUPIAS de la société GLCC & Mike ARCHER / dts USA (encodage dts),


Frédéric FINAND & EMM de St PRIEST Hélène PLANEL / THELEME CONTEMPORAIN (production et recherche de financements), SACEM et Conseil Général de la Drôme (financements).


X- FAQ Multiphonie ? > multiphonie se définit par rapport aux termes de mono-, stéréo-, quadri-, octo- phonie, indique que le support et sa restitution se font sur un nombre de canaux supérieurs à 2. En fait, il indique surtout (pour moi) la réalisation, la fixation et la diffusion d'une œuvre sonore dans le format de son écoute (nombre de canaux et dispositif de projection du son).

Quelle est la différence avec "multipiste" ? > multipiste signifie simplement qu'on utilise un support, réel (magnétophone) ou virtuel (logiciel DTD par exemple), où les éléments sonores sont fixés sur différents canaux indépendants (les "pistes"). Mais l'écoute peut fort bien ne pas être multiphonique : c'est le cas de l'énorme majorité des productions sonores stéréophoniques.

Comment "écrit-on" l'espace ? > lorsque l'on parle d'écriture de l'espace, cela signifie que ce paramètre est traité comme les autres aspects de la composition et qu'il est inscrit, fixé sur un support. À ne pas confondre avec la représentation visuelle d'une œuvre acousmatique : dans le cas de la stéréophonie c'est déjà quelque chose de très complexe (et pas forcément utile...). En ce qui concerne la multiphonie, mieux vaut se concentrer sur l'écoute et la manipulation directe de l'espace, c'est plus intéressant et nettement plus efficace ! (sauf cas particuliers, bien sûr...).


De quels outils a-t'on besoin ? > en plus des enceintes et des oreilles ? Pratiquement tous les logiciels audio actuels permettent d'accéder aux sorties multiples des cartes son (qui en disposent). Par contre, tous ne sont pas également adaptés, et aucun n'est vraiment conçu pour ça, en dehors des applications "surround" (5.1 à 10.2). Il faut "bidouiller", trouver les méthodes qui correspondent à sa propre manière de penser et de travailler... Certains centres de recherche (IRCAM...) peuvent proposer des outils dédiés à "l'espace", mais plus dans une optique de diffusion que de composition (pour l'instant). La série de plugins que je propose apporte un certain nombre de réponses à ces problèmes. Enfin, les machines comme les magnétophones et consoles ne sont guère adaptées à ce travail. La question principale est finalement la suivante : POURQUOI composer en multiphonie ?

Ce qu'on y gagne : - des possibilités de composition fantastiques (si, si) - une attitude cohérente en ce qui concerne la démarche de fixation - une meilleure (?) restitution du son... Ça, c'est hautement variable, et dépend du travail et du talent de l'acousmate ! - un élargissement des "points d'audition" corrects en situation de concert - la diffusion de l'œuvre sous forme de séances (comme au cinéma) et d'installations, à mon avis plus appropriées à cet art que les concerts / spectacles de musique (instrumentale) - l'assurance que son travail ne sera pas déformé par un "interprète" trop zélé...

Ce qu'on y perd : - la possibilité d'adapter l'œuvre à des dispositifs qui ne correspondent pas à celui de la conception (situation standard) - l'échange aisé des supports avec d'autres artistes, programmeurs...


- la facilité de faire écouter ce qu'on a fait : il faut disposer du dispostif (et du lieu) adéquat - la possibilité de "rattraper", d'améliorer une composition médiocre (un peu comme en musique instrumentale, lorsque des interprètes géniaux donnent vie à des partitions moroses...)

Les « inconvénients » - cela coûte un peu plus cher à produire : 8 paires d'enceintes représentent un investissement plus important qu'une seule, même si elle ne doivent pas présenter nécessairement les mêmes performances - il faut plus de place pour travailler (fini le studio - placard) - c'est forcément "plus long et plus difficile" à réaliser : il y a plus de paramètres sonores, techniques et surtout compositionnels à gérer - l'exigence est plus grande en ce qui concerne le dispositif de diffusion : nombre, position et caractéristiques des enceintes, dimensions, acoustique, etc., ce qui n'est pas toujours bien perçu par les organisateurs... - le risque principal est de trouver encore plus difficilement des débouchés, de diffuser les œuvres plus d'une fois... - l'auditeur moyen n'est guère préparé à tant de subtilités !

downmixing Des circuits spécialisés intégrés dans les amplis de chaîne HiFi permettent de convertir du 5.1 en 2.0 (stéréo), sans problème et sans pertes (procédé de downmixing). Une caractéristique exclusive appelée "downmixing" (mix descendant) permet le décodage des programmes 5.1-canaux Dolby Digital quel que soit le système de lecture du consommateur. Un mixage mono ou stéréo peut être créé "à la volée" à partir des programmes multicanaux.

space in electroacoustic music, 5.1 surround systems and...

Documents