modelagem de um sistema para auralização musical utilizando wave field synthesis

MARCIO JOS DA SILVA

Modelagem de um sistema para auralizaomusical utilizando Wave Field Synthesis

So Paulo

2014

Marcio Jos da Silva

Modelagem de um sistema para auralizao musicalutilizando Wave Field Synthesis

Dissertao apresentada Escola de Comunica-es e Artes da Universidade de So Paulo paraobteno do ttulo de Mestre em Msica.

rea de concentrao:Processos de Criao Musical

Orientador:Prof. Dr. Regis Rossi Alves Faria

Esta a verso corrigida desta dissertao. A verso original se encontra disponvel tanto naBiblioteca da ECA/USP quanto na Biblioteca Digital de Teses e Dissertaes da USP (BDTD)

So Paulo

2014

Autorizo a reproduo e divulgao total ou parcial deste trabalho, por qualquer meio convencional oueletrnico, para fins de estudo e pesquisa, desde que citada a fonte.

Catalogao na PublicaoServio de Biblioteca e Documentao

Escola de Comunicaes e Artes da Universidade de So PauloDados fornecidos pelo(a) autor(a)

Silva, Marcio Jos da Modelagem de um sistema para auralizao musicalutilizando Wave Field Synthesis / Marcio Jos da Silva. --So Paulo: M. J. Silva, 2014. 80 p.: il.

Dissertao (Mestrado) - Programa de Ps-Graduao emMsica - Escola de Comunicaes e Artes / Universidade deSo Paulo.Orientador: Regis Rossi Alves FariaBibliografia

1. Wave Field Synthesis 2. auralizao musical 3.espacializao sonora 4. udio espacial 5. programaodinmica I. Faria, Regis Rossi Alves II. Ttulo.

CDD 21.ed. - 780

Marcio Jos da Silva

Modelagem de um sistema para auralizao musical utilizando Wave FieldSynthesis

Dissertao apresentada Escola de Comunica-es e Artes da Universidade de So Paulo paraobteno do ttulo de Mestre em Msica.

rea de concentrao:Processos de Criao Musical

Orientador:Prof. Dr. Regis Rossi Alves Faria

Aprovao em: 31 de outubro de 2014.

Banca examinadora:

_________________________________________

Prof. Dr. Regis Rossi Alves FariaInstituio: FFLCRP-USP

_________________________________________

Prof. Dr. Fernando Henrique de Oliveira IazzettaInstituio: ECA-USP

_________________________________________

Prof. Dr. Jos Augusto MannisInstituio: IA-UNICAMP

Agradecimentos

FAPESP por todo o apoio dado a esta pesquisa, atravs do processo 2012/17263-1e pelo financiamento do desenvolvimento do array de alto-falantes e equipamentos utilizados,atravs do processo FAPESP 2008/08632-8 (projeto temtico MOBILE - Processos MusicaisInterativos).

Aos pesquisadores Csar Daniel Salvador Castaeda, Thilo Koch, Flvio Luiz Schiavonie a todos aqueles que direta ou indiretamente colaboraram com esta pesquisa.

Resumo

SILVA, Marcio. J. Modelagem de um sistema para auralizao musical utilizando WaveField Synthesis. 2014. 80 f. Dissertao de mestrado - Escola de Comunicaes e Artes, Univer-sidade de So Paulo, So Paulo, 2014.

Buscando-se a aplicao prtica da teoria de Wave Field Synthesis (WFS) na msica, foi feita umapesquisa visando modelagem de um sistema de sonorizao capaz de criar imagens sonorasespaciais com a utilizao desta tcnica. Diferentemente da maioria das outras tcnicas de sono-rizao, que trabalham com uma regio de escuta pequena e localizada, WFS permite projetaros sons de cada fonte sonora - como instrumentos musicais e vozes - em diferentes pontos doespao de audio, em uma regio de escuta que pode abranger quase toda a rea compreendidapor este espao, dependendo da quantidade de alto-falantes instalados. O desenvolvimento deum cdigo de estrutura modular para WFS foi baseado na plataforma orientada a patches PureData (Pd), e no sistema de auralizao AUDIENCE, desenvolvido na USP, sendo integrvelcomo ferramenta para espacializao sonora interativa. A soluo emprega patches dinmicos euma arquitetura modular, permitindo flexibilidade e manutenabilidade do cdigo, com vantagensfrente a outros software existentes, particularmente na instalao, operao e para lidar com umnmero elevado de fontes sonoras e alto-falantes. Para este sistema tambm foram desenvolvidosalto-falantes especiais com caractersticas que facilitam seu uso em aplicaes musicais.

Palavras-chave: Wave Field Synthesis, auralizao musical, espacializao sonora, udio espa-cial, sntese de campo sonoro, programao dinmica.

Abstract

SILVA, Marcio. J. Modeling a system for musical auralization using Wave Field Synthesis.2014. 80 f. Masters dissertation - Escola de Comunicaes e Artes, Universidade de So Paulo,So Paulo, 2014.

Seeking the practical application of the theory of Wave Field Synthesis (WFS) in music, aresearch aimed at modeling a sound system capable of creating spatial sound images with theuse of this technique was made. Unlike most other techniques for sound projection that workwith a small, localized listening area, WFS allows projecting the sounds of each sound source- such as musical instruments and voices - at different points within the hearing space, in aregion that can cover almost the entire area comprised by this space, depending on the amount ofinstalled speakers. The development of a modular structured code for WFS was based on thepatch-oriented platform Pure Data (Pd), and on the AUDIENCE auralization system developedat USP, and it is integrable as a tool for interactive sound spatialization. The solution employsdynamic patches and a modular architecture, allowing code flexibility and maintainability, withadvantages compared to other existing software, particularly in the installation, operation andto handle a large number of sound sources and speakers. For this system special speakers withfeatures that facilitate its use in musical applications were also developed.

Keywords: Wave Field Synthesis, music auralization, sound spatialization, spatial audio, soundfield synthesis, dynamic programming.

Sumrio

1 UM SISTEMA DE SONORIZAO BASEADO EM SNTESE DE FRENTEDE ONDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.1 Objetivos da pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.2 Motivaes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.3 Utilizao das tcnicas de espacializao . . . . . . . . . . . . . . . . . . . . . 13

1.3.1 Sistemas de sonorizao espacial . . . . . . . . . . . . . . . . . . . . . 131.3.2 Espacializao na msica . . . . . . . . . . . . . . . . . . . . . . . . . 151.3.3 Instrumentao musical virtual espacial . . . . . . . . . . . . . . . . . 15

1.4 A escolha das plataformas de desenvolvimento . . . . . . . . . . . . . . . . . . 16

2 TEORIA BSICA SOBRE WAVE FIELD SYNTHESIS . . . . . . . . . . . . . . 182.1 Fundamentos tericos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.1.1 Aliasing espacial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2 O operador WFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.2.1 O operador WFS segundo Ranjan e Gan . . . . . . . . . . . . . . . . . 232.2.2 O operador WFS segundo Wittek . . . . . . . . . . . . . . . . . . . . . 242.2.3 O operador WFS segundo Spors, Rabenstein e Ahrens . . . . . . . . . . 252.2.4 O operador WFS segundo Marije Baalman . . . . . . . . . . . . . . . . 252.2.5 Entendendo melhor o operador WFS . . . . . . . . . . . . . . . . . . . 25

2.2.5.1 Clculo das amplitudes . . . . . . . . . . . . . . . . . . . . . 272.2.5.2 Clculo dos atrasos . . . . . . . . . . . . . . . . . . . . . . . 28

2.3 Aplicaes de Wave Field Synthesis . . . . . . . . . . . . . . . . . . . . . . . 282.4 Projetos e trabalhos de referncia . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.4.1 O projeto CARROUSO . . . . . . . . . . . . . . . . . . . . . . . . . . 292.4.2 Casa del Suono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.4.3 WFS do IRCAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302.4.4 WFS da Technical University - Berlin . . . . . . . . . . . . . . . . . . 302.4.5 IOSONO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3 ESTUDOS INICIAIS PARA DESENVOLVIMENTO DE PROTTIPOS . . . . 313.1 Programas de referncia para WFS . . . . . . . . . . . . . . . . . . . . . . . . 31

3.1.1 sWONDER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.1.2 WFSPlayer de Daniel Salvador . . . . . . . . . . . . . . . . . . . . . . 333.1.3 SoundScape Renderer (SSR) . . . . . . . . . . . . . . . . . . . . . . . 35

3.2 Diagramas de blocos dos programas de referncia . . . . . . . . . . . . . . . . 36

4 IMPLEMENTAO E TESTES BSICOS . . . . . . . . . . . . . . . . . . . . . 404.1 Operador WFS para o projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . 404.2 Montagem e infra-estrutura bsica . . . . . . . . . . . . . . . . . . . . . . . . 41

4.2.1 Projeto e fabricao de alto-falantes especiais . . . . . . . . . . . . . . 434.3 Prottipo inicial em Pure Data . . . . . . . . . . . . . . . . . . . . . . . . . . 444.4 Avaliao bsica do funcionamento do prottipo inicial . . . . . . . . . . . . . 474.5 Prottipo final . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

4.5.1 Aspectos gerais do projeto . . . . . . . . . . . . . . . . . . . . . . . . 534.5.2 Implementao do processador WFS com programao dinmica . . . . 544.5.3 Integrao ao sistema AUDIENCE . . . . . . . . . . . . . . . . . . . . 564.5.4 Construo do prottipo final . . . . . . . . . . . . . . . . . . . . . . . 57

4.6 Testes de funcionamento realizados no prottipo final . . . . . . . . . . . . . . 624.6.1 Apresentao dos resultados do teste subjetivo . . . . . . . . . . . . . . 67

5 CONCLUSES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705.1 Discusso dos resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705.2 Principais contribuies deste trabalho . . . . . . . . . . . . . . . . . . . . . . 715.3 Trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Referncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

APNDICE A Configuraes do SSR . . . . . . . . . . . . . . . . . . . . . . . . . 78

APNDICE B Mtodo para o clculo da posio da fonte sonora . . . . . . . . . . 79

10

1 UM SISTEMA DE SONORIZAO BASEADO EM SNTESE DE

FRENTE DE ONDA

Wave Field Synthesis - ou Sntese de Campo de Onda - representada pela sigla WFS, uma tcnica de sonorizao que visa reproduzir os atributos fsicos de um campo sonoro noespao de audio, como auditrios e cinemas, permitindo teoricamente perfeita localizaoda fonte virtual, numa grande rea de reproduo, ao contrrio das tcnicas convencionais quepermitem a criao de uma iluso acstica sobre uma rea de escuta muito pequena conhecidacomo sweet spot (RANJAN; GAN, 2012).

Nesta pesquisa de mestrado modelou-se uma implementao computacional modular eflexvel da tcnica de sonorizao de Wave Field Synthesis (WFS), projetada de modo a facilitarsua integrao a um sistema de auralizao1 desenvolvido na Universidade de So Paulo, oAUDIENCE2.

O projeto do sistema de auralizao AUDIENCE (AUDio Immersion ExperieNce byComputer Emulation) teve incio em 2003 no Laboratrio de Sistemas Integrveis da EscolaPolitcnica da Universidade de So Paulo (LSI-EPUSP) visando pesquisar tecnologias paraimerso sonora, produo e reproduo de udio 2D/3D, com aplicaes em multimdia, realidadevirtual, home-theaters e sonorizao surround (FARIA et al., 2005; FARIA; ZUFFO, 2006;THOMAZ et al., 2006; FARIA; ZUFFO; ZUFFO, 2005).

Em 2005 o sistema foi utilizado numa instalao multicanal cbica (8 alto-falantes)para a Caverna Digital3, gerando a primeira verso do software de auralizao AUDIENCE. Naverso atual, o programa consiste numa biblioteca de objetos e abstraes para a plataformaPure Data que permite construir aplicaes genricas de udio espacial. Est disponvel em duasverses - uma completa e restrita (AUDIENCE4Pd) e outra bsica e aberta, que pode ser baixadada internet gratuitamente a partir do website do projeto4, denominada OpenAUDIENCE (OA),utilizada como arquitetura de sistema e plataforma de referncia de programao neste projeto.

1.1 Objetivos da pesquisa

Este projeto props a modelagem e prototipagem de um sistema de sonorizao espacialcomo aplicao prtica da teoria de Wave Field Synthesis, caracterizado pela manipulao edistribuio espacial de cenas sonoras virtuais, usando um mapeamento controlvel, de modo apoder alterar a posio dos sons emitidos. Para controlar este sistema, deveria ser desenvolvido1 Auralizao o processo que usa modelagem fsica ou matemtica para criar um campo sonoro.2 AUDIENCE: Sistema e Software para Imerso Sonora e Auralizao. Acesso em: 3 O site do projeto CAVERNA Digital pode ser acessado em 4 OpenAUDIENCE. Acesso em

http://www.lsi.usp.br/neac/audiencehttp://www.lsi.usp.br/neac/audiencehttp://www.lsi.usp.br/~rv/p/cave_p.htmlhttp://www.lsi.usp.br/neac/pt-br/openaudience

Captulo 1. UM SISTEMA DE SONORIZAO BASEADO EM SNTESE DE FRENTE DE ONDA 11

um cdigo de programao de estrutura modular, segundo os requisitos da plataforma deauralizao AUDIENCE, de maneira a ser integrado como ferramenta para espacializaosonora interativa, particularmente til para aplicaes de espacializao musical.

1.2 Motivaes

At o sculo XX, a msica s pde ser apreciada no momento da sua execuo, comcada ouvinte prximo aos seus executantes. Indo mais alm, para que as fontes sonoras5 possamser ouvidas, no basta a distncia ser curta se o ambiente no acusticamente favorvel. Sehouver centenas de pessoas prximas a um violo tocado numa rua ao ar livre, provavelmente,para grande parte dos presentes, o instrumento no ser ouvido de forma satisfatria. Comocomentado por Thomaz (2007, p. 23): Por exemplo, em uma orquestra, a escolha da posiodos instrumentos deve-se principalmente ao volume sonoro que cada instrumento produz, de

forma que todos possam ser ouvidos claramente.

Para apresentaes musicais so desenvolvidas salas com acstica apropriada, e atajustvel, como por exemplo a Sala So Paulo, sede da Orquestra Sinfnica do Estado de SoPaulo. Outra soluo comum a instalao de um sistema de reforo de udio (com microfones ealto-falantes) que distribua o som no ambiente em questo, usado inclusive em salas de concerto,para que o pblico, independentemente de sua distribuio no espao do evento, possa ouvir bemo que est sendo executado.

antiga a preocupao e o interesse pelo desenvolvimento da msica por meio daspossibilidades trazidas pela tecnologia. Esta influncia pode ser ilustrada pela evoluo dosinstrumentos musicais, as cada vez mais modernas salas de concerto ou a construo de estdiosde gravao cada vez mais sofisticados, e a relao destes com os processos de execuo,transmisso, conservao e a criao de novos sons. Nas ltimas dcadas surgiram novaspossibilidades tcnicas para o universo musical. Porm, tal evoluo, na maioria dos casos, no direcionada aos ouvintes, o que implica uma ausncia de ferramentas para forjar e adequar oespao de audio, j que a nfase est na criao e execuo musicais, vide as interfaces queesto entre o sistema de autoria (instrumentos, computadores, etc.) e os msicos. As diversaspesquisas relacionadas sonorizao mostram que tem havido um aumento do interesse naexperincia de audio e, mais especificamente no udio espacial. A evoluo das tcnicasde espacializao de campo sonoro, como consequncia das novas tecnologias de udio e doaumento do poder de processamento dos computadores, levou otimizao e expanso do usodo espao auditivo, o que sugere explorar cada vez mais as possibilidades tcnicas disponveis.

A tecnologia no se resume exclusivamente eletrnica ou informtica, mas, a partirdo sculo XX e, mais especificamente, da segunda metade do sculo, tanto uma, quanto outra,5 Instrumentos musicais, sejam eles acsticos ou eletrnicos (como os sintetizadores), so exemplos de fontes

sonoras.


passam a estar cada vez mais presentes no prprio processo criativo. Conforme constata Braun(Baltimore, 2000):

A tecnologia foi sempre inseparvel do desenvolvimento da msica.Mas, no sculo XX, uma rpida acelerao tomou lugar: uma novamsica da mquina veio existncia, instrumentos musicais eletrnicosforam desenvolvidos e compositores frequentemente transformaram-seem pesquisadores sonoros.

A evoluo tecnolgica dos equipamentos de som foi, e continua sendo, incorporadaa shows musicais, auditrios, salas de cinema, jogos de computador e sonorizao de eventosteatrais, entre outras aplicaes. Cada vez mais so assistidas gravaes de vdeos musicais econcertos por meio das mdias como a televiso, aparelhos de DVD e internet. H uma evoluonas possibilidades de escuta musical, atravs: da evoluo das salas de concerto; da evoluo dosinstrumentos musicais (acsticos ou no); das novas estticas e de novos conceitos, como a damsica eletroacstica; da possibilidade de tornar o mais realstico possvel a escuta das grandesorquestras; do uso de microfones, amplificadores e caixas de som na msica ao vivo ou gravada,ou at mesmo gerada atravs de circuitos eletrnicos e computadores. Tudo isso nos motiva abuscar uma nova e aperfeioada forma de projeo e escuta dos sons, otimizando e expandindo ouso do espao auditivo.

De acordo com Ranjan e Gan (2013, pg. 19) e Baalman (2007), WFS produz imagenssonoras mais definidas e estveis e adequada para situaes de concertos, pois, diferentementedas outras tcnicas, tem a capacidade de induzir a percepo de objetos sonoros localizados numagrande rea de audio, podendo assim atender um maior nmero de ouvintes simultaneamente.Ao contrrio de tcnicas como a de reproduo em dois canais, as posies das fontes virtuaispercebidas pelo ouvinte no mudam conforme este se desloca, mas sim como se realmenteestivessem numa dada posio no ambiente. Alm disso, permite outros tipos de movimento dasfontes sonoras, tais como movimentos que usam controle mais preciso sobre a localizao defontes de som e movimentao atravs do espao de audio, podendo haver uma fonte comuma posio fixa ou uma fonte que se move quando o ouvinte atravessa a regio de audio.Segundo Brandenburg, Brix e Sporer (2004), as salas de concerto com WFS podem se transformarem espaos multifuncionais com adaptaes acsticas para cada tipo de msica e posicionaros instrumentos musicais de uma orquestra com informao angular espacial e boa noo dedistncia das cenas acsticas no palco. O artigo de Faria (2011b), sugere uma proposta diferentede escutar e perceber os sons, com a possibilidade dos sons serem decompostos em parciais(harmnicos, por exemplo) que poderiam ser ouvidos separados em posies diferentes, numaprojeo em WFS.

interessante salientar que, no Brasil, at a presente data, ainda no encontramos estudosvoltados a desenvolvimentos com o uso de WFS. Este trabalho proporciona, em lngua portuguesa,um arcabouo de referncia novo sobre este assunto, fazendo uma integrao com as reas de


msica, computao musical e engenharia de udio, para a aplicao de WFS, por exemplona auralizao musical, focalizando na construo de cenas sonoras musicais integrado aoframework do sistema de auralizao AUDIENCE. A provvel utilizao de sistemas baseadosem WFS, com a perspectiva de que se possa gerar implementaes inditas no Brasil e se possaavaliar equipamentos fabricados em outros pases que se utilizam desta tcnica, dependerde pessoal qualificado para extrair o mximo de recursos dos equipamentos usados para talfinalidade, como programadores, tcnicos e engenheiros de som. Espera-se que esta pesquisasirva de base informativa inicial para que estes profissionais possam realizar treinamentos edesenvolvimentos tcnicos no Brasil.

1.3 Utilizao das tcnicas de espacializao do campo sonoro

O desenvolvimento de novas tcnicas de sonorizao e execuo musical so importantespara o desenvolvimento da msica e motivam a explorao de novos caminhos. Conforme obser-vado por Schafer (2001), sons distantes no tempo e no espao, composies do passado e sonsde culturas estrangeiras foram incorporados paisagem sonora, graas s novas possibilidadesde captar e reproduzir os sons. Desta forma, os ouvintes passaram a experimentar a dissociaoentre a escuta e a fonte sonora, j que os sons passam a ser reproduzidos por alto-falantes.

Este projeto buscou a adequao do espao sonoro aos ouvintes, o que significa garantirqualidade e integridade de audio das cenas sonoras e individualizar o espao de audio emcada ponto do espao fsico. Entretanto, para pesquisas neste campo importante lembrar que,segundo Faria (2005, p. 150):

(...) a simulao e reproduo realista de um campo sonoro (...) umameta somente alcanvel atravs de refinamentos e melhoramentos su-cessivos, tanto nos modelos utilizados quanto nas tcnicas de implemen-tao. Um resultado de alta qualidade alcanvel aps iterados ciclosde implementaes, testes, e melhoramentos.

1.3.1 Sistemas de sonorizao espacial

Desde o seu aparecimento, as tcnicas de auralizao vm evoluindo e tendem a utilizarum nmero cada vez maior de alto-falantes necessrios a implementaes mais sofisticadas.Isto pode ser observado comparando-se, como feito por Faria (2005) e Thomaz (2007), algunssistemas de sonorizao, como, por exemplo, os sistemas monofnico, quadrifnico, surround(5.1, 7.1, etc.) e Ambisonics.

A histria da reproduo de som espacial comeou originalmente com o aparecimentoda reproduo estereofnica. O efeito estreo, surgiu por volta de 1930, quando percebeu-seque a gravao feita com dois microfones (um para cada canal de gravao) poderia gerar, comos alto-falantes, uma reproduo com sugesto de espacializao sonora. A partir do estreo,diversas tcnicas de gravao foram propostas. Como desvantagens, a reproduo em estreo


apresenta uma grande interferncia entre as ondas (cross-talk), alm de ser muito limitada quandobusca-se a localizao precisa de objetos sonoros no campo de audio. Tanto em estreo quantona maioria das tcnicas de auralizao, o ouvinte no pode se deslocar da rea de audio correta,pois as fontes sonoras tendem a emergir das caixas, no mais das posies virtuais esperadas.

Faria (2005, pg. 30) e Thomaz (2007, pg. 48) explicam que o mtodo bi-aural, assimcomo a reproduo estereofnica, utiliza um canal de udio para cada ouvido e usa tcnicas paratentar reproduzir neles, via fones de ouvido, um som originalmente emitido por uma fonte sonoraqualquer. Conforme as posies de cada objeto em relao ao ouvinte variam, temos que o somchega primeiro ao ouvido que estiver mais perto desta fonte emissora, que uma das causasde um objeto no ter o mesmo som para ambos os ouvidos. Estas diferenas levaram ao estudodas funes de transferncias, aplicadas ao processamento desta tcnica, chamadas de HeadRelated Transfer Function (HRTF), sendo individualizadas para o ouvido direito e esquerdo.Como desvantagem, para vrios usurios, a tcnica necessita que o sistema reprodutor se conectea vrios fones de ouvido, pois os fones no podem ser compartilhados.

De acordo com Faria (2005, pg. 19-20), os sistemas surround criam efeitos complexosde envolvimento e uma melhor ideia sobre a posio e o movimento dos objetos sonoros numacena sonora do que as antigas tcnicas, baseadas na reproduo em dois canais. Estes sistemastm cada vez mais mltiplos canais independentes, se utilizando de tcnicas digitais para oprocessamento de sinais.

O Sistema Vetorial de Panorama por Amplitude (SVPA), ou em ingls Vector BasedAmplitude Panning (VBAP), conforme descrito por (FARIA, 2005, pg. 31-32) e Thomaz (2007,pg. 55-56) um mtodo que permite posicionar as fontes virtuais no espao que tem boa preciso.O sistema formado por diferentes arranjos de alto-falantes no qual so reproduzidos sinaissonoros com diferentes amplitudes. Esta tcnica de implementao fcil e barata e de baixocusto computacional, mas no leva em conta parmetros psicoacsticos importantes, como arelao entre frequncia e variao da amplitude.

Ambiophonics, de acordo com Faria (2005, pg. 41) e Thomaz (2007, pg. 57), umatcnica de gravao e reproduo de som multicanal que emprega princpios psicoacsticos paratratar os sinais que iro aos alto-falantes, em funo do posicionamento destes e dos ouvintes,podendo resultar num elevado nvel de realismo na reproduo de salas de concerto e excelenteposicionamento das fontes sonoras virtuais no ambiente de projeo. A tcnica consiste emseparar o som direto, reproduzido por pares de alto-falantes, da ambincia, reproduzida poroutro arranjo de alto-falantes. Como limitao, Ambiophonics comporta somente de um a doisusurios.

De acordo com Thomaz (2007, pg. 61), Ambisonics um sistema capaz de gravar ereproduzir campos sonoros, buscando reconstruir a onda sonora original, levando tambm emconsiderao parmetros psicoacsticos. Segundo Ranjan e Gan (2013), assim como em WaveField Synthesis, Ambisonics se baseia na reproduo do campos de ondas acsticas, o que


permitiria tima localizao das fontes sonoras. Ambisonics tem como vantagem poder sintetizaro campo de onda com qualquer nmero de alto-falantes arranjados em formatos arbitrrios.

Segundo Faria (2005), WFS traz como vantagem diminuir o nmero de pontos deinterferncia das ondas geradas, produzindo uma frente de onda mais prxima daquela que uminstrumento real produziria no espao de audio, atravs da sua projeo por um nmero bemmais elevado de alto-falantes que os usados nos sistemas comuns de udio espacial. Alm disso,WFS no apresenta as limitaes de hot spots de outras tcnicas e pode ser usada para produzirimagens sonoras hologrficas na frente dos alto-falantes.

A evoluo das tcnicas de espacializao de campo sonoro levou otimizao e ex-panso do uso do espao auditivo. Isto tem melhorado com as novas tecnologias de udio e oaumento do poder de processamento dos computadores.

1.3.2 Espacializao na msica

Thomaz (2007, pg. 23) aborda o uso e a importncia de espacializao na msicadescrevendo apresentaes musicais nas quais h uma distribuio dos instrumentos musicaisem vrias posies do ambiente de execuo. Nas palavras do prprio autor:

Ento, aplica-se o termo de msica espacializada para toda msica naqual, por meio do posicionamento incomum das fontes, da movimentaodas fontes e do uso da ambientao, o compositor eleva a espacializaodas fontes sonoras a um mesmo patamar de importncia que os outroselementos da msica como a harmonia, o ritmo e o timbre, entre outros.

No trabalho de Baalman (2007), so comentadas composies de Hans Tuschku, Chris-tian Calon, Victor Lazzarini, Andr Bartetzki e Shintaro Imai nas quais foram utilizadas tcnicasde espacializao durante as respectivas apresentaes ao vivo destas peas. Para estas e outrasobras que precisem de recursos para espacializar, localizar ou movimentar o som no espaosonoro sejam executadas em territrio brasileiro, necessria a instalao de um sistema deespacializao sonora, que o foco deste projeto.

1.3.3 Instrumentao musical virtual espacial

Nas diversas formas de comunicao, um indivduo tem um pensamento e quer transmiti-lo a outro. A execuo musical uma destas formas de comunicao, uma maneira pela qual oscompositores transmitem suas ideias a outras pessoas. Para a criao de msicas cada vez maiselaboradas e complexas, foi necessrio o desenvolvimento, dentre outras coisas, da tcnica dosexecutantes e de instrumentos musicais de construo cada vez mais complexa para aumentar aqualidade e a gama de timbres disponveis para os arranjos ou orquestraes (SILVA; FARIA,2013). Desta forma, nota-se que o estudo e o desenvolvimento tecnolgico foram importantes


para a evoluo da msica, notadamente em relao aos instrumentos musicais, o que vai aoencontro do que afirma Iazzetta (1997):

(...) Instrumentos musicais podem ser vistos como extenses tecnolgi-cas de nossas habilidades de produzir sons. Porm, necessrio que sedesenvolvam tcnicas para manipulao desses aparatos tecnolgicospara que se alcance os resultados desejados.

Segundo Chion (1994) e o seu mito da alta fidelidade, a gravao no se aproximada realidade do concerto, pois no seria possvel ouvir as caractersticas gerais da execuo deuma obra, como a percepo espacial dos instrumentos. Porm, a aproximao com a realidadedo concerto tende a melhorar com a evoluo das tecnologias de udio espacial, podendo osinstrumentos musicais, fugir da lgica da acstica imposta pelo corpo fsico dos instrumentostradicionais.

A tcnica de WFS pode ser usada na pesquisa com instrumentao musical virtualespacial. Como proposto por Faria (2011b), a modelagem do espao pode ser feita pensando-ocomo a interface de um instrumento de execuo musical, ou como uma matriz mapeada deescuta de domnio do ouvinte, em que possvel controlar o som e algumas de suas caractersticas.Impresses causadas pela simulao acstica de salas e pela posio dos instrumentos musicais,sob controle dos instrumentistas, ajudam a definir diferentes cenas sonoras virtuais propostas aosouvintes.

O artigo escrito por Valbom e Marcos (2005) apresenta um ambiente de udio virtual,chamado WAVE, cuja implementao abrange um modelo de instrumento musical que utilizatcnicas de som tridimensionais de udio envolvente, combinada com a visualizao e tecnologiasde realidade virtual. Este ambiente-prottipo visava estender a ideia de um instrumento musicalem um novo sistema de udio, com a incorporao de conceitos musicais tradicionais, integrandomsica e som. A arquitetura do sistema foi baseada em hardware de baixo custo e software opensource profissional com preos acessveis e equipamento de udio para manter uma qualidade desom adequado. Vrias aplicaes deste ambiente virtual so discutidas no artigo, incluindo aforma de satisfazer ao mesmo tempo compositores, artistas, estudantes de msica e de udio oumesmo simples usurios ocasionais.

1.4 A escolha das plataformas de desenvolvimento

Neste trabalho utilizada a plataforma computacional Pure Data6 (PUCKETTE et al.,1996) (Pd) e bibliotecas feitas para ela como o AUDIENCE. O Pd um sistema que funcionacomo um ambiente grfico de programao musical. Pode ser simultaneamente programado eoperado em tempo-real, sendo amplamente utilizado por msicos, artistas e sound designers.6 Pure DataPD Community Site. Acesso em

http://puredata.info/


A programao em Pure Data bastante simples por utilizar o conceito de fluxos eblocos, o que permite a utilizao de expresses matemticas que alterem um fluxo de udio.Um programa de Pd chamado de patch. Outra vantagem deste ambiente a sua capacidade emaceitar extenses, atravs da criao de novos objetos que podem ser feitos na forma de externalsem linguagem C ou na forma de abstractions quando feitos em patches, com outros objetos doprprio ambiente.

Alm de preencher os requisitos necessrios implementao deste projeto, o PureData ainda tem outras vantagens como ser uma ferramenta opensource, ser multiplataforma efuncionar em vrios sistemas operacionais. Alm disto, a escolha deste ambiente simplifica aintegrao do mdulo de WFS ao sistema AUDIENCE/OpenAUDIENCE, tambm implementadona mesma plataforma.

18

2 TEORIA BSICA SOBRE WAVE FIELD SYNTHESIS (SNTESE DE

CAMPO DE ONDA)

Segundo Vries (2009) e Melchior (2011, pg. 16-17), a tcnica de Wave Field Synthesisfoi introduzida em 1988 por A. J. Berkhout (Universidade TU Deft, Holanda). baseada nateoria formulada, no final do sculo XVII, pelo fsico holands Christiaan Huygens (1629-1695),tendo como princpio fundamental obter o modelamento fsico da propagao de frentes deondas sonoras atravs da propagao e superposio de vrias pequenas frentes de onda, o querequer uma formulao computacionalmente elaborada. Em 1818, o princpio de Huygens foicomplementado por Fresnel, e passou a se chamar princpio de Huygens-Fresnel. A formulaomatemtica deste princpio foi dada por Kirchhoff em 1882, que props um teorema mais geralmostrando que o princpio de Huygens-Fresnel pode ser considerado um caso especial desteteorema. O teorema de Kirchhoff pode ser simplificado levando formulao dos teoremas deRayleigh, que formam a base para a teoria de WFS.

2.1 Fundamentos tericos

O objetivo principal em WFS emular a frente de onda que seria produzida por objetossonoros reais em um ambiente acstico especfico, atravs de matrizes de alto-falantes densa-mente distribudas na rea de audio. De acordo com Menzies (2013), a configurao maiscomum da matriz de alto-falantes fica disposta num plano horizontal em que estes direcionam ossons para a rea de audio, custa de perda de resoluo espacial para posies cada vez maisdistantes deste plano.

Segundo Baalman (2008) e Ranjan e Gan (2013), cada alto-falante emite um sinal deudio com atraso e atenuao controlados, correspondentes sua posio, para que a soma dascontribuies destes sinais possa sintetizar uma frente de onda, buscando manter as caractersticasespaciais e temporais que seriam emitidas por uma fonte sonora real. Na parte esquerda da figura1 mostrada uma fonte sonora real e a representao da emisso de suas ondas sonoras, enquantona parte direita tem-se uma fonte sonora correspondente projetada atrs da matriz de alto-falantes,o que ilustra o princpio de emulao por WFS.

Em WFS, o controle da sensao de localizao e distribuio do som de cada fontesonora melhora com o aumento do nmero de alto-falantes disponveis instalados. Os objetossonoros podem ser projetados em frente ou atrs dos alto-falantes. Na figura 2, podem serobservadas duas possibilidades de criao de imagens sonoras virtuais. Na primeira, tem-se asensao de que a fonte sonora encontra-se atrs dos alto-falantes, enquanto na segunda, direita,temos a fonte sonora formada em frente aos alto-falantes, como numa projeo hologrfica.

Segundo Baalman (2008), em WFS, considerando que o ouvinte est em frente matriz

Captulo 2. TEORIA BSICA SOBRE WAVE FIELD SYNTHESIS 19

Figura 1 esquerda ondas sonoras reais e direita ondas sonoras correspondentes sintetizadas porWFS. Figura extrada da pgina LIMSI - Augmented and Virtual Reality & udio Interfaces

Figura 2 Fontes sonoras produzidas por WFS, como numa projeo hologrfica. esquerda tem-sea impresso que a fonte sonora encontra-se atrs dos alto-falantes, enquanto direita temos a fontesonora formada em frente aos alto-falantes. Figura extrada da pgina MEI - Meios Eletrnicos Interativos

de alto-falantes e a observa, a fonte sonora deve ser renderizada atrs da matriz, sobre ela ouentre ela e o ouvinte. A fonte sonora no deve ser renderizada atrs de nenhum ouvinte, que,neste caso, ouviria o som dos alto-falantes partindo em direo fonte sonora, o que o contrriodo que esperado. Por esta limitao, determinada, em funo das posies dos ouvintes, alinha de referncia que serve para determinar at onde o sistema pode projetar o objeto sonoro,que tambm o limite no qual o ouvinte deve se posicionar para que a WFS surta efeito. A figura3 ilustra a linha de referncia num sistema de coordenadas cartesiano, indicada por yre f e, comoprev a teoria, posicionada em frente a uma matriz de alto-falantes.

Segundo Baalman (2008, pg. 23-24) e Hulsebos (2004, pg. 11-12), para que a ondasintetizada por WFS tenha as propriedades fsicas de uma onda sonora real, a presso do ar

http://www.limsi.fr/Scientifique/aa/thmsonesp/IRV_webhttp://www.limsi.fr/Scientifique/aa/thmsonesp/IRV_webwww.lsi.usp.br/interativos/neac/audience/ambiwave.html


rea de audio

linha de referncia (yre f )

(x f ,y f )

x

y

Figura 3 O posicionamento das caixas de som, num sistema de coordenadas cartesiano, formando umamatriz linear para WFS. As coordenadas (x f ,y f ) correspondem posio do objeto sonoro (fonte sonora).A linha de referncia, indicada por yre f , obrigatoriamente projetada antes da rea de audio, ou seja,antes da regio em que o ouvinte deve estar para ouvir as fontes sonoras sintetizadas por WFS.

em cada ponto em frente s caixas de som, representada pela funo p(~r, t), deve satisfazer aequao 2.1 (equao de onda), onde o mdulo de~r representa a distncia entre a fonte sonoravirtual e a frente de onda que a sintetiza e t o instante de tempo em que a presso foi medida.

(2.1) 2 p(~r, t) 1c2

2

t2p(~r, t) = 0

Nesta equao, o laplaciano 2 p(~r, t) =n

i=1

2 ri2

p(~r, t) equivale soma das derivadas

parciais da funo p(~r, t) em relao s componentes do vetor~r = (r1,r2, ...,rn,), 2

t2 p(~r, t) aderivada parcial da funo p(~r, t) em relao ao tempo e c representa a velocidade do som no ar(343,4 m/s).

Baalman (2008) mostra como a presso pode ser representada no domnio da frequncia , usando-se a equao 2.2, conhecida como Transformada de Fourier.

(2.2) P(~r,) =

p(~r, t)e jt dt,

onde j =1 (nmero imaginrio).


Com a Transformada Inversa de Fourier (equao 2.3) obtm-se novamente a funo nodomnio do tempo.

(2.3) p(~r, t) =1

2

P(~r,)e jt dt

A funo de onda no domnio da frequncia deve satisfazer a equao 2.4.

(2.4) 2P(~r,)+(

c

)2P(~r,) = 0

2.1.1 Aliasing espacial

Apesar da tcnica ser considerada por muitos autores a que mais permite aproximar acriao de campos sonoros sintticos dos naturais, h limitaes reconhecidas que devem serobservadas no projeto de sistemas para usos musicais, principalmente para que no se inviabilizea gerao dos efeitos desejados. Uma das principais limitaes est no fenmeno de aliasingespacial, uma vez que o campo sonoro mostrado em posies descritas no espao de audio.

A frequncia mxima para que se opere sem aliasing espacial determinada peladiferena mxima de tempo entre a viagem do som de um alto-falante a um ouvinte e a viagemdo som de outro alto-falante ao mesmo ouvinte, incluindo os atrasos necessrios para que ocorraa sntese WFS, sendo, portanto, a frequncia mxima de operao do sistema, acima da qualartefatos e a disperso da imagem sonora tornam imprecisa a tcnica.

Segundo Berkhout, Vries e Vogel (1993), a frequncia mxima para que um sistema deWFS opere sem aliasing espacial, fmax, dada pela equao 2.5.

(2.5) fmax =c

xmax

onde xmax a distncia mxima entre o centro de duas caixas de som consecutivas e c a velocidade do som no ar.

Conforme pode ser percebido pela equao 2.5, distncias pequenas entre os cones dosalto-falantes possibilitam trabalhar com fmax mais altas, o que importante para que os sons deinstrumentos de registros bem agudos possam ser ouvidos nas posies previstas pelo uso deWFS. Assim, deve-se buscar o menor espaamento possvel entre os transdutores, para que sepossa minimizar esta limitao.

2.2 O operador WFS

Na literatura sobre WFS, encontram-se passagens tericas que mostram as expressespara a funo fundamental em qualquer implementao desta tcnica. Esta funo determina o


fator para o ganho de amplitude sonora correspondente a cada alto-falante e chamada de opera-dor WFS (do ingls operator), ou ainda, driving function ou driving signal. Alm dos trabalhosdestacados no transcorrer desta seo, um bom embasamento pode ser encontrado em Wittek(2007), Montag (2011) e, principalmente Hulsebos (2004), que abordam o desenvolvimentoterico desde suas bases, passando por diversas equaes, chegando a aplicaes imediatas,principalmente descries sobre sistemas de WFS para matrizes lineares de alto-falantes. J notexto de Salvador (2010), encontra-se a teoria de forma bem resumida. A seguir, so exami-nados os principais operadores encontrados na literatura pesquisada, que serviram de base aodesenvolvimento deste projeto.

Conforme comentado no incio do captulo 2, os teoremas de Rayleigh, formam a base dateoria de WFS. Estes teoremas so solues da equao 2.2, abordada na seo 2.1. Adaptandoesta teoria para que sejam usadas com matrizes de alto-falantes, obtm-se funo da pressono domnio da frequncia, P(~r,). Estas solues so descritas por Salvador (2010) e Ranjane Gan (2012), que afirmam que o somatrio das contribuies das frentes de onda geradas emcada alto-falante, representada por P(~r,), obedece a equao 2.6.

(2.6) P(~r,) =1

4

N

n=1

D(xn,)e j

c |rnrr|

|rn rr|x

onde xn a abscissa1 de cada caixa de som, |rn rr| a distncia entre a caixa de somn e a posio do ouvinte, x a distncia entre o centro de duas caixas de som consecutivas ek = c o nmero de onda. O operador WFS, representado na equao 2.6 como D(xn,), afuno usada para calcular a contribuio de presso gerada em cada caixa de som do sistema.

Esta mesma abordagem feita por Belloch et al. (2013). Ele ilustra um sistema bsicode WFS com N caixas de som, atravs da figura 4, e prope a equao 2.7, onde rp a diferenaentre as posies da fonte sonora e da n-sima caixa de som e rdn a diferena entre as posiesda n-sima caixa de som e do ponto de coordenadas (x0,y0) (posio do ouvinte).

(2.7) P(x0,y0)( f ) =N1

n=0

Qn( f )e j

c rdn

rdn

Segundo Belloch et al. (2013), o operador WFS (representado por Qn( f ), onde f nestecaso representa a frequncia do sinal de udio) da n-sima caixa de som dado pela equao 2.8,onde n(rp) e An(rp) so os fatores de atraso e amplitude, respectivamente. Ambos dependem dadistncia rp, entre a posio da fonte sonora virtual (representada pelo piano) n-sima caixade som. O filtro H( f ) equivale expresso K

j f , onde K uma constante que depende da

1 coordenada cartesiana


Figura 4 Um sistema de WFS com N alto-falantes, onde so destacadas as distncias rp, entre fontesonora e alto-falante n, e rdn entre alto-falante n e ouvinte (BELLOCH et al., 2013).

geometria da configurao. Este termo vem da integral de Rayleigh I. O som da fonte sonoravirtual representada por X( f ).

(2.8) Qn( f ) = X( f ).H( f ).e jn(rp).An(rp)

Como base para a verso de operador escrito neste projeto, foram estudadas as versesapresentadas em Baalman (2008), Ranjan e Gan (2012), Spors, Rabenstein e Ahrens (2008) eWittek (2007, pg. 58).

2.2.1 O operador WFS segundo Ranjan e Gan

A figura 5 descreve a geometria do sistema para WFS proposto por Ranjan e Gan (2012).O plano onde esto o objeto sonoro (fonte), as caixas de som e o ouvinte, indicados por S, n e R,respectivamente, tem coordenadas definidas pelos eixos x e z.

A equao 2.9 mostra o operador WFS proposto por Ranjan e Gan (2012).

(2.9) Dw f s(n,) = S()

j2

|ZRZn||ZRZS|

cos(S,n)e j

c |rnrS||rn rS|


Figura 5 Descrio geomtrica do sistema para WFS (RANJAN; GAN, 2012).

2.2.2 O operador WFS segundo Wittek

A figura 6 descreve a geometria do sistema para WFS proposto por Wittek (2007, pg. 58).

Figura 6 Fonte virtual reproduzida num plano horizontal por uma matriz linear WFS. Wittek em seutrabalho faz referncia a esta figura que est na tese de doutorado de E. Verheijen (VERHEIJEN, 1998,pg. 41).


Na figura 6, o plano onde esto o objeto sonoro (fonte), indicado por S, e o ouvinte,indicado por R, tem coordenadas definidas pelos eixos x e z.

A equao 2.10 mostra o operador WFS proposto por Wittek (2007, pg. 58).

(2.10) Qm(r,) = S()

jk2

Z0

Z0 +Z0cos

e jkrr

2.2.3 O operador WFS segundo Spors, Rabenstein e Ahrens

A equao 2.11 mostra o operador WFS proposto por Spors, Rabenstein e Ahrens (2008,seo 4.4).

(2.11) Dtrad(~x0,) = S()

j c2

|~xre f ~x0|

|~xS~x0|+ |~xre f ~x0|cos

e jc |~xS~x0||~xS~x0|

onde~xS a posio do objeto sonoro~x0 a posio do alto-falante, cos = ys|~xS~x0| e~xre f a posio da linha de referncia.

2.2.4 O operador WFS segundo Marije Baalman

Segundo Baalman (2008), o operador expresso pela equao 2.12, seguindo os parme-tros ilustrados na figura 7.

(2.12) Q(x,y0,) = S()

jk2

r0

r0 + r0cos(0)

e jkr0

r0

Onde x a abscissa da posio da caixa de som, k = c o nmero de onda, S() o

sinal de udio, r0c o fator de atraso,

12

r0

r0+r0 cos(0)1r0

o fator de amplitude e

jk ofator de filtragem.

2.2.5 Entendendo melhor o operador WFS

Levando-se em considerao as informaes passadas pelas equaes 2.9, 2.10, 2.11 e2.12, proposta uma verso para o operador WFS (equao 2.13) que tenta unificar e sintetizar oque foi proposto por elas. Estes quatro operadores so praticamente idnticos, se diferenciandobasicamente pela escolha das variveis que representam cada grandeza que tem correspondncianestas quatro verses.

Para a verso de operador proposta, como referncia, que pode ser escolhida arbitra-riamente, usado o sistema de coordenadas cartesianas ilustrado na figura 8. Nesta a figura,


Figura 7 Parmetros usados no clculo feito pelo operador WFS relacionados s posies do objetosonoro , caixas de som (y0) e linha de referncia.

o vetor ~r f ,n representa a diferena entre a posio da fonte sonora virtual (f, no confundircom frequncia que representada aqui por ) e a posio da caixa de som (n), ento tem-se~r f ,n = (x f xn,y f yn). O vetor~r f ,re f a diferena entre a posio da fonte sonora virtual e aposio de referncia para a escuta, que pode ser a linha de referncia ou posio de um ouvinte.O vetor~rn,re f a diferena entre a posio da caixa de som e a posio de referncia para aescuta. Nestes casos, foi adotada a linha de referncia para que os clculos no privilegiem aescuta em um ponto, levando em considerao toda a rea de audio.

(2.13) DWFS = S f

j c2

|~rn,re f ||~r f ,re f |

cose j

c |~r f ,n||~r f ,n|

O operador DWFS usado para determinar como o sinal de udio S f deve ser processadopara que ocorra a WFS. construdo em funo das posies dos ouvintes e da posio desua correspondente cada caixa de som, ou seja, cada caixa de som tem seu prprio operador.Alm disso, deve receber as informaes da posio das fontes sonoras em tempo real. SegundoBaalman (2008),

j c o fator de filtragem e, de acordo com Wittek (2007, pg. 59), corresponde

a um filtro de amplitude em funo da frequncia, com ganho de 3 dB por oitava.

Alm do fator de filtragem, tem-se no restante da equao do operador WFS os clculos


rea de audio

linha de referncia (yre f )

fonte sonora virtual

(x f ,y f )

x

y

(xn,yn)

~r f ,n

~rn,re f~r f ,re f

Figura 8 Sistema de coordenadas cartesianas e vetores usados no operador WFS.

de amplitude e atrasos do sinal de entrada. Desta forma, este operador pode ser expresso pelaequao 2.14, onde os ndices f e n se referem fonte sonora e n-sima caixa de som,respectivamente.

(2.14) Dw f s = S f

jc

(A f ,n

)e j

c d f ,n

sendo A f ,n o fator de amplitude.

2.2.5.1 Clculo das amplitudes

A partir das equaes 2.13 e 2.14, conclui-se que o clculo do fator de amplitude para osinal de udio pode ser feito usando-se a equao 2.15.

(2.15) A f ,n =

1

2


cos1|~r f ,n|

Conforme a discusso sobre o referencial ilustrado na figura 8, temos que cos = y fyn|~r f ,n| ,ento o fator de amplitude pode ser calculado pela equao 2.16.

(2.16) A f ,n =

1

2


(y f yn|~r f ,n|

)1|~r f ,n|


2.2.5.2 Clculo dos atrasos

Segundo Baalman (2008), o clculo dos delays (atrasos), que cada caixa de som n deveefetuar ao transmitir sua contribuio sonora no domnio da frequncia, dado por e j

c |~r f ,n|.

Considerando o ndice f representando a fonte sonora e~r f ,n sendo a diferena vetorial entre asposies da fonte sonora e da n-sima caixa de som e r f ,n seu valor escalar, para o domnio dotempo, usada a equao 2.17.

(2.17) t f ,n =r f ,nc

2.3 Aplicaes de Wave Field Synthesis

Nos sistemas mais usados nas residncias, como os home-theaters, para que se possaobter o resultado de espacializao oferecido em cada um deles, necessrio que o ouvinte seposicione num determinado ponto entre as caixas de som, normalmente ficando numa poltronafixa. A maioria das tcnicas de sonorizao tem uma regio de escuta muita pequena (hot spot),pois a mudana da posio do ouvinte muda a percepo do ponto onde o som est localizado.Se vrias pessoas, ao mesmo tempo, tentarem ouvir o som gerado por uma destas tcnicas,no podero ficar nesta pequena rea e no ouviro o resultado da projeo do som de formasatisfatria. Em aplicaes de WFS, cada ouvinte deve ter a mesma sensao de distribuio epercepo das fontes sonoras no espao de audio. A tcnica WFS se diferencia por permitir alocalizao do objeto independentemente da posio do ouvinte, de forma semelhante ao queocorre com a projeo de imagens nos filmes em 3D.

Segundo Lopez et al. (2010), sistemas de videoconferncia tm como objetivo forneceruma maneira de realizar reunies, sem a necessidade de ter a presena fsica dos participantes.No entanto, o senso de realismo alcanado por esses sistemas tradicionais geralmente longe doesperado pelas pessoas envolvidas na comunicao. A introduo de WFS pode contribuir para oaumento do realismo em sistemas 3D de videoconferncia.

A utilizao de WFS imediata em salas de cinema, nos jogos de computador e emeventos teatrais. A espacializao sonora por WFS pode ser aplicada para aumentar as possibili-dades musicais, podendo ser utilizada em conjunto com imagens ou objetos mveis. Msicose maestros teriam a opo de realizar ensaios em meio a orquestras virtuais, pois esta tcnicafacilita discriminar o som de cada instrumento, mesmo quando vrios deles so ouvidos simulta-neamente. Produtores em estdio de gravao, compositores ou arranjadores poderiam pensar emdiferentes formas de arranjos ou orquestraes musicais, em funo da posio em que gostariamque cada som fosse reproduzido.


2.4 Projetos e trabalhos de referncia

A leitura de vrios trabalhos ajudou a traar uma viso terica geral sobre WFS e suasaplicaes prticas. A seguir so comentados projetos de referncia que faziam parte destelevantamento.

2.4.1 O projeto CARROUSO

Segundo Baalman (2008) e Brandenburg, Brix e Sporer (2004), o CARROUSO (Creating,Assessing and Rendering in Real Time Of high quality aUdioviSual envirOnments in MPEG-4context) foi um projeto financiado pela Comunidade Europia e realizado de janeiro 2001 atjunho de 2003, objetivando o desenvolvimento de udio 3D, com a construo de um sistemade WFS para a renderizao de cenas sonoras, bem como desenvolver tcnicas para grav-las.Para sua realizao se juntaram, em colaborao, empresas privadas, institutos de pesquisa euniversidades, como Delft University, France Telecom R&D, IRCAM, e Fraunhofer Institute IISAEMT.

2.4.2 Casa del Suono

Figura 9 Lampadario Acustico. Fotos retiradas de http://www.casadelsuono.it/project/default.asp

Segundo Baalman (2008), na Casa del Suono2 em Parma na Itlia, foram instalados doissistemas baseados em WFS. O primeiro deles para equipar um auditrio e o segundo uma matrizesfrica, montado como um lustre, conhecido como Lampadario Acustico (figura 9). Usadopara formar fontes sonoras pontuais bem focalizadas, o Lampadario consegue espacializ-lascom deslocamento em tempo real no espao sob a cpula, em todas as trs dimenses. Umcomputador, que usa o sistema operacional Debian GNU/Linux, faz o processamento dos sons,que sero reproduzidos pelos alto-falantes, oriundos da entrada da placa de som, ou de qualquertipo de software que usa o servidor de udio Jack Audio Connection Kit (JACK)3, um programa2 Acesso em: Casa del Suono - Comune di Parma 3 Acesso ao site do projeto em

http://www.casadelsuono.it/project/default.asphttp://jackaudio.org/


que, por meio de um servidor de udio, interliga os programas de udio e os conecta s entradase sadas de hardware disponveis. O controle da posio de cada fonte pode ser feito via OpenSound Control ou MIDI.

Martino Traversa comps uma pea de nome NGC 353 para a inaugurao da Casa delSuono. A execuo desta composio cria aos espectadores a sensao de que podem tocar ossons que danam ao redor e acima da cabea de cada ouvinte (BAALMAN, 2008).

2.4.3 WFS do IRCAM

Segundo Baalman (2008), foi instalado no IRCAM4 em Paris (Frana), em 2008, umsistema WFS equipado com 128 alto-falantes. Este sistema combinado com um outro sistemapara a captura de movimento com cmaras de infravermelhos. Este equipamento usado paraexperimentar novos mtodos de espacializao para a criao musical e para os experimentoscientficos com a realidade virtual e cognio espacial. O IRCAM colaborou com o projetoCARROUSO e nos ltimos anos estabeleceu parceria com a empresa sua Sonic Emotion, paradesenvolver sistemas de espacializao baseados em WFS.

2.4.4 WFS da Technical University - Berlin

A Technical University de Berlim, Alemanha, entre 2006 e 2007 lanou um projeto paraequipar um de seus auditrios usando um sistema WFS, com um total de 840 canais de udio.O sistema controlado pelo software de cdigo aberto sWONDER proposto por Baalman etal. (TU Berlin, 2007). O programa controlado via Open Sound Control (OSC), possibilitandoa comunicao com outros sistemas, alm disso, permite ao usurio definir o movimento dasfontes sonoras.

2.4.5 IOSONO

A plataforma comercial IOSONO5 o resultado do emprego da tcnica de WFS paraa sonorizao espacial de amplos espaos, como cinemas e teatros. O sistema o resultado deanos de pesquisa e desenvolvimento de diversas universidades europeias, e foi aperfeioadopelo Instituto Fraunhofer, da Alemanha. Reporta-se desde 2003, h um cinema de 100 lugaresem Ilmenau (Alemanha) equipado com 198 alto-falantes. O sistema tem sido desenvolvidopara aplicaes domsticas, sendo comercializadas verses home-theater. Pode-se verificar aaplicao feita em um sistema de sonorizao da IOSONO, usando-se tecnologia baseada emWFS, numa verso adaptada da pera Neither6, escrita por Morton Feldman and SamuelBeckett.

4 Institut de Recherche et Coordination Acoustique/Musique. Acesso em: 5 IOSONO, the future of spatial audio. Acesso em: 6 3D Audio Opera Goes International. Acesso em:

http://www.ircam.frhttp://www.iosono-sound.com/http://neitherphase7.wordpress.com/about-neither/about-neither-by-sven-soren-beyer/http://neitherphase7.wordpress.com/about-neither/about-neither-by-sven-soren-beyer/

31

3 ESTUDOS INICIAIS PARA DESENVOLVIMENTO DE PROTTIPOS

Como base para o desenvolvimento do programa proposto para este projeto foram levan-tadas informaes buscando-se entender o funcionamento dos programas de referncia, atravsde testes operacionais e da documentao disponvel correspondente. A documentao de cadaprograma serviu para compreender o funcionamento de seus respectivos mdulos de algoritmosutilizados, para que pudessem ser determinados aspectos em comum das implementaes, resul-tando numa estratgia de implementao para os mdulos de programao desenvolvidos nestetrabalho que consistiu na elaborao de diagramas de funcionamento em bloco que ilustram eajudam a explicar o emprego da tcnica de WFS na estrutura de cada programa.

3.1 Programas de referncia para WFS

A seguir feita uma anlise dos programas de referncia pesquisados. As informaeslevantadas sobre estes programas foram fundamentais como referncia para a construo dosistema de WFS proposto.

Foram realizados testes de instalao, configurao e uso de trs programas de referncia(WFSPlayer de Daniel Salvador, SSR, sWONDER). Tambm buscou-se avaliar o potencialde explorao da distribuio espacial de elementos sonoros em aplicaes e peas musicaisauralizadas com WFS e as condies de uso destes programas como framework para possveisimplementaes artsticas.

A instalao dos programas SSR e sWONDER exigiu um aprendizado considervel sobreos sistemas operacionais baseados em Linux. Houve algumas experincias com as distribuiesUbuntu, Debian, Fedora e Ubuntu Studio. A experincia com estas distribuies mostra que,embora funcionais, tm-se ainda que usar tempo considervel para solucionar problemas deconfigurao, principalmente com as interfaces de som multicanal, item obrigatrio em umsistema que pode empregar dezenas (ou centenas) de canais. Alm de seguir o manual deinstalao com um nmero considervel de procedimentos via terminal de comando, deve-seresolver a pendncia da falta de vrias bibliotecas exigidas pelos programas citados.

Dificuldades com mltiplas instalaes de sistemas operacionais e das placas de som, desistemas auxiliares (como o JACK) e com o setup de matrizes de alto-falantes tornaram a tarefade realizar os testes mais complexa do que o previsto inicialmente. As sees seguintes resumemos levantamentos realizados sobre os softwares de referncia.

Captulo 3. ESTUDOS INICIAIS PARA DESENVOLVIMENTO DE PROTTIPOS 32

3.1.1 sWONDER

O projeto de pesquisa do sWONDER (Wave field synthesis Of New Dimensions ofElectronic music in Realtime) iniciou-se em 2003, na TU Berlin, com M. Baalman. Em 2007,para poder ser instalado e usado com muitos canais num grande auditrio na TU Berlim,Alemanha, foi reestruturado por uma equipe de desenvolvedores para se adaptar a grandesinstalaes ficando com uma estrutura distribuda (BAALMAN et al., TU Berlin, 2007). Opropsito do projeto servir de ferramenta para composio musical e apresentaes ao vivo.

O programa sWONDER1 construdo em C/C++, e tambm se utiliza de Qt2 para ainterface de usurio, patches para Pure Data e plugins VST, roda sob a plataforma Linux e dividido em alguns programas que podem rodar em diferentes computadores e que podem secomunicar em rede, atravs do protocolo OpenSoundControl (OSC).

Pode ser configurado para operar com matrizes de alto-falantes linear ou retangular,mas no circular. necessrio modificar os arquivos de configurao para usar o sistema comeficincia. possvel definir parmetros geomtricos da sala virtual que o sistema deve conceber,para que o usurio possa mover fontes virtuais dentro da regio definida. Isto tambm permiteaos usurios simular as reflexes do som nas paredes da sala virtual.

O sWONDER opera em realtime e controlado via JACK. Para diversas funes, comogravao e reproduo de udio em mltiplos canais, o manual do software sugere a utilizaodo programa Ardour3, uma estao de trabalho de udio digital multicanal.

possvel escolher entre fontes virtuais pontuais ou fontes do tipo ondas planas comdireo definida. As imagens dos objetos sonoros podem se formar atrs, em frente ou sobrea matriz de alto-falantes. O controle do movimento dos objetos sonoros feita via mouseinteragindo com a interface de usurio, com a vantagem de poder optar entre o modo fade outna posio de origem e um fade in na posio de destino ou o modo que tenta movimentarcontinuamente o objeto, simulando o efeito Doppler. Tanto as cenas sonoras estticas como asque tm objetos mveis podem ser salvas.

Segundo Belloch et al. (2013), a mudana de posio usando a tcnica de crossfade(fade-out e fade-in), que consiste em incrementar sinal sonoro numa posio e decrementarnoutra, usa mais do que o dobro da demanda computacional o que fica muito mais complicadocom vrios objetos sonoros.

A nica instalao do sWONDER bem sucedida foi feita num computador antigo doNEAC (com processador Intel Pentium IV de 2.80 GHz e 1 GB de RAM). Depois da difcilinstalao das bibliotecas auxiliares para que o programa pudesse ser compilado, constatou-seque o sistema operacional instalado nesta mquina, Debian 6.0 (32 bits), usa um compilador1 Para baixar o sWONDER, deve-se acessar: .2 Qt. Acesso em: 3 Ardour - the digital audio workstation. Acesso em http://ardour.org/

http://sourceforge.net/projects/swonder/http://qt.digia.com/


Figura 10 GUI do sWONDER. Fonte:

C++ em verso anterior aos usados nas outras mquinas com outros sistemas operacionais de64 bits, como por exemplo o Ubuntu 12.04 LTS. O som do sWONDER foi ouvido quando estecomputador foi conectado em rede a um computador iMAC (com processador Intel Core 2Duo de 2.4 GHz e 4 GB de RAM), onde estava instalada a interface Echo Audiofire 12 quesuporta 12 canais de udio, atravs de uma ponte de udio com a utilizao do servidor JACK.Como a demonstrao e os testes com este programa dependiam desta configurao em rede, suaanlise mais detalhada foi deixada para o futuro, j que a prioridade ficou com as instalaes queutilizavam apenas um computador. A figura 10 mostra a interface grfica de usurio (GUI) doprograma, ilustrando o mdulo de composio da cena.

3.1.2 WFSPlayer de Daniel Salvador

O WFSPlayer uma aplicao construda no ambiente de programao Pure Data porCsar Daniel Salvador Castaeda, ex-pesquisador da Universidad de San Martn de Porres(USMP), Peru, que concedeu o cdigo-fonte do sistema de WFS para esta pesquisa. Trata-se deum conjunto de patches (abstraes) desenvolvidos por ele no Pd, que so includos no patchprincipal, onde se encontra a interface que pode ser controlada via mouse.

O programa no tem documentao formal nem site de distribuio. Tem um carter ex-perimental, no tem manual de instrues e quase no existem comentrios em seu cdigo-fonte.Foi projetado para um sistema com arranjo de 35 alto-falantes dispostos em uma matriz circularhorizontal de 1,5 m de raio. No difcil alterar seus parmetros, desde que a configurao seja

http://retiary.org/idea/idea7/idea_7/marijeb/marije.htm


sempre circular, uma particular limitao (ou caracterstica) desta implementao. Para outrotipo de configurao, como a linear, so necessrias modificaes em quase todo o cdigo e,provavelmente, alguns acrscimos em sua estrutura, o que no foi realizado por estar alm doescopo proposto nesta pesquisa.

Figura 11 Patch principal do WFSPlayer, mostrando seus diversos mdulos de configurao e usoacessvel em subpatches.

Para a instalao inicial do programa, devem ser acrescentadas ao Pd as bibliotecasiemgui e bsaylor, que no vm na pasta enviada pelo pesquisador. Deve ser instalada, comouma nova biblioteca para a Pd, uma pasta chamada Wave_field_synthesis, pois nela esto osmdulos de processamento. O ncleo a abstrao wfs_sta_sw_2.5D_driving.pd, onde fica afuno operador WFS usada para gerar as ondas sonoras esfricas.

O programa dividido em alguns blocos, e seu patch principal,wfs_horizontal.pd, pode ser visto na figura 11, onde est o programa propriamente dito, comeacom bangs para disparar os parmetros iniciais contidos no audio_init, onde esto os parme-tros de udio para todo o processo. No geometry_init est a distribuio com as coordenadas decada um dos 35 alto-falantes. No virtual_sources esto os arquivos de audio a renderizar.

Na interface de controle, que que fica dentro do subpatchpd set_the_controls_for_the_heart_of_the_sun, necessrio controlar o objeto room_sim_2d,colocando o mouse sobre o crculo central (cursor) e moviment-lo, pressionando a tecla Shift.


Um tipo de configurao diferente da circular, como a linear, precisaria de modificaesem quase todo o cdigo e, provavelmente, alguns acrscimos em sua estrutura, o que fortaleceua motivao inicial em construir um patch totalmente novo em Pd, aproveitando as dicas dealguns objetos utilizados por Salvador.

Foram feitas algumas alteraes para que o programa funcionasse com 6 caixas de sompassivas, ligadas a um amplificador de 8 canais, suportadas em pedestais de 1,8 m de altura edispostas em uma circunferncia de raio 0,5 m.

Com o uso de arquivos de udio, disponibilizados juntos com cdigo-fonte, foram feitostestes onde percebeu-se que havia um efeito de deslocamento em circulo das fontes, seguindo adistribuio geomtrica das caixas. Sabendo-se das limitaes da tcnica empregada, este efeitofoi provavelmente consequncia do grande espaamento entre os alto-falantes.

3.1.3 SoundScape Renderer (SSR)

O SoundScape Renderer (SSR) um programa usado para reproduo de udio espacialexecutado em GNU/Linux e Mac OS X. Foi desenvolvido por Jens Ahrens, Matthias Geier eSascha Spors, um grupo de pesquisa da Universidade Tcnica de Berlim, em colaborao comTelekom Inovation Laboratories. O programa foi escrito em linguagem C++ e tambm utilizaQT, Python e Puredata. A verso atual do projeto a 0.4.24, lanada em 24 de julho de 2014. Aprimeira foi publicada em maio de 2010.

O SSR tem como propsito ser um framework para possveis implementaes de estadoda arte com vrias tcnicas de reproduo de udio espacial para uso e pesquisa. Ele capazde processar cenas acsticas virtuais usando WFS, reproduo bi-aural Head Related TransferFunctions (HRTF), Ambisonics e Vector Base Amplitude Panning (VBAP). Tambm pode serconfigurado para operar com array de alto-falantes linear, retangular ou circular.

Qualquer programa que envia dados de udio e qualquer entrada do hardware de udiopode ser conectado ao SSR e pode servir como fonte de entrada, em tempo real. Seu manualrecomenda que as conexes de udio sejam feitas atravs do JACK. Desta forma, o SSR pode serinterligado a programas como players e gravadores, ou a qualquer programa que obrigatoriamentetenha suporte ao JACK (AHRENS; GEIER; SPORS, 2012).

Como o arquivo disponibilizado para a instalao do programa era pr-compilado parao sistema operacional Mac OS X, sua instalao foi relativamente simples. Antes disso, houveuma tentativa de instalao no computador mais moderno (Intel Core i7-2600), sob o sistemaoperacional Ubuntu Studio 12.04 LTS (64 bits), que exigia compilar o programa e as bibliotecasnecessrias para seu funcionamento, o que tornou esta atividade relativamente complexa. Mesmodepois deste procedimento, sua instalao no foi finalizada para este sistema operacional,4 Os arquivos para a instalao, bem como o manual de instrues, encontram-se disponveis em

https://bitbucket.org/spatialaudio/ssr/downloadshttps://bitbucket.org/spatialaudio/ssr/downloads


apresentando mensagens de erro enquanto estava sendo compilado.

As imagens dos objetos sonoros no SSR podem se formar atrs, em frente ou sobre amatriz de alto-falantes. Pode-se trabalhar com fontes virtuais do tipo pontuais ou com ondasplanas, o que leva a impresso que o objeto est bem distante (no infinito). possvel colocar osobjetos sonoros em movimento fazendo o controle atravs do mouse na interface de usurio. Atcnica consiste em fazer um fade out na posio de origem e um fade in na posio de destino.Cenas sonoras estticas podem ser salvas, porm o mesmo no ocorre com as cenas em que osobjetos sonoros se movem (AHRENS; GEIER; SPORS, 2012). O programa cria as imagenssonoras que podem ser controladas via interface grfica de usurio (GUI), que ilustrada pelafigura 12.

Figura 12 GUI do SSR para controle das posies das imagens sonoras, com a utlizao da tcnicabi-aural.

Foram feitas anotaes gerais da reproduo de WFS pelo programa SSR, como forma dedeixar o equipamento pronto para os testes seguintes. Deveria-se testar as impresses causadasquando as fontes sonoras pontuais encontravam-se paradas atrs ou em frente aos alto falantes,tentando, de forma subjetiva, classific-las em precisas ou dispersas, quanto sua focalizao.As impresses iniciais foram satisfatrias, com fontes soaram bem localizadas para quaisquerpontos, com focalizao precisa.

3.2 Diagramas de blocos dos programas de referncia

Analisando-se as informaes do artigo de Geier, Ahrens e Spors (2008) foi possvelderivar um diagrama geral de funcionamento do SSR, conforme mostrado na figura 13. Dadas as


configuraes iniciais da cena (bloco direita) e feito o controle das informaes do usuriovia GUI.

GUI

Network Interface

Controlador Cena

Interface de redenderizao

WFS

Sada

Entrada

Figura 13 Diagrama de blocos geral de funcionamento do SSR.

Figura 14 Fluxo de operaes por canal do mdulo WFS do SSR.

O mdulo WFS do SSR tem o funcionamento mostrado no diagrama da figura 14. O sinalde udio passa por um filtro de frequncias e, com os dados originados na GUI e na descrio da


cena, adicionam atrasos e diferentes amplitudes do sinal de udio para cada caixa de som dosistema.

Figura 15 Diagrama em blocos do sWONDER.

Para o sWONDER, o artigo Baalman et al. (TU Berlin, 2007) permitiu chegar aodiagrama da figura 15, no qual pode-se perceber que cada um dos N canais tem sua unidade derenderizao (Render unit), onde so feitos os clculos para que ocorra a WFS. O usurio deveenviar os dados de localizao dos objetos sonoros para a Unidade de Controle via xWonder(GUI), enquanto o udio enviado a partir do bloco Score Player.

Os mdulos de WFS (Render unit) do sWONDER tm o funcionamento mostrado nodiagrama da figura 16. Este diagrama mostra que so aplicados atrasos correspondentes a cadacanal de udio e que tambm simulado um efeito de reverberao. Entretanto, as informaescoletadas no mostraram como ocorreria a execuo de clculos para o controle de amplitudede cada sinal de udio. A regio destacada esquerda mostra N unidades de Render unit querecebem informaes de rede em tempo real, enquanto a regio destacada direita no opera emrede.

A anlise do patch em Pd do WFSPlayer de Daniel Salvador levou ao diagrama emblocos da figura 17. Na primeira camada do programa feita a configurao dos parmetrosrelativos ao udio e a distribuio das caixas de som. Na segunda camada feito o envio dossinais de udio para a terceira camada. Esta ltima recebe as informaes enviadas pelo usurio interface de controle da cena e processa os clculos para a renderizao dos sinais de udiopara o mdulo de WFS, que depois so enviados sada de udio do sistema. A ausncia


Figura 16 Funcionamento do mdulo WFS do sWONDER.

Figura 17 Diagrama em blocos do WFSPlayer.

de documentao dificultou uma elaborao precisa de um diagrama mostrando claramente ofuncionamento do mdulo de WFS.

Em todos os diagramas, o mdulo WFS correspondente distribui o sinal de udio de cadaum dos canais de entrada a cada caixa, com seus respectivos atrasos, atenuaes e filtragens.

40

4 IMPLEMENTAO E TESTES BSICOS

Neste captulo so apresentados a formulao de um operador WFS, os prottiposdesenvolvidos, os testes realizados, as possibilidades de implementao e a soluo encontradapara a sonorizao do sistema de espacializao com WFS, articulando-se progressivamente osrequisitos e os aspectos de projeto envolvidos.

Esta pesquisa foi realizada nas dependncias do Ncleo de Engenharia de udio eCodificao Sonora (NEAC1), sediado na Universidade de So Paulo.

A metodologia de desenvolvimento para este trabalho incluiu primeiramente a realizaode instalao dos softwares de referncia e testes preliminares. Parte da metodologia usada foibaseada em ciclos de avaliao dos software de referncia, testes de funcionamento, avaliaodos operadores WFS e diagrama de blocos de cada um para avaliar suas funes e operaesprincipais. Depois vieram os projetos de uma implementao em Pd que atendesse aos requisitos(arquitetura de referncia). As implementaes vieram em dois ciclos basicamente (prottipoinicial e final), a cada ciclo comparou-se o funcionamento do prottipo com os software dereferncia.

4.1 Operador WFS para o projeto

Nesta seo apresentada a formulao de um operador WFS que combina as operaesde ponderao e atrasos, de uma forma adequada para uma implementao modular bsica. Estaverso, a usada no projeto, o resultado da adaptao e da aplicao da proposta terica deoperador WFS explicitada na seo 2.2.5.

A figura 3, da seo 2.1, mostra o sistema de coordenadas cartesianas adotado, onde(x f ,y f ) so as coordenadas da posio do objeto sonoro (fonte sonora) e a delimitao do espaode escuta previsto, iniciando-se a partir da linha de referncia (yre f < 0). As caixas de som,dispostas em uma matriz linear, esto sobre o eixo x, o que implica em yn = 0. Conforme mostrado na equao 2.16, a amplitude do sinal de udio depende da definio da linha dereferncia, da posio de cada caixa de som e da posio de cada fonte sonora virtual.

Como yn > yre f e y f > yre f tem-se que |~rn,re f |=yre f e |~r f ,re f |= y f yre f . Para evitara diviso por 0 em 1

|~r f ,n|foi acrescentado um erro de 0,001m, que praticamente desprezvel

em relao as dimenses de |~r f ,n|, ento 1|~r f ,n| '1

|~r f ,n|+0,001m.

Quando na expresso(

y fyn|~r f ,n|

), y f = yn = 0, com exceo de caso em que x f = xn, no

qual esta expresso deveria resultar em 1, tem-se 0 como resultado, implicando em fatores de1 NEAC-LSI-EPUSP (Ncleo de Engenharia de udio e Codificao Sonora do Laboratrio de Sistemas Integr-

vies da EPUSP). Acesso ao site em:

www.lsi.usp.br/neac

Captulo 4. IMPLEMENTAO E TESTES BSICOS 41

amplitude nulos para todas as caixas. Para que nas proximidades das coordenadas de projeo dafonte sonora virtual, a amplitude do sinal de udio nos alto-falantes no fosse nula foi proposta aseguinte aproximao:

(y fyn|~r f ,n|

)'(

y fyn+1010m|~r f ,n|+1010m

).

A equao 4.1 determina qual deve ser o fator de amplitude no processamento de udioem cada mdulo de WFS do sistema, para cada fonte sonora f e cada canal de sada n.

(4.1) A f ,n =12

yre f

y f yre f

(y f +1010

|~r f ,n|+1010

)1

|~r f ,n|+0,001

Onde xn a abscissa de cada caixa de som (a ordenada yn = 0), yre f a ordenada da linhade referncia, |~r f ,n| =

(x f xn)2 + y2f a distncia entre a posio da fonte virtual (objeto

sonoro) e da caixa de som n, yre f < 0 (conforme coordenadas mostradas na figura 3, da seo2.1).

Conforme ilustrado na figura 2, que est na seo 2.1, os objetos sonoros podem serprojetados em frente, sempre antes da linha de referncia, ou atrs dos alto-falantes, sendopossveis duas possibilidades de criao de imagens sonoras virtuais. Para o operador WFS usadoneste projeto, acrescentado o fator y f|y f | que altera a curvatura de onda de acordo com as duaspossibilidades explicadas. Como este fator geraria valores de tempo negativo, o que significariaadiantar (antecipar) a emisso da frente de onda em cada alto-falante, adicionado um atrasode valor

|~r f ,n(max)|c , onde~r f ,n(max) corresponde posio da caixa de som da matriz que est mais

afastada da projeo do objeto sonoro. Para o clculo dos delays (atrasos) correspondentes acada um dos N canais de udio usada a equao 4.2.

(4.2) t f ,n =|~r f ,n(max)|+

(y f|y f |

)|~r f ,n|

c

O mdulo WFS, que processa o som de uma entrada de udio para apenas uma sada desom, mostrado na figura 18. Esta abordagem permite mapear de forma direta o processo quegera o som da n-sima caixa de som com o sinal da fonte sonora auralizada.

4.2 Montagem e infra-estrutura bsica

Para a implementao dos cdigos e testes do sistema WFS, foram usados:

um computador com a seguinte configurao: um processador Intel Core i7-2600, de 3.40GHz, memria de 16 GB e um disco rgido de 1 TB. O sistema operacional instalado umLinux, Ubuntu Studio 12.04 LTS (64 bits);

1 interface de som Echo AudioFire 12, com 12 canais;


Sf

CnC

Amplitude (A)

Delay ( )

n

tnn

f(x , yf )

nx

Figura 18 Mdulo bsico de WFS que processa o som de uma entrada para uma sada de udio. Aauralizao de uma cena com F objetos sonoros vai requerer F fluxos de processamento, um para cadafonte sonora.

2 interfaces de som M-Audio Delta 1010, totalizando 16 canais de sada analgica (8canais para cada interface);

16 alto-falantes (entre 18 disponveis) ativos full-range da marca Lando2, especificados efabricados sob encomenda, adquiridos em abril de 2013, especialmente para pesquisa emWFS (Ver item 4.2.1);

1 notebook MacBook Pro (13 polegadas, Meados de 2010), com sistema operacional MacOS X v10.6 (Snow Leopard), uma porta FireWire 800 (at 800 Mbps), processador IntelCore 2 Duo de 2,4 GHz e 4GB (duas 2 GB SO-DIMMs) de memria DDR3 de 1066 MHz;

1 cabo firewire para conectar o MacBook Pro interface de som Echo AudioFire 12;

16 cabos de udio para a conexo das interfaces de udio (sadas analgicas P10) s caixasde som (entradas RCA).

Este projeto foi todo desenvolvido com a verso 0.43.4 do Pd-extended.2 Acesso ao site da empresa em

www.lando.ind.br


A configurao para a sincronizao das duas interfaces de som M-Audio Delta 1010 nofoi uma tarefa trivial. Foi preciso ser configurado um arquivo chamado .asoundrc, que tem queser colocado na pasta de usurio (home), no Linux. Aps baixar este arquivo e seguir todas asinstrues de configurao e instalao encontradas no site do ALSA3 (Advanced Linux SoundArchitecture), foi feita a sincronizao das placas M-Audio via conexo word-clock, controladapor um servidor de udio de baixa latncia, o software livre jackd (jackdmp verso 1.9.8), que o servidor do Jack Audio Connection Kit (JACK). Desta forma, foi montada uma interface virtualque soma todos os canais disponveis de ambas as interfaces fsicas. A latncia da interface desom foi admitida como constante no referencial de tempo, j que se aplicava igualmente a todosos alto-falantes, no interferindo diretamente sobre a tcnica de WFS.

O comando para acionamento e configurao do servidor jackd :

jackd -R -d alsa -C multi_capture -P multi_playback -r 44100

Para os testes, foi adotada a distncia mnima entre as caixas de som, equivalente largura das mesmas (x = 0,091 m). A distncia mxima poder ser definida pelo usurio emrazo do sistema de alto-falantes que possui e principalmente considerando-se a limitao dafrequncia mxima (em Hertz) que os sons devem ter para evitar-se o aliasing espacial quepode provocar a disperso (m formao) das imagens sonoras no espao daqueles sons comfrequncias acima do limite previsto. Com o uso da equao 2.5, determinou-se, em funo dox escolhido, a frequncia mxima para que o sistema opere sem aliasing espacial em fmax =3774 Hz.

4.2.1 Projeto e fabricao de alto-falantes especiais

Devido falta de alto-falantes com os requisitos tcnicos desejados no mercado, foirealizada parceria com a empresa nacional Lando para a fabricao de prottipos especiais. Apsreceber as especificaes tcnicas, a empresa construiu as 18 caixas de som modulares queseriam usadas neste projeto.

A figura 19 mostra 16 caixas formando uma matriz linear (bloco bsico de frente comaproximadamente 1,456 m) instalada no laboratrio. Para reduzir os reflexos acsticos, painisabsorventes foram colocados atrs da linha de alto-falantes. A rea de audio de testes tambmfoi ladeada de painis absorventes para reduzir a interferncia da acstica local.

Estes alto-falantes foram desenvolvidos e comprados com recursos da FAPESP, atravsdo projeto temtico MOBILE4 (processo no. 08/08632-8). Os prottipos so caixas ativas, quetem dimenses de altura igual a 25 cm, largura de 9,1 cm e profundidade de 13 cm, com 2taps de amplificao selecionveis, utilizam drivers cnicos de 3 full-range, e conectividadeanalgica RCA-P10 para interfaces digitais M-Audio 1010 e Echo AudioFire12. A montagem3 AlsaProject. Acesso em: 4 MOBILE: Processos Musicais Interativos. Acesso ao site em

www.alsa-project.orghttp://www.eca.usp.br/mobile/portal/


Figura 19 Caixas acsticas fabricadas pela Lando para o NEAC.

entre os cones (drivers) numa montagem linear de 0,091 m, o que teoricamente proporcionauma frequncia mxima de trabalho ( fmax) de aproximadamente 3774 Hz, conforme abordadona seo 4.2.

4.3 Prottipo inicial em Pure Data

Foi desenvolvido e testado em Pure Data um patch com 12 canais para WFS, paraser usado com a interface de som Echo AudioFire 12, dividido em uma implementao com-putacional modular e flexvel para que pudesse ser integrado ao AUDIENCE, como parte dodesenvolvimento do prottipo final.

A figura 20 mostra o diagrama geral em blocos, para a aplicao de WFS, que servirpara o desenvolvimento dos prottipos. O (patch) inicial tem estrutura dividida em trs mdulosindependentes: a interface de usurio, o mdulo de processamento de WFS e a sada de udiomulticanal. Este programa sintetiza a frente de onda atravs dos clculos da amplitude e doatraso do sinal de udio que chega a cada uma das caixas de som. A seguir feita a descriodas partes do primeiro prottipo relacionadas, bem como a operao de cada uma delas.

A interface grfica de usurio, ilustrada na figura 21, possui controles para: posiciona-


Figura 20 Diagrama geral em blocos para os prottipos desenvolvidos em Pure Data.

mento da fonte sonora, controle de foco5, entrada de udio e o controle de volume geral do patch.A posio de cada fonte, num mximo de 4, controlada pelo objeto grid (cada um dos quatroretngulos grandes que esto na parte inferior da figura) que fornece as coordenadas x e y parao mdulo de WFS. A entrada de udio envia o sinal que pode ser de um arquivo de udio docomputador, da entrada de som externa (via interface de som) ou um som sintetizado no prpriopatch. O painel no canto superior esquerdo serve para selecionar um arquivo de udio parareproduo, possuindo quatro sliders de volumes dos canais de entrada. Para mudar a posiodos objetos sonoros deve-se usar o objeto grid (um dos quatro retngulos maiores inferiores),que determina a regio real onde se podem mover as fontes sonoras e est delimitada de -1 m a 1m no eixo x e -1 m a 10 m no eixo vertical. Ao lado destes objetos grid esto os medidores devolume dos canais de entrada.

Cada mdulo de WFS recebe o sinal de udio, as coordenadas x e y da posio de cadaobjeto sonoro e posio de cada caixa de som para calcular e aplicar cada delay (atrasos) eintensidade de som do sinal de udio para cada caixa de som da matriz. A figura 22 mostra os 12mdulos WFS, um para cada canal, desenvolvidos no prottipo em Pure Data para um objetosonoro (uma entrada de udio).

A sada de udio multicanal recebe o udio dos doze canais e os envia sada de som5 Esta ideia est em desenvolvimento e descrita na seo 5.3


Figura 21 GUI do prottipo inicial para WFS.

Figura 22 Mdulos para WFS. Parte do primeiro prottipo.

do computador. Na figura 23, como havia quatro objetos sonoros (quatro canais de entrada)aparecem 12 combinaes de 4 sinais de udio que esto ligadas aos 12 canais de sada do


sistema (no retngulo onde est escrito dac~).

Figura 23 Sada de adio do primeiro prottipo do sistema de WFS.

Nesta montagem inicial foram usadas 12 caixas de som que esto representadas sobre oeixo x (y=0). No encontro entre a sexta e stima caixas (exatamente no meio das 12 caixas), esta coordenada (0, 0). A linha de referncia foi colocada a 1 metro da matriz de alto-falantes. Nostestes iniciais obteve-se uma noo razovel de profundidade (movimentao na direo do eixoy) enquanto a movimentao na direo do eixo x no foi satisfatria. Descobriu-se, durante odesenvolvimento do prottipo, que a expresso para o operador WFS precisava das correesque acabaram sendo propostas na seo 4.1.

4.4 Avaliao bsica do funcionamento do prottipo inicial

Os mdulos do prottipo inicial do sistema de WFS foram testados em laboratrio commatriz de 12 alto-falantes para a avaliao bsica do seu funcionamento e comparados emtermos prticos ao SSR. Foi realizado um teste subjetivo com voluntrios, que identificarama localizao de fontes sonoras, conforme sua percepo auditiva. Os testes de avaliao dosistema consistiram na correo da projeo sonora esperada para cenas sonoras simples, comobjetos sonoros prximos ou um pouco afastados, visando verificar o funcionamento prtico doprottipo inicial de WFS que seria integrado ao sistema AUDIENCE e buscando aperfeioar asestratgias que viriam a ser usadas nos testes finais. As medies foram simplificadas, tendo emvista a falta de condies acsticas adequadas para testes mais rigorosos.

As instalao dos itens necessrios foi feita no computador MacBook Pro de 64 bits.A resoluo de udio para todos os programas foi ajustada para 44100 Hz. As conexes entreeles, usados no teste para a WFS, foram feitas pelo servidor de udio do JACK, que interliga osprogramas usados para o uso de WFS e estes com as entradas e sadas do sistema. Trabalhou-secom 12 canais de sada, ligadas a 12 caixas de som ativas Lando amplificadas (ver item 4.2.1).Est configurao limitou o comprimento da matriz linear de alto-falantes em 1,092 m.


A verso instalada do programa SSR foi a 0.4.1. Como o arquivo disponibilizado erapr-compilado para o sistema operacional Mac OS X, esta instalao foi relativamente simples.Antes de rodar o SSR, sempre deve-se inicializar o servidor de udio do JACK. A escolha dageometria final do sistema, com a definio do nmero e da posio dos alto-falantes e daorientao do espao de audio foi feita alterando-se um arquivo de configurao, que est emlinguagem xml. Detalhes da configurao do SSR esto detalhados no apndice A.

Os testes objetivaram avaliar a percepo das fontes sonoras geradas em um espao deaudio6, descrevendo como estes programas se comportariam como sistema de sonorizaopara aplicao prtica da teoria de Wave Field Synthesis (WFS). Os sujeitos participantes do testeinicial tinham de 22 a 24 anos e profisso no relacionada a temtica da pesquisa. A escolhade tais sujeitos foi feita de forma aleatria, atravs de um convite verbal, explicando qual afinalidade e quais as etapas compunham o teste.

Figura 24 O programa Ardour para a reproduo dos arquivos de udio distribudos em canais que foramcontrolados pelos sliders ilustrados esquerda. Suas conexes de udio so distribudas ao prottipo emPd e ao SSR via JACK.

A figura 24 mostra o programa Ardour, onde foram tocados os arquivos de udio, usadospelo SSR e pelo prottipo desenvolvido em Pd, com os instrumentos organizados em pistas(tracks) diferentes e tocados repetidamente durante os testes. O uso deste recurso til quandoquer-se ouvir uma fonte sonora por vez, ou selecionar algumas delas para audio, ou editar osmomentos de execuo em tempo real. Com a utilizao deste programa foram distribudos oscanais para a execuo das projees sonoras. No incio, os ouvintes foram expostos aos sonspara que pudessem descrever as impresses causadas de acordo com a denominao dada pelo6 rea com aproximadamente 8 m2, em sala simples, preparada com alguns painis de absorvio de cabine

audiomtrica para reduzir as reflexes das paredes.


pesquisador para facilitar a anlise, pois os sons poderiam no aparecer numa mesma ordem danomenclatura estabelecida. Depois, foi pedido para que, um de cada vez, ficassem sentados acerca de 1,20 m das caixas de som. Foram colocadas 3 amostras de udio (arquivos .wav) deresoluo de udio de 44100 Hz. A seguir a descrio destes arquivos:

(a) Espectro de bass.wav. (b) Espectro de campana.wav.

(c) Espectro de gota.wav.

Figura 25 Espectros de frequncia dos sons usados no teste.

bass.wav gravao, com durao de 3,9 segundos, de um contra-baixo eltrico tocando umafrase musical numa regio grave, com maior intensidade sonora para frequncias inferioresa 300 Hz, conforme mostra seu espectro de frequncias, correspondente soma de todosos sons deste arquivo de udio, na figura 25a.

campana.wav gravao de um tom agudo de 2 segundos de uma campainha, com maior inten-sidade sonora para frequncias em torno de 1000 Hz (pico de intensidade), 2500 Hz e5000 Hz (esta ltima acima da frequncia de aliasing), conforme mostra seu espectro defrequncias na figura 25b.

gota.wav gravao, com durao de 0,05 segundo, de uma gota de gua toca

modelagem de um sistema para auralização musical utilizando wave field synthesis

Documents