TECHNISCHE UNIVERSITÄT BERLINFAKULTÄT IFACHBEREICH AUDIOKOMMUNIKATION

Exposé zur Magisterarbeit

Konzeption und Implementierung einer mobilen App fürgeolokalisierbare dynamische Binauralsynthese

vorgelegt am: 8. Mai 2015

von: Markus Hädrich, 187514

Erstgutachter: Prof. Dr. Stefan Weinzierl

Zweitgutachter: Dr. rer. nat. Alexander Lindau

1 Zusammenfassung

Ziel dieser Arbeit ist die Implementierung einer Applikation zur geolokalisier-baren dynamischen Binauralsynthese auf einem Smartphone im Rahmen einerAugmented-Reality-Audio–Anwendung für urbane Außenumgebungen.Die zu schaffende mobile App soll eine plausible akustische Simulation ruhen-der Punktschallquellen im (teilbegrenzten) Freifeld ermöglichen. Die virtuellenSchallquellen sollen arbiträr geografisch positionierbar sein und jeweils mono-phone Audioinhalte wiedergeben können. Plausible Richtungs- und Rauminfor-mationen sollen durch geeignete signaltechnische Simulationen von Abstands-und Luftdämpfung, Bodenreflexionen, dem dynamischen Austausch von nicht-individuellen Außenohrübertragungsfunktionen (Head Related Transfer Func-tion, HRTF) sowie einer Verhallung mit monauralen Impulsantworten (RoomImpulse Response, RIR) prototypischer Außenumgebungen erreicht werden.Einschränkend wird festgelegt, dass die mobile Anwendung zur Laufzeit je-weils nur eine Quelle auralisieren soll. Die Software soll selbständig und perNearest-Neighbor-Berechnung zwischen verschiedenen virtuellen Quellen um-schalten. Über die Benutzeroberfläche (Graphical User Interface, GUI) soll esNutzern ermöglicht werden, eigene Audioquellen anzulegen.

Schlüsselwörter: Dynamische Binauralsynthese, HRTF, Mobile App,Augmented Reality Audio, Pure Data, libpd, C,Objective-C

1

2 Einleitung und Fragestellung

Der äußere menschliche Hörapparat kann (richtungsabhängig) als Lineares Zeit-invariantes System (LTI) gesehen und damit über seine Impulsantwort eindeutigbeschrieben werden. Die linearen Verzerrungen, durch die ein Schallsignal beider Übertragung im Freifeld durch die Geometrie von Torso, Kopf und Au-ßenohr moduliert wird, sind in den HRTFs für die jeweilige Richtung kodiertund können durch Faltung auf ein nachhallfreies Audiosignal abgebildet wer-den. Durch Austausch der HRTFs kann eine Änderung der wahrgenommenenvirtuellen Schallquellenposition beim Hörer bewirkt werden. Dabei werden in-dividuelle, direkt an Personen gemessene HRTFs und nicht-individuelle, unterVerwendung von Dummy-Heads generierte, unterschieden. Letztere führen zuum so überzeugenderen Resultaten, je geringer die Abweichungen der Kopf-maße des Hörers von denen des nach Durchschnittsmaßen gefertigten Dummy-Heads sind. Wird der Austausch der HRTFs mit den momentanen Kopfbewe-gungen des Hörers synchronisiert, spricht man von dynamischer Binauralsyn-these (DBS).[1]Vorteilhaft gegenüber anderen Verfahren der virtuellen Akustik wie der Wellen-feldsynthese sind die geringeren Anforderungen der DBS an die Leistungsfä-higkeit der Hardware, da hier nur die akustischen Parameter zweier Audiokanä-le an jeweils einer Position berechnet werden müssen und nicht die eines ge-samtes Schallfeldes. Andererseits kann die damit einhergehende Notwendigkeitkopfhörergebundener Wiedergabe als Einschränkung betrachtet werden, Abhil-fe schaffen hier verschiedene transaurale (übersprechkompensierte) binauraleWiedergabeverfahren. [2, 3] Für mobile akustische Virtualisierungen auf einemSmartphone – mit begrenzter Rechenkapazität, oft leistungsschwachen Mono-Lautsprechern, aber der verbreiteten Nutzung zusammen mit Kopfhörern – sindjedoch beide Aspekte ideal.Da sich das Smartphone erstens bei der privaten Internetnutzung [4] und zwei-tens der mobilen Rezeption von Audioinhalten [5] zum wichtigsten Endgerätendwickelt, ist es naheliegend, moderne Methoden der Auralisierung wie dieDBS auch auf dem Smartphone zu realisieren. Exemplarisch wird sie hier aufeinem iPhone 5s implementiert, welches mit dem ARMv8-basierten 64-Bit-Zweikernprozessor ca. 18.200 Millionen Instruktionen pro Sekunde (MIPS) [6]in realem Multithreading verarbeiten kann und sich damit bereits im Bereichvon stationären Systemen bewegt (ebda.). Da es sich trotzdem um ein Gerät mitgeteilten Ressourcen durch mehrere gleichzeitig laufende Anwendungen han-delt, steht natürlich nur ein Teil des Budgets für die Auralisation zur Verfügung.Den Kern des Audioverarbeitungsalgorithmus’ (Abb. 2) bilden zwei serielle

2

Faltungen des zeitdiskreten Signals x[n] mit dem Raumanteil g[n] und Rich-tungsanteil h[n]. Nach Xiang et al. [7] ist eine Reduzierung der Länge derHRTFs auf empirisch ermittelte 128 Samples unter Beibehaltung einer plau-siblen Lokalisierung möglich. Unter dieser Voraussetzung kann für die Rich-tungssimulation eine Faltung im Zeitbereich trotz einer Zeitkomplexität O(N 2)latenzarm und noch in einem akzeptablen Arbeitspunkt durchgeführt werden.

y[i] = x[i] ⇤ h[i] =M�1X

j=0

h[j]x[i� j] (1)

Bei der Verhallung mit notwendigerweise längeren RIRs kann diese Berech-nung effizienter mit Hilfe der Schnellen Faltung im Frequenzbereich ausgeführtwerden. [8] Bei einer Zeitkomplexität von Nlog2N erfolgt die Umkehrung derSchnellen Fourier Tranformation (Inverse Fast Fourier Transformation, IFFT)der segmentierten Produktspektren von Audiosignal und RIR.

z[n] = y[n] ⇤ g[n] = IFFT (Y (f)G(f)) (2)

Mit einer Abtastfrequenz fa = 44.1kHz für Gleichung 1 mit M = 128 mitM 2fa/M+(M�1) Operationen und etwa 2fa Speicherzugriffen [9] ergibt sichfür die parallel verlaufende Richtungssimulation von Direktschall und Bodenre-flektion jeweils ein Wert von 5,776 MIPS. Da das RIR-Spektrum G[f ] schon vorder Laufzeit analysiert werden kann, sind nach Orfanidis [10, S.521] für Glei-chung 2 nur die Kosten einer FFT, IFFT und N Multiplikationen mit dem relati-ven Aufwand 2Nlog2N +N zu betrachen. Für eine Blockgröße N = 2048 sinddas rund 1,102 MIPS. Mit insgesamt rund 12,654 MIPS für den recheninten-sivsten Teil der Audiosynthese zuzüglich der Aufwendungen für deren Periphe-rie – wie Filter-, Mixer- und Reglerobjekte – sollte die Binauralsynthese selbstlatenzarm umsetzbar sein. Für deren dynamische Realisierung ist jedoch auchdie performante Verarbeitung der von diversen Sensoren gleichzeitig geliefertenDatenströme von essentieller Bedeutung. Durch eine schlanke Implementierungaller Teilkomponenten der App, Parallelisierung zeitkritischer Threads und Me-thoden der Compileroptimierung sollte eine plausible [7] und latenzarme DBSauf einem iPhone 5s realisierbar sein.

3 Stand der Technik

Das Projekt LISTEN von Warusfel und Eckel [11] demonstrierte 2004 eineAnwendung für immersives Augmented–Reality-Audio im Indoor-Bereich bei

3

externem Rendering, drahtloser Datenübertragung und Head-Tracking – ohneNutzung einer App. Eine solche gibt es jedoch für den von Ahrens et al. [12]entwickelten Soundscape-Renderer (SSR). Verschiedene Methoden der Spa-tialisierung können extern auf einem PC über das SSR-Framework durchge-führt werden. Die App dient hier als zusätzliches GUI und Fernbedienung. EineAudio-Only-Navigation unter Nutzung von GPS, DBS wird aktuell getestet vonVäänänen et al. [13]. Ohne den Ansatz der Geolokalisation, aber für mobileDBS prädestiniert, ist das Konzept von Sander et al. [14], bei dem das Au-diorendering ressourcenabhängig bei gestaffelter Audioqualität skaliert wird.Publiziert wurde ein solcher Grundgedanke bereits 2001 durch Rumsey undMurphy [15]. Die Schaffung eines virtuellen Raumes, in dem Teilnehmer ei-ner VoIP-Telefonkonferenz vom Hörer per Wischgeste auf dem Display posi-tionierbar sein sollen, ist Ziel der Arbeit von Aguilera et al. [16]. Im DigitalSignal Processing Lab der Universität Singapur wurde 2014 von Phyo, Ko et al.[17] ein Android-Framework für (nicht-dynamische) Binauralsynthese auf demSmartphone entwickelt. Richtung und Entfernung der virtuellen Schallquellesind über das Smartphone steuerbar.

4 Methoden

Die Akquise der Sensordaten für das Head-Tracking soll in dieser software-seitigen Arbeit das Smartphone selbst durchführen. Dieses wird ähnlich ei-nem Head-Mounted-Display am Kopf, hier jedoch auf einem Bügelkopfhö-rer montiert, und fungiert als kombinierte Datenerfassungs- und Berechnungs-einheit. Eine marktorientierte Weiterentwicklung würde aus Gründen der Ge-brauchstauglichkeit einzelne Trackingsensoren auslagern und die benötigtenBewegungsdaten über die jeweilige API eines sensorbestücktem Kopfhörerswie dem „Intelligent Headset™“ [18] o.ä. beziehen. Für die Lokalisierung undEntfernungsberechnung wird GPS genutzt. Das Magnetometer dient der Be-stimmung der horizontalen Blickrichtung auf der X-Achse (Azimuth) – Gyro-skop und Accelerometer liefern die Daten zur vertikalen Neigung des Kopfesauf der Y-Achse (Elevation).Aus der Entscheidung für eine native iOS-App ergibt sich Objective-C als Pro-grammiersprache mit Xcode als Entwicklungsumgebung (SDK). In dieser er-folgt die Implementierung der GUI, die Akquise der Positions- und Bewegungs-daten (Core Location, Core Motion) und die Erstellung der Datenbank (CoreData), in der die Projekt-, Orts- und Audiodaten des Sound-Spot-Modells archi-viert werden. Das Audiorendering wird in der offenen Echtzeit-Programmier-sprache Pure Data (PD) realisiert und direkt über die Open-Source-Library libpd

4

[19] in die App eingebunden. Wie Abbildung 1 zeigt, ist die zentrale Schnitt-stelle für den Datenaustausch und die Synchronisation zwischen PD und demApp-Code in Objective-C die libpd-Klasse PdBase. Audiodaten werden aus-gangsseitig von libpd direkt an das iOS-Audioframework Core Audio gerouted.Ereignisse und Werte von registrierten Pure-Data-Objekten gibt PdBase überdie Klasse PdDispatcher an den App-Code zurück. Die einzelne Blöcke der inAbbildung 2 dargestellten Audiosynthese bestehen aus PD-Objekten.

MBinaural-Sound-Map

Signalfluss und Strukturvereinfachte schematische Darstellung

Legende:Dissipation Highshelf-Filterm Laufzeitverzogerung Z�k der Bodenreflektiong[n] Raumimpulsantwort (RIR) prototypischer Halb-Freifeld-Umgebungenh[n] HRTFs (MIT) a 128 SamplesO ObjektK KlasseFW Framework

AudioverbindungDatenverbindung (auch farbig)Datenverarbeitung im App-Code

Pure Data

Binauralsynthese

libpd

Library Wrapper fur PDAPI in C

Objective-C

Application Code

float

char

char

float

float

int

float

int

int

int

Audio In16bit, mono, 44.1 kHz

Entfernungsfilter (O)p ⇠ 1/r + Dissipation

Diffusschall (O)y[n] = x[n] ⇤ g[n]

Direktschall (O)x[n] und x[n�m]

Raumliche Mischung (O)Anteile von Direkt-

& Diffusschallentfernungsabhangig

Richtungsfilter (O)z[n] = (y[n] + x[n]+x[n�m]) ⇤ h[n]

Azimuth: 0°�360°Elevation: -40°�90°

Audio Out

PdDispatcher (K)observiert PD-Objekte

PdBase (K)Synchronisation &

Datentransfer iOS/PD

PdAudioController (K)grundlegende Audio-

einstellungen

CoreData (FW )Soundspot-

Datenmodell

Core Location (FW )GPS: Entfernung

Kompass: Azimuth

Core Motion (FW )Accelerometer &

Gyroscope: Elevation

Core Audio (FW )iOS-Audio-Interfacein C & Objective-C

GUIView-Con-troller fur

Karte, Sound-spot- & App-einstellungen

Helper (K)div. Hilfs-

klassenfur ausge-lagerte Be-

rechnungen,& Daten-

speicherung

Abbildung 1: wichtigste Komponenten und struktureller Aufbau der App

Eingangsseitig wird das Audiosignal in einen abstandsabhängigen Filter ge-führt, der frequenzunabhängig die Signalamplitude nach dem 1

r -Gesetz regeltund anschließend mittels Highshelf-Filter die durch die Dissipation der Luft[20, 21] hervorgerufene frequenzabhängige Dämpfung hoher Frequenzen ab-bildet. Um die Spiegelschallquelle am Untergrund im Abstand von r

2 zu gene-rieren, wird dieses Direktschallsignal von einem Verzögerungsglied abgegriffen

5

und entsprechend der im Bodenfaktor G [21, S.6f.] berücksichtigten maßgeb-lichen akustischen Eigenschaften des Untergrundes der jeweiligen prototypi-schen Außenumgebung gefiltert. Dem sich mit der Entfernung ändernden Ein-fallswinkel wird durch eine separate Faltung dieses Signals mit HRTFs unterEinbeziehung der Kopfbewegungen Rechnung getragen.

xx[n] HighshelfDissipationsfilter nach ISO 9613-2

⇥

�L mit 1/rL2 = L1 � 20 lg rr0

(Bezugsabstand r0 = 1m)

dB�!rms

Z�1Spiegelschallquelle (Untergrund)

MixerDirektschall

⇥

%

Reflektionsgrad (Untergrund)

g[n]

RIR

⇤Simulation Diffusschall

�sAbstand virtuelle Schallquelle

Verhaltnisdiffus/direkt

bestimm

t Gain

y[n]⇤ +

h[n]HRTF

MotiontrackingSelektion & Interpolation

Positions-berechnung ⇤

Abbildung 2: Audio-Rendering in Pure Data

Die zu simulierenden akustischen Szenen spielen im baulich und/oder botanischgestalteten Halbfreifeld. Um dessen Reflektionen zu approximieren, werden beider Verhallung die RIRs prototypischer Außenumgebungen passend zur jewei-ligen virtuellen akustischen Szene so ausgewählt, dass die in der RIR codier-te Sender-Empfänger-Strecke dem Hallradius in der Virtualisierung entspricht.Aus diesem Grund und für die Kalkulation der Bodendämpfung eignen sichhierfür nur RIR-Sets, bei denen die nötigen Metadaten (Distanz, Ort – ggf. mitFoto, Wetterangaben z. B. bzgl. des Vorhandenseins einer Schneedecke) für je-de RIR zur Verfügung stehen.Ein distanzgesteuertes Mixerobjekt mischt Direkt- und Diffusschall, sodass einplausibler Raumeindruck entsteht. Am Ende der Signalkette erfolgt die Simu-lation der Richtungsempfindung durch die von den Positionsdaten gesteuerteFaltung mit hier im Textformat vorliegenden und bei Bedarf austauschbarenHRTFs [22].

6

5 Zeitplan

Januar 2014: Einarbeitung in die Programmiersprachen Pure Data,Objective-C, C und die API libpd

Februar 2015: Literaturrecherche

März 2015: Konzeption und Implementierung der App

April 2015: Implementierung der App und Debugging

Mai 2015: Anfertigung der schriftlichen Hausarbeit und Debugging

Juni 2015: Anfertigung und Finalisierung der schriftlichen Hausarbeit

Literatur

[1] Lindau, Alexander; Torben Hohn und Stefan Weinzierl (2007): „BinauralResynthesis for Comparative Studies of Acoustical Environments.” In:Audio Engineering Society Convention 122. URL http://www.aes.org/e-lib/browse.cfm?elib=14017.

[2] Lentz, Tobias (2006): „Dynamic Crosstalk Cancellation for Binaural Syn-thesis in Virtual Reality Environments.” In: J. Audio Eng. Soc, 54(4)S. 283–294. URL http://www.aes.org/e-lib/browse.cfm?elib=13677.

[3] Menzel, Daniel; Theile Günther Wittek, Helmut und Hugo Fastl (2005):„The Binaural Sky: A Virtual Headphone for Binaural Room Synthesis.”In: International Tonmeister Symposium. Hohenkammer: Verband Deut-scher Tonmeister e.V.

[4] TNS Infratest, BVDW, Google (2014): „Global Connected Consumer Stu-die.” URL http://services.google.com/fh/files/misc/global-connected-consumer-studie-deutschland.pdf.

[5] Respondi AG (2013): „BVMI / PLAYFAIR: Studie zur mobilen Musik-nutzung.”

[6] Moravec, Hans (1998): „ROBOT: Mere Machine to TranscendentMind.” URL https://www.frc.ri.cmu.edu/~hpm/book97/ch3/processor.list.txt.

7

[7] Xiang, Pei; Miller Puckette und David Camargo (2005): „Experiments OnSpatial Gestures In Binaural Sound Display.” In: Proceedings of ICAD.International Conference on Auditory Display.

[8] Smith, Steven (2002): „Digital Signal Processing: A Practical Guidefor Engineers and Scientists.” URL http://www.dspguide.com/ch18/3.htm.

[9] University of Miami Frost School of Music (1998): „ComputationalImprovements To Linear Convolution With Multirate Filtering Me-thods.” URL http://www.music.miami.edu/programs/mue/Research/jvandekieft/jvchapter5.htm.

[10] Orfanidis, S.J. (1996): Introduction to Signal Processing. Prentice-Hall.

[11] Warusfel, Olivier und Gerhard Eckel (2004): „Listen-augmenting every-day environments through interactive soundscapes.” In: Virtual Reality for

Public Consumption, vol. volume 27 von Virtual Reality 2004 Workshop.Chicago IL: IEEE.

[12] Ahrens, Jens; Matthias Geier und Sascha Spors (2008): „The SoundScapeRenderer: A Unified Spatial Audio Reproduction Framework for ArbitraryRendering Methods.” In: Audio Engineering Society Convention 124. URLhttp://www.aes.org/e-lib/browse.cfm?elib=14460.

[13] Väänänen, Riitta; Sampo Vesa und Matti Hämäläinen (2014): „Testing theUser Experience of an Augmented Reality Headset and 3d Audio-GuidedPedestrian Navigation.” In: Audio Engineering Society Conference: 55th

International Conference: Spatial Audio.

[14] Sander, Christian; Frank Wefers und Dieter Leckschat (2012): „ScalableBinaural Synthesis on Mobile Devices.” In: Audio Engineering Socie-

ty Convention 133. URL http://www.aes.org/e-lib/browse.cfm?elib=16525.

[15] Rumsey, Francis und David Murphy (2001): „A Scalable Spatial SoundRendering System.” In: Audio Engineering Society Convention 110. URLhttp://www.aes.org/e-lib/browse.cfm?elib=9930.

[16] Aguilera, Emanuel; Jose Lopez; Pablo Gutierrez und Maximo Cobos(2014): „An Immersive Multi-Party Conferencing System for Mobile De-vices Using Binaural Audio.” In: Audio Engineering Society Conference:

55th International Conference: Spatial Audio.

8

[17] Phyo, Ko, Ko; Sunder Kaushik und Gan Woon-Seng (2014): „AndroidFramework Implementation of 3D Audio with Range Control.” In: Audio

Engineering Society, 137.

[18] GN Store Nord (2013): „Intelligent Headset.” URL https://intelligentheadset.com/developer/.

[19] Kirn, Peter (2012): „About libpd.” URL http://libpd.cc/about/.

[20] Technical Committee ISO/TC 43, Acoustics, Sub-Committee SC 1, Noise(1996): Acoustics – Attenuation of sound during propagation outdoors,vol. ISO 9613-1. International Standard Organisation.

[21] Normenausschuß Akustik, Lärmminderung und Schwingungstechnik(NALS) im DIN und VDI (Hrg.) (1996): Dämpfung des Schalls bei der

Ausbreitung im Freien, vol. DIN ISO 9613-2. International Standard Or-ganisation.

[22] Gardner, Bill und Keith Martin (1994): „HRTF Measurements of a KE-MAR Dummy-Head Microphone.” URL http://sound.media.mit.edu/resources/KEMAR.html.

9