sound and interaction · kirsten rassmus-gröhn, avd. för rehabiliteringsteknik, inst. för...

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Sound and interaction

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Sound and hearing

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

What is sound?

• Sound is the combination of the wave pattern in the medium (eg. air) and what the ear hears.

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

The cochlea and the basilar membrane

http://www.hearingaidscentral.com/howtheearworks.asp

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Equal-loudness contours

http://www.phys.unsw.edu.au/~jw/hearing.html

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

ITD – Interaural Time Difference

Discontinuous sounds Continuous sounds (<1500Hz)

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

IID – Interaural Intensity Difference

> 1500 Hz

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Additional directional clues

• Pinnae • Ear canal • Torso and head form:

HRTF • Reflections

• Head movements

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Reflection

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Interaction sounds

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Operation sounds

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Feedback sounds

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Signal sounds

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Auditory icons

• Methaphors or resemblances of real actions – Compare to visual icons (like the trash can

for deleting files) – Examples (from a drawing application) –

ex1, ex2, ex3, ex4

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Earcons

• Musical symbols, synthesized tones or sound patterns for feedback – Ex1 – Ex2 – Ex3

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Sonification • Use of non-speech audio to

convey information or perceptualize data

• Examples: – Maths example – Geiger counter sound – Auditory Towers of Hanoi

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

TTS – Text-to-speech

• Stationary: Erik, Emma och Elin • Android: SWOX: Klara (2 week trial)

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Artificial 3D-sound

• IID & ITD • HRTF – Head Related

Transfer Function • Includes some amount of

”cheating” (simplification of models)

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

The listener

• The listener-object (”listener”) – is the placement of the virtual ”ears”

• It has: – Position – Orientation – Roll-off factor (how the volume decreases with

distance) – Dopplerfactor- when sound and listener are

moving in relation to each other

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Sound sources

• Soundmanager • Sound source objects

– Sound generator (sound file or other) – Position – Min and max distance – (Sound cones )

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Reverberation and effects

• Simple: reverberation, affects the entire sound

• Reflection models (computationally heavy)

• Damping models – Occlusion – Obstruction – Exclusion

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Do-it-yourself

• Record your own sounds. Ingredients: – Recording equipment – Sound editing software (eg. Audacity) – Imagination (substitute ”real” sound sources

for fake ones) • And/or:

– Google ”sound effects”, or ”sound FX” – www.freesound.org and other sites

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Audacity

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Consider this:

• Design for diversity – Let users choose their own volume (note the

difference in Media volume and Ringtone volume) – Choose sounds that are appropriate for the (sound)

environment they should be used in – Perceptualize important information in several

modalities (audio, visual, tactile)

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

Limitations

• Loudspeaker output on mobile phones • Use of headphones (or not!)

– One : no stereo – Two: less surrounding sounds

• Context, context, context =o)

Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper

3D sound on Android

• Android 2.2 and below: http://pielot.org/2010/12/14/openal-on-android/

• Supposedly built-in for Android 2.3 and above