Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Sound and interaction
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Sound and hearing
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
What is sound?
• Sound is the combination of the wave pattern in the medium (eg. air) and what the ear hears.
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
The cochlea and the basilar membrane
http://www.hearingaidscentral.com/howtheearworks.asp
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Equal-loudness contours
http://www.phys.unsw.edu.au/~jw/hearing.html
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
ITD – Interaural Time Difference
Discontinuous sounds Continuous sounds (<1500Hz)
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
IID – Interaural Intensity Difference
> 1500 Hz
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Additional directional clues
• Pinnae • Ear canal • Torso and head form:
HRTF • Reflections
• Head movements
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Reflection
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Interaction sounds
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Operation sounds
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Feedback sounds
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Signal sounds
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Auditory icons
• Methaphors or resemblances of real actions – Compare to visual icons (like the trash can
for deleting files) – Examples (from a drawing application) –
ex1, ex2, ex3, ex4
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Earcons
• Musical symbols, synthesized tones or sound patterns for feedback – Ex1 – Ex2 – Ex3
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Sonification • Use of non-speech audio to
convey information or perceptualize data
• Examples: – Maths example – Geiger counter sound – Auditory Towers of Hanoi
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
TTS – Text-to-speech
• Stationary: Erik, Emma och Elin • Android: SWOX: Klara (2 week trial)
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Artificial 3D-sound
• IID & ITD • HRTF – Head Related
Transfer Function • Includes some amount of
”cheating” (simplification of models)
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
The listener
• The listener-object (”listener”) – is the placement of the virtual ”ears”
• It has: – Position – Orientation – Roll-off factor (how the volume decreases with
distance) – Dopplerfactor- when sound and listener are
moving in relation to each other
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Sound sources
• Soundmanager • Sound source objects
– Sound generator (sound file or other) – Position – Min and max distance – (Sound cones )
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Reverberation and effects
• Simple: reverberation, affects the entire sound
• Reflection models (computationally heavy)
• Damping models – Occlusion – Obstruction – Exclusion
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Do-it-yourself
• Record your own sounds. Ingredients: – Recording equipment – Sound editing software (eg. Audacity) – Imagination (substitute ”real” sound sources
for fake ones) • And/or:
– Google ”sound effects”, or ”sound FX” – www.freesound.org and other sites
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Audacity
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Consider this:
• Design for diversity – Let users choose their own volume (note the
difference in Media volume and Ringtone volume) – Choose sounds that are appropriate for the (sound)
environment they should be used in – Perceptualize important information in several
modalities (audio, visual, tactile)
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
Limitations
• Loudspeaker output on mobile phones • Use of headphones (or not!)
– One : no stereo – Two: less surrounding sounds
• Context, context, context =o)
Kirsten Rassmus-Gröhn, Avd. för Rehabiliteringsteknik, Inst. för Designvetenskaper
3D sound on Android
• Android 2.2 and below: http://pielot.org/2010/12/14/openal-on-android/
• Supposedly built-in for Android 2.3 and above