tværfaglig forskning i hørelse og kognition -...

Fra øre til hjerne Tværfaglig forskning i hørelse og kognition

Jens Hjortkjær & Sébastien Santurette

Add Presentation Title in Footer via ”Insert”; ”Header & Footer”

Indhold

•  Hvem er vi?

•  Baggrund: cocktail party problemet

•  CAHR: auditory modelling, anvendt og klinisk forskning – Hidden hearing loss – Auditory profiling – taleforståelse

•  CHeSS: kognition og neurovidenskab – Opmærksomhed: det kognitive høreapparat – Neurovidenskab: naturlige lyde i kortex – Kognitiv “listening effort” og pupilometri


Hvem er vi? Hearing Systems

DTU Elektro

Høresystemer og Kommunikation

(HEA)

Akustisk Teknologi

(ACT)


Vigtigste motivationer

•  I 2025 forventes mere end 100 millioner mennesker i Europa at have en moderat til kraftig hørenedsættelse, som kræver behandling. (Shield, 2006)

•  Høretab forårsager betydelige problemer for mundtlig kommunikation i støj og efterklang.

• Mange mennesker har stadig store problemer (trods hjælp fra høreapparater) i sociale situationer.

•  Dette fører til en tendens til at undgå verbal interaktion i grupper og til social isolation.

• Mange siger, at de kan høre talen (med forstærkning), men ikke forstå, hvad der bliver sagt.


Baggrund: Cocktail-party problemet

Vores mål er at forstå (og løse!) “cocktail-party problemet”


Forskningsspørgsmål

•  Hvorfor er det normale auditive system så robust i vanskelige lyttesituationer?

•  Hvad er de grundlæggende principper for menneskelige lydopfattelse (fx adskillelse af lydobjekter)?

•  Hvad er konsekvenserne af høretab (udover en formindsket følsomhed)?

•  Hvorfor er et svækket auditive system nogenlunde robust i enkle lyttesituationer (uden støj) men ikke kan klare sig i komplekse lydmiljøer?

•  Hvordan kan vi rette op på dette ved at indarbejde denne viden i høreapparater, cochlear implantater, talegenkendelse osv.?


Forskningstilgang

Analyse af tre ”lydbehandlingssystemer”: normal, hørehæmmet, ”aided”.

For hvert system sammenligner vi resultaterne af subjektive målinger, objektive fysiologiske målinger og beregningsmodeller.


Eksempler på forskningsmetoder


“From lab to life”

Mål: At optage og gengive realistiske akustiske scenarier,

at overføre den akustiske virkelighed til laboratoriet Anvendelser: •  Undersøgelse af lydopfattelsen i komplekse miljøer •  Udvikling og afprøvning af høreapparater og kommunikationsteknologi

Laboratorium Akustisk situation


Forskningshypotese

For at opnå effektiv kommunikation under ugunstige forhold, skal det auditive system præcist afkode de akustiske signaler fra taleren.

En mangel i et af disse auditive repræsentationer resulterer i en forringelse af ydeevnen af hele systemet.

Vigtigste stadier af lydens

signalbehandling


To forskningscentre

Anvendt høreforskning Grundlæggende høreforskning

startet 2003

startet 2013

Samarbejde med industrien og audiologiske klinikker


Nyere EU-støttede initiativer

Projekt Investigating Speech Processing In Realistic Environments

Improved Communication through Applied Hearing Research

Reading the world with Two!Ears Partnere: Berlin, Bochum, Eindhoven, Paris, Sheffield, Toulouse.

Partnere: Nijmegen, Sheffield, London, York, Tampere, Baskerlandet, Leuven, Edinburgh og private virksomheder.

Partnere: Bochum, Leuven, Southampton, Zürich, og private partnere.

Projekt

Projekt

Horizon 2020: COCOHA

A cognitively controlled hearing aid – start januar 2015 Partnere: Paris, London, Zürich, DTU + Eriksholm.


Erasmus Mundus: Udvekslingprogram i ”auditory cognitive neuroscience”. Støtter samarbejde med partnere i Nordamerika.

Kognitiv Neurovidenskab:

Samarbejde med Danish Research Centre for Magnetic Resonance (DRCMR)

Neuroimaging metoder for at undersøge neurale mekanismer involveret i adskillelse af lyde igennem opmærksomhed

Nye samarbejdsprojekter med Rigshospitalet, Bispebjerg og Gentofte Hospitaler om ”auditory profiling”.

Link med klinisk audiologisk forskning

Andre netværker/projekter


Faciliteter


Eksempler på forskningstemaer

Taleopfattelse og taleproduktion

Adskillelse af lydkilder Spatial hørelse, binaural behandling af lyd

Optagelse, reproduktion og syntese af lyde

Karakterisering og modellering af høretab

Cochlear implantater Audiovisuel perception og kognitiv neurovidenskab

Fysiologiske korrelater (EEG, otoakustiske emissioner, fMRI, pupillometri)


•  Nedsat sensitivitet, men også ændret:

–  Frekvensopløsning –  Temporal behandling – Opfattelse af lydstyrke – Binaural funktion – Kognitive funktioner – …

Karakterisering af høretab

Højere tærskler

Det er ikke nok at kompensere for tab af sensitivitet via forstærkning

(Gelfand, 2001)


Hvad betyder “normal” hørelse?

•  Høj lydeksponering -> fald i høresensitivitet

(Mills et al., 1981)

Tilbage til normal hørelse?


Midlertidig forhøjelse af høretærsklen

(Kujawa and Liberman, 2009)

Høretærskler efter 100-dB støjeksponering:


Midlertidig forhøjelse af høretærsklen

(Kujawa and Liberman, 2009)

Tab af synaptiske forbindelser og auditive nerveceller:

Neural degeneration trods normale tærskler à ”Hidden hearing loss”


Karakterisering af høretab

•  Audiogrammet er ikke nok til at karakterisere høretab.

•  Hvordan kan man opdage “hidden hearing loss”?

•  Hvad skal vi genoverveje? •  De fleste undersøgelser fokuserer på karakterisering af gennemsnitlige resultater i den hørehæmmede befolkning.

–  Trods store individuelle forskelle!

–  Tilgang: udnytte disse forskelle til at forstå, hvordan systemet fungerer og forbedre karakterisering af høretab (også i klinikken)


Individuelle forskelle

Audiogrammer Frekvensdiskrimination

vs taleforståelse

Speech reception threshold (dB)

Dis

crim

inat

ion

thre

shol

d (%

)

god

dårlig

dårlig (Papakonstantinou et al., 2012)


Forhold mellem auditive funktioner

Audiogrammer

Frekvensopløsning

(Strelcyk and Dau, 2009)

Taleforståelse i støj

Tidsmæssig signalbehandling

og binaural funktion

Hvad skal vi måle i klinikken udover audiogrammet?


Mere klinisk forskning

•  Laboratorieundersøgelser begrænsede pga. lange forsøg samt få forsøgspersoner

•  Samarbejde med audiologiske klinikker: – Korte tests –  Flere forsøgspersoner

•  Først studie 2014-2015 (med Rigshospitalet, Bispebjerg Hospital)

Høresensitivitet Frekvensopløsning Temporal opløsning

Lydstyrke Binaural funktion Taleforståelse

Kognitiv funktion Oplevet handikap Gavn af høreapparat?

(carlslife.ca)


Eksempel: “Listening in the dips”

+ =Fluktuerende

Stationær

Støj Tale Tale I støj


Eksempel: “Listening in the dips”

Taleforståelse i støj (HINT):

god

dårlig Normal hørelse Sensorineuralt høretab

(Thorup, M.Sc. Thesis, 2014)


Frekvens- og tidsopløsning

•  Ny forbedret version af F-T testen (Larsby and Arlinger, 1998)

•  Hvor meget kan den enkelte udnytte frekvensmæssige og tidsmæssige ”huller” i baggrundsstøjen?

Hurtig test


Frekvens- og tidsopløsning

• Masking release: forskel i tærskel mellem stationær og fluktuerende støj

(Pelzer, B.Sc. Thesis, 2015)

Masking release HINT

Mas

king

rel

ease

F-T

tes

t

•  Korrelation mellem ”masking release” i F-T test og taleforståelse i støj

•  Hidden hearing loss?


Auditiv modellering

Måling af grundlæggende auditive funktioner for at indhente data om forskellige problemer

Høresensitivitet

Frekvensopløsning

Temporal opløsning

Lydstyrke

Binaural funktion

Taleforståelse


Auditiv modellering

Måling af grundlæggende auditive funktioner for at indhente data om forskellige problemer

Senere stadier:

– Nedsat sensitivitet – Ringere frekvensopløsning – Forringet temporal behandling – …

– Problemer med modulationsbehandling? – Suboptimal informationsbehandling? – …

Perifære stadier (Epp et al., 2010):

à Tilpasning af modellen


Udvikling af danske sprogtests, som er mere "realistiske" end traditionelle tests og potentielt nyttige i klinikken I tæt samarbejde med Oticon, Widex og GN ReSound.

•  CLUE test: ”Conversational Language Understanding Evaluation” (Nielsen and Dau, 2009)

•  HINT: ”Danish Hearing in Noise Test”

(Nielsen and Dau, 2011)

•  DAT corpus: ”Speech material for speech- on-speech masking experiments” (Nielsen et al., 2014)

•  En test med ”nonsense” ord for at vurdere effekter af høreapparater på taleopfattelsen (Nielsen et al., in prep.)

Taleforståelsestests


Eksempler på forskningstemaer

Taleopfattelse og taleproduktion

Adskillelse af lydobjekter Spatial hørelse, binaural behandling af lyd

Optagelse, reproduktion og syntese af lyde

Karakterisering og modellering af høretab

Cochlear implantater Audiovisuel perception og kognitiv neurovidenskab

Fysiologiske korrelater (EEG, otoakustiske emissioner, fMRI, pupillometri)


Anvendt høreforskning (CAHR)

• Modeller af ørets og hjernens signal-behandling forudsiger taleforståelse:

Subband filtering

Compressive non-linearity

Envelope extraction

Modulation filtering

Forståelse

Støj Høj Lav

God

Dårlig


Kognitive faktorer? (CHeSS)

•  Bedre modeller af det auditive systems lydbehandling giver bedre høreapparater og bedre mulighed for individuel tilpasning

• Men hørehæmmede oplever stadig utilfredshed, særligt i støjfyldte omgivelser – hvorfor?


Mod mere intelligente høreapparater?

LYD BEARBEJDET LYD

?


Cocktail party problemet: hvor er opmærksomheden?


EEG-afkodning af opmærksomhed?

Neuralt signal


EEG-mål for opmærksomhed

Auditiv model.

Auditiv model.

Talelyd 1

Talelyd 2

EEG Signal

? ?

Model

G(f, n, t� ⌧) = [RRT ]�1RST

[RRT + �M ]�1RST


EEG-mål for opmærksomhed

1 20

0.05

0.1

0.15

0.2

0.25

Attend to speaker

Avg

. co

rre

latio

n

Speech signal 1Speech signal 2

Talelyd 1

Talelyd 2

120

0.05

0.1

0.15

0.2

0.25

Attend to speaker

Avg

. corre

latio

n

Speech signal 1Speech signal 2

Opmærksom på taler 2

Opmærksom på taler 1

Korrelation mellem EEG og talesignaler


EU-projekt COCOHA: Cognitive Control of a Hearing Aid


Funktionel MR-scanning

D R C

M R


Funktionel MR: kontekst-afhængig bearbejdning af lyde i kortex

s l å

g l a s

m e t a l

t r æ

Ma

teri

ale

k a s t e r a s l e

H a n d l i n g

x

x

x



strik

e ra)le

strik

e drop

ra)le

drop

strik

e ra)le

strik

e drop

ra)le

drop

pSTP

con

trast

est

imat

e Rel

evan

te

kate

gorie

r

Handlinger

50

60

70

80

Action task Material task

L R

-43

-8

0

1

2

3

4

5

6

Handlinger

Irrel

evan

te

kate

gorie

r

• Mønstre af kortikal aktivitet identificerer hvilken lyd-kategori lytteren hører

•  Auditorisk kortex repræsenterer lyd-kategorier dynamisk: kun den kategori-type som lytteren er opmærksom på repræsenteres



3100

130

Fo frekvens (Hz) Repræsentation af tonehøjde i kortex (tonotopi)

Handlings- opgave

Materiale- opgave

•  Sker der en dynamisk behandling af bestemte akkustiske parametre? •  For materiale-genkendelse er tonehøjde-information vigtig •  For handlings-genkendelse er temporal information vigtig


•  Audiogrammet forudsiger ikke altid taleforståelse i støj •  Realistiske modeller af ørets lydbehandling giver bedre forudsigelse af

taleforståelse i støj • Men selv forbedrede modeller fortæller ikke noget om, hvor anstrengende

eller vanskeligt det opleves at lytte til tale i støj •  Kognitive elementer som f.eks. den sproglige kompleksitet også udfordre

lytteren som forstærkes i støjfyldte omgivelser •  Hvordan måler vi denne subjektive oplevelse?

Mål af den subjektive lytteoplevelse

en sheik går aldrig ikke over men kun når det

fylder nok


•  Sætnings-genkendelse med forskellige grader af kompleksitet i forskellige niveauer af baggrunds-støj (-6/12 dB SNR):

•  Subjektive mål: –  korrekt genkendelse –  ratings af 'vanskelighed'

•  Objetive mål: pupilometri, EEG

Undersøgelser af sammenhængen mellem akustisk støj og sproglig kompleksitet

Simpel sætning (subjekt først): Den sjove elefant vil sparke den stolte elg

Kompleks sætning (objekt først): Den sjove elefant vil den stolte elg sparke

?

Let Svært


•  Komplekse sætninger kræver mere processering, men opleves kompleksiteten også som vanskelig eller anstrengende?

Pupilometri som mål for 'listening effort'

Tid (ms)

Gennemsnit 20 normalthørende

Sætning

Høj støj, høj kompleksitet Lav støj, høj kompleksitet Høj støj, lav kompleksitet Lav støj, lav kompleksitet

Nor

mal

iser

et p

upils

tørr

else

Kompleks syntaks

Simpel syntaks


Støj og sproglig kompleksitet påvirker lytteoplevelsen forskelligt

0

30

70

100

Kompleks Simpel

Høj støj Lav støj

Oplevet sværhed

meget svært

meget let

0

30

70

100

Høj støj Lav støj

Taleforståelse

Kompleks Simpel

% korrekt

•  Komplekse sætninger kræver mere processering, men støjen er en væsentlig faktor for hvor anstrengende det opleves


Afsluttende bemærkninger

Ørets sensitivitet Opmærksomhed

Anstrengelse

Auditive faktorer

Fluktuerende

Stationær

Taleforståelse

Støj Høj Lav

God

Dårlig

Kognitive faktorer

Spektro-temporal processering

tværfaglig forskning i hørelse og kognition -...

Documents