a beszédpercepció helye a beszédmegértési...

Beszédészlelés 1:Beszédpercepció

A beszédpercepció helye a beszédmegértési folyamatban

A beszéd reprezentációja

• Akusztikus (obj) – a frekvencia és intenzitás (változása) az időben

• Artikulációs (obj) – artikulációs mozgások az időben (észlelési szempontból indirekt -- ?)

• Auditív/érzeti/észleleti (szubj) – alaphang (pitch), hangszín, spektrális és temporális (spektro-temporális) jegyek észlelete

• Fonetikai jegyek – artikulációs vagy absztrakt (nyelvi) jellemzők

• Fonémák – „szegmentumok”, a beszédhangok nyelvspecifikus reprezentációi (mi fonéma? „zöngés”-„zöngétlen”); nyelvi funkció (jelentésmegkülönböztető szerep)

• Morfémák – önálló jelentéssel bíró egységek

• Szótag – 1 fonéma vagy fonémák sorozata

• Szó – fonémák vagy szótagok sorozata

PszicholingvisztikaPszicholingvisztika

A beszédpercepció helye a beszédmegértési folyamatban

Artikulációs fonetika

Akusztikus fonetika

Percepciós fonetika

A hangingerek átalakítása nyelvi

információvá -- nyelvi jelek elérése, azaz nyelvi

észlelés.

A beszédészlelés vagy beszédpercepció

BEMENET: Artikulációs és akusztikai információ, azaz fonetikai információ

HALLÁSI és LÁTÁSI ÉSZLELÉS

KIMENET:A nyelvi egységek

(legmagasabb: szavak)

aktiválása/ előhívása

A nyelvi tudás hatása és a nyelvi megértés

folyamatai

Bottom-up:A bemeneti ingerek

Top-down:A nyelvi ismeretek hatása

Szükséges háttérismeretek

Hallási észlelés:

• A percepció megértéséhez szükséges ismernünk a hallórendszert és

a hallási folyamatok működését

Kognitív működések:

A beszédpercepció specifikus folyamat és/vagy(?) alapvető kognitív

folyamat (memória, figyelem, kategorizáció)

Szükséges háttérismeretek

Beszédprodukció Mi és hogyan hat a beszéd

megvalósulására?

• szükséges ismernünk az artikulációs működéseket

• szükséges ismernünk a beszéd akusztikai szerkezetét

Miért? – ezeket manipuláljuk ill. korreláltatjuk az észleléssel az

észlelés kutatásában (keressük az észlelés akusztikus és

artikulációs „kulcsait”) +

ezek alapos ismerete betekintést ad a percepcióba is.

Miért és hogyan?

Hogyan segíti a produkció ismerete a percepciós működések megértését és leírását?

• Testméretek eltérései F-értékek eltérései nem tételezzük fel

azt, hogy a formánsok abszolút értéke számítana a V minőségek

észlelésben

• Egyéni (eltérő) beszédtempók nem tételezzük fel, hogy a

beszédhangok abszolút időtartama számít a V hosszúság észlelésében

• Ha feltesszük, hogy beszédhangméretű és egymást lineárisan követő

fonémák vannak a produkcióban, ezeknek az észlelését és a lineáris

észlelésüket vizsgáljuk (lsd majd pl COHORT modell!) ha úgy

látjuk, hogy van koartikuláció, ill. a fonémának (sőt a

szegmentumoknak!) nincs egyértelmű bizonyítéka a produkcióban,

más lehet a helyzet

Miért vizsgáljuk a beszédpercepciót?

A percepciós vizsgálatok kezdete és fellendülése

• Eleinte (az elméleti nyelvészetben) a szegmentumok léte és a lineáris

szerveződés tényként kezelt a percepció egyszerű remapping:

fonéma – fonémának megfelelő egység a beszédben

• Bell Laboratories, 1945 (Ralph Potter, Kersta): spektrográfia

feltalálása a fonéma, valamint biz. értelemben a lineáris

szerveződés bizonyítékának hiányát látják, azaz a koartikulációt a

percepció kérdése már nem trivialitás vizsgálatok fellendülése

• Milyen kérdések következnek a felismerésekből?

A beszédpercepció nagy kérdései

• Egységek és reprezentáció

• Mik az észlelés alapegységei?

• Szegmentálás

• A beszéd folyamatos jel („beszédfolyam”), mégis a hallgatók

diszkrét egységekként (beszédhangok/szótagok/szavak

sorozataként) észlelik – mi segíti őket ebben?

• Variabilitás

• A beszédjel nagyon változékony!

• Beszélő: fiziológia (nem, életkor, stb), beszédtempó, idiolektus

• Kontextus: koartikuláció, érzelem, pragmatika

• „Regiszterek”, produkciós módok: beszéd, suttogás, éneklés,

stb.

• Környezet: zaj, további beszélők

A beszédpercepció és a beszédprodukció kapcsolata

Spoiler: erről meglehetősen keveset tudunk, mert a tudomány már

viszonylag e két irányra szakadva, egymástól függetlenül kezdte

vizsgálni a beszédet, amiben a találkozás viszonylag ritka (nagy

vállalkozás).

Sőt, olyannyira elkülönülten kezelt területek ezek, hogy már

önmagában az is kérdés(es), hogy egyáltalán összekapcsolódnak-e

egy személyben, és nem csak az, hogy hogyan!


• Korai felismerés: audiovizuális (multimodális) percepció (McGurk)

a vizuális input javít a beszédészlelésen (hozzáad) a motoros

létrehozás és az észlelés között inherens kapcsolat az észlelés

nem lehet csak auditív!

• Ez a felismerés az alapja a produkció és percepció közti

feltételezett összefüggéseknek, azaz annak, hogy

• azt gondolhatjuk, hogy a percepcióban szerepet játszanak

motoros működések, és a produkcióban szerepe van az

észlelésnek.


• Fonetikai konvergencia (Gregory – Webster 1996): egyes

eredmények szerint a beszélők konvergálnak az intonációs, sőt a

szegmentális fonetikai jegyekben (Pardo, map task feladatok)

ez lehetetlen lenne, ha az észlelés és a produkció nem lennének

inherensen összetartozó dolgok.

• Érdekes módon ez a konvergencia ráadásul annak ellenére

működik, hogy a kategoriális percepciót vizsgáló kísérletek szerint

ezekre a kategórián belüli (szubfonémikus) különbségekre elvileg

érzéketlenek vagyunk (lásd Liberman, következő óra).

• Kérdés: ez hogyan lehetséges? Talán félreértjük a kategorikus

percepció természetét (vagy a kísérleti eredményeket)?


• Percepció-alapú adaptáció a beszédprodukcióban (Lombard 1911

kísérletei, majd Lindblom H & H elmélete 1990): Lindblom

elmélete szerint a beszédprodukciót a gazdaságosság és a

maximális kommunikatív kontraszt elveinek egyensúlya vezérli

(részletesebben lásd a későbbiekben).

• Utóbbi a hallgató felől értelmezhető – ha pl. a beszélő zajt hall

(Lombard), automatikusan hangosabban (és megváltozott

artikulációval) kezd beszélni szoros kapcsolat a produkció és a

percpeció között.

• Houde & Jordan (1998): ha a feedbackben megváltoztatjuk a

beszédjelet, a beszélő kompenzációképpen változtatni fog a

beszédén (pl. feedback: /ɛ/ helyett egyre nyíltabb V, beszédjel:

egyre inkább /i/-szerű V).


Parallel? Nem parallel?

• Ugyanazon egységeket ismerjük fel, mint amiket produkálunk?

• Újabb eredmények szerint a legtöbb agyi terület, ami a

percepcióban aktív, befolyással van a produkcióra is

pl. „Wernicke-afázia” produkciós deficit is!

• Mi a helyzet pl. a fonémával?


• A fonémát érintő nyelvbotlások a fonéma produkciós realitására

utalnak (Fromkin), pl. Pécsi Szál

• de ezek valójában nem biztos, hogy fonémákat érintenek, sőt:

Mowrey & MacKay (1990): eletromiográfia ezek a nyelvbotlások a

motoros parancsok összeütközései, köztes megvalósulások, nem

fonéma vagy jegycserék, hanem csak félig meddig megvalósult

artikulációs gesztusok (erre jut később Pouplier, Goldstein, és

mtsaik is).

• Utóbbiak nyomán a produkció szerveződésének elméletében van

egy erős motoros-alapú irány (artikulációs fonológia) míg az

észlelésben az akusztikai alapú elméletek elterjedtebbek (Stevens –

LAFF). ezeket elég nehéz összekapcsolni… (bár létezik az észlelés

motoros elmélete, és Stevens is elképzelhetőnek tartja).


• … és még azt is tudjuk, hogy a percepció mindig előrébb jár, mint a

produkció (lásd fis-jelenség) – ez is nehézség a kérdések

szintézisében.

Ajánlott kísérleti témák

1. Magánhangzók azonosítása mássalhangzó-környezetben és izolált

ejtésben. (Strange et al. 1976)

2. Magánhangzók azonosítása: mássalhangzó-környezet/izolált ejtés vs.

gated vowels. (Jenkins et al. 1983)

3. Suttogott mássalhangzók zöngésségének azonosítása (zöngésségi

oppozíció suttogásban). (Gráczi 2005)

4. Kérdések és kijelentések elkülönítése suttogásban. (Markó 2008)

5. Izolált ejtésű értelmes és értelmetlen szavak azonosítása zajban

(Miller et al. 1971)

6. Értelmes szavak azonosítása izolációban és mondatkontextusban

zajban (Miller et al. 1971)

7. Énekelve és beszélve ejtett magánhangzók azonosítása. (Deme 2016)

8. Énekelve és beszélve ejtett mássalhangzók azonosítása.

9. Különböző produkciós módokban (pl. pop ének, opera vs suttogás)

ejtett magánhangzók azonosításának összevetése.

a beszédpercepció helye a beszédmegértési...

Documents