el análisis fonético del habla y sus...

Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola

Jornadas de Lengua Española: Las profesiones del filólogoDepartamento de Filología Española, Universitat de València

18 de noviembre de 2004

El análisis fonético del habla y susaplicaciones

Joaquim LlisterriDepartament de Filologia EspanyolaUniversitat Autònoma de [email protected]

http://liceu.uab.es/~joaquim


El análisis fonético del habla y sus aplicacionesJoaquim Llisterri

Departamento de Filología Española, Universitat de València18 de noviembre de 2004

Materiales en la web

http://liceu.uab.es/~joaquim/phonetics/

Valencia_04/Valencia_04.html




El análisis fonético delhabla

Las aplicaciones delanálisis fonético del habla






http://liceu.uab.es/~joaquim

http://liceu.uab.es/




El análisis fonético del habla

Objetivos y método en el análisisfonético del habla

El análisis articulatorio

El análisis acústico

El análisis perceptivo










El análisis fonético del hablaObjetivos

• Descripción de los elementossegmentales y suprasegmentales delhabla

• Estudio de la variación fonética y delos elementos invariantes quecaracterizan una clase de sonidos oun patrón prosódico


Producción y percepción del hablaLa onda sonora como portadora de información

EMISOR MENSAJE RECEPTOR

FONÉTICAARTICULATORIA

FONÉTICAACUSTICA

FONÉTICAPERCEPTIVA

PRODUCCIÓNPRODUCCIÓN TRANSMISIÓNTRANSMISIÓN AUDICIÓN/PERCEPCIÓNAUDICIÓN/PERCEPCIÓN


Producción y percepción del hablaLa codificación de la información lingüística

en la onda sonora


Producción y percepción del hablaLa codificación de la información lingüística

en la onda sonora


El análisis fonético del hablaEl método experimental

• Planteamiento del experimento: acotación del campo de trabajo;formulación de las hipótesis; diseño del experimento

• Corpus de trabajo: definición, constitución y obtención del corpus

• Informantes: criterios de selección de los informantes

• Grabación: condiciones técnicas de la grabación

• Análisis de los datos: organización, presentación y tratamientoestadístico de los datos

• Discusión de los resultados en función de la hipótesis

• Presentación de los resultados


El análisis fonético del hablaEl método experimental

TeoríaHipótesis

Acotación delcampo de trabajoEstudio

experimental

Selección de los datosInformantes o sujetos

del experimentoCorpus de trabajo

Análisis articulatorio, acústico o perceptivo de los datosmediante técnicas instrumentales

Cuantificación de los datos y tratamiento estadístico

Análisis de los resultados y conclusiones del experimento










El análisis articulatorio del hablaMétodos de análisis de la producción del habla

• Estudio de la actividad muscular:electromiografía

• Estudio de la respiración

• Estudio de la fonación: laringoscopia;glotografía; laringografía

• Estudio de la articulación: métodosradiológicos; articulografía electromagnética;palatografía y electropalatografía


Implantación de electrodos intramusculares en el cricoaritenoidesBORDEN, G.J.- HARRIS, K.S.- RAPHAEL, L.J. (1994) Speech Science Primer. Physiology,

Acoustics and Perception of Speech. Third Edition. Baltimore: Lippincott Williams & Wilkins.


NeumotacógrafoBORDEN, G.J.- HARRIS, K.S.- RAPHAEL, L.J. (1994) Speech Science Primer. Physiology,

Acoustics and Perception of Speech. Third Edition. Baltimore: Lippincott Williams & Wilkins.


Endoscopia laríngea Kay Elemetricshttp://www.kayelemetrics.com/Product%20Info/Strobe%20Systems/9295.htm


Estroboscopia laríngeaLaryngograph http://www.laryngograph.com/


CineradiologíaC. Ericsdotter, Stockholm University

http://www.ling.su.se/staff/ericsdotter/projects/pion_fp11.htm


Articulografía electromagnéticaUCLA Phonetics Lab

http://www.linguistics.ucla.edu/faciliti/facilities/physiology/ema.html

http://www.kayelemetrics.com/Product%20Info/Strobe%20Systems/9295.htm

http://www.laryngograph.com/

http://www.ling.su.se/staff/ericsdotter/projects/pion_fp11.htm

http://www.linguistics.ucla.edu/faciliti/facilities/physiology/ema.html


Articulografía electromagnéticaAG500 Carstens Medizinelektronik

http://www.articulograph.de/


Nasómetro Kay Elemetricshttp://www.kayelemetrics.com/Product%20Info/6400/6400.htm


Paladar artificialUCLA Phonetics Lab

http://www.linguistics.ucla.edu/faciliti/facilities/physiology/epg.html


Paladar artificialMedical Electronics, University of Kent

http://medical.ukc.ac.uk/research/EPG/EPG.htm

http://www.articulograph.de/

http://www.kayelemetrics.com/Product%20Info/6400/6400.htm

http://www.linguistics.ucla.edu/faciliti/facilities/physiology/epg.html

http://medical.ukc.ac.uk/research/EPG/EPG.htm


ElectropalatografíaFERNÁNDEZ PLANAS, A.M. (1999) "Acercamiento a la lectura de palatogramas", in DE LAS

CUEVAS, J.- FASLA, D. (Eds.) Contribuciones al estudio de la lingüística aplicada. Castellón:Asociación Española de Lingüística Aplicada. pp. 667-674.










El análisis acústico del hablaMétodos de análisis acústico del habla

• Análisis oscilográfico (evolución temporal de laamplitud)

• Análisis espectral (relación entre amplitud yfrecuencia)

• Análisis espectrográfico (evolución temporal de lafrecuencia y la amplitud)

• Análisis melódico (evolución temporal de la frecuenciafundamental)

• Análisis de intensidad (evolución temporal de laenergía sonora)


• Evolución temporal de la amplitud Acento, ritmo, pausas

Métodos de análisis acústico del hablaForma de onda - oscilograma


• Representación de la relación amplitud-frecuencia Timbre, sonoridad

Métodos de análisis acústico del hablaEspectro


• Representación de la evolución temporal dela frecuencia y la amplitud

Métodos de análisis acústico del hablaEspectrograma


Métodos de análisis acústico del hablaCurva melódica

• Representación de la evolución temporal de la F0

Acento, melodía, entonación


Métodos de análisis acústico del hablaCurva de intensidad

• Representación de la evolución temporal de laintensidad

Acento, pausas, ritmo


El análisis acústico del hablaHerramientas para el análisis acústico del habla

• Visualización de las característicasacústicas del habla en losdocumentos de análisis acústico

• Herramientas para el análisisacústico del habla


Herramientas para el análisis acústico del hablaEl espectrógrafo - Sona-Graph 6061A, Kay Elemetrics


Herramientas para el análisis acústico del habla

El espectrógrafo - DSP Sona-Graph 5500, Kay Elemetrics


Herramientas para el análisis acústico del hablaEl espectrógrafo - CSL 4500, Kay Elemetrics


Herramientas para el análisis acústico del hablaProgramas de análisis acústico del habla de dominio público

Praathttp://www.praat.org

WaveSurferhttp://www.speech.kth.se/wavesurfer/


PraatForma de onda - espectrograma

http://www.praat.org



PraatForma de onda - espectrograma - formantes


http://www.speech.kth.se/wavesurfer/






PraatForma de onda - espectrograma - formantes - curva melódica




PraatForma de onda - espectrograma - formantes - curva melódica - curva de intensidad














El análisis perceptivo del hablaTécnicas de estudio de la percepción del habla

• La síntesis paramétrica: modificación de losvalores acústicos de frecuencia, intensidad ytiempo en estímulos creados mediante unsintetizador

• La segmentación temporal: supresión de unsegmento de duración variable de la cadenasonora

• El filtrado: supresión de una banda defrecuencias de la cadena sonora


Técnicas de estudio de la percepción del hablaCreación de estímulos sintetizados

• Modificación de los valores acústicos defrecuencia, intensidad y tiempo sobreestímulos creados mediante unsintetizador paramétrico

http://liceu.uab.es/~joaquim/phonetics/fon_sintesi/Sintesis_del_habla.html

http://liceu.uab.es/~joaquim/


Técnicas de estudio de la percepción del hablaHerramientas para la síntesis del habla

Sensimetrics http://www.sens.com/


Técnicas de estudio de la percepción del hablaCreación de estímulos sintetizados

Pattern Playback Haskins Laboratories

Estímulos que constituyen un continuum sonoro[b d g]

http://www.haskins.yale.edu/Haskins/MISC/PP/pp.html


Técnicas de estudio de la percepción del hablaModificación del habla natural

Segmentación

• Supresión de un segmento deduración variable de la cadenasonora

http://liceu.uab.es/~joaquim/phonetics/fon_percept/segmentacio/segmentacio.html


Técnicas de estudio de la percepción del hablaSegmentación temporal

http://www.sens.com/

http://www.haskins.yale.edu/Haskins/MISC/PP/pp.html

http://liceu.uab.es/~joaquim/


El análisis perceptivo del hablaMetodología del estudio de la percepción del habla

• Diseño de la prueba: tareas deidentificación y tareas de discriminación

• Preparación de los estímulos y factoresque intervienen en la presentación

• Presentación de los resultados: curvas deidentificación y curvas de discriminación


Discriminación del lugar de articulación en las oclusivas sonorasBORDEN, G.J. - HARRIS, K.S. (1980) Speech Science Primer. Physiology,

Acoustics and Perception of Speech. Baltimore: Williams & Wilkins.









Las aplicaciones del análisis fonético del habla

Las tecnologías del habla

La fonética judicial

La adquisición y la enseñanza de lenguasextranjeras

La fonética clínica

La adquisición y la enseñanza de la primera lengua

La enseñanza de la expresión oral y de la ortología













Un ordenador que…

Habla Síntesis (CTH)Síntesis (CTH)

Reconoce

El habla ReconocimientoReconocimiento

El usuario IdentificaciónIdentificación

“Entiende” Comprensión



Un ordenador que…

Ayuda Sistema de diálogoSistema de diálogo

Traduce El escrito TA

El habla TA oralTA oral



• Salida vocal

Síntesis del habla

• Entrada vocal

Reconocimiento del habla

• Interacción vocal

Sistemas de diálogo


Las tecnologías del hablaLa conversión de texto en habla

Del texto… …al habla GTP-UPC



• Definición del inventario deunidades de síntesis

• Diseño y obtención del corpus desíntesis

• Selección del locutor para lagrabación del corpus de síntesis


Las tecnologías del hablaDefinición del inventario de unidades de síntesis

Alófonos de /N/

/N/ [m] bilabial m campo

[M] labiodental n enfado

[n—+] interdental n once

[n—] dental n anda

[n] alveolar n enseres

[nJ] palatalised n conllevar

[¯] palatal n caña

[N] velar n conga

¿Hastaqué puntoesnecesarialavariaciónalofónica?


Las tecnologías del hablaSelección del locutor

Oyentes sinexperiencia

Oyentesexpertos

Voz A 29,6% 20,83%

Voz B 25,18% 30,31%

Voz C 21,33% 26,66%

Voz D 18,15% 18,12%



Pre-procesado y normalización

Análisis lingüístico Transcripción fonética

Asignación de prosodia Selección de unidades

Conversión en parámetros acústicos



• Tratamiento previo del texto• Transcripción fonética automática• Modelos prosódicos: duración

segmental, intensidad segmental yentonación

• Concatenación de unidades de síntesis• Evaluación de los resultados


La conversión de texto en hablaActor, Loquendo

http://actor.loquendo.com/actordemo/default.asp?language=es

Es, m, f

EsCh, f

EsMx, f

EsAr, m

Cat, f


Las tecnologías del hablaEl reconocimiento del habla

Del habla … … al texto

http://actor.loquendo.com/actordemo/default.asp?language=es


voz texto

ENTRENAMIENTO algoritmo de

entrenamiento

base de datos de modelos fonéticos

diccionariofonético

COMPILACIÓN DE

MODELOS LÉXICOSgenerador de

modelos léxicos

base de datos de modelos léxicos

RECONOCIMIENTO

algoritmo de reconocimiento

gramática

procesadoracústico

hablasecuencia de

unidades

Mariño (1993)

El reconocimiento del hablaModelo de reconocimiento de habla continua


Las tecnologías del hablaEl reconocimiento del habla

• Definición del inventario de unidades dereconocimiento

• Diseño y obtención del corpus deentrenamiento

• Creación de diccionarios depronunciación

• Incorporación de información fonéticasegmental y prosódica al reconocimiento


Las tecnologías del hablaLos sistemas de diálogo

Eh, pues mire, queríasaber a qué hora salela… el último tren, eh…hacia Barcelona, desdeMadrid, el sábado

Reconocimiento Comprensión

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha: DÍA=“28”,

HORA=“Último”

Generación de respuesta

El último tren sale a las11 y 53 minutos de la noche

Síntesis





• Estudio de corpus con interaccionespersona-persona y persona máquina

• Diseño y validación de estrategias dediálogo

• Creación de modelos prosódicosadaptados al diálogo


Los sistemas de diálogoEstudio de corpus con interacciones persona-persona

<consulta de preus><trucada tallada><operadora><donar informació><línia>És R6<\línia>, el <bitllet>bitllet

senzill<\bitllet> són <preu><número>sis-centesnoranta<\número>pessetes<\preu><pausa>...<\donar informació>

<usuari dona><confirmació>Mhm<\confirmació>.<operadora><donar informació>I el <bitllet>bitllet anada i tornada<\bitllet>

<preu><número>mil vint-i-cinc<\número><\preu><\donar informació>.<usuari dona><confirmació><desviació lingüística>Vale<\desviació

lingüística><\confirmació>, gràcies, eh?<operadora>A vostè. <comiat>Adéu, bon dia <\comiat>.<usuari dona><comiat>Adéu <\comiat>.<\consulta de preus>


Los sistemas de diálogoEstudio de corpus con interacciones persona-máquina

[usuari home]<salutació>Bon dia</salutació>.[oz]Quin tipus de consulta desitja realitzar?[usuari home]<demanar informació>Vull conèixer la

durada del trajecte de <estaciód'origen>Gràcia</estació d'origen> a <estaciódestí>Les Planes</estació destí></demanarinformació>.

[oz]<confirmació explícita>M'està demanant informacióde durada d'un trajecte</confirmació explícita>?

[usuari home]<confirmació>Sí</confirmació>.


Los sistemas de diálogoModelos prosódicos adaptados

Restaurantesde _________

ÁvilaMadrid

SalamancaCuenca…


Los sistemas de diálogoModelos prosódicos adaptados

He encontrado____________

ochonueve

diez…


Sistemas de diálogoInformación meteorológica

http://gps-tsc.upc.es/veu/attemps/

aTTempsUniversitat Politècnica de

CatalunyaUniversitat Autònoma de

Barcelona906.789.987













• Comparación entre los rasgos fonéticosde un locutor “sospechoso” y un locutorindubitado

• Implica el estudio de la variaciónfonética interlocutor y de la variaciónfonética intralocutor en el nivelsegmental y en el nivel suprasegmental

http://gps-tsc.upc.es/veu/attemps/


La variación intralocutor“nata” (locutor 1)


La variación intralocutor“nata” (locutor 2)


La variación interlocutor“nata” (locutores 1, 2 y 3)



• Comparaciones auditivas, comparacionesacústicas y comparaciones automáticasmediante técnicas estadísticas

• Caracterización de un locutor desconocido apartir de sus rasgos fonéticos

• Estudio de la fiabilidad de la identificación devoces












La adquisición y la enseñanza de lenguas extranjerasLa adquisición de lenguas extranjeras

• Caracterización fonética de la interlengua:estudio del proceso de adquisición de loselementos segmentales y suprasegmentales

• Análisis de la interferencia fonética de la L1 enla producción y en la percepción de la LE

• Análisis de errores fonéticos en la produccióny la percepción de una LE


Caracterización fonética de la interlengua“Eh, muy bien, ¿y tú?” Locutora anglófona


Caracterización fonética de la interlengua“elderly” Locutor L1 catalán - L1 castellano


La adquisición y la enseñanza de lenguas extranjerasLa enseñanza de lenguas extranjeras

• La enseñanza de la pronunciación

• Definición de la norma de pronunciación

• Definición de criterios de jerarquización de loserrores y establecimiento de una progresión

• Creación de materiales en equiposmultidisciplinares

• Enseñanza de la pronunciación asistida porordenador


Oscilograma y curva melódica del modelo de pronunciación (panel superior)y de la producción del alumno (panel inferior)

Tell Me More (Cazade, 1999)http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.htm


Curva melódica del enunciado modelo (en blanco)y de la producción del estudiante (en azul)WinPitch LTL (Germain y Martin, 2000)

http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.htm


Representación estilizada de la curva melódicaModelo propuesto por el profesor (panel inferior) y producción del alumno

(panel superior) Speaker (v.3) (Cazade, 1999)http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.htm

http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.htm

http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.htm

http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.htm



• La corrección fonética

• Definición y evaluación detécnicas de corrección fonética

• Creación de materiales en equiposinterdisciplinares



• La evaluación de la pronunciación

• Creación de pruebas para la evaluación sistemáticade la producción de los elementos segmentales ysuprasegmentales en una LE

• Determinación de criterios fonéticos para laevaluación de la pronunciación

• Estudio de la percepción de la pronunciación porparte de hablantes nativos de L2












La fonética clínicaLas patologías de la producción del habla

• Transcripción fonética del hablapatológica• Estudio fonético• Diagnóstico de errores• Seguimiento de la rehabilitación• Intercambio de datos entre

investigadores o profesionales de larehabilitación


La fonética clínicaLas patologías de la producción del habla

• Análisis acústico del hablapatológica en el nivel segmental y enel suprasegmental• Herramienta para el diagnóstico• Herramienta para el seguimiento

de la rehabilitación


Análisis acústico del habla patológica“El año tiene cuatro estaciones” Locutor normal


Análisis acústico del habla patológica“El año tiene cuatro estaciones” Locutor disártrico 1


Análisis acústico del habla patológica“El año tiene cuatro estaciones” Locutor disártrico 2


Análisis acústico del habla patológica“El año tiene cuatro estaciones” Locutor normal y

locutores disártricos 1 y 2


Análisis acústico del habla patológica

• Análisis acústico de disartriashttp://liceu.uab.es/~joaquim/applied_ling

uistics/speech_pathology/disartries/exemples_disartries.html

• Análisis acústico de sorderas infantileshttp://liceu.uab.es/~joaquim/applied_ling

uistics/speech_pathology/sordeses/exemples_sordeses.html


La fonética clínicaLas patologías de la percepción del habla

• Diseño de pruebas audiométricasverbales

• Análisis perceptivo de la capacidad dediscriminación fonética segmental ysuprasegmental

• Diseño y evaluación de métodos derehabilitación de la producción y de lapercepción


Audiometría verbal(Widex, 1993)

• Inteligibilidad de palabras

http://liceu.uab.es/~joaquim/applied_ling

http://liceu.uab.es/~joaquim/applied_ling



• Discriminación acústica en función de lasbandas de frecuencia de los sonidos


















La adquisición y la enseñanza de la primera lenguaLa adquisición de la primera lengua

• Estudio del desarrollo de lacapacidad de producción ypercepción de los elementossegmentales y suprasegmentales enla adquisición de la primera lengua(L1)


EIMAS, P.D. (1985) "The perception of speech in early infancy",Scientific American 252: 46-52; "La percepción del habla en la

primera infancia", Investigación y Ciencia 102: 24-31.


EIMAS,P.D. (1985)"Theperceptionof speech inearlyinfancy",Scientific

American

252: 46-52;"Lapercepcióndel habla enla primerainfancia",Investigación

y Ciencia

102: 24-31.


EIMAS, P.D. (1985) "The perception of speech in early infancy",Scientific American 252: 46-52; "La percepción del habla en la

primera infancia", Investigación y Ciencia 102: 24-31.


La adquisición y la enseñanza de la primera lenguaLa enseñanza de la primera lengua

• Estudio de los factores fonéticos queinciden en el aprendizaje de lalectura y la escritura












La enseñanza de la expresión oral y de la ortologíaEl estudio de la lengua en los medios

• Estudio de las característicassegmentales y suprasegmentales dela lengua en los medios decomunicación oral


AGUILAR, L.- ALCOBA, S.- CARBÓ, C.- MACHUCA, M.J. (2002): "Los marcadores discursivosen la lengua oral informativa", in Actas del Congreso Internacional de Análisis del Discurso: lengua,

cultura y valores. Pamplona, 26-28 de noviembre de 2002. (en prensa).http://kane.uab.es/cursos.lengua/Marcadores.pdf

el presidente Clinton espera que eneste encuentro israelíes y palestinosalcancen un acuerdo de paz [398 ms.de pausa] // definitivo // [347 ms depausa]

Pausa entre nombre y adjetivo

http://kane.uab.es/cursos.lengua/Marcadores.pdf




la mayoría de las farmacias están hoy cerradasen señal de protesta por la decisión delgobierno de recortar su margen de beneficios //en la venta de medicamentos [138Hz.] el paro[290Hz] ha sido convocado // por el colegio defarmacéuticos que también ha organizado losservicios mínimos

Variación tonal para marcar una frontera queno se señala mediante pausa




durante un día festivo // las ú[79dB][79dB]ni[79dB]cas[79dB] provinciasque no se han sumado a la protestason Álava y Guadalajara

Variación de intensidad paramarcar el énfasis



• Formación de profesionales de laexpresión oral

• Estudio y definición de la norma depronunciación
















Materiales en la web

http://liceu.uab.es/~joaquim/phonetics/

Valencia_04/Valencia_04.html

http://liceu.uab.es/

el análisis fonético del habla y sus...

Documents