procesamiento práctico del lenguaje natural capítulo xxiii
TRANSCRIPT
Procesamiento Procesamiento PrácticoPráctico
del lenguaje Naturaldel lenguaje Natural
Capítulo XXIII
IntroducciónIntroducción
Este capítulo mostrará qué tanto se puede avanzar en el mundo del wumpus mediante el empleo de
técnicas para el intercambio de la comunicación
XXIII.I Aplicaciones PrácticasXXIII.I Aplicaciones Prácticas
Sistemas que emplean de manera satisfactoria el lenguaje natural. Estos se concentran en:Un dominioUna tarea
Traducción automatizadaAcceso a una base de datosRecuperación de informaciónCategorización de textosObtención de datos de un texto
Traducción automatizadaTraducción automatizada
Para evitar significados distintos es necesario conocer:
El idioma del texto originalPropiedades sintácticas de los mensajesLa situación que se esta comunicando
No es posible esperar resultados satisfactorios en la traducción automatizada sin embargo
dicho traductor podrá acelerar, de dos a cuatro veces, el trabajo de un traductor
monolingüe sin la necesidad de contar con el texto original
Acceso a la base de datosAcceso a la base de datos
Para acceder a bases de datos que emplean lenguaje natural es necesario
saber la manera de hacerlo. Las consultas requieren cierto
conocimiento del diccionario de las bases de datos
Existen interpretadores de textointerpretadores de texto para poder acceder a la información de
dichas bases de datos
Recuperación de informaciónRecuperación de información
ConsultaConsulta: un título y una serie de palabras claves digitadas por el cliente posiblemente conectadas por palabras
reservadas (“y”, “o”)
Estas se manejan como un vectorvector de términos y los documentos se ordenan de acuerdo a la distancia a la consulta,
mostrándose primero los más cercanos.
Categorización de textosCategorización de textos
Consiste en la clasificación de textos de acuerdo a diferentes categorías de la información en las bases de datos
Estas categorías son fijas
Utilizadas generalmente para informes noticiosos de distintas áreas
Obtención de datos de un textoObtención de datos de un texto
Consiste en la obtención de datos de un texto en línea y deducir de éste
algunas características que se puedan incorporar a una base de datos
estructurada
XXIII.IIXXIII.IIAnálisis Gramatical EficienteAnálisis Gramatical Eficiente
El agente siente una brisa
0 1 2 4 53
[0,2 S FN FP] [2,5 FN Verbo FP ]
[0,5 S FN FP ]
Borde completo
(analizador)
Borde incompleto
(Analizador)
Vértices
Símbolo de la gramática
(complementador)
ÁRBOL DE ANÁLISISÁRBOL DE ANÁLISIS
Análisis Gramatical EficienteAnálisis Gramatical Eficiente
Analiza los distintos borde y los clasifica
InicializadorPredictorAnalizadorComplementador
Agrupa los distintos bordesPermite indicar reglas
EmpaquetamientoEmpaquetamientoPara reducir el árbol de análisisMétodo:
1º-Modificar el COMPLEMENTADOR de manera que guarde sus bordes hijos en un nodo padre
2º- Buscar en la lista de los hijos para reproducir el árbol
3º- Resolver casos de análisis ambiguos
XXIII.IIIXXIII.IIIAmpliación del DiccionarioAmpliación del Diccionario
La comprensión de un texto consta de los siguientes pasos
CaracterizaciónAnálisis MorfológicoConsulta del DiccionarioCorrección de errores
CaracterizaciónCaracterización
Procedimiento mediante el cual la entrada es fragmentada en diversos
elementos básicosPalabrasSignos de puntuación
Es necesario determinar el idioma porque existen diferentes reglas de
puntuación
Análisis MorfológicoAnálisis Morfológico
El procedimiento consiste en definir una palabra como prefijos, sufijos y raíces
Morfología por inflexiónMorfología por inflexión: consiste en realizar cambios en una palabra para adecuarla a un tipo (ej. la “s” cuando se representa un sustantivo en plural)
Morfología por derivaciónMorfología por derivación: Consiste en crear nuevas palabras a partir de otras para determinar un nuevo tipo (ej. El paso de un sustantivo a un adjetivo implica cambiar la palabra)
ComposiciónComposición: Consiste en formar una nueva palabra mediante la unión de otras dos (ej. limpiabotas)
Consulta del diccionarioConsulta del diccionarioCuando se buscan sustantivos que no
estén en singular o verbos que no están en infinitivo es necesario acudir
al diccionario
Localiza en el diccionario una palabra y entregar una definición
Ejemplo Walked. Generalmente no se almacena esta palabra sino Walk.
Corrección de erroresCorrección de erroresErrores de dominio:Errores de dominio:
1º- Que una palabra no se encuentre en el diccionario (ej. walked)
2º- Uso de mayúsculas que permiten suponer que es un nombre propio
3º- Ciertos formatos que permiten identificar una fecha, hora, numero de un seguro social, etc.
Errores ortográficos:Errores ortográficos:
4º- Localizar una palabra que se asemeje en el diccionario a la palabra ingresada
XXIII.IVXXIII.IVAmpliación de la GramáticaAmpliación de la Gramática
AposiciónAposición: Conexión de dos frases nominales entre si (ej. dos sustantivos)
Semántica de intersecciónSemántica de intersección: unión de sustantivos y adjetivos (ej. Wumpus oloroso )
DeterminadoresDeterminadores: Son los artículos (ej. el, la, los, las, un, unos, una, unas)
Ampliación de la GramáticaAmpliación de la GramáticaFrases sustantivasFrases sustantivas: Reglas a las frases
nominales (ej. La regla de artículo + sustantivo se actualiza cambiando el artículo por un determinador e incluyendo la concordancia de persona y número)
Cláusulas de complementoCláusulas de complemento: Existen verbos cuyos complementos representan cláusulas (frases verbales)
Ampliación de la GramáticaAmpliación de la Gramática
Cláusulas relativasCláusulas relativas: Formadas por un pronombre relativo seguido de una oración que contenga un espacio vacio FN (sitio donde deberá aparecer la FN de encabezado para que la oración quede completa)
PreguntasPreguntassi-no: La respuesta es un si o un noInterrogativas: (comienzan con un
pronombre) La respuesta es una frase nominal
XXIII.V AmbigüedadXXIII.V Ambigüedad
Los métodos empleados para resolver la ambigüedad se basan en:
Inferencia lógicaRedes de creenciaModelos ocultos
Ejemplo: Comí espagueti, albóndigas y ensalada)
Interpretación: (espagueti y albóndigas)
o (albóndigas y ensalada)
EvidenciasEvidenciasSintácticaSintáctica: ¿Cómo determinar si un
adverbio afecta a un verbo o a otro dentro de una frase? (ambigüedad que se resuelve con la evidencia sintáctica)
LéxicaLéxica: Muchas palabras pueden tener varios significador pero el sentido es diferente (ambigüedad que se resuelve con la evidencia léxica)
SemánticaSemántica: Es más importante la probabilidad condicional de un contexto que la probabilidad del sentido de la palabra
MetonimiaMetonimia Consiste en usar un objeto para representar
a otro.
Para interpretarla es necesario un alto nivel de ambigüedad
Hay que definir las clases de metonimia que pueden presentarse para un objeto
Si el objeto literal y el objeto metonímico son idénticos entonces no existe metonimia
MetáforaMetáfora
Es una frase retórica en la cual se emplea una frase con un determinado sentido literal para dar a entender otro,
por medio de una analogía
SolucionesSolucionesIncorporar todo lo sabido de la
metáfora al diccionario y su sentido correspondiente (palabra x palabra)
Incluir el conocimiento explícito de metáforas comunes.
XXIII.VI XXIII.VI Comprensión del discursoComprensión del discursoDiscursoDiscurso: es un texto con extensión superior a una oración. En el figura la
percepción, el análisis, la desambiguación y la desincorporación
BC’=DISCURSO-COMPRENSION(texto, BC)
BC: Base de conocimiento del escucha
BC’: Base de conocimiento del escucha después de incorporar el teexto
Comprensión del discursoComprensión del discursoConocimiento:Conocimiento:
General del mundo General Sobre la estructura del discurso
coherente General Sobre la sintaxis y la semántica Específico sobre la situación de que esté
hablándose Específico sobre las creencias de los
personajes Específico sobre las creencias del hablante
ConclusiónConclusiónLa comunicación presenta numerosos
inconvenientes. Para que exista una comunicación es necesario que lo que se
expresa sea interpretado y esto último es lo que implica mayor trabajo.
Existen distintos métodos y estructuras para volcar todo lo que se conoce en términos de
comunicación pero nunca es suficiente por las infinitas formas de expresarse que tiene un
humano.Si bien se han logrado avances importantes no
se puede hablar de una comunicación absolutamente transparente con los sentidos
originales que el emisor quiere reflejar