calidad y validacion de sistemas expertos

Validación de un Sistema Experto

Verificación y Validación

Sistema Inteligente

Hechos Conclusiones

¿Cumple con las especificaciones y requisitos y iniciales

¿Las conclusiones del sistema son las mismas que del experto humano?

¿El sistema es mejor que otro existente?

Verificación y Validación

Agenda

•Principales errores en la construcción

de un SBC.

•Proceso de Verificación y Validación.

•El Proceso de Verificación

•El Proceso de Validación

1. Principales errores en la Construcción de un SBC.

ExpertoExperto

Motor de InferenciaMotor de Inferencia

Base de Conocimiento

Base de Conocimiento

Ingeniero delConocimientoIngeniero delConocimiento

Errores en el conocimiento del experto, tales como conocimiento incorrecto e incompleto.Errores en el conocimiento del experto, tales como conocimiento incorrecto e incompleto.

Errores semánticos de significados entre el ingeniero de conocimiento y el especialista. Obtención incompleta del conocimiento proveniente del experto.

Errores semánticos de significados entre el ingeniero de conocimiento y el especialista. Obtención incompleta del conocimiento proveniente del experto.

Errores de sintaxis .Errores de contenido, debido a un conocimiento incorrecto eincompleto y a incertidumbre en las reglas y los hechos.

Errores de sintaxis .Errores de contenido, debido a un conocimiento incorrecto eincompleto y a incertidumbre en las reglas y los hechos.

Errores en la programación.Errores de lógica.

Errores en la programación.Errores de lógica.

VerificaciónEs la comprobación que estamos construyendo el producto correctamente [Boehm, 1981].

Esto es comprobar que el sistema desarrollado cumple sus especificaciones iniciales, y que el software no contiene errores.

2. El Proceso de Verificación y Validación (PVV)

2.1 Conceptos

ValidaciónEs la comprobación que estamos construyendo el producto correcto [Boehm, 1981].

Esto es, comprobar que la salida del sistema es la correcta y que se cumple con las necesidades y los requisitos del usuario.

2. El Proceso de Verificación y Validación (PVV)

2.1 Conceptos

EvaluaciónEs el proceso de medir aspectos del software como: utilidad, velocidad, facilidad de manejos, facilidades de mantenimiento y ampliación [Moret+ 2008].

2. El Proceso de Verificación y Validación (PVV)

2.1 Conceptos

2. Proceso de Verificación y Validación (PVV)

1. Verificación

3. Evaluación

2. Validación Finalidad

Finalidad

PVV

SBC

2. El Proceso de Verificación y Validación

2.2 Fines

El proceso de verificación y validación permite:

•Asegurar la calidad del producto desarrollado.•Asegurar la funcionalidad del producto.•Asegurar su aceptabilidad

Esto es, permite decidir si el sistema basado en el conocimiento debe pasar del nivel de campo al nivel de producción.

Asegurar Calidad:

•Conclusiones correctas.•Conclusiones completas.•Conclusiones congruentes.•Confiable respecto a la conclusión.•Presenta mecanismos de seguridad.•Código comprensible y comentado.•Desempeño adecuado.•Disponibilidad.•Base de conocimiento verificada.

2. El Proceso de Verificación y Validación

2.2 Fines

Asegurar Funcionalidad:(capacidad del sistema para hacer el trabajo para el cual fue destinado)

•Debe cubrir las expectativas para lo que fue construido.•Confiable respecto a su funcionamiento•Presenta medios de explicación.•Permite el módulo de adquisición de conocimiento.

2. El Proceso de Verificación y Validación

2.2 Fines

Asegurar su aceptabilidad

•Sistema basado en el conocimiento cubre los requisitos de calidad y funcionalidad

2. El Proceso de Verificación y Validación

2.2 Fines

3. El Proceso de Verificación

Cumplimiento de las especificaciones

Mecanismos de inferencias adecuados

Base de Conocimiento (consistencia y

completitud)

Influencia de las medidas de incertidumbre

¿Qué verificamos?

Consiste en comprobar [Gonzáles+ 1993] si:

•Se ha representado adecuadamente el

conocimiento.

•Se ha empleado la técnica de razonamiento

adecuada.

•El diseño y la implementación del sistema han sido

realizado modularmente.

•La integración con otros sistemas es la más

adecuada.

3. El Proceso de Verificación3.1 Cumplimiento de las especificaciones

• El interfaz de usuario y el módulo de adquisición

cumple con las especificaciones.

• El módulo de explicación es adecuado.

• Se cumplen los requisitos de rendimiento en tiempo

real.

• El mantenimiento del sistema es posible.

• El sistema cumple con las especificaciones de

seguridad.

3. El Proceso de Verificación3.1 Cumplimiento de las especificaciones

• Elección del motor de inferencia comercial

apropiado.

• Para dominios críticos se requiere verificar el motor

a través de pruebas.

• Verificar si es adecuada los procedimiento de

resolución de conflictos y los mecanismos de

herencia.

• Si se opta por implementar motores de inferencias

será preciso realizar su verificación (use técnicas de

la Ingeniería de Software).

3. El Proceso de Verificación3.2 Mecanismo de inferencias adecuados

•Reglas redundantesp(x) ^q(x) r(x)q(x) ^p(x) r(x)

Acción: eliminar una de ellas

•Reglas redundantes - sinónimasp(x) ^q(x) r(x)q(x) ^p(x) s(x)r(x) y s(x) representan lo mismo

Acción: eliminar una de ellas

3. El Proceso de Verificación3.3 Base de Conocimiento: consistencia

• Reglas conflictivasp(x) ^q(x) r(x)p(x) ^q(x) ~r(x)

Acción: eliminar reglas

• Reglas englobadasp(x) ^q(x) r(x)p(x) r(x)

Acción: en resolución de conflictos evaluar

primero la regla que tiene más restricciones

3. El Proceso de Verificación3.3 Base de Conocimiento: consistencia

• Condiciones innecesariasp(x) ^ q(x) r(x)p(x) ^ ¬q(x) r(x)

Acción: simplificar a p(x) r(x)

p(x) ^ q(x) r(x) ¬ q(x) r(x)

Acción: simplificar a p(x) r(x)¬q(x) r(x)

3. El Proceso de Verificación3.3 Base de Conocimiento: consistencia

• Reglas circularesp(x) q(x)q(x) r(x)r(x) p(x)

Acción: evitar reglas circulares o establecer mecanismos para evitarlos.

3. El Proceso de Verificación3.3 Base de Conocimiento: consistencia

• Valores no referenciados de atributos• Valores ilegales de atributos• Reglas inalcanzables

3. El Proceso de Verificación3.3 Base de Conocimiento: completitud

Valores no referenciados de atributos

•Esta situación ocurre cuando el conjunto de posibles valores de un atributo no son cubierto por los antecedentes de ninguna regla.

Ejemplo

Suponga el atributo riesgo, cuyo valores son “alto”, “normal” y “bajo”, y los valores “alto” y “normal” aparecen en los antecedentes de alguna regla, pero el valor “bajo” no aparece en los antecedentes de ninguna regla.

3. El Proceso de Verificación3.3 Base de Conocimiento: completitud

Valores ilegales de atributos

• Esta situación ocurre cuando una regla hace referencia a valores de atributos que no están incluido en el conjunto de valores válidos para ese atributo (antecedente)

EjemploSuponga el atributo riesgo, tiene el conjunto de valores {“alto”, “normal”, “bajo”}, pero hay reglas en la base de conocimiento con condiciones riesgo = “muy alto”.

3. El Proceso de Verificación3.3 Base de Conocimiento: completitud

Reglas inalcanzable: encadenamiento regresivo

• Una regla es inalcanzable si la conclusión de la regla no aparece en el objetivo a buscar (LCT) y no aparece en los antecedente de ninguna regla.

EjemploLa regla: Si riesgo = “alto” rechazar-crédito, es inalcanzable si “rechazar-crédito” no apareciera en el objetivo buscado (LCT) ni en los antecedentes de ninguna regla.

3. El Proceso de Verificación3.3 Base de Conocimiento: completitud

Reglas inalcanzable: encadenamiento

progresivo

• Una regla es inalcanzable si los valores de uno de sus antecedentes no puede ser obtenido del exterior (por ejemplo, preguntándole al usuario), y no aparecieran como conclusión de ninguna regla.

EjemploLa regla: Si riesgo = “alto” rechazar-crédito, es inalcanzable si los valores del antecedente “riesgo” no puede ser actualizado desde el exterior, ni apareciera como conclusión de alguna otra regla.

3. El Proceso de Verificación3.3 Base de Conocimiento: completitud

3. El Proceso de Verificación

knowledge engineer/analyst (responsible) knowledge system developer knowledge user

¿Quién verifica?

4. El Proceso de Validación

Los resultados (finales e intermedio) del sistema

sean correctos.

El raciocinio, es decir el sistema alcanza las

respuestas correctas por las razones correctas

¿Qué validamos?

Ingeniero de conocimiento

(puede sobrevalorar los resultados)

Especialista (s) (responsable)

Terceros especialistas

(“la falacia del superhombre” [Chandrasekaran, 1983])

¿Quiénes deben validar?

4. El Proceso de Validación

4. El Proceso de Validación

4.1 El Proceso

4. El Proceso de Validación

4.1 El Proceso

Identificar la población de instancias de prueba. Las instancias están formados por BH (entradas) y conclusiones (salidas).La población esta conformada por todas las posibles instancias asociado al problema.

Identificar la población de instancias de prueba. Las instancias están formados por BH (entradas) y conclusiones (salidas).La población esta conformada por todas las posibles instancias asociado al problema.

4. El Proceso de Validación

4.1 El Proceso

Mediante una técnica de muestreo se debe determinar una muestra representativa.

Se deberá depurar las instancias de forma que todas ellas tengan BH correcta y las conclusiones sean aprobadas por los especialistas, esto es las instancias deben ser válidas.

Mediante una técnica de muestreo se debe determinar una muestra representativa.

Se deberá depurar las instancias de forma que todas ellas tengan BH correcta y las conclusiones sean aprobadas por los especialistas, esto es las instancias deben ser válidas.

4. El Proceso de Validación

4.1 El Proceso

Fines: 1) Muestra representativa, 2) Análisis de resultados. Agrupar las instancias de forma que en ellas estén representadas todas las posibles soluciones con igual proporción que en la población. Si las proporciones son muy diferenciadas se recomienda usar muestras equilibradas.

Fines: 1) Muestra representativa, 2) Análisis de resultados. Agrupar las instancias de forma que en ellas estén representadas todas las posibles soluciones con igual proporción que en la población. Si las proporciones son muy diferenciadas se recomienda usar muestras equilibradas.

4. El Proceso de Validación

4.1 El Proceso

Medidas de paresMedidas de grupoRatios de Acuerdo

Medidas de paresMedidas de grupoRatios de Acuerdo

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

Ratios de

Acuerdo

Ratios de

Acuerdo

Hechos

Conclusiones

Conclusiones

Especialistas

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

Ratios de acuerdo

Los ratios de acuerdo tratan de medir el acuerdo existente entre el sistema (o experto) y una referencia estándar. Dicha referencia puede ser un consenso existente entre los expertos, o la solución real al problema planteado.

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

Referencia Estándar

D ¬D

Sistema D a b

Experto ¬D c d

Tabla de contingencia para calcular los ratios de acuerdo

Donde a: Verdaderos positivos b: Falsos positivos c: Falsos negativos d: Verdaderos negativos

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

1. Índice de acuerdo(a + d) / (a + b + c + d)

Representa la proporción de casos en donde el SBC ha coincidido con el estándar para la categoría (conclusión) dada.

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

2. Sensibilidada / (a + c)

Define el ratio de verdaderos positivos y nos permite medir la capacidad que tiene el SBC para responder correctamente los casos positivos, y puede entenderse como la probabilidad de que el SBC responda correctamente sabiendo que el caso es positivo.

Ratio Falsos Negativos = 1 – Sensibilidad = c / (a + c)

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

3. Especificidad d / (b + d)

Mide la capacidad del sistema inteligente para clasificar correctamente los casos negativos, y puede interpretarse como la probabilidad que el sistema responda correctamente sabiendo que es negativo.

Ratio Falsos Positivos = 1 – Especificidad = b / (b + d)

4. El Proceso de Validación

4.2 Cálculo de la Confiabilidad

4. Valor predictivo Valor Predictivo Positivo = a / (a + b)

Valor Predictivo Negativo = d / (c + d)

Referencias http://www-rcf.usc.edu/~oleary/Papers/

Validation-of-Expert-Systems.htm jasper report http://portal.acm.org/citation.cfm?

id=629686 http://biblioteca.universia.net/

html_bura/ficha/params/id/5044812.html http://www.jstor.org/pss/25061164