dr. luis olsina calidad, métricas, indicadores.. proceso de evaluación marco de medición y...

Dr. Luis Olsina• Calidad, Métricas, Indicadores..• Proceso de Evaluación• Marco de Medición y Evaluación

• GQM• INCAMI

• Conclusiones

ContenidosContenidosParte II Parte II

GIDIS_Web, Dpto. de Informática,GIDIS_Web, Dpto. de Informática,

Facultad de Ingeniería, UNLPamFacultad de Ingeniería, UNLPam

E-mail E-mail [email protected]@ing.unlpam.edu.ar

©© 2007 GIDIS_Web 2007 GIDIS_Web

Ingeniería Web: Marco de Medición Ingeniería Web: Marco de Medición

y Evaluación de Calidady Evaluación de Calidad

Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca

Esquema

• Conceptos: Calidad, Métricas, Indicadores..

• Proceso de Evaluación

• Medición/Evaluación orientada a Metas

• GQM

• Marco de Medición y Evaluación INCAMI• Componentes de INCAMI

• Conclusiones

● Diversos Estándares (ej. ISO) tratan sobre:– Calidad (Producto): el modelo de calidad interna y

externa y de calidad en uso de software (ISO 9126-1:2001), – Calidad (Proceso): process assessment and

capability determination for software organizations (ISO 15504:2003) o CMMI

– Evaluación: el proceso de evaluación (ISO 14598:1998),

– Medición: el proceso de medición (ISO 15939:2002)

Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos ...

● Presentaremos los principales conceptos, a partir de un estudio ontológico del dominio [Olsina et al 2003/04]

Stds ISO sobre Calidad, Medición…

¿Qué es la Calidad?

● Calidad – La calidad es difícil de definir y medir,

aunque fácil de reconocer (según Kitchenham y Pfleeger)

– La calidad (percibida) de un ente en general es transparente cuando está presente, pero se reconoce fácilmente cuando está ausente

● Calidad en General– Distintas Visiones (según David Garvin, 87):

– Visión Trascendente – Visión del Usuario– Visión del Productor– Visión del Producto– Visión basada en el Valor

● trade-off calidad/costo

¿Qué es la Calidad?

Dimensiones de la Calidad

Para un Producto (según David Garvin, 87)

– Estética: apariencia sensorial– Conformidad: con estándares– Durabilidad: vida prevista (en tiempo de uso)– Desempeño: características esenciales que pueden

ser medidas (consumo, potencia, aceleración etc.)– Confiabilidad: probabilidad de que el producto no

falle o funcione bien durante un período de tiempo– Servicio: rapidez, atención, facilidad de reparación– Calidad Percibida: durante el uso en contextos

específicos

Proyecto vs. CalidadVariables de un Proyecto

– Alcance– Tiempo

● Esfuerzo● Calendario

– Time-to-Market– Calidad

● Producto● Proceso● Recurso

– Capacidades y Habilidades, – Métodos y Herramientas, ...

– Costo● Presupuesto

Costos e Impacto de la No-Calidad

● Malgasto, desperdicio de:– esfuerzo (personas-horas)– materiales

● Pérdida de tiempo para disponer del producto● Retrabajo

– por reparaciones del producto– impactos por cambio

● Impacto en el cliente – pérdida de imagen de la empresa– pérdia de confianza en el producto

● ventas

Costos de la Calidad● De Producto

– De prevención (de la no-calidad)– Entrenamiento (método, tecnología)– planificación– prototipado, simulación– modelado

– De evaluación – Descubrir, controlar– No conformidades

– De Corrección– Defectos ...

● De una Organización o Proceso – De certificación

Definir a la CalidadDefinir, Especificar a la Calidad depende de:

– Ente a Aplicar● Proyecto (de Desarrollo, de Mantenimiento)

– Proceso– Producto– Recurso

● Producto en Uso● Servicio

– Perspectiva (Perfil de Usuario)● Desarrollador● Gerente● Usuario Final, ...

– Dominio– Para un mismo perfil (para distintos –o iguales – proyectos)

● diferentes necesidades, prioridades

Definir/Evaluar la Calidad

Definir, Evaluar a la Calidad es “a human-intensive business”

– No es una simple tarea● Definir, Especificar, ● Medir, Evaluar ...

la calidad, por ejemplo, de un producto de software o producto Web

– No es una simple tarea● Definir, ● Seleccionar, ● Emplear Sistemáticamente Porgramas, Estrategias,

Técnicas y métodos para medición y evaluación de productos y otros entes de interés para IS e IW

– A veces un método o técnica no basta ...

¿Qué es la Calidad?● Calidad del Producto Sw (según ISO/IEC 9126-1: 2001)

– The totality of characteristics of an entity that bears on its ability to satisfy stated or implied needs

– La totalidad de características de un ente que tiene que ver con (influencia en, afecta a) la capacidad de satisfacer necesidades explícitas o implícitas

– Características● Usabilidad, Funcionalidad, Confiabilidad …

¿Qué es Modelo de Calidad?

● Modelo de Calidad

– The set of characteristics and the relationships between them which provide the basis for specifying quality requirements and evaluating quality (según ISOIEC 9126-1)

– El conjunto de características y las relaciones entre las mismas, que proveen la base para especificar requerimientos de calidad y evaluar calidad.

Modelo de Calidad (ISO/IEC 9126-1)

Software

Quality

Software

Quality

ReliabilityReliability

Suitability

Accuracy

Interoperability

Security

Compliance

Suitability

Accuracy

Interoperability

Security

Compliance

FunctionalityFunctionality

Maturity

Fault Tolerance

Recoverability

Compliance

Maturity

Fault Tolerance

Recoverability

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Time behaviour

Resource utilization

Compliance

Time behaviour


Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability

CaracterísticasCaracterísticas

SubcaracterísticasSubcaracterísticas

● Funcionalidad

adecuación, precisión, interoperabilidad, seguridad(datos), conformidad

● Confiabilidad

madurez, tolerancia a fallas, recuperabilidad, conformidad

● Usabilidad

comprensibilidad, facilidad de aprender, operabilidad, grado de atractivo, conformidad

● Eficiencia

comportamiento con respecto al tiempo, utilización de recursos, conformidad

● Mantenibilidad

analizabilidad, modificabilidad, testeabilidad, estabilidad, conformidad

● Portabilidad

adaptabilidad, instalabilidad, capacidad de coexistir, reemplazabilidad, conformidad

El Modelo de Calidad El Modelo de Calidad ISO 9126ISO 9126

● Comprensibilidad: permitir al usuario entender si es adecuado y cómo usarlo en tareas particulares y condiciones de uso

● Facilidad de ser Aprendido: es fácil de aprender a usar la aplicación por el usuario?

● Operabilidad: facilidad de ser operado y controlado por el usuario

● Grado de Atractivo: capacidad del producto de ser atractivo para el usuario

● Conformidad: adhesión a estándares, normas, regulaciones y otras prescripciones de usabilidad

ISO 9126: Usabilidad

Capacidad de ser comprendido, aprendido, operado y resultar atractivo para el usuario, cuando es usado en condiciones especificadas

Características y Subcaracterísticas

● Usabilidad

– Comprensibilidad– Facilidad de ser Aprendido– Operabilidad – Grado de Atractivo

● Confiabilidad

– Madurez de Enlaces● Enlaces Rotos● Enlaces Inválidos● Enlaces no Implementados

– Madurez de Páginas● Eficiencia

– Performance– ................

CalidadCalidad

Métrica: Enlaces Rotos

● Enlaces Rotos– Cantidad de Enlaces Rotos internos – Cantidad de Enlaces Rotos externos– Porcentaje de Enlaces Rotos

100×+

=talEnlacesCantidadTo

ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje

What is Quality?

Quality of a Software Product (ISO/IEC 9126-1: 2001)

Three Views for Quality:

– Internal Quality – Def.● The totality of attributes of a product that determines its

ability to satisfy stated and implied needs when used under specified conditions

– External Quality – Def.● The extent to which a product satisfies stated and implied

needs when used under specified conditions

– Quality in Use – Def.● The capability of software product to enable specified users

to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use.

The ISO 9126-1 Quality Model

Software

Quality

Software

Quality

ReliabilityReliability

Suitability

Accuracy

Interoperability

Security

Compliance

Suitability

Accuracy

Interoperability

Security

Compliance

FunctionalityFunctionality

Maturity

Fault Tolerance

Recoverability

Compliance

Maturity

Fault Tolerance

Recoverability

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Time behaviour


Compliance

Time behaviour


Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability

CharacteristicsCharacteristics

SubcharacteristicsSubcharacteristics

● Internal Quality is specified by a quality model (the six characteristics shown)● It can be measured and evaluated by static attributes of documents such as

specification of requirements, architecture, or design; pieces of source code, and so forth.

● In early phases of a software or Web lifecycle, we can evaluate and control the internal quality of these early products.

● But assuring internal quality is not usually sufficient to assure external quality.

Perspectives of Quality: ISO 9126-1

● External Quality is specified by a quality model (the six characteristics shown)

● It can be measured and evaluated by dynamic properties of the running code in a computer system, i.e. when the module or full application is executed in a computer or network simulating as close as possible the actual environment.

● In late phases of a software lifecycle (e.g. in different kinds of testing, or even in the operational state of a software or Webapp), we can measure, evaluate and control the external quality of these late products,

● But assuring external quality is not usually sufficient to assure quality in use.


● Quality in Use is specified by a quality model (four characteristics), ● It can be measured and evaluated by the extent to which the software or Web

application meets specific user’s needs in the actual, real, specific context of use.

● Regarding the spirit of this standard, quality in use is the end user’s view of the quality of a running system containing software, and is measured and evaluated in terms of the result of using the software, rather than by properties of the software itself.


● Attributes of internal and external quality of a software product are rather the cause, attributes of quality in use rather the effect.

● QinU evaluates the degree of excellence, and can be used to validate the extent to which the software or Web meets specific user needs.

● Considering appropriate attributes of the software (or Web) for internal quality is a prerequisite to achieve the required external behavior, and considering appropriate attributes of the software to external behavior is a prerequisite to achieve quality in use


Modelo para Calidad en Uso

Quality in Use

Quality in Use

EffectivenessEffectiveness ProductivityProductivity SafetySafety SatisfactionSatisfaction

● Calidad en Uso es la vista de la calidad para usuarios– similar a la definición de Usabilidad en ISO 9241-11

● The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use. ISO/IEC 9126-1:2001.

● Effectiveness

The capability of software product to enable users to achieve specified goals with accuracy and completeness in a specified context of use. ISO 9126.

● Potential Metrics

● Level of Task Completeness: measures the level of success in completing the specified task correctly

● Average of Achieved Goals: the average of completed tasks

Característica para Calidad en Uso

Posibles Dependencias

Pro ce s sQ u a lity

I n te rn a lQ u a lity

Ex te rn a lQ u a lity

Q u a lityin Us e

Attributes/MetricsQuality / Concept ModelEntity

ResourceAttributes/M etrics

ProcessAttributes/M etrics

ProductAttributes/M etrics

for Inte rnal andExte rnal Q uality

Resource

Process

Product in Use Attributes/M etrics

Product

Product/Systemin Use

influe nce s to

de pe nds on

Pro du ctQ u a lity

R e s o u rceQ u a lity

What is Web Quality?

WebApps “involve a mixture between print publishing and software development, between marketing and computing, between internal communications and external relations, and between art and technology” [Powell 97]

● We argue the three ISO views (and quality models) are also applicable to a great extent to intermediate and final life-cycle Web products.

● Like any software line production, the Web lifecycle involves different stages of its products whether in early phases as inception and development, or late phases as deployment, operation and evolution.


● Thus, to the general question if we can apply the same ISO internal and external quality, and quality in use models, the natural answer is yes

● However, to the more specific question whether we can use the same six-prescribed quality characteristics for internal and external quality, and the four characteristics for quality in use, our answer is yes for the latter, but some other considerations might be taken into account for the former.


● The very nature of WebApps is a mixture of information (media) contents, functionalities and services.

● We argue that the six quality characteristics (i.e., Usability, Functionality, Reliability, Efficiency, Portability, and Maintainability) are not well suited (or they were not intended) to specify requirements for information quality.

● A new Characteristic related with information CONTENTS is needed


Content characteristic has four major subconcepts not covered by the six-prescribed ISO characteristics

● Information Accuracy is the extent to which information is correct, unambiguous, authoritative (reputable), objective, and verifiable.

● Information Suitability is the extent to which information is appropriate (appropriate coverage for the target audience), complete (relevant amount), concise (shorter is better), and current.

● Accessibility emphasizes the importance of technical aspects of WebApps in order to make Web contents more accessible for users with various disabilities

● Legal Compliance. The capability of the information product to adhere to standards, conventions, and legal norms related to contents and intellectual property rights.

● El Aseguramiento de Calidad del software, es un conjunto de actividades planificadas y sistemáticas necesarias para aportar que el producto (proceso,...) satisfará los requerimientos explícitos e implícitos de Calidad

● Actividades– Preventivas– de Control (Medición, Evaluación, ...)– Correctivas

Aseguramiento de Calidad

ISO 12207 – ProcesosPROCESOS DE SOPORTEPROCESOS PRINCIPALES

ADQUISICIÓN

SUMINISTRO

DESARROLLOOPERACIÓN

MANTENIMIENTO

DOCUMENTACIÓNGESTIÓN DE CONFIGURACIÓN

RESOLUCIÓN DE PROBLEMAS

PROCESOS ORGANIZACIONALESGESTIÓN INFRAESTRUCTURA

MEJORA FORMACIÓN

ASEGURAMIENTO DE CALIDAD

VERIFICACIÓNVALIDACIÓN

AUDITORÍA

REVISIÓN CONJUNTA

Aseguramiento de Calidad

● Control de Calidad del Software/Web– Creación de Modelos de Calidad: útiles para

discutir, planificar, y controlar la calidad

– Medición/Evaluación de Productos sw/web: necesidad de obtener datos cuantitativos que ayuden a mejorar la calidad

● A partir de Métricas de Atributos de Entes

● E interpretación de las medidas a partir de Indicadores para un Modelo de Calidad acordado

References

Olsina, L.; Rossi, 2002, Measuring Web Application Quality with WebQEM, In IEEE Multimedia Magazine, ISSN 1070-986X, Vol. 9, Nº 4, pp. 20-29

Olsina, L; Covella, G. Rossi, G; 2006, Web Quality; (Book Chapter of Web Engineering) Springer, E. Mendes & N. Mosley (Eds). pp 109-142. ISBN 3-540-28196-7

Covella, G., Olsina, L; 2006, Assessing Quality in Use in a Consistent Way, In proceed. of ACM. Int’l Congress on Web Engineering, (ICWE’06), San Francisco, USA, pp. 1-8, ISBN 1-59593-352-2

Conceptos para Requerim. NF

● Necesidad de Información ● Entidad ● Atributo● Calidad, Calidad en Uso

– CONCEPTO CALCULABLE ● Modelo de Calidad, de Calidad en Uso

– MODELO DE CONCEPTO

Modelo para Requerimientos

Attribute

namedefinitionobjetivetype = {internal, external}

Entity

namedescription

0..*0..*

subEntity

1..*

1..*

1..*

1..*

asociated_with

InformationNeed

purposeviewpoint

about

ConceptModel

namespecificationreferences

CalculableConcept

namedescription

1..*1 1..*1

combines0..*0..*

subConcept

1

1..*

1

-focus 1..*

describes 0..*0..*

represented_by

Repasando Conceptos

● NECESIDAD DE INFORMACION – Información necesaria para gestionar objetivos,

metas, riesgos y problemas [ISO-15939].– Una necesidad de información es descripta por uno o

varios conceptos calculables (Calidad, Calidad en Uso, etc.) para entes específicos

– Ejemplos:● Evaluar la confiabilidad de enlaces para páginas estáticas de

un sitio Web– Objetivo = Evaluar; – Concepto Calculable = Confiabilidad de Enlaces; – Ente = páginas estáticas Web

● Predecir la productividad en desarrollo de un grupo de trabajo

Repasando Conceptos

● ENTIDAD – Un objeto que va a ser caracterizado mediante una

medición de sus atributos [ISO-15939]. – Una entidad puede ser física –tangible– (p.ej. una

computadora) o abstracta -intangible– (p.ej. un programa software)

– Objetos de interés para el dominio de software son: ● Recurso, personas, hw, sw necesarios para realizar los procesos● Proceso, cualquier actividad relacionada al desarrollo, mantenimiento● Producto, cualquier artefacto producido en proyecto sw/web ● Producto en uso?, ● Proyecto,● Servicio

Repasando Conceptos

● ATRIBUTO

– Una propiedad mensurable, física o abstracta, de una entidad [ISO 14598-1].

– el atributo puede ser, por ejemplo, para un producto en etapa temprana o tardía

● Tamaño de código fuente (atributo para calidad interna), precio (atributo para calidad externa).

● En nuestro caso, enlaces internos rotos...

– El atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.

Repasando Conceptos

● CONCEPTO CALCULABLE– Es una relación abstracta entre atributos de una o

más entidades, y una necesidad de información [ISO-15939].

– Ejemplos de conceptos calculables son: para nuestro caso Calidad, Costo, Accesibilidad, Calidad en Uso, ....

– Evaluar o predecir dicho concepto, desde una perspectiva de usuario.

● Gerente, ● Desarrollador, ● Usuario final, etc.

Repasando Conceptos

● MODELO de CONCEPTO – El conjunto de subconceptos y las relaciones entre

ellos, que sirven de base para una ulterior evaluación o estimación.

– Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad.

– Una característica puede estar conformada por subcaracterísticas y atributos.

– El modelo puede ser fijo (estándar, como ISO 9126-1), propio o mixto.

Modelo para Requerimientos

Attribute

namedefinitionobjetivetype = {internal, external}

Entity

namedescription

0..*0..*

subEntity

1..*

1..*

1..*

1..*

asociated_with

InformationNeed

purposeviewpoint

about

ConceptModel

namespecificationreferences

CalculableConcept

namedescription

1..*1 1..*1

combines0..*0..*

subConcept

1

1..*

1

-focus 1..*

describes 0..*0..*

represented_by

Modelo para Calidad Externa

● Usabilidad

– Operabilidad ● ...

– Grado de Atractivo● ...

● Confiabilidad

– Madurez de Enlaces● Enlaces Rotos● Enlaces Inválidos● Enlaces no Implementados

● Eficiencia

– Performance● ...

Calidad ExternaCalidad Externa

Quality in Use Model

● Instance of QinU MODEL with associated Attr.

1. Quality in Use

1.1 Effectiveness

1.1.1 Task Effectiveness (TE)

1.1.2 Task Completeness (TC)

1.2 Productivity

1.2.1 Efficiency related to Task Effectiveness (ETE)

1.2.2 Efficiency related to Task Completeness (ETC)

1.3 Satisfaction

Calculable ConceptCalculable Concept

Sub-Sub-ConceptConcept

AttributeAttribute

Conceptos para Medición● Atributo

● Métrica– Directa– Indirecta (Fórmula)

● Medición● Medida● Escala

– Tipo de Escala– Categórica, Numérica (Unidad)

● Método– De Medición, de Cálculo (Instrumento)

Modelo para MediciónMetric

namevalueInterpretationdefinitionreferencesaccuracy

DirectMetric

MeasurementMethod

type = {Objetive, Subjetive}includes

Measure

value

Attribute

namedefinitionobjetivereferences

Scale

<<enum>> scaleTypevalueType = {Symbol, Integer,Float}

Measurement

timePoint1

11

1

produces

1

1..*

1

1..*quantifies 11

contains

1

0..*

1

0..*refers_to

CalculationMethod

IndirectMetric

2..*2..*

related_metrics

Tool

namedescriptionversionprovider

Method

namespecificationreferences 0..*

1..*0..*

1..*automated_by

CategoricalScale

allowedValues

NumericalScale

type = {continuous, discrete}

Unit

namedescription

1

1..*

1

1..*

expressed_in

Repasando Conceptos● METRICA

– El método de medición o cálculo definido y la escala de medición

● Semejante a [ISO 14598-1].● Ej. Cantidad (o porcentaje) de enlaces rotos

– MEDICION● Actividad que usa la definición de la métrica para

producir el valor de una medida.– Se realiza en una determinada fecha, hora ...

– MEDIDA● Número o categoría asignada a un atributo de una

entidad mediante una medición [ISO 14598-1]

Repasando Conceptos

● METRICA DIRECTA– Una métrica de un atributo que no depende de

ninguna métrica de otro atributo.

Cantidad de Enlaces Rotos Internos

• Medidos por la presencia de errores del tipo 404, (410 ?)

Cantidad de Imágenes con Texto Alternativo

• Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web

Repasando Conceptos

● METRICA INDIRECTA– Una métrica de un atributo que se deriva de una o

más métricas de otros atributos.● Se formaliza por medio de una Función de Medición

(Fórmula, Ecuación). ● Función de Medición: Un algoritmo o cálculo que

permite combinar dos o más métricas.

Ejemplos de Métricas Indirectas

● Porcentaje de Enlaces Rotos de un Sitio

100×+

=talEnlacesCantidadTo

ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje

100×=stalImágeneCantidadTo

ágenesALTCantidadImLTPresenciaAPorcentaje

● Porcentaje de Presencia de la propiedad ALT.

Repasando Conceptos

● METODO (de MEDICION, CALCULO)– Secuencia lógica de operaciones y potenciales

heurísticas, expresadas de forma genérica, que permite la realización de una descripción de actividad.

– El tipo de método de medición va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos:

● Subjetivo: Cuando la cuantificación supone un juicio realizado por un ser humano.

● Objetivo: Cuando la cuantificación está basada en métodos numéricos.

Repasando Conceptos● INSTRUMENTO (Herramienta de Sw)

– Instrumento (o herramienta de software) que automatiza parcial o totalmente a un método de medición o cálculo.

● Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; web-based y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc.

● LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; web-based y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc.

● LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos de estado, etc. Herramienta de reparación.

Repasando Conceptos● Escala

– Un conjunto de valores con propiedades definidas [ISO 14598-1].

● Escala Numérica– Continua– Discreta

● Escala Categórica

– Tipos de Escala ● Nominal, ● Ordinal, ● Intervalo...

Repasando Conceptos

● UNIDAD (para escalas numéricas)– Una cantidad particular, definida y adoptada por

convención, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO-15939]

● Ejemplos: LOC, bytes, palabras, links ...

Repasando Conceptos

● TIPOS DE ESCALA

– Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta.

– Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, y los análisis estadísticos que pueden aplicarse sobre el conjunto de valores de la escala.

Escala, Tipos de EscalaScale

typeIs ranking

meaningful?Are distances

between scales the same?

Does the scale include an absolute zero?

Nominal No No No

Ordinal Yes No No

Interval Yes Yes No

Ratio Yes Yes Yes

Absolute Yes Yes Yes

Escala, Tipos de EscalaScale type Examples of suitable

statisticsSuitable statistical tests

Nominal Mode

Frequency

Non-parametric

Ordinal Median

Percentile

Non-parametric

Interval Mean

Standard deviation

Non-parametric and parametric

Ratio Mean

Geometric mean

Standard deviation


Absolute Mean

Geometric mean

Standard deviation


Tipo de

Escala

TransformaciónAdmisible

EstadísticasSignificativas

Ejemplos

Nominal Equivalencia uno-a-uno Moda, Frecuencia Test no paramétricos

Clasificación,etiquetado

Ordinal Funciones monotónicasincrementales

Mediana, Spearman yKendall Tau, W

Test no paramétricos (Todo lo previo)

Grado de disponibili-dad, funcionalidad,complejidad, etc.

Intervalo m1 = a m + b Media Aritmética,Desvío estándar

Coef. de correlación dePearson

Test no paramétricos (Todo lo previo)

Temperatura (Celsius,Fahrenheit) Tiemposrelativos, etc.

Proporción m1 = a m Porcentajes, MediaGeométrica

Test paramétricos y noparamétricos

(Todo lo previo)

Preferencia de calidad,tamaño (LOC),longitud, etc.

Absoluta m1 = m (Identidad) (Todo lo previo) Conteo

Métricas:Métricas: Tipos de EscalaTipos de Escala

Modelo para MediciónMetric


DirectMetric

MeasurementMethod

type = {Objetive, Subjetive}includes

Measure

value

Attribute

namedefinitionobjetivereferences

Scale


Measurement

timePoint1

11

1

produces

1

1..*

1

1..*quantifies 11

contains

1

0..*

1

0..*refers_to

CalculationMethod

IndirectMetric

2..*2..*

related_metrics

Tool

namedescriptionversionprovider

Method

namespecificationreferences 0..*

1..*0..*

1..*automated_by

CategoricalScale

allowedValues

NumericalScale

type = {continuous, discrete}

Unit

namedescription

1

1..*

1

1..*

expressed_in

Ejemplo de Atributos/Métricas

Necesidad de Información: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web

● Entidad: Producto (sitio Web) ● Concepto Calculable: Confiabilidad de Enlaces● Modelo para Confiabilidad de Enlaces (Link Reliability)

1. Link Reliability

// Atributos1.1 Internal Broken Links (IBL)

1.2 External Broken Links (EBL)

1.3 Invalid Links (IL)

Ejemplo de Atributos/Métricas

1. Link Reliability

// Atributos

1.1 Internal Broken Links (IBL)

// Dos Posibles Métricas para 1.1

a) #IBL Unidad: Enlace; Escala: Numérica, Enteros

Tipo de Escala: Absoluta

Tipo de Método de Medición: Objetivo

b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales

Tipo de Escala: Absoluta

Para Resaltar

● Las métricas (en el proceso de medición) NO pueden interpretar por sí solas a un concepto calculable (ej. Calidad, Confiabilidad, etc.)

Necesidad de INDICADORES para obtener Información Contextual (proceso de evaluación)

Conceptos para Evaluación

● Necesidad de Información ● Modelo de Concepto

– Concepto Calculable● INDICADOR

– Elemental (interpreta Medida de Métrica)– Global (calcula Modelo de Concepto)

● MODELO ELEMENTAL y GLOBAL● CRITERIO de DECISION● CALCULO, VALOR INDICADOR

Modelo para Evaluación

Metric


CalculableConcept

namedefinitionreferences

0..*0..*

subConcept

CalculationMethod

Scale


Indicator

nameaccuracyreferencesdescription

1 11 1

evaluates/estimates

includes

11

contains

Calculation

timePoint

10..*

10..*

related_to IndicatorValue

value1 11 1

produces

ElementaryIndicator

0..1

1

0..1

1interprets

ElementaryModel

namespecification

11

modeled_by

GlobalIndicator

2..*2..*

related_indicators

GlobalModel

namespecification

11

DecisionCriteria

namedescriptionrange

1..*1..*

has

1..*1..*

has

Repasando Conceptos

● INDICADOR– El método de cálculo y la escala definidos,

además del modelo y criterios de decisión con el fin de proveer una evaluación o estimación de un concepto calculable con respecto a una necesidad de información.

– Indicador Elemental● Preferencia de Enlaces Rotos Internos (IBL_P)

– Indicador Global● Preferencia en Confiabilidad de Enlaces (LR_P)

Repasando Conceptos● MODELO ELEMENTAL

– Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental.

Métrica Métrica Porcentaje de Enlaces Rotos InternosPorcentaje de Enlaces Rotos Internos

X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio● Modelo de Indicador Elemental

IE = 1 (or 100%) si X = 0;IE = 0 (or 0%) si X >= X max ;otherwise IE = (X max – X) / X max si 0 < X < X max

Repasando Conceptos● MODELO GLOBAL

– Algoritmo o función asociados a criterios de decisión que modela a un indicador global.

Ejemplo para Preferencia de Confiabilidad de Enlaces

– Modelo Aditivo

Indicador Global = (Peso componente x Indicator Elemental)

IG/P = P1 IE1+ ....+ Pn IEn

P1 + ....+ Pn = 1;

0 <= IEi <= 100

Repasando Conceptos● CRITERIO de DECISION

– Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939].

● Ejemplo de Criterio de Decisión– Niveles de Aceptabilidad

● Insatisfactorio (rango 0-40)● Marginal (rango 40-70)● Satisfactorio (rango 70-100)

Modelo para Evaluación

Metric


CalculableConcept

namedefinitionreferences

0..*0..*

subConcept

CalculationMethod

Scale


Indicator

nameaccuracyreferencesdescription

1 11 1

evaluates/estimates

includes

11

contains

Calculation

timePoint

10..*

10..*

related_to IndicatorValue

value1 11 1

produces

ElementaryIndicator

0..1

1

0..1

1interprets

ElementaryModel

namespecification

11

modeled_by

GlobalIndicator

2..*2..*

related_indicators

GlobalModel

namespecification

11

DecisionCriteria

namedescriptionrange

1..*1..*

has

1..*1..*

has

Ejemplo de Indicadores

1. Level of Link Reliability

1.1 Level of Internal Broken Links <Peso1.1> (Indicador1.1)

1.2 Level of External Broken Links <Peso1.2> (Indicador1.2)

1.3 Level of Invalid Links <Peso1.3> (Indicador1.1)

IG1 = P1.1 IE1.1+ P1.2 IE1.2+ P1.3 IE1.3

Example of IndicatorsCode Global/Partial

Indicator Name Elementary Indicator Name Weight Actual

Value 1. Quality in Use Level 57.43 1.1 Effectiveness Level 0.33 59.67 1.1.1 Task Effectiveness Performance Level 0.5 54.17 1.1.2 Task Completeness Performance Level 0.5 65.58 1.2 Productivity Level 0.33 51.87 1.2.1 Efficiency Level related to Task Effectiveness 0.5 49.76 1.2.2 Efficiency Level related to Task Completeness 0.5 54.04 1.3 Satisfaction Level 0.33 87.08 1.3.1 Calculated Satisfaction Level 1 87.08

In the case study we used the LSP model for calculation,In the case study we used the LSP model for calculation,

but if we’d use the additive model to calculate PIbut if we’d use the additive model to calculate PI1.11.1

PIPI1.11.1 = W = W1.1.11.1.1 EI EI1.1.11.1.1+ W+ W1.1.21.1.2 EI EI1.1.21.1.2

gives 60.29 instead of 59.67 gives 60.29 instead of 59.67

Para Resaltar Metrics are welcome when they are clearly needed and easy to collect and

understand

Utilidad de las Métricas● Datos a partir de Medición (objetiva, subjetiva)

● Especificar en el mundo numérico, la correspondencia de un atributo de un ente

● Operacionalizar Heurísticas● Servir de “base” a Métodos Cuantitativos de Evaluación o

Predicción. ● La métrica (y su medida) NO puede interpretar por sí sola un

concepto calculable (Necesidad de INDICADORES)

Para Resaltar

Indicators are ultimately the foundation for interpretation of information needs and decision-making.

Utilidad de los Indicadores

● Mapeo del mundo numérico a otro● Servir de base para cuantificar Conceptos Calculables

para una Necesidad de Información● Ofrecen Información/Conocimiento contextual● Los indicadores ofrecen información para la toma de

decisiones (Análisis y Recomendaciones)

ReferenciasOlsina, L.; Martín, M., 2004, Ontology for Software Metrics and Indicators, In Journal of Web Engineering, Rinton Press, US, Vol 2 Nº 4, pp. 262-281, ISSN 1540-9589

Molina, H; Papa, F.; Martin, M.; Olsina, L; 2004; Semantic Capabilities for the Metrics and Indicators Cataloging Web System. In: Engineering Advanced Web Applications, Matera M. Comai S. (Eds.), Rinton Press Inc., US, pp. 97-109, ISBN 1-58949-046-0

Martín, M.; Olsina, L., 2003, Towards an Ontology for Software Metrics and Indicators as the Foundation for a Cataloging Web System, In IEEE Computer Society (1st LA-WEB) Sant. de Chile, pp 103-113, ISBN 0-7695-2058-8.

Esquema


• Proceso de Evaluación• Medición/Evaluación orientada a Metas

• GQM


• Conclusiones

Proceso de Evaluación

● Los Procesos para Evaluación (ej. ISO 14598), son en su especificación original suficientemente genéricos y abstractos

– personalizables a las distintas necesidades del proceso de evaluación de calidad de productos de software y Web

● Los Procesos para Evaluación NO prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.

Proceso de Evaluación

● Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 14598 del ‘98.

– Establecimiento de los Requerimientos de Evaluación

– Especificación de la Evaluación– Diseño de la Evaluación– Ejecución de la Evaluación, y– Conclusión de la Evaluación

Proceso de Evaluación WebQEM

Q u ality R eq u ir em en tsD ef in it io n

M e tric D e fin ition E le m e nta ryIndic a tor D e fin ition

G loba l Indic a torD e fin ition

M eas u r em en tI m p lem en ta tio n

E lem en tar y I n d ic a to rI m p lem en ta tio n

G loba l Indic a torIm ple m e nta tion

Re q u ire me n tsS p e c ific a t io n

IS O / IEC 9126-1 Q u a lity M o d e ls o r o w n -d e fin e d W e b Q u a lity M o d e ls

W e b A u d ie n c e 's N e e d s Co n te xtu a lD e c is io nCrit e ria

M e a s u reVa lu e

In d ic a to rVa lu e

De

sig

n

of

the

Ev

alu

ati

on

D o c um e ntat io n / C o nc lus io n o f the E valuat io n

F in a lRe s u lt s

Re

co

mm

en

da

tio

ns

N on-func tiona l R e quire m e nts E le m e nta ry E va lua tion P a rtia l/G loba l E va lua tion

W e b P ro d u c tD e s c rip t io n s

Ev a lu a t io nGo a l

Ex

ec

uti

on

of

the

Ev

alu

ati

on

Ele me n ta ryIn d ic a to rS p e c ific a t io n

W e b P ro d u c tCo mp o n e n t s

Glo b a lIn d ic a to rS p e c ific a t io n

M e t ricS p e c ific a t io n

Esquema




• GQM• Marco de Medición y Evaluación INCAMI

• Componentes de INCAMI• Conclusiones

Qué es GQM: Enfoque, Modelo● Enfoque para la medición orientada a lograr ciertos

objetivos (metas) en una organización– algo más que juntar datos útiles...

● Enfoque arriba-abajo para determinar:– objetivos de la medición (de productos, etc.)– marco para definir con precisión qué medir

● Enfoque abajo-arriba para interpretar los datos a partir de los objetivos y las mediciones

● Historia:– 1984: Nace en Universidad de Maryland (Basili)– 1996: Fraunhofer Institute for Experimental Software Engineering– Fuerte adopción en la industria para planes de medición

Modelo GQM : Estructura

Estructura (Modelo) GQM● Nivel Conceptual (Goal-Meta)

– se define un objetivo (meta) para un objeto (ente), con respecto a determinado “modelo de calidad”, para un punto de vista, relativo a un contexto en particular

● Nivel Operativo (Question-Pregunta)– se refina un conjunto de preguntas a partir de una

meta, identificando el objeto de medición con respecto a características de calidad seleccionadas para un punto de vista.

● Nivel Cuantitativo (Metric-Métrica): – se asocia un conjunto de métricas para cada pregunta,

de modo de responder a cada una de ellas de un modo cuantitativo

Enfoque y Modelo Jerárquico GQM

DEFINITION

Goal 1

Question 11 Question 12 Question 13

Metric 111 Metric 112 Metric 121

INTERPRETATION

Object (Process, Artifact, Resource), Prupose, Qualityfocus, Human Agent (ViewPoint), Context.

Quality Model according to theAgent viewpoint and Context

Ejemplo de Plantilla de Metas

Para un Producto:● Analizar el producto final (ente, objeto)● con el propósito de comprender (objetivo,

propósito)● con respecto a la confiabilidad (foco de la calidad)● desde el punto de vista del usuario final (punto de

vista)● en el contexto de la proyecto X (contexto, ambiente)

GQM: EjemploPurposeCharacteristicEntityViewpoint

UnderstandLink ReliabilityStatic Pages of a Web SiteFinal User

Question 1.1 What is the level of internal and external broken links (physical error)?

Metric 1.1.1 Percentage of Internal Broken Links

Metric 1.1.2 Percentage of External Broken Links

Frequency of Broken Links per Hit Pages

Question 1.2 What is the level of invalid links (logical error)?

Metric 1.2.1 Percentage of Invalid Links

................... ............................................

Pasos Básicos para GQM● Desarrollar objetivos a nivel de organización, área y/o

proyecto para calidad, calidad en uso, etc.● Generar preguntas (basadas en plantillas, modelos,

experiencias previas) que definan esos objetivos de forma operacionalizable

● Especificar métricas útiles que se deben especificar para responder a las preguntas

● Desarrollar mecanismos para recolectar los datos● Recolectar, validar y analizar los datos en el momento

para retroalimentar a los proyectos para acciones de correctivas, de mejora, ...

● Analizar los datos post-mortem para evaluar conformidad con los objetivos y hacer recomendaciones para futuras mejoras

A Resaltar del Enfoque GQM

● GQM es un enfoque útil para decidir qué medir. ● La medición debe estar orientada a las metas

– permite a los tomadores de decisión, elegir aquellas métricas que se relacionen a las metas más importantes de los problemas más urgentes

– las metas brindan un contexto para el análisis e interpretación de los datos

● la explicación de las razones por las que se refinan ciertos objetivos en métricas permite evaluar la validez de las conclusiones

– Las personas deberían estar fuertemente involucradas en la definición e interpretación

● Toda recolección de datos debe estar basada en una justificación explícitamente documentada– métricas útiles y relevantes

A Resaltar del Enfoque GQM

● GQM es un enfoque flexible, pero genérico● Se podrían resaltar algunas debilidades:

– No parte de un marco conceptual bien definido del dominio de métricas e indicadores.

– No necesariamente (y explícitamente) está centrado en modelos de calidad, calidad en uso, entre otros

– El proceso de interpretación de las medidas de las métricas no está bien definido

● Por ejemplo, no se habla de indicadores elementales y globales

– Cuando intervienen muchas métricas puede ser difícil el proceso de análisis, interpretación y recomendación

● No prescribe modelo de agregación

Esquema


• Proceso de Evaluación• Medición/Evaluación orientada a Metas

• GQM

• Marco de Medición y Evaluación INCAMI

• Componentes de INCAMI

• Conclusiones

INCAMI (Information Need, Concept model, Attribute, Metric, and Indicator) [Olsina, Molina, Papa 05]

● INCAMI es un marco conceptual (framework) de utilidad para procesos de medición y evaluación

● Centrado en la Ontología de Métricas e Indicadores definida previamente [Olsina, Martín, 03, 04]

Introducción Enfoque INCAMI

● INCAMI es un enfoque (semejante a GQM) útil para decidir qué medir y evaluar. – La medición y evaluación debe estar orientada a metas

y necesidades de información, en el contexto de una organización, proyecto/s, etc.

– Centrado en Modelo de Conceptos (Calidad, Calidad en Uso, Costo, etc.)

– Se selecciona los atributos, métricas e indicadores útiles para una necesidad de información en particular

– Evaluación centrada en modelos de agregación, que facilita la interpretación y recomendaciones

Introducción Enfoque INCAMI

Ambiente de M&E

Componentes de INCAMI

Principales Componentes:

● Definición de Proyectos y Usuarios– Proyecto de Requerimientos, Medición y

Evaluación

● Especificación de Requerimientos centrados en modelos

● Diseño y Ejecución de la Medición. ● Diseño y Ejecución de la Evaluación.● Análisis y Recomendaciones

Componente: Proyecto de M&E

● Project: Representación abstracta de un proyecto de medición o evaluación.

● MEProject: Proyecto de medición y evaluación

● INCAProject: Proyecto que permite especificar los requerimientos en un proyecto de medición y evaluación

● MeasurementProject: Proyecto que permite realizar la medición a partir de los requerimientos especificados (INCAProject), en un proyecto de medición y evaluación

● EvaluationProject: Proyecto que permite realizar la evaluación a partir de una medición y de los requerimientos especificados, en un proyecto de medición y evaluación.

Componente: Proyecto de M&E

Componente RNF

Componente Medición

Componente Evaluación

Calculation

date_timeStampresponsibleName

Project(from INCAMI)

Metric(from Measurement)

ElementaryIndicator1 1-metric

1 1interprets

Range

namedescriptionupper_thresholdlower_threshold

ElementaryModel

namespecification

1

1

-elementaryModel 1

1

modeled_by

DecisionCriteria

1..*

1

-ranges 1..*

1

has1

1..*

-decisionCriteria

1

1..*

has

MeasurementProject(from Measurement)

GlobalModel

namespecificationweightedparameters []operators []

1 1..*-decisionCriteria

1 1..*has

Scale(from Measurement)

CalculationMethod(from Measurement)

GlobalIndicator

operatorparameters_values[]

1

1..*

-globalModel 1

1..*modeled_by

ConceptModel(from Requirements)

EvaluationProject

1

1

-measurementProject

1

1

based_on

Indicator

nameweightaccuracyreferences []

1

1

1

1

contains

1 11 1includes

0..*

1..*

-indicators 0..*

1..*

define

1..*

1

-relatedIndicators

1..*

1

related_indicators11

evaluates/estimates

IndicatorValue

valuetype = {actual,estimated}

0..*

1

0..*

1

implements

1 0..*

-indicator1 0..*

related_to

1

1

1

1

produces

Entity(from Requirements)

0..*

1 -evaluatedEntities

0..*

1

identifies

0..*

1

0..*

1

quantified_by

Arquitectura de INCAMI

● INCAMI está orientado a dar soporte tecnológico a procesos de QA en proyectos organizacionales

● Herramienta (INCAMI_Tool) en estado prototípico [Papa, Molina, 05]

– Toma de la base conceptual (ontología) de M&I.– Guarda metadatos y valores de métricas e indicadores

para proyectos específicos● Evaluación centrada en modelos de agregación

– Herramienta WebQEM_Tool● Permite uso de otras técnicas y métodos para análisis de

mediciones

Herramienta INCAMI_ToolHerramienta INCAMI_Tool

INCAMI_Tool: Definición de Modelo

INCAMI_Tool: Selección de Métricas

INCAMI_Tool: Selección Modelo Agregación

INCAMI_Tool: Resultados Finales

Para Resaltar

● INCAMI es un marco de definición y especificación de requerimientos no funcionales, de medición y de evaluación orientado a la necesidad de información, donde queda claramente establecido el propósito, el punto de vista, el contexto, el foco a evaluar, y el objeto sobre el cual se realizará la medición, evaluación y recomendaciones.

Para Resaltar

● INCAMI es un marco bien establecido dado que se centra en Modelos de Conceptos (p.ej. calidad, calidad en uso, costo, etc.) y, además, las Métricas seleccionadas para cuantificar los Atributos que forman parte del modelo son, por lo tanto, aquellas útiles, orientadas al propósito específico conforme a la Necesidad de Información a nivel organizacional o de proyecto.

Para Resaltar

● GQM es un enfoque simple, orientado a la meta de la medición, y ha sido utilizado en varios proyectos y organizaciones a nivel industrial

● GQM no está basado en una clara conceptualización de métricas e indicadores

● GQM adolece de esa base ontológica de modo que asegure que los datos (y los metadatos asociados a los datos como Escala, Unidad, Método, etc.) sean confiables, consistentes y repetibles para ulteriores análisis entre proyectos.

Para Resaltar

● GQM carece de conceptos específicos para evaluación con el fin de interpretar las mediciones (tal como nuestro marco realiza con la definición de Indicadores Elementales y Globales).

● La interpretación de las mediciones es un punto débil en GQM.

● GQ(I)M es un nuevo paradigma surgido a fines del 2003 (SEI)

Para Resaltar

● El trabajo de Kitchenham et al es el más cercano a nuestra investigación.

● Sin embargo, INCAMI está modelado con tecnologías de OO (a diferencia del modelo ER empleado por los autores), y como otras características distintivas está basado en una conceptualización explícita y formal, y contempla aspectos de evaluación.

Referencias

Basili V., Rombach H.D., 1989, The TAME Project: Towards Improvement-Oriented Software Environments, IEEE Trans. on Software Engineering, 14(6), pp. 758-773.

Kitchenham B.A.; Hughes R.T.; Linkman S.G.; 2001, Modeling Software Measurement Data, IEEE Transaction on Software Engineering, 27 (9), pp.788, 804.

Referencias

Olsina, L; Papa, F.; Molina, H; 2007, How to Measure and Evaluate Web Applications in a Consistent Way, Chapter Book to appear in a Springer Book titled Web Engineering: Modelling and Implementing Web Applications, Rossi, Pastor, Schwabe, and Olsina Eds.

Olsina, L; Molina, H; Papa, F.; 2005; Organization Oriented Measurement and Evaluation Framework for Software and Web Engineering Projects, In LNCS 3579 of Springer, Int’l Congress on Web Engineering, (ICWE’05), Australia, pp. 42-52

Esquema




• GQM


• Conclusiones

Conclusiones● Aseguramiento de Calidad (QA), como proceso de

soporte, es cada vez más prioritario a los procesos principales de las Líneas de Producción de Sw/Web

● Sin el robusto establecimiento de marcos y programas de medición y evaluación como soporte a QA, los proyectos de las organizaciones son menos repetibles y controlables y, en consecuencia, más propensos a fracasar.

● El marco INCAMI intenta realizar una contribución en este sentido– Trabajo Actuales/Futuros:

● Modelización de Contexto● Memoria Organizacional● INCAMI / CMMI

dr. luis olsina calidad, métricas, indicadores.. proceso de evaluación marco de medición y...

Documents