avaliação do produto requisitos do processo de avaliação as actividades de avaliação durante o...

Avaliação do Produto

Requisitos do Processo de Avaliação

As actividades de avaliação durante o processo de desenvolvimento de um

programaCarolina Sismeiro nº 12198Rui Sabença nº 13517

ISO/IEC 14598-3:2000(E) 2

Conteúdos

Requisitos do Processo de Avaliação Requisitos Gerais

Requisitos Organizacionais Requisitos do Projecto

Identificação dos Requisitos de Qualidade Especificação da Avaliação

Requisitos de Qualidade Externos Requisitos de Qualidade Internos

Desenho da Avaliação Planeamento da Avaliação Externa Planeamento da Avaliação Interna

Execução da Avaliação Avaliação Interna Avaliação do Produto Final

Revisão da avaliação da qualidade e “feedback” para a organização

Caso Prático

ISO/IEC 14598-3:2000(E) 3

Conteúdos



Identificação dos Requisitos de Qualidade Especificação da Avaliação


...

ISO/IEC 14598-3:2000(E) 4

Requisitos Gerais (1)

Requisitos Organizacionais Infra-estrutura que permita não só o registo

de dados, como também de alterações baseadas na análise de dados previamente realizada;

Requisitos do Projecto Processo disciplinado que permita o

planeamento e a direcção da avaliação e medição do software; Deve:

ser elaborado tendo em conta experiências anteriores; coordenar avaliação e reparação;

ISO/IEC 14598-3:2000(E) 5

Conteúdos



Identificação dos Requisitos de Qualidade

Especificação da Avaliação Requisitos de Qualidade Externos Requisitos de Qualidade Internos

...

ISO/IEC 14598-3:2000(E) 6

Requisitos de Avaliação(1)

Identificação dos Requisitos de Qualidade A ter em conta:

As necessidades do utilizador; Experiência organizacional; Experiência na área do trabalho que vai ser

desenvolvido; Requisitos de integridade do software; Padrões (standards) requeridos; Regulamentos; Leis; ...

ISO/IEC 14598-3:2000(E) 7


Requisitos do Sistema Custos; Garantias; Restrições do plano pré estabelecido;

ISO/IEC 14598-3:2000(E) 8


E ainda: Todas as partes envolvidas no projecto

devem participar na identificação e prioritização de requisitos, assim como na resolução de conflitos;

A organização deve fazer uma análise da praticabilidade dos requisitos, e assegurar que estes são viáveis, razoáveis, alcançáveis e verificáveis;

ISO/IEC 14598-3:2000(E) 9

Conteúdos

Requisitos do Processo de Avaliação ... Identificação dos Requisitos de Qualidade Especificação da Avaliação



...

ISO/IEC 14598-3:2000(E) 10

Especificação da Avaliação(1) “Medição” dos requisitos de

qualidade: Escolhe-se um ou mais atributos

externos para representar cada requisito;

Para cada requisito externo um ou mais atributos internos são seleccionados para representar aquele requisito.

ISO/IEC 14598-3:2000(E) 11

Especificação da Avaliação(2) Requisitos de qualidade externos

A organização deve definir: Em que processos do ciclo de vida e

actividades a medição e avaliação devem ser implementados;

Entidades a serem medidas e avaliadas; Atributos externos a serem medidos; Valores objectivo para cada métrica; Condições debaixo das quais a medição deve

ser efectuada.

ISO/IEC 14598-3:2000(E) 12

Especificação da Avaliação(3) Requisitos de qualidade externos

A organização deve ainda: Identificar métricas para cada requisito de

qualidade, a partir das entidades e dos atributos externos;

Executar uma análise refinada da praticabilidade dos requisitos de qualidade;

Assegurar que os requisitos são tecnicamente razoáveis, alcançáveis, verificáveis;

ISO/IEC 14598-3:2000(E) 13

Especificação da Avaliação(4) Requisitos de qualidade internos

A organização deve definir: Em que processos do ciclo de vida e actividades a

medição e avaliação dos atributos internos devem ser implementados;

Entidades a serem medidas e avaliadas; Atributos externos a serem medidos; Um conjunto de atributos internos que se relacionam

com todos os atributos externos – Estes atributos são usados como indicadores de qualidade;

Valores objectivo para os atributos internos, sempre que necessário;

Condições mediante as quais a medição deve ser realizada;

ISO/IEC 14598-3:2000(E) 14

Especificação da Avaliação(5) Requisitos de qualidade internos

A organização deve definir um conjunto de atributos internos que: Sejam adequados no domínio da aplicação e

no método a ser usado no desenvolvimento; Abranja cada produto intermediário e

actividade relevantes; Abranja riscos de desenvolvimento e o

produto identificado;

ISO/IEC 14598-3:2000(E) 15

Conteúdos

Requisitos do Processo de Avaliação ... Especificação da Avaliação

Requisitos de qualidade externos Requisitos de qualidade internos


Execução da Avaliação ...

ISO/IEC 14598-3:2000(E) 16

Desenho da Avaliação(1)

Planeamento da Avaliação Externa A avaliação externa diz respeito aos

requisitos de qualidade externos.

A organização deve Especificar os procedimentos de

levantamento de dados a realizar para obter os valores para cada métrica externa;

Definir a precisão da medição;

ISO/IEC 14598-3:2000(E) 17


Planeamento da Avaliação Interna A avaliação interna diz respeito à

monitorização da qualidade interna e controlo durante o desenvolvimento.

A organização deve definir: A precisão da medição especificando modelos

estatísticos e incluindo os requisitos dos dados, estratégias de amostragem;

Acções imprevisíveis, tais como avaliação extra, apenas se os resultados medidos forem inconclusivos ou alarmantes.

ISO/IEC 14598-3:2000(E) 18


Planeamento da Avaliação Interna A organização deve:

Especificar os procedimentos de levantamento de dados a realizar para obter os valores para cada métrica interna;

Ter cuidado com quaisquer alterações nas actividades de desenvolvimento do software, uma vez que podem implicar uma alteração neste processo devido á necessidade de aquisição de dados.

ISO/IEC 14598-3:2000(E) 19

Conteúdos

Requisitos do Processo de Avaliação ... Desenho da Avaliação

Planeamento da Avaliação Interna Planeamento da Avaliação Externa



Caso Prático

ISO/IEC 14598-3:2000(E) 20

Execução da Avaliação(1)

Relacionar o levantamento de dados referentes á qualidade, tal como planeado e comparar com os valores predefinidos como os valores objectivo.

Avaliação Interna A organização deve:

Recolher valores reais da medida para atributos internos definidos de acordo com as acções definidas do levantamento de dados;

Acautelar-se para assegurar a qualidade dos dados recolhidos;

ISO/IEC 14598-3:2000(E) 21


Avaliação Interna A organização deve:

Comparar os valores recolhidos com aqueles predefinidos;

Estimar a qualidade do produto final com os valores dos indicadores;

Usar os valores actuais para conferir tendências e assim identificar riscos;

Analisar os valores actuais com o propósito de identificar valores “outlier”;

ISO/IEC 14598-3:2000(E) 22


Avaliação do Produto Final A avaliação da qualidade de um produto de software

ocorre quando a fase de desenvolvimento estiver terminada.

A organização deve: Recolher valores reais da medida para atributos externos

definidos de acordo com as acções definidas do levantamento de dados;

Acautelar-se para assegurar a qualidade dos dados recolhidos;

Comparar os valores recolhidos com aqueles predefinidos; Fazer uma avaliação dos resultados da avaliação; Documentar o resultado da avaliação;

ISO/IEC 14598-3:2000(E) 23

Conteúdos

Requisitos do Processo de Avaliação ... Desenho da Avaliação

Planeamento da Avaliação Interna Planeamento da Avaliação Externa



Caso Prático

ISO/IEC 14598-3:2000(E) 24

Revisão da avaliação da qualidade e “feedback” para a organização A organização deve:

Disponibilizar os dados recolhidos para reutilização;

Rever os resultados da avaliação, a validade do processo de avaliação, os indicadores e métricas aplicadas.

O “feedback” obtido após a revisão deve ser usado para aperfeiçoar os processos e os métodos de avaliação.

Caso Prático

Software Educacional

ISO/IEC 14598-3:2000(E) 26

Caso Prático

Requisitos Gerais Requisitos Organizacionais

Pelo menos dois computadores com as seguintes características mínimas: Windows 2000 (SP2) ou XP (SP2) Processador Pentium® IV 1024 MB de memória RAM Leitor e Gravador de DVDS Placa de som compatível CL Sound Blaster (16 bits) Placa gráfica AGP (milhares de cores a 1024x768) 80 GB de disco rígido

ISO/IEC 14598-3:2000(E) 27

Caso Prático

Requisitos Gerais Requisitos do

ProjectoProcess Table Key: X = Responsibility; R = Review; A = Approval required

Software Development Process Project ManagerSoftware Quality Software Developer User

Schedule

(fill in your dates)

Step 1: Concept Development

Determine User Requirements X R

Software Request for Proposal (RFP) X RA

Software Contract Package X RA

Developer Qualifications Review RA RA X

Step 2: Defining Requirements

Software Planning Documents RA RA X R

Step 3: Design

Software Prototype & Review RA X R

Design Document (DD) RA X

ISO/IEC 14598-3:2000(E) 28

Caso Prático


Projecto Process Table Key: X = Responsibility; R = Review; A = Approval required

Software Development Process Project Manager Software Quality Software Developer User

Schedule


Step 4: Implementation

Project Plan Status Review RA X

Code Software X

Create Solved Examples RA R 1 X

Unit, System, and Integration Tests X

Draft Documentation RA R 1 X

Verification & Validation (V&V) RA R 1 X

Step 5: Alpha & Beta Test

Alpha Test (Developer) X

Alpha Test (Required if Alpha version going to customers) RA RA X R

Beta Test (Required for all software going to customers) RA RA X R

Note: 1 = Reviewed at the Final Acceptance Test (Step 6)

ISO/IEC 14598-3:2000(E) 29

Caso Prático


ProjectoProcess Table Key: X = Responsibility; R = Review; A = Approval required

Software Development Process Project Manager Software Quality Software Developer User

Schedule


Step 6: Final Acceptance Test

Set up Software Distribution X

Final Acceptance Test R RA X

Step 7: Support & Maintenance

Software Support RA X

Software Enhancements & Bug Fixes R RA X

ISO/IEC 14598-3:2000(E) 30

Caso Prático

Identificação dos Requisitos de Qualidade Pertinência em relação ao programa curricular

O software educacional deve ser adequado e pertinente em relação a uma disciplina específica ou a um contexto educacional e permitir a identificação do modelo de aprendizagem que privilegia, deixando explícitos os seus objectivos pedagógicos.

Utilização de recursos computacionais O software educacional deve aproveitar as qualidades

únicas do computador como meio. A simples transferência de conteúdos para um programa não traz ganhos para a educação.

Avaliação da aprendizagem É importante que o software permita que o(a) docente ou

os pais verifiquem se e quais os conceitos estão a ser aprendidos pelos alunos ou seja, a efectividade da aprendizagem.

ISO/IEC 14598-3:2000(E) 31

Caso Prático

Identificação dos Requisitos de Qualidade Interacção

O software educacional deve proporcionar uma boa condução da criança durante a interacção com as diferentes interfaces, que facilite a aprendizagem e utilização do programa, e, consequentemente, melhore o desempenho e diminua o número de erros.

Adaptabilidade Um software educacional não consegue abranger a todo

momento todo o seu público-alvo, mas pode ser capaz de adaptar-se às necessidades e preferências de diferentes perfis de utilizador.

Controlo e autonomia do utilizador O controlo e liberdade do utilizador referem-se tanto ao

controle que os utilizadores devem ter sobre o processamento de acções solicitadas quanto à liberdade que devem ter sobre a utilização destas acções.

ISO/IEC 14598-3:2000(E) 32

Caso Prático

Identificação dos Requisitos de Qualidade Recursos apelativos

O uso de recursos apelativos (figuras, sons, animações) tem grande importância em software do tipo educacional. Estes recursos podem estimular os jovens e proporcionar o aumento da vida útil do programa ao fazer com que eles desejem usá-lo mais vezes.

Gestão de erros O software educacional deve tratar os erros que

ocorrerem de forma diferenciada, dependendo da sua classificação: erros de utilização ou erros conceituais.

Carga de trabalho A carga de trabalho refere-se a toda informação

contida nas interfaces do software educacional que serão utilizadas para a realização de tarefas.

ISO/IEC 14598-3:2000(E) 33

Caso Prático

Identificação dos Requisitos de Qualidade Conteúdo

O software educacional deve apresentar seu conteúdo, ou seja, toda a informação contida no software que se intenciona transmitir aos jovens, de forma objectiva e adequada a uma proposta pedagógica.

Significado de códigos e denominações O significado de código e denominações refere-se à

correspondência entre o objecto apresentado e a respectiva informação apresentada.

Consistência e Padrões Consistência e padrões referem-se à uniformidade na

apresentação de elementos e informações de um software, que ajuda a evitar que a criança tenha dúvidas se palavras, situações ou acções diferentes no software significam ou não a mesma coisa.

ISO/IEC 14598-3:2000(E) 34

Caso Prático

Identificação dos Requisitos de Qualidade Correspondência entre o software e o mundo real

A correspondência com o mundo real refere-se à escolha e uso de padrões, convenções ou associações familiares ao utilizador no software educacional. A utilização destas convenções fazem a informação aparecer numa ordem lógica e natural para o utilizador, facilitando a compreensão e utilização do programa.

Documentação O software educacional pode fornecer documentação

direccionada tanto para pais/docentes quanto para os jovens. No caso de adultos, a documentação refere-se à descrição do software (identificação, recursos necessários, objectivos, entre outros) e ao uso (instalação e instrução), enquanto para os jovens, a documentação refere-se somente ao uso do programa (instrução).

ISO/IEC 14598-3:2000(E) 35

Caso Prático Especificação da Avaliação

Requisitos de Qualidade Externos Quando o produto está quase finalizado, pronto para ser testado

por utilizadores externos, devem ser definidas as condições em que este será testado, por exemplo uma escola onde os alunos testaram o programa e no final preencheram um inquérito em que dão a sua classificação a vários níveis como por exemplo interacção, interesse, aprendizagem e mais medidas de avaliação do produto, podem fazer-se dois testes, um com os alunos sozinhos e outro com ajuda de professores. Todos estes testes devem ter em conta resultados de testes feitos anteriormente para outros produtos, para se conseguir alcançar o objectivo da melhoria contínua.

Requisitos de Qualidade Internos Quem fez o produto deve definir em que alturas este deve ser

avaliado dentro da empresa, por exemplo quando se acabou uma parte interface, ou uma parte de conteúdos, tem que se definir como é avaliada cada uma e com que valores, para depois serem analisados; deve dar-se prioridade às partes que já têm informação interna na empresa.

ISO/IEC 14598-3:2000(E) 36

Caso Prático

Desenho da Avaliação Planeamento da Avaliação Externa

As métricas externas são adquiridas através de inquéritos feitos aos alunos e professores. Devem-se tentar fazer inquéritos individuais sempre que possível, principalmente em relação aos alunos pois estes têm a tendência a debaterem entre si o que responder, o que pode levar a uma amostra menos precisa.

Planeamento da Avaliação Interna A organização define os pontos do trabalho que devem ser

analisados por outros programadores, tendo em conta métricas por ele estipuladas e que devem ser recolhidas por um sistema que a própria empresa possa ter de documentação interna. Se por exemplo os resultados não derem valores conclusivos ou derem resultados muito extremos, podem-se usar beta testers. Caso haja alterações no desenvolvimento do programa, esta avaliação pode sofrer alterações.

ISO/IEC 14598-3:2000(E) 37

Caso Prático

Execução da Avaliação Avaliação Interna

A organização deve recolher os dados internos, verifica que são de qualidade, que não foram adulterados, analisando os dados para ver se está tudo como foi definido ou se foram encontrados problemas.

Avaliação do Produto Final A organização deve recolher os resultados externos, neste caso os

inquéritos feitos na escola, analisar, tirar conclusões em relação ao produto. E guardar os resultados da análise dos dados recolhidos para poderem servir para outros produtos, como informação.

Revisão da avaliação da qualidade e “feedback” para a organização Após a análise dos testes feitos ao produto, ainda em fase de

desenvolvimento, e do resultado das entrevistas feitas a alunos e professores, devemos guardar essa informação para ajudar na produção de futuros produtos na empresa, que se possam basear em informações obtidas por esta análise, para melhorar cada vez mais a qualidade dos produtos produzidos.

Processo de Avaliação de um Produto

Questões?