1 avaliação de desempenho de sistemas computacionais análise de dados marcos josé santana regina...
TRANSCRIPT
![Page 1: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/1.jpg)
1
Avaliação de Desempenho de Sistemas Computacionais
Análise de Dados
Marcos José Santana
Regina Helena Carlucci Santana
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
![Page 2: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/2.jpg)
2
Conteúdo
1. Planejamento de Experimentos2. Técnicas para Avaliação de
Desempenho
3.3. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de resultados– Exemplos
![Page 3: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/3.jpg)
3
Introdução
Massa de Dados
Dados agrupados Parâmetros Típicos
Coleta de Dados
Organização dos Dados
Caracterização dos Dados
2
X
H
Estatística Descritiva
![Page 4: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/4.jpg)
4
Introdução
•Inferência Estatística– A partir de amostras -> conclusões
sobre a população• Erro amostral – elementos atípicos que
não representam a amostra -> diferença entre amostra e população
• Amostra viciada – tendência maior em selecionar algum tipo de elemento
![Page 5: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/5.jpg)
5
Introdução•Inferência Estatística
– Erro amostral - cálculo aproximado
N – tamanho da população
E0 – Erro amostral tolerável
n – tamanho da amostra
![Page 6: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/6.jpg)
6
Introdução•Inferência Estatística
– Erro amostral - cálculo aproximado
N – tamanho da população
E0 – Erro amostral tolerável
n – tamanho da amostra
E0
Pesquisas eleitorais
Esse comportamento explica a razão da amostra para eleição de prefeito de
uma grande cidade ser praticamente igual a de eleição para presidente
![Page 7: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/7.jpg)
7
Análise de Resultados - Introdução
População
População
Amostragem
Amostra
Amostra
Dados Organizados
Dados Organizados
Conclusões sobre a
população
Conclusões sobre a
populaçãoInferência
Análise Descritiva
![Page 8: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/8.jpg)
8
Análise de Resultados Eleição 2010 Boca de Urna
Ibope ouviu 4300 eleitores
pesquisa registrada no TSE (Tribunal Superior Eleitoral) com o número 33805/2010
Pesquisa Boca de Urna - 2010
0
10
20
30
40
50
60
Dilma Serra Marina Plinio
•2 pontos percentuais para mais ou para menos
•Intervalo de confiança de 99%
46,9
![Page 9: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/9.jpg)
9
Análise de ResultadosProcedimento erradoerrado normalmente utilizado
para uma avaliação
1. Desenvolvimento de um procedimento para avaliação
2. Validação e verificação do sistema de avaliação
3. Obtenção dos resultados através de umauma execução da forma de avaliação escolhida
4. Conclusões sobre o sistema em estudo
Equivalente a se considerar uma amostra unitária
![Page 10: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/10.jpg)
10
Análise de ResultadosPor que esse Procedimento está erradoerrado?
Sistema a ser Sistema a ser AvaliadoAvaliado
entradas
saídas
Resultados
Tem-se controle de todo o sistema?
Como são controladas as entradas do sistema?
Quais as condições iniciais do sistema?
O que mais o sistema está processando no momento da avaliação?
Como controlar as interrupções?
Diferentes características a serem consideradas, p.ex. onde estão localizadas as informações no disco?
AferiçãoAferição
![Page 11: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/11.jpg)
11
Análise de ResultadosPor que esse Procedimento está erradoerrado?
Tarefa programada pode ser ativada durante a execução?
Interrupção do clock.
Variável necessária está no cache? Na primeira vez que o processo executa pode não estar.
Quais as condições iniciais do sistema?
Que outros processos estão executando?
Tempo para Execução de Tempo para Execução de um processo em um um processo em um Sistema OperacionalSistema Operacional
![Page 12: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/12.jpg)
12
Análise de Resultados
Sistema a Sistema a serser
AvaliadoAvaliado
ModelModeloo
Execução Execução da da
simulaçãsimulaçãoo
entradas
saídas
Variáveis aleatórias
Resultados Estocásticos
Representadas por
Estimativa das
ModelageModelagemm
![Page 13: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/13.jpg)
13
Análise de Resultados
Portanto, Portanto,
Em uma aferição, a medida obtida é uma dentre um conjunto de
possibilidades
Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao
processo estocástico da simulação
![Page 14: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/14.jpg)
14
Análise de Resultados
Portanto... Portanto...
Deve-se utilizar os resultados que a estatística nos oferece para analisar
os resultados dos experimentos.
Estatística: ciência que investiga os processos de obtenção, organização e
análise de dados sobre uma população e os métodos de tirar conclusões e fazer
predições com base nesses dados.
Aurélio
![Page 15: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/15.jpg)
15
Análise de Resultados
População
População
Amostragem
Amostra
Amostra
Dados Organizados
Dados Organizados
Conclusões sobre a
população
Conclusões sobre a
populaçãoInferência
Análise Descritiva
Conjunto de Resultados
Possíveis (infinito)
Conjunto de Medições
Realizadas
Cálculo de médias, máximos,
mínimos,intervalo de confiança, erro...
Conclusões sobre o Sistema Real
![Page 16: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/16.jpg)
16
Análise de Resultados
Cuidado... Cuidado...
“Como mentir com Estatística”livro célebre de Huff, 1954.
Na verdade, nem sequer é preciso mentir, apenas mostrar a informação
conveniente e omitir as outras
Ricupero
![Page 17: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/17.jpg)
17
Análise de Resultados
Cuidado... Cuidado...
... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político.
Crossen (1996)
![Page 18: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/18.jpg)
18
Análise de Resultados
Cuidado... Cuidado...
Os números são lindos!!!!
Mas são também traiçoeiros....
Primeiro ponto a ser consideradoQue métricas estão sendo utilizadas?
O que representam os valores obtidos?
![Page 19: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/19.jpg)
19
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução
– Medidas de DesempenhoMedidas de Desempenho– Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
![Page 20: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/20.jpg)
20
Medidas de Desempenho Freqüentemente Utilizadas
• Medidas de Posição– Média– Moda– Mediana
• Medidas de Dispersão– Desvio Padrão– Variância– Percentis– Box-Plot
![Page 21: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/21.jpg)
21
Medidas de Posição• Média
– média aritmética dos valores– valores extremos “puxam” a média
• Moda– valor que ocorre mais vezes
• Mediana– divide o conjunto em duas partes iguais– num conjunto ordenado a mediana esta no
centro– Não é influenciada por valores extremos
![Page 22: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/22.jpg)
22
1,382º
1,403º
1,351º
1,434º
1,455º
1,486º
1,487º
1,508º
1,529º
1,382º
1,403º
1,351º
1,434º
1,455º
1,486º
1,487º
1,508º
1,959º
md
X=1,44
X=1,49
Medidas de Posição
Média X Mediana
![Page 23: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/23.jpg)
23
Medidas de Posição
0
10
20
30
40
50
60
70
80
90
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
% user % sys % wait for IO Fila de Execução
Exemplo: Medidas relacionadas a utilização da CPU de um Servidor
Ver planilha....
![Page 24: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/24.jpg)
24
Medidas de Dispersão
• Medidas de Dispersão– Variância
– Desvio Padrão
– Análise de percentis
– Box-Plot
![Page 25: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/25.jpg)
25
Medidas de Dispersão
• Percentis – dividem os dados em cem partes de tamanhos iguais
• Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75– 1º Quartil Q1 ou Q0.25 - valor a que
corresponde a percentagem cumulativa de 25%
– 3º Quartil Q3 ou Q0.75 - valor a que corresponde a percentagem cumulativa de 75%
![Page 26: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/26.jpg)
26
Medidas de Dispersão
• Box Plot– Mostra a mediana, primeiro e terceiro quartis de
uma distribuição (pontos 50%, 25% e 75% na distribuição acumulada)
– Noção de outlier: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente
![Page 27: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/27.jpg)
27
Medidas de Dispersão
•Outliers – valores extremos da população.
•Moderados (1ª espécie)(o)[Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e[Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)]
•Severos (2ª espécie)(*)[Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)]
Q3 ou Q0.75
Q1 ou Q0.25
Mediana D
D – Distância entre Quartis
I
I – Intervalo das Amostras sem Outliers
*
o
o
o
o
*
![Page 28: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/28.jpg)
28
Medidas de Dispersão
• Valores extremos Outliers– Dados díspares, muito grandes ou muito pequenos, em
relação aos demais, – Influenciam muito as médias– Podem distorcer conclusões– É fundamental sua detecção e tratamento.
• Possíveis causas de valores espúrios:– Erro na fase de mensuração (tomada da medida)– Erro na transcrição ou anotação do registro– Mudanças (reais) não-controláveis nas condições
experimentais.– Característica da variável (ex.:instabilidade)
![Page 29: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/29.jpg)
29
Medidas de Dispersão
• Tratamento de Outliers– Muita controvérsia...– Não existe um critério ou metodologia
para rejeição de dados– Problema maior quando tem-se
pequena quantidade de dados ou uma distribuição normal não pode ser garantida.
“Nós estatísticos, não gostamos disso!” Marinho Gomes de Andrade Filho
![Page 30: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/30.jpg)
30
Medidas de Dispersão
• Analisando Observações Atípicas (Exemplos)– Exemplo 1 – amostra sendo obtida em um sistema
durante o mês de abril de 2a. a 6a. das 9 as 17;• 21/04 – 6a.feira – feriado - deve ser desprezado
– Exemplo 2- Requisições de um servidor Web
– Exemplo 3 –Sistema Distribuído ambiente de desenvolvimento de software – distribuição bimodal
– Exemplo 4 –Acessos a um servidor Web ao longo de um dia
![Page 31: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/31.jpg)
31
Medidas de Dispersão
• Podem-se desprezar dados atípicos?
Apenas o especialista na área pode responder.....
![Page 32: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/32.jpg)
32
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho
– Análise Estatística dos ResultadosAnálise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
![Page 33: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/33.jpg)
33
Análise de Resultados
Considera-se que alguma técnica para avaliação de desempenho e obtenção
dos resultados tenha sido utilizada
![Page 34: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/34.jpg)
34
Análise de Resultados
Em qualquer experimentação, trêsproblemas a serem considerados:
1. Condições iniciais da experimentação
2. Quando parar uma experimentação3. Resultado de uma execução
oferece um resultado dentre muitos outros possíveis
![Page 35: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/35.jpg)
35
Análise de ResultadosPrimeiro problema: Qual as Primeiro problema: Qual as condições iniciais que deve-se condições iniciais que deve-se ter para iniciar uma avaliação?ter para iniciar uma avaliação?
Três condições possíveis:1. Início no estado vazio; 2. Início no estado de maior
probabilidade de ocorrência; 3. Início na média do estado de
equilíbrio
![Page 36: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/36.jpg)
36
Análise de Resultados1.Início no estado vazio
• Simples
• Todos os servidores desocupados -> filas vazias
• Importante para a análise do transitório mas não do comportamento estacionário
• Ex.: Banco
•Comportamento normal x inicial
• Solução:
•Valores iniciais
•Truncamento
•Experimentação muito grande
![Page 37: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/37.jpg)
37
Análise de Resultados
2. Início no estado de maior probabilidade de ocorrência;
• Vantagem: – Começar em um estado representativo do
sistema
• Desvantagem: – Como determinar o estado mais provável?
– Como levar o sistema até esse estado?
![Page 38: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/38.jpg)
38
Análise de Resultados3. Início na média do estado de equilíbrio
Começar a coleta para estatísticas quando os resultados se estabilizam
Truncamento de dados • Período de aquecimento – warm-up• Retardar a coleta de estatísticas por um período de
aquecimento• Problema: quando truncar?
10% do valor total (??)
![Page 39: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/39.jpg)
39
Análise de ResultadosSegundo problema: Quando parar a Avaliação?Segundo problema: Quando parar a Avaliação?
Algumas possibilidades:
1. Limitar tempo de experimentação2. Limitar o número de elementos que
entram no sistema avaliado3. Limitar o número de entidades
processadas por um servidor4. Parada automática
![Page 40: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/40.jpg)
40
Análise de Resultados
1. Limitar tempo de experimentação
Desvantagem: número de amostras coletadas será diferente em cada caso
2. Limitar o número de elementos que entram no sistema
Termina em estado vazio e ociosoProblema inicial
![Page 41: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/41.jpg)
41
Análise de Resultados
3. Limitar o número de entidades processadas por um servidor
Problema: sistemas com prioridadesEx.: termina só com tarefas longas na fila – pode
camuflar os resultados
4. Parada automáticaManipulam resultados da experimentação em
intervalos selecionadosCalculam média e variânciaExperimentação pára quando a estimativa da
variância da média está dentro de certa tolerância
![Page 42: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/42.jpg)
42
Análise de Resultados
Primeiro e Segundo problemas:Primeiro e Segundo problemas:
• Relacionados com a condução do Relacionados com a condução do experimentoexperimento
• Dependem muito da técnica de Dependem muito da técnica de avaliação que está sendo utilizadaavaliação que está sendo utilizada
• Depende bastante do sistema que Depende bastante do sistema que deve ser avaliadodeve ser avaliado
![Page 43: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/43.jpg)
43
Análise de Resultados
Terceiro problema:Terceiro problema:
Durante a obtenção de dados sobre sistemas computacionais, tem-se que...
Os Resultados de uma medição oferecem um resultado dentre
muitos outros possíveis
![Page 44: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/44.jpg)
44
Análise de ResultadosTerceiro problema:Terceiro problema:
• Deve ser utilizado em qualquer Deve ser utilizado em qualquer experimento que gere um conjunto de experimento que gere um conjunto de resultados possíveisresultados possíveis
• Após a obtenção dos resultados estes Após a obtenção dos resultados estes devem ser analisados independente devem ser analisados independente da técnica utilizadada técnica utilizada
• Qual resultado deve ser considerado?Qual resultado deve ser considerado?• Como comparar dois conjuntos de Como comparar dois conjuntos de
resultados?resultados?
![Page 45: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/45.jpg)
45
Análise de Resultados
Como analisar os diferentes Como analisar os diferentes resultados de uma avaliação?resultados de uma avaliação?
• Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança
• Deve-se considerar diversos resultados provenientes de diferentes execuções– Para simulação: utilizar conjuntos de
números aleatórios sem correlação – diferentes sementes
– Para aferição: considerar diversas medidas
![Page 46: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/46.jpg)
46
Utilização da CPU
• Semente 1 0.33123
• Semente 2 0.32571
• Semente 3 0.32510
• Semente 4 0.31999
• Semente 5 0.33813
DISCO2
CPU
DISCO1
Análise de Resultados - Exemplo
Como analisar estes resultados?Perigo utilizar resultados de uma única simulação
![Page 47: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/47.jpg)
47
Análise de ResultadosUtilização de Intervalos de confiançaUtilização de Intervalos de confiança
•A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema
•Podemos utilizar: –Valores fixos–Intervalos
•Valores fixos não permitem estimar o erro cometido
• Intervalos de confiança permitem avaliar a confiança no resultado
![Page 48: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/48.jpg)
48
Análise de Resultados
O que é o Intervalo de confiança?O que é o Intervalo de confiança?
Intervalo que com uma determinada Intervalo que com uma determinada probabilidade (confiança) contem o valor do probabilidade (confiança) contem o valor do
parâmetro estudadoparâmetro estudado
N
ii nyys
1
22 1)/()(
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
Confiança = 100*(1- )% = probabilidade de erroY = média da amostraH = Largura do Intervalo de
Confiança
![Page 49: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/49.jpg)
49
Análise de ResultadosO que significa O que significa Intervalo de confiançaIntervalo de confiança??
Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo
Nada garante que o resultado de uma única execução (Yi) cairá no intervalo
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
O resultado de uma única execução
poderá estar na área definida por /2
![Page 50: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/50.jpg)
50
Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de
confiançaconfiança??(para amostras menores que 30)(para amostras menores que 30)
1. Ordenar os valores obtidos2. Eliminar os /2 maiores valores3. Eliminar os /2 menores valores4. Obtém-se o intervalo procurado
Ou então…Ou então…
Utiliza-se o Teorema do Limite Central e a Tabela t-student
![Page 51: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/51.jpg)
51
Análise de Resultados
![Page 52: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/52.jpg)
52
Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de
confiançaconfiança??
Média Amostral Yi = Média das observações de uma execução
Estimativa Global Y = Média das médias amostrais
Variância Amostral
Desvio Padrão (DP)
t1-/2,N-1 distribuição Student com N-1 graus de
liberdade e nível de confiança igual a 1-
N
ii Nyys
1
22 )1/()(
2s
![Page 53: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/53.jpg)
53
Análise de Resultados
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
Como determinar o Como determinar o Intervalo de Intervalo de confiançaconfiança??
Largura do Intervalo de Confiança de 100(1- )%
H = t * desvio
H = t1-/2,N-1 *
Intervalo de confiança
Y ± H
Relação entre halfwidth e média
H/Y
ns /2
![Page 54: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/54.jpg)
54
Análise de Resultados - Exemplo
• Xi: tempo na fila para cliente i• X: tempo médio na fila para 5.000
clientes: média real para tempo na fila -> não
conhecido
Tchegada = 125
Tserviço = 100
![Page 55: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/55.jpg)
55
Análise de Resultados - Exemplo• Simulação executada 10 vezes para
diferentes conjuntos de números aleatórios, obtendo-se:
331,993 447,532
366,052 420,858
403,524 355,959
464,856 492,144
393,393 389,200
Y = 406,551
Esse valor está suficientemente próximo de ?
![Page 56: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/56.jpg)
56
Análise de Resultados - Exemplo• Simulação executada 10 vezes
1- = 0,95 = 0,05
Média = Y = 406,551
Variância = S2 =
DP =
t.05/2;9 = 2,26
H = t.05/2;9 *DP =36,012
IC: 370,54 – 442,56
331,993 447,532
366,052 420,858
403,524 355,959
464,856 492,144
393,393 389,200
10
1
2
082,25399
......)551,406993,331(
i
389,50082,25392 s
![Page 57: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/57.jpg)
57
Análise de Resultados - ExemploH = 36,012
IC: 370,54 – 442,56
Tem-se 95% de certeza que a
média verdadeira está entre 370,54 –
442,56
Valores individuais podem estar fora do intervalo de
confiança
Se a simulação for repetida várias vezes e em cada vez
for determinado o intervalo de confiança, 95% destes
intervalos irão conter a média verdadeira
![Page 58: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/58.jpg)
58
Análise de Resultados - ExemploMédia = Y = 406,554
H = 36,012
IC: 370,54 – 442,56
Amplitude do intervalo de confiança = 72 17,8% do valor médio
Não é um valor muito grande?
Como diminuir?
Aumentando o número de replicaçõesAumentando o número de replicações
![Page 59: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/59.jpg)
59
Análise de Resultados
Controle do ErroControle do Erro
Utilizando-se a técnica de replicações:
Não pode-se determinar a precisão desejada
Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro
![Page 60: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/60.jpg)
60
Análise de Resultados - Exemplo• Para o exemplo anterior• Suponha que se queira 2*H <= 15% da Média
H <=30,49• Seja r = as próximas replicações
r tr-1;0,95 tr-1;0,95*
11 2,23 15,934 35,53393
12 2,20 15,193 33,42448
13 2,18 14,546 31,71058
14 2,16 13,975 30,18703
1
74,22851
r
São necessárias mais 4 replicações para atingir o erro máximo desejado
1
74,22851
r
![Page 61: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/61.jpg)
61
Análise de Resultados
Batch Means – outra abordagem para atingir a precisão desejada
Executar uma parte da experimentação (batch)
Determinar intervalo de confiança
Se atingiu precisão
Então parar
Senão Executar mais um batch e retornar ao cálculo do intervalo de confiança
Vantagem: apenas 1 warm-up
Desvantagem: maior complexidade
![Page 62: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/62.jpg)
62
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados
– Comparação de ResultadosComparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
![Page 63: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/63.jpg)
63
Análise de Resultados
Comparação entre dois experimentos
• Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos
• Definem se os resultados são estatisticamente diferentes
![Page 64: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/64.jpg)
64
Comparação entre dois experimentos
Variabilidade Média
Variabilidade Baixa
Variabilidade Alta
Teste visual
![Page 65: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/65.jpg)
65
Comparação entre dois experimentosTeste visual
A
B
Caso 1 A
BA
B
Caso 2 Caso 3
Caso 1 – ICs não sobrepostos A > B
Caso 2 – Média de um está inserida no IC do outro A = B
Caso 3 – ICs sobrepostos mas média está fora necessário outro teste
![Page 66: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/66.jpg)
66
Comparação entre dois experimentos
Área de Estatística oferece grande número de testes para comparação
entre experimentos:– Teste t-student – para comparar a
média de duas amostras– Teste para amostras pareadas– Teste para amostras não pareadas– Análise de Variância - para comparar
média de três ou mais amostras– Chi-Quadrado e Poisson - para valores
não contínuos
![Page 67: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/67.jpg)
67
Comparação entre dois experimentos
Cáculo número de graus de liberdade n = nT + nC - 2
Entrar na tabela t-student com n e confiança desejada ttab
Se t > t tab médias são diferentes
Se t < t tab não existe diferença significativa entre as médias
Teste T-student
Cáculo o valor de t para a amostra:
![Page 68: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/68.jpg)
68
Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir:
Análise de Resultados
A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,2) 0,4 0,5
O que se pode concluir?
![Page 69: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/69.jpg)
69
Análise de Resultados A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,2) 0,4 0,5
A
B
AB
H1 (0,05)
A - 11,2 – 12,2
B – 10,1 – 11,9
H2 (0,2)
A – 11,6 – 12,4
B – 10,5 – 11,5
![Page 70: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/70.jpg)
70
Análise de Resultados A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,1) 0,4 0,5
A
B
AB
VarA = 1,13
VarB = 1,27
10/27,110/13,1
1112
t
n = nA + nB – 2 = 18 t =2,040
H1 (0,05) tt = 2,101 > 2,040 H1 (0,2) tt = 1,330 < 2,040
Não existe diferença significativa Médias diferentes
![Page 71: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/71.jpg)
71
Teste de hipótese X Intervalo de Confiança
Teste de hipótese
•Resposta: aceita ou rejeita a hipótese
•Conclusivo: não deixa dúvida
•Não oferece maiores informações
•Difícil de interpretar
•O que significa tt = 2,101 > 2,040?
![Page 72: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/72.jpg)
72
Teste de hipótese X Intervalo de Confiança
Intervalo de confiança
•Informações adicionais
•Intervalo pequenos parâmetro bem estimado
•Valores com o mesmo significado que as medidas originais mais fácil de entender e analisar
•Significado de Média=12 e H(95%)=0,6
![Page 73: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/73.jpg)
73
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados
– Procedimento para análise de Procedimento para análise de resultadosresultados
– Exemplos
3. Técnicas para Avaliação de Desempenho
![Page 74: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/74.jpg)
74
Procedimento para análise de resultados
1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo
2. Escolher os fatores e níveis adequadamente3. Realizar o experimento quantas vezes forem
necessárias4. Pensar na melhor forma de apresentar os dados5. Fazer o tratamento estatístico adequado para
os resultados6. Observar os resultados e correlaciona-los com o
que se conhece do sistema sendo avaliado
![Page 75: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/75.jpg)
75
Procedimento para análise de resultados
1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo
• Não considerar variáveis essenciais pode levar a erros na análise
• Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise
• Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases
![Page 76: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/76.jpg)
76
Procedimento para análise de resultados
2. Escolher os fatores e níveis adequadamente
• Escolher poucos fatores e, se possível, apenas dois níveis por fator
• Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente.
• Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.
![Page 77: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/77.jpg)
77
Procedimento para análise de resultados
3. Realizar o experimento quantas vezes forem necessárias
• Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados
• Não tirar conclusões baseando-se em um único resultado
![Page 78: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/78.jpg)
78
Procedimento para análise de resultados
4. Pensar na melhor forma de apresentar os dados
• Tabelas são ótimas para observar detalhes e valores precisos
• Gráficos são adequados para melhor visualizar os resultados
• Nos gráficos, cuidado com escalas e origem dos eixos
• Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados
![Page 79: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/79.jpg)
79
Procedimento para análise de resultados
5. Fazer o tratamento estatístico adequado para os resultados
• Não tirar conclusões considerando-se apenas médias
• Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc.
• Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados
![Page 80: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/80.jpg)
80
Procedimento para análise de resultados
6. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado
• Desconfie de resultados não esperados
• Tente relacionar os diferentes resultados obtidos
• Tente explicar os resultados obtidos
![Page 81: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/81.jpg)
81
Procedimento para análise de resultados
A seguir.....
Alguns Exemplos e Contra-exemplos relacionados a esses procedimentos....
![Page 82: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/82.jpg)
82
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados
– ExemplosExemplos
3. Técnicas para Avaliação de Desempenho
![Page 83: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/83.jpg)
83
ExemplosExemplos
• Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional– Trabalho desenvolvido por alunos do Curso de
Engenharia de Computação
• Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga
• Exemplo 3: Redes sem fio X Redes com fio– Trabalho desenvolvido por alunos do Curso de
Engenharia de Computação
![Page 84: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/84.jpg)
84
Exemplo 1Exemplo 1
• Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema.
• Utilizam-se três fatores:– Placa mãe + processador, possui dois níveis:
athleon64 3500+/dfi-lanparty e athlon64 3000+/asus
– Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel
– Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex
![Page 85: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/85.jpg)
85
Exemplo 1Exemplo 1• Técnica utilizada: Benchmark
• Variável de Resposta – pontuação nos Benchmarks– 3DMark
• mede desempenho da placa de vídeo• executa de 3 aplicações gráficas, e avalia desempenho do
sistema para programas como jogos 3D ou de renderização gráfica
– CPUMark – mede desempenho da CPU• execução de dois programas que avaliam o desempenho do
processador, realizando cálculos de iluminação e renderização de polígonos.
• Fatorial Completo
• Resultado: média de 10 execuções
![Page 86: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/86.jpg)
86
Exemplo 1Exemplo 1• Gráfico de comparação da pontuação
3DMark dos testes:
Vermelho – intervalo de confiança
Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX
![Page 87: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/87.jpg)
87
Exemplo 1Exemplo 1• Gráfico de comparação da pontuação
CPUMark dos testes:Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX
![Page 88: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/88.jpg)
88
Exemplo 2Exemplo 2
• Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004)
• Avaliação de diferentes formas para escalonamento de processos em sistemas distribuídos.
• Resultados foram obtidos através de simulação.
![Page 89: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/89.jpg)
89
Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis
• Fator 1 – Tipos de Aplicação (CPU/disco/rede/quantidade de memória):
1. CPU-Bound: 100/0/0/10;2. Disk-Bound: 10/90/0/10;3. Network-Bound: 10/0/90/10;4. Mista 1: 50/30/20/10;5. Mista 2: 50/30/20/100.
• Fator 2 – Heterogeneidade das máquinas:1. Máquinas homogêneas;2. Máquinas parcialmente heterogêneas3. Máquinas heterogêneas.
![Page 90: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/90.jpg)
90
Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis
• Fator 3 – Forma de Escalonamento1. Baseado no índice de CPU2. Baseado em índice de Memória3. Baseado em índice de Disco4. Baseado em índice de Rede5. Round-Robin6. VIP - Vector for Index of Performance7. PVIP - Ponderated Vector for Index of
Performance
• Número de máquinas = 10;• Número de aplicações = 5.000
![Page 91: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/91.jpg)
91
Exemplo 2Exemplo 2
• Qual a melhor forma de escalonamento?• Para que tipos de aplicação, pode-se dizer,
com certeza, que um tipo de escalonamento é melhor?
Tempos médios de resposta em uma configuração de máquinas homogêneas
CPU-Bound Disk-Bound Network-Bound Mista 1 Mista 2
CPU 160,22 3954,84 12513,84 2748,26 2805,80
Memória 1494,00 36316,92 115814,06 25736,37 25624,03
Disco 1494,00 3855,98 12850,12 2760,46 2750,96
Rede 1494,00 36316,92 12349,64 2714,88 2766,32
Round-Robin 161,20 3888,55 12507,25 2719,39 2765,67
VIP 159,46 3814,43 12274,80 2706,98 2738,84
PVIP 160,75 3851,15 12390,31 2713,73 2749,63
EscalonamentoAplicações
![Page 92: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/92.jpg)
92
Exemplo 2Exemplo 2
Análise das diferenças estatisticamente significativas: aplicação CPU-Bound; plataforma homogênea
CPU Memória Disco Rede VIP PVIP Round Robin
Média 160,217 1493,996 1493,996 1493,996 159,458 160,754 161,202
Desvio Padrão 2,868 18,192 18,192 18,192 3,465 4,072 3,505
Variância 8,225 330,949 330,949 330,949 12,007 16,578 12,286
VIP - CPU
VIP - Memória VIP - Disco VIP – Rede
VIP – PVIP
VIP - Round Robin
Z Hipótese α=0,01 -0,654 -279,098 -279,098 -279,098
-0,939 -1,370
PVIP - CPU
PVIP - Memória PVIP - Disco
PVIP – Rede
PVIP – VIP
PVIP - Round Robin
Z Hipótese α=0,01 0,417 -276,987 -276,987 -276,987
0,939 -0,322
Hipótese nulidade H0: As duas formas de escalonamento comparadas não apresentam diferença significativa
Hipótese é rejeitada se Z -2.57, ou então, Z 2.57
Escalonamento
![Page 93: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/93.jpg)
93
Exemplo 3Exemplo 3
• Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal
![Page 94: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/94.jpg)
94
Exemplo 3 - Fatores e Exemplo 3 - Fatores e níveisníveis
• Número de pacotes enviados– 40– 80
• Tamanho dos pacotes enviados (em Bytes)– 32– 1024
• Localização do receptor do pacotes– Internacional (www.lycos.co.uk)– Nacional (www.uol.com.br)– Local (Um IP de uma máquina conectada à rede)
• Quantidade de computadores com o mesmo tipo de conexão ligado ao hub– 2– 3
![Page 95: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/95.jpg)
95
Exemplo 3 - Rede com Exemplo 3 - Rede com fiofio
![Page 96: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/96.jpg)
96
Exemplo 3 - Rede sem Exemplo 3 - Rede sem fiofio
![Page 97: 1 Avaliação de Desempenho de Sistemas Computacionais Análise de Dados Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto](https://reader036.vdocuments.mx/reader036/viewer/2022062623/552fc10b497959413d8c27bf/html5/thumbnails/97.jpg)
97
Conteúdo
1. Planejamento de Experimentos
2. Análise de Resultados
3.3. Técnicas para Avaliação de Técnicas para Avaliação de DesempenhoDesempenho