título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/benchmarks...pesquisa em...
TRANSCRIPT
![Page 1: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/1.jpg)
Benchmarks para experimentos em localização de defeitos
Higor Amario de SouzaIME-USP
Workshop do Núcleo de Apoio à Pesquisa em Software Livre
São Carlos, 16 a 17 de Outubro de 2014.
![Page 2: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/2.jpg)
Depuração de programas
• Depuração: localização + correção
• Tarefa custosa
• Inicia-se a partir da identificação de falhas
• Processo manual e ad-hoc
![Page 3: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/3.jpg)
Localização de defeitos
• Automatização
• Testes automatizados
• Cobertura de código
• Heurísticas
• Indicar trechos de código mais suspeitos
– Blocos, comandos, predicados
![Page 4: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/4.jpg)
Exemplo: max [1]
![Page 5: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/5.jpg)
Conjunto de teste
![Page 6: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/6.jpg)
Matriz de cobertura
![Page 7: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/7.jpg)
Matriz de cobertura
![Page 8: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/8.jpg)
Matriz de cobertura
![Page 9: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/9.jpg)
Matriz de cobertura
![Page 10: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/10.jpg)
Coeficientes de cobertura
![Page 11: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/11.jpg)
Matriz de cobertura
![Page 12: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/12.jpg)
Tarantula [2]
![Page 13: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/13.jpg)
Matriz de cobertura
![Page 14: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/14.jpg)
Matriz de cobertura
![Page 15: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/15.jpg)
Localização de defeitos
![Page 16: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/16.jpg)
Benchmarks
• Software livre
• Conjunto de teste
• Poucas linhas de código
• Defeitos semeados
• Um defeito por versão
![Page 17: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/17.jpg)
SIR
• Software-artifact Infrastructure Repository [3]
• http://sir.unl.edu
![Page 18: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/18.jpg)
SIR
![Page 19: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/19.jpg)
Benchmarks mais usados
![Page 20: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/20.jpg)
Siemens suite
![Page 21: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/21.jpg)
Unix suite
![Page 22: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/22.jpg)
grep, gzip, make
![Page 23: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/23.jpg)
Benchmarks maiores
![Page 24: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/24.jpg)
Criação de novos benchmarks
Objetivos:
– Diversidade
– Conjuntos de teste com qualidades diferentes
– Defeitos múltiplos
– Defeitos reais
![Page 25: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/25.jpg)
Novos benchmarks
• Identificados com o apoio do NAPSoL
![Page 26: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/26.jpg)
Criação de novos benchmarks
![Page 27: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/27.jpg)
Criação de novos benchmarks
![Page 28: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/28.jpg)
Criação de novos benchmarks
![Page 29: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/29.jpg)
Criação de novos benchmarks
![Page 30: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/30.jpg)
Criação de novos benchmarks
![Page 31: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/31.jpg)
Desafios
• Melhorar a avaliação das técnicas de localização de defeitos:
– Características dos defeitos
– Qualidade dos conjuntos de teste
– Presença de defeitos múltiplos
![Page 32: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/32.jpg)
Agradecimentos
• Fapesp: 2013/24992-2
• NAPSoL
Obrigado!
![Page 33: Título da apresentaçãonapsol.icmc.usp.br/sites/default/files/eventos/Benchmarks...Pesquisa em Software Livre São Carlos, 16 a 17 de Outubro de 2014. Depuração de programas •](https://reader033.vdocuments.mx/reader033/viewer/2022041822/5e5ebcb528981066a1796e47/html5/thumbnails/33.jpg)
Referências
[1] CHAIM, M.L.; ANDRIOLI, R.P. An efficient bitwise algorithm for intra-procedural data-flow testing coverage. Information Processing Letters Journal, v. 113, n. 8, p. 293-300, Abril 2013.
[2] JONES, J.A.; HARROLD, M.J.; STASKO, J. Visualization of test information to assist fault localization. In: Proceedings of the 24th international conference on software engineering. (ICSE '02). p. 467-477. 2002.
[3] DO, H.; ELBAUM, S.; ROTHERMEL, G. Supporting controlled experimentation with testing techniques: an infrastructure and its potential impact. Empirical Software Engineering, v. 10, n. 4, p. 405-435, 2005.