carlos eduardo vázquez marcelo costa …fattocs.com/files/es/presentaciones/webinar venciendo los...

22
Automatización de pruebas funcionales Venciendo los mitos Apoyar nuestros clientes en la planeación y validación de desempeño de procesos de TI para aprovechar el éxito de su negocio 1 Carlos Eduardo Vázquez Marcelo Costa 19 Junio 2018 © 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Upload: danghanh

Post on 28-Sep-2018

219 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

Automatización de pruebas funcionalesVenciendo los mitos

Apoyar nuestros clientes en la

planeación y validación de

desempeño de procesos de TI para

aprovechar el éxito de su negocio

1

Carlos Eduardo Vázquez

Marcelo Costa

19 Junio 2018

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 2: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

ORIENTACIONES INICIALES

2© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

De preferencia uso de una conexión de banda Ancha.

En el evento no habrá uso de vídeo (webcam), solamente slides y audio.

Si es necesario, ajuste el idioma de la sala en la barra de Herramientas superior.

El evento tendrá ~45 min. de presentación y ~10 min Para realizar preguntas.

Usted puede mandar sus preguntas por chat a lo largo de la presentación.

Para aquellos que tienen certificación PMP, el evento vale 1 PDU.

La presentación será grabada en vídeo y publicado posteriormente en el sitio

web y redes sociales:

Page 3: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

AUTOMATIZACIÓN DE PRUEBAS

Cuando las personas escuchan automatización de pruebas, diferente es el entendimiento de cada

persona

• Desarrollo guiado por pruebas (TDD) para fines de pruebas unitarias

• Uso de alguna herramienta para captura/grabación/reproducción (record & replay)

• Desarrollo de scripts de pruebas customizadas

• Especifícamente para pruebas de carga y desempeño

• Pruebas funcionales y de seguridad

Vamos a considerar automatización de pruebas como:

La aplicación e implementación de tecnología de software a lo largo de

todo el ciclo de vida de pruebas con el objetivo de perfeccionar su

eficiencia y eficacia3© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 4: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

SOBRE PRUEBAS MANUALES Y SU AUTOMATIZACIÓN

Generalmente, todas las pruebas que son parte de un programa de pruebas manual se

pueden automatizar – pruebas funcionales, de rendimiento, de Stress, y más

Sobre la automatización de pruebas

• Perfecta las pruebas manuales al priorizar la automatización de lo que difícilmente se alcanza

manualmente

• Es desarrollo de software

• No sustituye la necesidad de habilidades analíticas, conocimiento en estrategia de pruebas y

entendimiento en técnicas de prueba; que cumplen el papel de fundación para la

automatización

• No se puede separarla claramente de la prueba manual; por el contrario, se interconectan y

complementan ente sí

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 5: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

CUAL ES EL ALCANCE DE LA DISCUSIÓN DE HOYPRUEBAS FUNCIONALES

El alcance de la automatización de pruebas es muy

amplio

En esta sección vamos a discutir la aplicación de la

automatización de pruebas en las pruebas

funcionales

• Funciones son probadas alimentandolas con

entradas y examinando las salidas resultantes

Típicamente aplicado a las Pruebas de Regresión

• Garantiza que el software previamente desarrollado

y probado aún se ejecute de la misma forma

después de ser modificado o integrado con otro

software 5

Nivel de

Pruebas

Pruebas de

Interfaz de

Usuario

unitarias

de componente

de integración

de sistema X

de aceptación X

alpha

beta

X- Más probable de aplicar

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 6: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

MITOS DE LA AUTOMATIZACIÓN DE PRUEBASAUTOMATIZACIÓN SUSTITUYE LA PRUEBA MANUAL

Los scripts de automatización de pruebas son tan buenos como los profesionales que los elaboran

Los avances en la IA pueden cambiar este escenario actual en el mediano o largo plazo

Hasta entonces (15 años?) el profesional de pruebas debe tener la capacidad analítica y crítica aplicada a la

definición

• Principalmente considerando el nivel de estabilidad de la IU, el que nos lleva para el próximo ítem...

6

• Del conjunto de funcionalidades para el alcance de la automatización

• Del conjunto de casos de pruebas en una funcionalidad, para automatización

• De nuevas oportunidades de automatización de pruebas

• ¡No se limite a los casos de pruebas manuales preexistentes!

6© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 7: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

• Cobertura de automatización de pruebas de la UI superior al 60% no es buen indicativo

• Por el termino cobertura, nos referimos a la cantidad de funcionalidades con pruebas

funcional automatizado y no el % del tempo o costo invertido en pruebas

• Se debe priorizar la inclusión de funcionalidades en la cobertura de pruebas

Con la UI ya estable

• Entre las más complejas o sujetas a errores

Dependencia de otras aplicaciones, que no siempre inicianse automáticamente

• También, se debe priorizar funcionalidades cuyas pruebas presenten

alto volumen de salidas a comprobar, los resultados esperados no cambian o hay una

tolerancia mensurable

Entrada de muchas combinaciones de datos, utilizando los mismos pasos

Dependencia de múltiples configuraciones hw / sw

MITOS DE LA AUTOMATIZACIÓN DE PRUEBASCOMENZAR POR LA INTERFACE CON EL USUARIO

7© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 8: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

DÓNDE EL TEMA SE POSICIONA

8© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 9: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

MITOS DE LA AUTOMATIZACIÓN DE PRUEBASAUTOMATIZACIÓN ES RECORD & PLAYBACK

• La persona escoge trabajar con pruebas… también por no gustarle de programar

• No es una verdad universal

• Mas es bien común

• Naturalmente, la lógica de Record & Playback es bastante apelativa

• Mas es falsa a pesar de la publicidad de las herramientas

• Record & Playback es un punto de partida, cuando es usado

• Usted debe saber programar parar crear scripts de automatización

• No entre en pánico

• De hecho, las herramientas ayudan mucho a comenzar

9© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 10: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

HAY LAGUNA EN LOS MODELOS DE REFERENCIA SOBRE LA AUTOMATIZACIÓN DE PRUEBAS FUNCIONALES

Los modelos de referencia proporcionan directrices para la calidad del producto y las entregas

del proceso de pruebas de software, sin mencionar la automatización de pruebas específicas

• RUP

• TMMi

• IEEE 829

• NBR ISO/IEC 12.119

• SAFe

Una metodologia con el objetivo de integrarse la automatización de pruebas funcionales al

desarrollo y presentar criterios para evaluar costo y beneficio es fundamental

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 11: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

METODOLOGÍA DE AUTOMATIZACIÓN DE PRUEBASOBJETO EN LA VISIÓN DE FATTO

Recopilación de requerimientos y análisis de necesidades de pruebas

Desarrollo y Diseño de los Casos de Pruebas

Análisis de objetos de automatización

Desarrollo de los scripts de pruebas

Ejecución de los scripts de automatización y análisis de resultados

Evaluación y revisión del programa de automatización de pruebas

Gestión

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

1 2 3 4 5 6

Page 12: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

COLECCIÓN DE REQUERIMIENTO E ANÁLISIS DE NECESIDADES DE PRUEBAS

• Evaluar los resultados del desarrollo en terminos de requerimientos, arquitectura y

documentación generada para las pruebas manuales

• Analizarlos como requerimientos de la automatización de pruebas funcionales

• Validar el ROI o por lo menos evaluar la relación de costo y beneficio de la automatización de

pruebas en terminos generales

• Analizar herramienta actual de automatización y las necesidades para su customización,

conficuración, o mismo, la aquicisión de nuevas herramientas

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 13: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

DESARROLLO Y DISEÑO DE LOS CASOS DE PRUEBAS

• Documentar los casos de pruebas manuales que se van a automatizar

• Realizar una verificación de los casos de pruebas manuales

• Implementación de los casos de pruebas manuales

• Analizar informes de ejecución de los errores de las pruebas manuales

• Definir el documento de estrategia de diseño de automatización

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 14: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

ANÁLISIS DE LOS OBJETOS DE AUTOMATIZACIÓN

• Definición del framework de pruebas con el obejtivo de potencializar la reutilización de

recursos para pruebas.

• Análisis de los recursos de pruebas implementados en la biblioteca.

• Planear la reutilización de los recursos existentes en biblioteca.

• Diseño de los nuevos recurssos de pruebas para la biblioteca.

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 15: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

DESARROLLO DE SCRIPTS DE PRUEBAS

• Definición de los scripts de pruebas de los objetivos para la automatización.

• Pruebas de los scripts de prueba para automatización.

• Actualización de la biblioteca de pruebas de componentes.

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 16: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

EJECUCIÓN DE LOS SCRIPTS DE AUTOMATIZACIÓN Y ANÁLISIS DE LOS RESULTADOS

• Ejecución de los framework y los scripts de pruebas definidos.

• Control de defectos encontrados.

• Generación de informes de pruebas.

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 17: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

VALIDACIÓN Y REVISIÓN DEL PROGRAMA DE AUTOMATIZACIÓN DE PRUEBAS

• Revisión del programa de prueba.

• Análisis de las métricas de pruebas generadas .

• Generación de acciones correctivas de acuerdo con el análisis de métricas.

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 18: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

METODOLOGIA DE AUTOMATIZACIÓN DE PRUEBASINTEGRACIÓN DE AUTOMATIZACIÓN DE PRUEBAS Y/O DESARROLLO

Pruebas de regresión

Onda

A

Automatización de

pruebas

Ejecución de

automatización

de pruebas

Ejecución de

automatización

de pruebas

proyecto

homologación

construcción

Análisis de

Validez

Solución de

automatización

de pruebas

proyecto

homologación

construcciónOnda

B

Solución de

automatización

de pruebas

Validación y

revisión

© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 19: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

CONCLUSIÓN

• La automatización de pruebas funcionales, aplicada a las pruebas de regresión, promueve la

utilización de recursos humanos donde son mejores aplicados

• “Less is more”

• Las herramientas (HP UFT, Selenium, etc.) no son mágicas

Mínimo una evalución de costo beneficio o una evaluación del ROI es fundamental para

combatir el mito más importante y que dejamos para el final

Automatización de pruebas es por demasiado caro

19© 2018 FATTO Consultoria y Sistemas | www.fattocs.com

Page 20: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

PRÓXIMOS EVENTOS

• WEBINARS:

• La certificación de Análisis de Puntos de Función del IFPUG

• Fecha: 17 de Julio de 2018

• Horarios: 20:00 H México DF, Bogotá, Lima

• Inscripción: Aquí

• PRÓXIMOS CURSOS:

• Nuevo Curso: Estimación y Medición –Fundamentos y técnicas

Modalidad: EAD

• Inscripción: Por favor enviar e-mail para [email protected]

20

Page 21: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

21

ENCUESTA

Page 22: Carlos Eduardo Vázquez Marcelo Costa …fattocs.com/files/es/presentaciones/Webinar Venciendo los Mitos de... · funcionales Venciendo los mitos ... COLECCIÓN DE REQUERIMIENTO E

PRESENTADORES

22

Carlos Eduardo Vásquez

E-mail: [email protected]

LinkedIn: https://www.linkedin.com/in/cvazquezbr/

Skype: cvazquezbr

Marcelo Nascimento Costa

E-mail: [email protected]

Skype: marncosta