cómo medir lo inmensurable: real user experience

#vlctesting

Almudena Vivanco

Performance Engineer - InfoJobs

Cómo medir lo inmensurable: Real User Experience

15 y 16 de noviembre de 2012 Valencia, España

¿de qué vamos a hablar?

Cómo hacemos Performance Testing con SCRUM en InfoJobs

Monitorización de la experiencia de usuario: Real User eXperience ( RUX )


¿Quiénes somos?

Somos el site líder en empleo donde profesionales y empresas convergen para satisfacer sus necesidades de contratación. Desde nuestros inicios en 1998 hemos batido los tiempos de respuesta al mercado

330.925 contratos firmados en 2011 en España a través de InfoJobs

7 de cada 10 ofertas en Internet en España están en InfoJobs

Datos de Septiembre de 2012

Usuarios únicos 5,330,00Visitas: 15,226,000Páginas vistas: 205,000,000

(*) Source: Nielsen Netratings 2010


Nuestra gente y vocación

“Hacer fácil para todo el mundo encontrar el mejor trabajo posible”

200 trabajadores con un objetivo común, nuestra misión

Equipo InfoJobs


Durante estos 30 minutos ...

37 personas serán contratadas usando InfoJobs (1)

5 empresas publicarán 58 ofertas de contratación(2)

1,000,000 peticiones serán procesadas por nuestros sistemas de monitorización RUX

(1) Contracts signed during 2011 in Spain through InfoJobs, according to an independent study from Salvetti & Llombart(2) Data from InfoJobs (jan-abr 2012)


En el último mes ... 8 de cada 10 grandes compañías Españolas

usan InfoJobs(1)

11,000 empresas se han dado de alta en InfoJobs para publicar sus ofertas de trabajo (1)

33,5 millones búsquedas de trabajo son ejecutadas (2)

ﾺ

(1) Source: InfoJobs.net (April 2011)(2) Source: InfoJobs .net (February 2011)

Performance en Scrum

Pruebas de rendimiento


SCRUM

¿Dónde necesitamos pruebas de rendimiento?


Pruebas de RendimientoPruebas de RendimientoDeterminar respuestas de sistema, throughput, confianza, escalabilidad de un sistema bajo carga de trabajoDeterminar respuestas de sistema, throughput, confianza, escalabilidad de un sistema bajo carga de trabajo

Pruebas de rendimientoPruebas de rendimientoPruebas de rendimientoPruebas de rendimiento


Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.La estabilidad del entorno productivo es la meta de las pruebas de rendimiento. La aplicación y el sistema tienen La estabilidad del entorno productivo es la meta de las pruebas de rendimiento. La aplicación y el sistema tienen que ser estables y eficientes.que ser estables y eficientes.

EstabilidadEstabilidadEstabilidadEstabilidad


No nos interesa únicamente el tiempo de respuesta que le damos a los usuarios, también el uso de la infraestructura y No nos interesa únicamente el tiempo de respuesta que le damos a los usuarios, también el uso de la infraestructura y los recursos. Eficiencia: capacidad de disponer de los recursos del sistema para conseguir un objetivo, en este caso los recursos. Eficiencia: capacidad de disponer de los recursos del sistema para conseguir un objetivo, en este caso Tiempo de respuesta y uptime.Tiempo de respuesta y uptime.

VelocidadVelocidadVelocidadVelocidad


Ser capaces de Crecer según los requisitos del mercado, de los usuarios, de la tecnología, tener visión de futuro y Ser capaces de Crecer según los requisitos del mercado, de los usuarios, de la tecnología, tener visión de futuro y conocer los límitesconocer los límites

EscalabilidadEscalabilidadEscalabilidadEscalabilidad


Una prueba de rendimiento es fácil. Es fácil diseñar escenarios pocos realistas. Es fácil recolectar datos irrelevantes. Una prueba de rendimiento es fácil. Es fácil diseñar escenarios pocos realistas. Es fácil recolectar datos irrelevantes. Incluso con un buen escenario y unos buenos datos, es fácil utilizar un método estadístico incorrecto.Incluso con un buen escenario y unos buenos datos, es fácil utilizar un método estadístico incorrecto.- Alberto Savoia- Alberto Savoia

EscenariosEscenariosEscenariosEscenarios


Otro título

EscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosEscenariosConocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es La hipótesis de partida con más éxito.La hipótesis de partida con más éxito.

MonitorizaciónMonitorizaciónMonitorizaciónMonitorización


Equipos Polivalentes

DesarrolladoresDesarrolladores, , DBA's,DBA's, QA's, DevOps, product owners ... todo el equipo toma parte en el rendimientoQA's, DevOps, product owners ... todo el equipo toma parte en el rendimiento

Equipos PolivalentesEquipos PolivalentesEquipos PolivalentesEquipos Polivalentes


Otro título

Las herramientas adecuadas de pruebas de carga y monitorización que más se adecúen al entorno donde se Las herramientas adecuadas de pruebas de carga y monitorización que más se adecúen al entorno donde se realizarán pruebas de rendimiento no son tan importantes como la persona que entienda toda la información que generan.realizarán pruebas de rendimiento no son tan importantes como la persona que entienda toda la información que generan.

HerramientasHerramientasHerramientasHerramientas


Otro título

Mas puntos

Cómo son los usuarios, y qué uso hacen de la aplicación es uno de los principios a tener en cuenta en un buen diseño Cómo son los usuarios, y qué uso hacen de la aplicación es uno de los principios a tener en cuenta en un buen diseño de pruebas de rendimientode pruebas de rendimiento

UsuariosUsuariosUsuariosUsuarios


Tuning

Hay que tener en cuenta los recursos con los que se cuentan, y ajustarse a ellos. Hay que compartir con los business Hay que tener en cuenta los recursos con los que se cuentan, y ajustarse a ellos. Hay que compartir con los business Developers los retos tecnológicos. Cultura de rendimiento.Developers los retos tecnológicos. Cultura de rendimiento.

Cultura y ProductoCultura y ProductoCultura y ProductoCultura y Producto


Cultura y ProductoCultura y ProductoCultura y ProductoCultura y Producto

Eficiencia, Efectividad y EficaciaEficiencia, Efectividad y Eficacia

En resumen ...En resumen ...En resumen ...En resumen ...


Pruebas

1. Identificar el ambiente

2. Criterios de aceptación

3. Planear y diseñar

4. Configurar el entorno

5. Implementar el diseño

6. Ejecutar

Analizar, reportar y volver a probar!

Real User eXperience

Sistema de Monitorización


Experiencia de nuestros usuarios

Queremos medir

cómo se comporta

InfoJobs para todas y cada una de las peticiones de nuestros usuarios


• InfoJobs monitoriza toda petición que llega a nuestros sistemas

• Capacidad de respuesta immediata ante la

falta de disponibilidad• Ejecución de Test A/B

Real User eXperience: RUX


RUX: qué medimosEn el web site: todas las páginas incluyen en el footer un pixel trasparente llamado timer.jpeg al que se invoca en el evnto onLoad del browser.

En el servidor: la petición llega al servidor web y el tiempo es calculado.

Gráfico básico sobre qué es lo que medimos y dónde tenemos pérdida de información.

Internet Apache JBoss Busy sending rendering

UserInfojobs Timer.jpeg

Internet

Browser


• No medimos todas las peticiones. Sólo aquellas que cargan el timer.jpeg y aquellas que tienen valores razonables que calculamos a partir de la mediana y el primer y tercer cuartil.

RUX: Mediana y Cuartiles


Métricas a lo largo de 8 días de todos los servidores y todas las peticiones.

Métricas al minuto están disponibles filtradas por página y por servidor front end.

Esto nos da una certera métrica de la experiencia del usuario real

RUX: Aplicación


Almudena VivancoPerformance Engineer

Estudié Matemática aplicada y computación en Oviedo de ahí mi gusto por los números y gráficas.

Empezó mi aventura en Barcelona siendo programadora de .Net, de ahí a automatizar con Silktest y testpartner (oÔ) y finalmente hace 7 años conocí el mundo del rendimiento con herramientas como Loadrunner y Silkperformer, pasando de proyecto en proyecto desde Círculo de Lectores a BCN.cat. Hace 4 años y medio me uní a la plantilla de InfoJobs.net donde cada día es un nuevo reto.

Datos de Contacto

https://plus.google.com/u/0/105404978869503224992/


Organiza

Patrocinan

Colaboran

cómo medir lo inmensurable: real user experience

Technology

productoen

cultura

infojobs

source

rux

eficiencia

net