Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2....
Transcript of Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2....
![Page 1: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/1.jpg)
Evolución de las Estrategias de Pruebas de Performance
en Cascada, Agile y DevOps
PhD. Federico Toledo@fltoledo
![Page 2: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/2.jpg)
www.abstracta.us/blog/www.federico-toledo.com
![Page 3: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/3.jpg)
Prejuicios del testing:• Es aburrido,
repetitivo.• No tiene desafíos.• Es el trabajo para
el programador nuevo.
¿Por qué trabajas en testing?
¿No conseguiste otra cosa mejor?
![Page 4: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/4.jpg)
Prejuicios del testing:• Se hace al
final.• Es opcional.
El testing es eso que va al final, si hay tiempo…
![Page 5: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/5.jpg)
Performance
• Velocidad• Uso de recursos
![Page 6: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/6.jpg)
Sour
ce: h
ttp:/
/www
.min
iatu
r-wun
derla
nd.d
e/
Simulación y medición
![Page 7: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/7.jpg)
Simulación
HTTP
HTTP
Server
![Page 8: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/8.jpg)
Tres historias
![Page 9: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/9.jpg)
![Page 10: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/10.jpg)
Waterfall A
ctividades de control/gerenciamiento
![Page 11: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/11.jpg)
Cronograma
![Page 12: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/12.jpg)
Contexto y Objetivos
0500
1000150020002500
2004 2005 2006 2007 2008
Forecast Concurrent Users
Simular escenario de carga esperado.
![Page 13: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/13.jpg)
Casos de prueba
13 (web)Funcionarios
3 (ISO8583)Cajeros y POS
2 (web services)Call center
Total: 1500 usuarios
![Page 14: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/14.jpg)
Criterios de aceptación
![Page 15: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/15.jpg)
Infraestructura similar a PROD
![Page 16: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/16.jpg)
¡Todo listo para ejecutar!
![Page 17: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/17.jpg)
Desafíos
1. Esfuerzo de automatización y preparación de datos.
2. Exclusividad de uso de ambiente similar a PROD.
3. No hay equipo. Hay silos.4. Incertidumbre y sorpresas.
![Page 18: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/18.jpg)
![Page 19: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/19.jpg)
https://developers.redhat.com/blog/2017/09/06/continuous‐integration‐a‐typical‐process/
Agile: Con Continuous Integration
![Page 20: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/20.jpg)
Objetivo y Contexto
• Jenkins con cientos de Jobs y decenas de pipelines.
• Ejecución de más de 300 pruebas de performance semanales.• Rest API.• Automatizadas por devs.
• Detectar desviaciones de performance lo antes posible.
http://bit.ly/webinarShutterfly
![Page 21: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/21.jpg)
Profiling: Ajustar el cinturón
![Page 22: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/22.jpg)
Profiling: Ajustar el cinturón
Criterios de aceptación basados en punto de quiebre:
• 350 hilos (virtual users)
Assertions:• < 1% error• P95 Response Times < 130ms + 10%• Throughput >= 150 TPS – 10%
![Page 23: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/23.jpg)
Pros & Cons
PROS1. Menos riesgo, menos sorpresas.2. Feedback temprano y constante.3. Aprendizaje continuo.
CONS1. Si no se hace al nivel correcto,
mayor esfuerzo de automatización.2. Falacia de la Composición.
![Page 24: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/24.jpg)
![Page 25: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/25.jpg)
¿Enfoque DevOps en el gobierno?
Las metodologías ágiles son para los equipos de desarrollo.
DevOps implica agilidad en más áreas de la empresa.
![Page 26: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/26.jpg)
¿Enfoque ágil en el gobierno?
El manifiesto indica que hay que priorizar:
• Individuos e interacciones• sobre procesos y herramientas
• Software funcionando• sobre documentación extensiva
• Colaboración con el cliente• sobre negociación contractual
• Respuesta ante el cambio• sobre seguir un plan
• Pliego• Licitación • Contrato
![Page 27: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/27.jpg)
Desarrollo basado en contrato
Contrato con alcance fijo. ...6 meses después:
• Deuda técnica. • Incertidumbre.
![Page 28: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/28.jpg)
Pilares ágiles
http://managementplaza.es/blog/los‐tres‐pilares‐de‐scrum/
Continuous Delivery
![Page 29: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/29.jpg)
Pipeline de inspección
Dev CI Test
Test UAT Pre‐Prod Prod
Proveedor
Cliente
Todos los días
Cada entrega
![Page 30: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/30.jpg)
https://es.atlassian.com/devops
Cultura DevOps
![Page 31: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/31.jpg)
Desafíos
1. Adopción de metodologías.2. Complejidad tecnológica.3. Relación entre cliente, proveedores,
operaciones, gestión, testing, etc. 4. Confianza:
• Proceso.• Equipo. • Producto.
![Page 32: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/32.jpg)
![Page 33: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/33.jpg)
Waterfall
![Page 34: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/34.jpg)
Agile
![Page 35: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/35.jpg)
DevOps
![Page 36: Evolución de las Estrategias de Pruebas de … 2018 Toledo.pdfmayor esfuerzo de automatización. 2. Falacia de la Composición. ¿Enfoque DevOps en el gobierno? Las metodologías](https://reader035.fdocuments.net/reader035/viewer/2022070912/5fb42798baf6e8393056219e/html5/thumbnails/36.jpg)
Evolución de las Estrategias de Pruebas de Performance
en Cascada, Agile y DevOps
PhD. Federico Toledo@fltoledo
¡¡¡GRACIAS!!!