testing on multi vendor project czechtest 2016
TRANSCRIPT
![Page 1: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/1.jpg)
©2012 Ness Technologies – Proprietary and Confidential
Ness Technologies
Testing on Multi-Vendor Project
CzechTest 2016
Zdeněk Grössl
Testing
Competence
Manager
04/2016
![Page 2: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/2.jpg)
www.ness.cz 2
Kdo jsem
![Page 3: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/3.jpg)
www.ness.cz 3
Kdo jsem já…
… že Vám chci přednášet a kázat
Vidím dostatek dychtivých juniorů…
A taky dost seniorů, zkušenějších, než jsem já
![Page 4: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/4.jpg)
www.ness.cz 4
Namísto jednosměrné prezentace…
… pojďme si takový projekt společně rozebrat
![Page 5: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/5.jpg)
www.ness.cz 5
Cíl a obsah příspěvku
Přinést zkušenosti juniornějším delegátům
Sám se vzdělat díky přítomným seniorům
Rozebrat problematiku multi-vendor projektů● Jak se na ně připravit● Jak testing uřídit● Co se může přihodit (a co se skutečně přihodilo)● Jak neztratit hlavu a přispět k dodání projektu
Cokoli podnětného
![Page 6: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/6.jpg)
www.ness.cz 6
Pokud se neozve žádný senior…
… pak to znamená, že jsem nejzkušenějším v sále
… a doufám, že dostanu zpětnou vazbu alespoň o přestávce
![Page 7: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/7.jpg)
www.ness.cz 7
Definujeme multi-vendor projekt
Dodávají nám alespoň 3 různé týmy
V našem projektu se sbíhají nitky
Dodáváme jen jednomu zákazníkovi
Náš tým má hlavního analytika, architekta, testery, projektový management
![Page 8: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/8.jpg)
www.ness.cz 8
Kde se budou vyskytovat zádrhele
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 9: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/9.jpg)
www.ness.cz 9
Kde se budou vyskytovat zádrhele
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 10: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/10.jpg)
www.ness.cz 10
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 11: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/11.jpg)
www.ness.cz 11
Příprava – poznej své dodavatele
Kolik má projekt dodavatelů?
Jde o jednotlivce, nebo týmy?
Jsou interní nebo externí?
![Page 12: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/12.jpg)
www.ness.cz 12
Příprava – nakresli si projekt
Vizualizuj si budoucí stav systémů
K systémům doplň dodavatele
K dodavateli doplň SPOC● Analýza, Testing, Vývoj, PM
Vizualizaci použiješ i při plánování či exekuci testů
![Page 13: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/13.jpg)
www.ness.cz 13
Příprava – co je od tebe očekáváno od projektu
Sepiš si, jaká jsou na tebe očekávání● Artefakty● Činnosti● Reporting● Defect management● Zajištění dat
Sepiš také, jaké máš pravomoci● Zastavit nasazení● Vyžádat refresh databáze● Ostře sledovat dodavatele● …
![Page 14: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/14.jpg)
www.ness.cz 14
Příprava – nastav očekávání směrem k dodavatelům
Udržuj je v písemné podobě
Očekávání musí být oboustranně odsouhlasena
Očekávání nastav jako win-win
Příklady● Povinnosti dodavatele● Formát a granularita testů● Reporting● Statusy
Hořká pravda: Tyto dohody s dodavateli budete zhusta upravovat a možná i porušovat.
![Page 15: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/15.jpg)
www.ness.cz 15
Příprava – časování
Pozor na závislosti dodávek od dodavatelů
Vizualizuj si časovou osu● Který dodavatel kdy nasazuje● Kdy je termín ukončené analýzy a vývoje za dodavatele● Kolik času zbývá na testy● Jaká je frekvence nasazování například oprav
Nastav si PONR – Point Of No Return● Odkdy není možné přibírat další požadavky a funkcionality
Nastav si POCU – Point Of Cut Off – Za jakých podmínek uvažovat o odložení (vypárání)● Termín, chybovost, protestovanost, množství nasazeného kódu…
![Page 16: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/16.jpg)
www.ness.cz 16
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 17: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/17.jpg)
www.ness.cz 17
Návrh testů
Kdo navrhuje dodavatelské testy?● Na jakém základě?● Pokrývají problematiku?
Chceš je evidovat ve svém nástroji, nebo stačí výsledek exekuce od dodavatele?
Obdobně, kdo navrhuje tvé testy?● Přebíráš je od dodavatele?● Vytvoří je Business?● Nebo tvůj tým?
![Page 18: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/18.jpg)
www.ness.cz 18
Testovací nástroj a evidence
Kdo má mít přístup do nástroje:● Minimálně SPOC každého dodavatele● Raději jeden člen za testing, jeden za vývoj a jejich projektový manažer● Já a mí testeři (IT i BUS)● Projektový management● „Kdokoli, kdo řeší chyby“
Mám tyto přístupy vytvářet nebo zařizovat?● Ano, pokud můžeš, požádej o založení
Mám někoho zaučovat, jak s nástrojem zacházet?● Jen „své“ testery● Dodavatel by si měl kvalifikaci doplnit, pokud jde o obecně rozšířený
nástroj
![Page 19: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/19.jpg)
www.ness.cz 19
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 20: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/20.jpg)
www.ness.cz 20
Nasazení do testovacího prostředí
Nedodržení termínů některými dodavateli● Nebude fungovat E2E proces● Vyvstane nutnost mockování● Doporučení: Počítejte s mockováním, zajistěte si kapacity podle
zkušeností s dodavateli
Kdo nasazuje na prostředí? Dodavatelé?
Přístup dodavatelů do testovacího prostředí● Potřebují tyto přístupy – jaké jsou jejich kompetence?● KAM budou přistupovat – FE, servery, databáze● Mají je?● Doporučení: Dodavatelé by měli mít přístup na testovací prostředí, aby
mohli efektivně nasazovat, pomáhat s defect managementem a po nasazení dělat smoketesty
![Page 21: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/21.jpg)
www.ness.cz 21
Evergreen: Testovací data
Integrační a UAT testy: Tvá testovací data jsou klíčová● Ty si Test manažer musí umět zajistit
Dodavatel testuje – nad jakými daty?● Doporučení: ověř si to
Konzistence dat pro E2E proces● Dokážou spolu data komunikovat napříč dodavateli? Nebo je
potřeba je cestou „ohnout“?● Jsou to deriváty tvých dat pro Integrační a UAT testy?
![Page 22: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/22.jpg)
www.ness.cz 22
Hurá, našli jsme defekt/chybu/bug
Defekty, které našel dodavatel ve své dodávce, si řeší sám. ● Chceš být informován o těchto defektech? Doporučení: NE
Najdeš defekt v dodávce. Na koho jej předat?● Rozděl si aplikaci na moduly podle dodavatelů● Pokud je nejasný původ chyby, jdi podle toku dat● Udržuj mapu datových toků
![Page 23: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/23.jpg)
www.ness.cz 23
Eviduj defekty
Jaký je stav defektu? Kdo jej opravuje?● U defektů eviduj tým/dodavatele, na kterém je přiřazen● Záznam o defektu musí vyvážit JEDNODUCHOST a zároveň
poskytnout přesné informace
Musíš být schopen reportovat nad chybami
Kde byla chyba, u kterého dodavatele
Na tyto akce musíš mít předem připravený testovací nástroj – sbírat informace.
![Page 24: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/24.jpg)
www.ness.cz 24
Blížíme se do finiše
Dodávky od dodavatelů jsme zintegrovali
Testy vykonány
Zadavatel víceméně spokojen
Happy end?
![Page 25: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/25.jpg)
www.ness.cz 25
Blížíme se do finiše
Dodávky od dodavatelů jsme zintegrovali
Testy vykonány
Zadavatel víceméně spokojen
Happy end? Ještě ne ;-)
![Page 26: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/26.jpg)
www.ness.cz 26
Performance
Dodavatelé tvrdí: U nás to není, naše část má výborné odezvy, unese zátěž a podobně.
Nechť to dokážou● Performance testy za dodavatele musí být zahrnuty v domluveném
scope● Performance testy za dodavatele by měly být spouštěny na co
nejrealističtějším prostředí
Pamatujte na E2E performance testy● A udělejte vše pro to, abyste odhalili slabá místa● Pokud bude performance jednotlivých částí v pořádku, ale E2E
průchod bude neuspokojivý, pak je zde problém.
![Page 27: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/27.jpg)
www.ness.cz 27
Produkční release
Platné pro všechny projekty: Produkční prostředí se může lišit od testovacího
Zopakujeme: Kdo instaluje na PROD prostředí? Dodavatelé, nebo provoz?● Doporučení: Vytvořte si za každého dodavatele instalační checklist
Smoketesty: Kdo je provádí? Jdou vůbec na PROD prostředí udělat?● Doporučení: Měl by je dělat už Business spolu s IT a pokrýt pokud
možno E2E
![Page 28: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/28.jpg)
www.ness.cz 28
Příprava na projekt
Fáze analýzy a designu testů
První dodávky, první problémy
Jak dodat projekt
![Page 29: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/29.jpg)
www.ness.cz 29
Nepropadejte panice
Nic nezviklá důvěru tak, jako panikařící Test manažer
Mějte SPOC za každého dodavatele ● SPOC se může pro každou roli měnit
Navažte s dodavateli rovnocenný vztah
Mějte transparentní přístup
Najděte si v projektu to svoje, aby vás projekt více bavil
![Page 30: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/30.jpg)
www.ness.cz 30
Evidujte si vše
Dobrá evidence je k nezaplacení
Nejen defekty, ale i:● Dohody, záznamy z jednání● Pracovní postupy● Zpoždění dodávek a jejich dopad na testy● Nedostupnosti prostředí
![Page 31: Testing on multi vendor project CzechTest 2016](https://reader034.vdocuments.mx/reader034/viewer/2022051706/58ef90391a28ab9a7e8b46a5/html5/thumbnails/31.jpg)
www.ness.cz 31
Čas se naplnil
Nyní je prostor na Vaše další dotazy
Děkuji za pozornost a přeji pěkný zbytek dne
Navštivte nás na stánku Nessu a zahrajte si :-)