testingcup 2015 - prezentacja wprowadzająca do zawodów
TRANSCRIPT
Dla zawodników. Najważniejsze informacje.Radek Smilgin
Reguły zawodów
Reguły ogólne TestingCup
• W fazie testowania i raportowania defektów komunikacja jest ograniczona w poniższym zakresie:
1. Uczestnicy indywidualni mogą komunikować się tylko z Komisją Sędziowską2. Członkowie jednej drużyny mogą komunikować się ze sobą3. Kapitanowie drużyn mogą komunikować się z Komisją Sędziowską
• W fazie testowania i raportowania komunikacja jest całkowicie zabroniona:
1. Pomiędzy członkami różnych drużyn2. Pomiędzy uczestnikami indywidualnymi3. Pomiędzy członkami drużyn a uczestnikami indywidualnymi4. Pomiędzy uczestnikami testującymi oprogramowanie a widzami5. Pomiędzy uczestnikami testującymi oprogramowanie a innymi osobami niebiorącymi udziału w Mistrzostwach
Reguły ogólne TestingCup
• W fazach testowania i raportowania defektów bezwzględnie zabronione jest:
1. Używanie debugerów i dekompilatorów2. Korzystanie ze sprzętów elektronicznych, na przykład: telefony komórkowe i tablety do celów innych niż komunikacja w zespole3. Korzystanie z innych urządzeń […](podłączonych przewodowo lub bezprzewodowo), w tym pendrive’ów (z wyjątkiem tych dostarczonych przez Organizatora).
Reguły ogólne TestingCup
• Opuszczanie sali w trakcie fazy testowania i raportowania defektów jest możliwe z poniższymi zastrzeżeniami:
1. Nie można opuszczać swojego stanowiska przez pierwsze 20 minut po rozpoczęciu fazy testów2. Należy przebywać przy swoim stanowisku przez ostatnie 20 minut przed zakończeniem fazy testów3. W trakcie opuszczania i powrotu do stanowiska nie można przeszkadzać innym uczestnikom Mistrzostw4. W jednym czasie, poza stanowiskiem, może przebywać tylko jeden członek drużyny5. Opuszczenie stanowiska jest możliwe po uzgodnieniu tego z osobą wyznaczoną przez Organizatora
runda 1 - Eliminacje
Runda 1 - Eliminacje
• Eliminacje polegają na:1. Rozwiązywaniu zadań związanych z poszukiwaniem defektów2. Raportowaniu znalezionych defektów
• Liczba miejsc w Finale• 10 zawodników indywidualnych• 10 drużyn
• Liczy się kolejność zgłoszeń!• W przypadku równej liczby punktów do finały przechodzą te drużyny i Ci
zawodnicy indywidualni, którzy ukończyli zadanie wcześniej (oddali raport)
Runda 1 - Eliminacje
• Rozpoczęcie pracy – sprawdź czy ikona jest zielona
Runda 1 - Eliminacje
Wersja: Lider / Zawodnik indywidualny Wersja: Członek drużyny
Runda 1 - Eliminacje
• Reguły punktacji:• Punkty są przypisane do każdego zadania (od 1 do 4 punkty)• Zdobycie punktów jest możliwe tylko przy spełnieniu reguł:
• w aplikacji Mr Buggy 3 uruchomionej na wersji lidera albo zawodnika indywidualnego zostanie zreprodukowany dany defekt bezpośrednio przed zgłoszeniem defektu
• Pamiętaj, że nawigacja po pytaniach i odświeżenie zeruje kroki reprodukcji
• zostanie wskazana poprawna kategoria defektu
• uzupełnienie opisu o zrozumiały i poprawny raport defektu
• W przypadku niewypełnienia jednej z reguł za zadanie przyznawany jest punkt ujemny (-1 pkt).
• W przypadku braku udzielenia odpowiedzi punkty nie są przyznawane
Runda 1 - Eliminacje
• Zgłaszanie defektów• Kategoria defektów „Inny”
• Wskazanie tej kategorii oznacza, że udało się znaleźć defekt spoza zdefiniowanych kategorii.
• Uznajemy, że został znaleziony defekt niecelowo wprowadzony do zadania
• Za rzeczywisty defekt otrzyma się 5 punktów
• Jeśli defekt nie istnieje, albo nie da się go zreprodukować to zostanie odjętych 10 punktów
Runda 1 - Eliminacje
• KategorieInterfejs defekty związane z poprawnością wyświetlania interfejsu, w tym także niepoprawne komunikaty
Operacje matematyczne defekty będące wynikiem błędnych działań matematycznych
Przepływ sterowaniadefekty będące następstwem niepoprawnego zaimplementowania procesu i przejść między stanami w aplikacji
Przenaszalnośćawaria powiązana z nie wspieraniem środowiska zdefiniowanego przez zamawiającego i problemy związane z instalowalnością
Niezawodnośćstabilność działania oprogramowania w funkcji czasu, dla określonej liczby operacji i w określonym środowisku
Walidacja danychdefekty związane z poprawnym sprawdzeniem i przetwarzaniem danych wysłanych formularzem przez użytkownika
Funkcjonalnośćdefekty związane z funkcjonowaniem aplikacji niezgodnie z wymaganiami, gdzie funkcja nie działa lub też działa niepoprawnie
Informacja w interfejsie niezgodna z rzeczywistością informacja przekazana przez interfejs użytkownika jest nieprawdziwa, lub też wprowadzająca w błąd
Wydajność aplikacja nie odpowiada w czasie zdefiniowanym w wymaganiach
Dostępność defekty w których komponent lub system działa i jest niedostępny, gdy wymagane jest jego użycie
Walidacja wartości pola niepoprawna walidacja wartości wprowadzonych przez użytkownika w polu
Wartości graniczne i klasy równoważnościniepoprawna obsługa wartości wejścia lub wyjścia, która jest na granicy klasy równoważności, w najbliższym sąsiedztwie lub też znajduje się w danej klasie
Dopasowanieniezdolność oprogramowania do dostarczenia odpowiedniego zestawu funkcji dla określonych zadań i celów użytkownika
Baza danych defekty związane z niepoprawnym przetwarzaniem w ramach bazy danych
Bezpieczeństwodefekty, które wpływają na poziom ryzyka wystąpienia szkody w stosunku do ludzi, biznesu, oprogramowania, majątku, danych lub środowiska w określonym kontekście użycia
Inny defekty nie ujęte w pozostałych kategoriach
Runda 1 - Eliminacje
• Zgłaszanie defektów• Raporty defektów
mogą zostać stworzone w języku polskim lub angielskim
• Raporty mają mieć nie więcej niż 255 znaków
Runda 1 - Eliminacje
• Tablica wyników• Informacja
poglądowa
• 10 najwyższych miejsc
Runda 1 - Eliminacje
• Zakończenie Eliminacji:• Po zakończeniu testowania raport z testów należy nagrać na pendrive
• Lider drużyny lub zawodnik, którzy ukończyli przed czasem zgłasza ten fakt do Organizatorów przez podniesienie ręki
• Od lidera lub zawodnika indywidualnego odbierany jest pendrive, a na kopertę wpisywany jest czas ukończenia testów (z dokładnością do jednej minuty)
• Jeśli do końca testowania pozostało 15 minut, pendrive-y zbierane są przez Organizatorów bez wpisywania czasu ukończenia. W takim wypadku czas nie jest brany pod uwagę przy określaniu miejsca w klasyfikacji
Runda 1 - Eliminacje
• Eliminacje staną się Finałem jeśli:• Ze względu na przesunięcia czasowe zabraknie czasu na rozegranie Finału
• Pojawią się problemy techniczne uniemożliwiające rozegranie Finału
• Zdarzą się inne nieprzewidziane okoliczności
runda 2 - Finał
Runda 2 - Finał
• Finał polega na:1. Przetestowaniu dostarczonej aplikacji bazując na dostarczonej specyfikacji
Prosimy nie testować i nie raportować defektów specyfikacji
2. Raportowaniu znalezionych defektów i stworzeniu raportu testowego opisującego całościową jakość oprogramowania oraz działań wykonanych podczas testowania
Aplikacja zostanie ujawniona przed Finałem TestingCup
Runda 2 - Finał
• Reguły punktacji:
1. Nie ma dodatkowych punktów za jakość raportu defektu (zmiana względem 2014 roku)
2. Można zdobyć maksymalnie 10 punktów za sugestie2 punkt za pojedynczą sugestie
3. Defekty oceniane w skali 0-5 punktów-2 punkty (punkty ujemne) za zgłoszenie, które nie jest defektem-2 punkty (punkty ujemne) za duplikat wcześniejszego zgłoszenia
4. Prosimy nie raportować defektów trywialnych aplikacji i specyfikacji (literówki, przecinki, składnia, drobne problemy interfejsu itd.) – przyznajemy za nie 0 punktów
5. Otrzymuje się 30 punktów za stworzenie dobrego testerskiego raportu
Runda 2 - Finał
• Określenie miejsc w przypadku miejsc ex aequo:• Jeśli na nagradzanym miejscu znajdzie się więcej niż jeden uczestnik/drużyna,
rozstrzygnięcie nastąpi na podstawie większej ilości defektów ocenionych na 5 punktów
• Jeśli to nie przyniesie rozstrzygnięcia oceniane będą defekty za 4 punkty itd. aż do 1 punktu
• Jeśli i to nie przyniesie rozstrzygnięcia to pod uwagę wzięte zostaną wyniki z Rundy 1 – Eliminacje
• Jeśli mimo wszystko nie uda się rozstrzygnąć kolejności miejsc, ogłoszony zostanie remis, a podział nagród zostanie ustalony z poszczególnymi osobami bądź drużynami
Powodzenia!