iceberg stf2014 v2.1 - qualità del software e dei servizi ... · anet (coordinatore del progetto)...
TRANSCRIPT
Relatori:
Progetto ICEBERGStima dei costi della non qualità nei progetti software
Daniele Rosso, Assioma.net – Direttore Area TecnicaRoberto Pietrantuono, Consorzio Interuniversitario Nazionale per l'Informatica (CINI) - Ricercatore
Software Testing Forum - 24 giugno 2014
The research has received funding from the European Union Seventh Framework Programme (FP7/2007‐2013) under grant agreement n°324356
ICEBERG mira a migliorare l’interazione tra il mondo industriale e quello accademico promuovendo lo scambio incrociato di conoscenze in contesti culturali e geografici differenti. In particolare:
ANET (coordinatore del progetto)con conoscenze e competenze in SW quality assurance e certificazioni ISTQB.
DEISER con competenze in strumenti per processi decisionali e metodi di business.
CINI con esperienza nella verifica e validazione del SW in diversi settori, nonché nelle applicazioni critiche.
UAH con conoscenza nelle metriche del SW, modelli e testing, qualità del software e produttività, e sua relazione con gli “human factors”
ICEBERG Project: Partner
4
CINI
Consorzio Inter-universitario Nazionale per l’Informatica 36 Università pubbliche 1.307 su 1.508 professori di informatica e ingegneria informatica in ItaliaLaboratorio “C. Savy” ITEM Napoli
2010: 16 progetti EU, 43 progetti nazionali, >60 persone che lavorano sui progetti, >300 pubblicazioni
5
L’obiettivo del progetto ICEBERG è quello di disegnare un set di modelli al fine diprevedere l’impatto del costo legato alla scarsa qualità.
Proposta di azioni correttive da implementare ad ogni livello (strumenti, processi,competenze professionali coinvolti nell’intero ciclo di sviluppo SW)
i. Identificare le attività legate alla scarsa qualitàii. Definire come stimare i costi della non qualità
• Test di attività in relazione alla qualità stabilita• Implementazione incompleta o sbagliata di attività/fasi di testing• Raccolta iterativa di dati utili per la stima dei costi
iii. Analizzare i risultati e supportare il processo di decisione a livello manageriale.
Iceberg Project: Obiettivo
7
WP1• Project Management
WP2• Stato dell’arte, definizione delle metriche e dei parametri legati alla qualita’
WP3• Definizione di modelli e del workflow
WP4• Implementazione dello strumento e models fine‐tuning
WP5• Dissemination
ICEBERG prevede diverse fasi (Work Packages), divise in macro-temi, fondamentali per lo sviluppo del progetto.
Fasi del progetto
9
WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità 1st deliverable: Raccolta dei bisogni industriali e analisi dello stato dell’arte
Il risultato consiste in un vocabolario comune ad ogni lettore, un framework ad alto livello sulla misura di costo/qualità e altre analisi utili a definire le metriche e disegnare un modello di supporto alle decisioni.
WP2WP2: Stato dell’arte (1/4)
Stato dell’arte relativo a metriche per l’analisi della qualità del software, standard di qualità, a strategie e al miglioramento della qualità del software;
Definire soluzioni per:Identificare attività critiche rispetto alla relazione costo/qualità;Stimare la qualità e i costi ad esse associati;Monitorare e controllare la qualità tramite la raccolta di dati, l’analisi e l’implementazione di un supporto a livello manageriale
12
Quali sono i fattori che impattano la (non) qualità?
Ci si riferisce in letteratura all’ Iron Triangle.
WP2
COSTO
SCOPE
SCHEDULE/TIME DEFECTS/QUALITY
Qualità rispetto dei vincoli Costo e Tempo!
Es. Una decisione di qualità può essere l’implementazione del codice di analisi statica, il suo impatto sulla pianificazione del progetto potrebbe causare ritardi nel completamento dei task ma il numero di defect potrebbe essere ridotto ad un certo livello che porta alla riduzione dei costi. Il project manager deve sapere se è conveniente e in linea con gli obiettivi del progetto.
WP2: State of the art (2/4)
13
Qual è la relazione tra i fattori che impattano la qualità e il costo? Come possono essere misurati, controllati e migliorati?
WP2
Relazione indiretta
(es. In termini di insoddisfazione del cliente, costi di gestione dovuti a defect residui, ecc.)
Relazione diretta
(es. misurando l’effort e il tempo per sviluppare il prodotto con una certa qualita’)
COSTO & QUALITA’
I tre fattori di costo, tempo e qualità sono oggetto di una indagine condotta tramite una interview-survey somministrata in diverse fasi.
WP2: State of the art (3/4)
14
WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità 2nd deliverable: Validazione degli scenari e parametri legati alla qualità
WP2
WP2: State of the art (4/4)
i parametri e le metriche coinvolti nell’implementazione del modello si baseranno su attributi (es., il numero di defect trovati, affidabilità, robustezza) definiti in studi precedenti derivanti dall’incrocio tra teoria e pratica.gli approcci proposti saranno testati su casi reali: i partner industriali provvederanno a definire un set di scenari per la validazione del processo . I casi di studio si baseranno su:
rilevanza del tema; adattabilità (presenza e disponibilità di dati e competenze); scalabilità (i casi presi in considerazione dovranno essere in linea con le risorse e i tempi del progetto); estendibilità (l’approccio testato dovrebbe essere esteso anche ad altri settori oltre a Telco e Finance).
15
WP3: Definizione del modello
WP3
Questa fase del progetto prevede la definizione di uno schema per il supporto alle decisioni basato sul costo, qualità e tempo. Un esempio di framework è rappresentato dalla figura riportata sotto.
WP3: Model based process definition
16
Supporto alle “Quality decisions”
In generale, i modelli necessitano di misure per essere parametrizzatiI modelli supportano l’analisi, la stima, e la predizione di fattori di qualità/costo
ImproveData‐supportedDecisions
ImprovementActions
MeasurementProcess Quality
Metrics/Indicators(e.g., trackedbugs/issues)
Modeling/AnalysisQuality/Cost/TimeEstimation & Prediction
WP3WP3: Model based process definition
17
Alcuni esempi di “decisioni” su cui stiamo lavorandoValutazione di fasi del processo (implementation, testing, debugging/fixing)
Valutazione di Suppliers in processi di sviluppo basati su outsourcing
Allocation dellEffort per il testing di modules/components per minimizzare il costo o massimizzare la qualità
Decisioni sul Best Release Time basate su un valore di qualità desiderato/stimato
Valutazione della qualità di prodotto
Valutazione del processo di debugging e allocazione delle risorse di debug/testing per un’ottimizzazione globale
Build or Buy Decision per scelte relative all’acquisto o sviluppo di componenti software (trade-off costo-qualità-tempo)
…
ICEBERG Project 18
WP3WP3: Model based process definition
SUPPLIER Bug FixingTimes (days)
Implementation Quality (0-100)
SUPPLIER Work quality (0-100)
C1 75.09 0 0C2 15.28 5.65 5.65
C3 24.77 9.54 8.03
C4 41.77 48.82 27.20
C5 17.68 100 95.99C6 23.29 21.14 18.31
Who was the best supplier?
Alcuni esempi
The WORST
The BEST
WP3WP3: Model based process definition
19
WP3: Model based process definition
ICEBERG Project 20
GOOD
How two suppliers/components differ in the debugging process?
WP3
BAD!!
WP3: Model based process definition
ICEBERG Project 21
BAD!!GOOD
How two suppliers/components differ in the debugging
process?
WP3
WP3: Model based process definition
ICEBERG Project
Which DEBUGGER is deviating from the pattern? Why?
Extract the expected pattern From the Bug History:
QUEUEING FIXING
TESTING the FIX
WP3
22
WP3: Model based process definition
ICEBERG Project 23
Actual Fault Number Trend Possible
Release Week
SaturationEstimated Fault Number
When should I release my product?
Estimated Fault Number Trend
WP3
WP5: Dissemination
In questa fase tutti i partner sono coinvolti nella dissemination e in altre attività di sensibilizzazione, mirate a diffondere i risultati e raggiungere l’innovazione.
Regolarmente vengono realizzati alcuni report contenenti le attività di dissemination.
WP5
Un sito web (http://www.iceberg-sqa.eu/) con tutte le informazioni sul progetto, documenti, workshop, training.
Un blog (http://icebergsqa.wordpress.com/) che fornisce informazioni sul progetto, I suoi obiettivi, la terminologia e I principali attributi relativi alla qualita’ del software. Il blog permette di condividere i contenuti con post pubblicati su gruppi target e comunità internazionali come "QA & Testing Group" e "Software Testing Group".
WP5: Dissemination 1/2
25
WP5
International Journal on Software Tools for Technology TransferCarrozza, Gabriella and Pietrantuono, Roberto and Russo, Stefano (2014). Dynamic test planning: a study in an industrial context
35th International Conference on Software Engineering (ICSE)Cotroneo, D., Pietrantuono, R. & Russo, S (2013). A Learning-Based Method for Combining Testing Techniques.
5th International Workshop on Software Aging and Rejuvenation (WoSAR) -24th International Symposium on Software Reliability Engineering Workshop (ISSREW)D. Cotroneo, F. Frattini, R. Natella, R. Pietrantuono (2013). Performance Degradation Analysis of a Supercomputer Proc.
Information and Software TechnologiesRodriguez, D., Ruiz, R., Riquelme, J.C., Harrison, R. (2013). A study of subgroup discovery approaches for defect prediction.
Covenant Journal of Informatics and Communication Technology (CJICT)Fernandez-Sanz, L., Diez, T., Pages, C., Martinez, J.J. (2013). Managing Factors Which Influence Software Quality Results
… alcune pubblicazioni
WP5: Dissemination 2/2
26
Risolvere
Assioma.net offre un’ampia panoramica di soluzioni e servizi che consentono da una parte di controllare che la qualità delle
applicazioni percepita dall’utente finale sia in linea con le sue aspettative e con gli obiettivi
dell’azienda, dall’altra di gestire con efficacia e tempestività servizi di
help desk e di gestione dei problemi.
Analizzare
Assioma.net mette a disposizione strumenti e metodologie di
management e di reporting, nonché attività di assessment e di
misurazione dei risultati, al fine di supportare un approccio più
strategico e sistematico alla gestione della qualità, a garanzia
di un ROI più elevato e di una maggiore capacità predittiva.
Prevenire
Assioma.net offre un’ampia gamma di test strutturali e di performance,
oltre a servizi di gestione e ottimizzazione delle risorse e dei
processi in ambito Software Quality, finalizzati a coniugare l’aumento dei livelli qualitativi con la diminuzione
dei costi, in un’ottica di continuous improvement.
Assioma.net è in grado di supportare l’IT in una efficace governance della qualità applicativa, mettendo a disposizione dei propri clienti competenze specialistiche consolidate da un’esperienza quasi trentennale e organizzate in una struttura agile e flessibile che conta oltre 200 collaboratori, ha acquisito partecipazioni in aziende leader di mercato e collabora con importanti comunità accademiche nazionali ed internazionali.
Composizione del fatturato
Titolo ppt 27
Assioma.net
Milano
Via Rimembranze, 6 20090 Cesano Boscone (MI) Tel. +39 02.45055.810 Fax. +39 02.45055.841
Seoul
#502 Ivy League Bldg. 292-249 Imun-dong, Dongdaemun-gu, Seoul 130-081, Korea Tel. +82 02.9590.151 Fax. +82 02.9590.153
Torino
Via G. Spano, 6/11 10134 Torino Tel. +39 011.19709.510 Fax. +39 011.19709.541
CONTATTACI
Grazie dell’attenzione• partner@iceberg‐sqa.eu
• www.linkedin.comSoftware Quality Assurance ICEBERG Project
• www.iceberg‐sqa.eu• http://icebergsqa.wordpress.com/• www.assioma.net• www.deiser.com• www.uah.es• www.consorzio‐cini.it