a5 4 controllo qualità v32 [modalità compatibilità] _v32...misure di prodotto: concetti generali...

INGEGNERIA DEL SOFTWARE

Paolo Salvaneschi

Università di BergamoDip. di Ingegneria gestionale, dell'informazione e della produzione

A5_4 V3.2

Controllo QualitàMisure

Il contenuto del documento è liberamente utilizzabile dagli studenti, per studio personale e per supporto a lezioni universitarie.Ogni altro uso è riservato, e deve essere preventivamente autorizzato dall’ autore.

Sono graditi commenti o suggerimenti per il miglioramento del materiale

• Misure di prodotto: concetti generali

• Utilizzo delle misure

• Esempi di misure

• Misurare la qualità di prodotto

INDICE

A5 - Controllo Paolo Salvaneschi 2


• Misure di servizio, progetto, processo

• La qualità di un prodotto (caratteristiche ISO 9126) può essere valutata non solo attraverso il testing o le ispezioni, ma anche raccogliendo misure

Misure di prodotto: concetti generali


• relative a specifici aspetti del prodotto

• al fine di stimare il valore delle caratteristiche di qualità

• Esempio

– Misura della coesione ed accoppiamento tra componenti software

– Dimensioni medie del componente software in linee di codice (LOC)



codice (LOC)

– Densità di commenti nel codice

– …….

Stima della manutenibilità

• Alcune caratteristiche di qualità non sono valutabili attraverso l’esecuzione di test

• Es. Manutenibilità

– E’ importante stimare la manutenibilità del prodotto



– E’ importante stimare la manutenibilità del prodotto durante lo sviluppo a partire dall’osservazione di caratteristiche del prodotto

– Altro modo: sviluppare lo stesso prodotto più volte con tecniche diverse. Eseguire un insieme di casi di test di manutenzione a parità di condizioni (persone, ambiente,…) su tutti i prodotti; misurare gli sforzi di manutenzione ed eseguire una valutazione comparata

• Durante la vita di un prodotto software si possono misurare indicatori utili per stimare, predire o tenere sotto controllo caratteristiche di qualità

• Es. affidabilità



• Es. affidabilità

– Copertura del test

– N.difetti individuati/LOC nella fase di test

– N.difetti individuati/LOC in esercizio

• Misura

– Definizione dell’entità che si misura e dell’attributo da misurare

– Unità di misura



– Unità di misura

– Procedura per assegnare il valore dell’attributo

– Valore misurato

• Misure interne– Misura della coesione ed accoppiamento tra componenti software

– Dimensioni medie del componente software in linee di codice (LOC)

– Densità di commenti nel codice



• Valutate sui documenti che costituiscono il prodotto (alfine di stimare le misure esterne)

• Misure esterne• Valutate sul prodotto nell’ambiente di utilizzo

– Sforzo di modifica (gg/uomo) /n. linee di codice modificate


• Attenzione !

Definire quale attributo misuriamo di qualeoggetto

Numero ciclomatico(Mc Cabe)V(G) = = n.archi – n.nodi + 2

1


V(G) = = n.archi – n.nodi + 2Misura il numero di decisioni binarie d in un programmaV(G) = d+1Misura un attributo della struttura di controllo di un programmaNon èuna misura di manutenibilità(anche altri fattori contribuiscono alla manutenibilità)

2

3 4

5

6


• Attenzione !

• Che operazioni aventi significato si possonoapplicare alla misura? (teoria della misura)


L’operazione di media non ha significatosu una scala di misure che è solo un ordinamento(senza distanzaaltissima-alta = media-bassa ???)

30*1+60*2+8*3+2*4100

N totale eventi 100

• Assunzioni:

– Una proprietà globale del prodotto (caratteristica di qualità “manutenibilità”) può essere misurata in modo quantitativo attraverso uno o più indicatori

– Esiste una relazione tra gli indicatori (ciò che



– Esiste una relazione tra gli indicatori (ciò che misuriamo) e la caratteristica di qualità (ciò che vogliamo stimare)

– La relazione è stata formalizzata e validata e la stima che otteniamo del valore della caratteristica di qualità ha una capacità predittiva


Misure di attributi interni

N. di linee di codiceNumero ciclomaticoCoesione e accoppiamento…

In generaleEs. manutenibilità


Valore di attributo esterno

Sforzo medio di correzionedi un difetto

Predizione


Misure di attributi esterni

Serie storicadei malfunzionamenti

Affidabilità


Valore di attributo esterno

Tempo medio tra due malfunzionamenti

Predizione

• Definire e validare una relazione tra gli indicatori e la caratteristica di qualità e difficile e controverso– Es. Lo sforzo di manutenzione di un prodotto è legato

ad una complessa rete di cause (tipologia del personale, caratteristiche del prodotto, tempi,…)



• Utilità in contesti definiti anche se la capacità predittiva è un problema– Base di dati storica– Contesto stabile

• Utilizzo con attenzione


Test periodicodelle caratteristiche delmezzo

Livello quantitativodi sicurezza

Valutazionequantitativa

Sicurezza


Tempo medio tra unincidentee il successivo

Predizione

Una valutazione di qualitànon necessariamentedeve produrreuna predizione quantitativaper essere considerata utile

Sicurezza

• Non sempre è necessario predire– Es. Gestire il rischio

Questa struttura



Questa struttura di chiamate tra moduliè più rischiosadi una struttura più gerarchica

• Non sempre è necessario predire– Es. Monitorare



Conoscenzastorica

• Non sempre è richiesta una misura quantitativa

1

Valori misurati

Profilo richiesto

Livello 2:dati cumulativi


H


0

0,333333333

0,666666667

Efficiency:13 dom.

Functionality:69 dom.

Maintainability:79 dom.

Portability:3 dom.

Reliability:59 dom.

Usability:36 dom.

H

M

L

Utilizzo delle misure

• Perchè misurare? (classi di obiettivi)

• Valutazione– Accettazione

– Monitoraggio e prevenzione

– Confronto


– Confronto

– Gestione del rischio

– Monitoraggio del livello nel tempo

– Spiegazione

• Predizione

• Utilizzo delle misure

• Misura della qualità ai fini dell'accettazione

– Scopo: valutare caratteristiche di qualità del prodotto(es. manutenibilità) i cui valori sono definiti nei



(es. manutenibilità) i cui valori sono definiti neirequisiti non funzionali.

• Monitoraggio della qualità di prodottodurante il processo produttivo

– Scopo: tenere sotto controllo il livello di qualità delprodottodurantelo sviluppo, al fine di identificare in



prodottodurantelo sviluppo, al fine di identificare inanticipo i problemi e intervenire

– Le misure possono essere svolte dal produttore o, in caso di rilasci intermedi ufficiali, dal committente del prodotto o da terza parte.

• Valutazione della qualità per diagnosi ereingegnerizzazione

– Scopo: valutare la qualità di un prodotto esistente la cuiqualitàdeveesseremigliorata



qualitàdeveesseremigliorata

– Individuare la convenienza ed i costi dellareingegnerizzazione e le modifiche da apportare.

– Al termine della valutazione è fornita la diagnosi dellostato del prodotto e la terapia indicante le modifiche daintraprendere per l'ottenimento della qualità richiesta.


• LOC

• N. di linee di codice

Esempi di misure


• Esclusi i commenti

• Usato storicamente come stimatore dello sforzo di programmazione

• Interpretazione dipendente dal linguaggio e dal tipo di applicazione

• Numero ciclomatico(Mc Cabe)

• Dato il grafo di controllo di un programma, misura il numero di cammini linearmente indipendenti che, a partire dal nodo iniziale, raggiungono il

Esempi di misure


che, a partire dal nodo iniziale, raggiungono il nodo terminale

• V(G) = = e - n + 2

• e numero degli archi (flusso di controllo)

• n numero dei nodi (comandi)

• Grafo di controllo

1 Read (x)2 Read (y)

If (x>y)

1

2

V(G) = e-n+2V(G) = 6-6+2=2

Due cammini

Esempi di misure


If (x>y)3 then x=x+14 else x=x-15 Write (x)6 Write (y)

3 4

5

5

Due cammini linearmente indipendentidal nodo iniziale al nodo finale

• Interpretazione:

– Un valore elevato di V(G) per un modulo indica una struttura complessa di controllo che influenzerà (assieme ad altri fattori) la manutenibilità del modulo stesso

– Si dimostra che: V(G) = d + 1 (d: numero di decisioni binarie)

Esempi di misure


binarie)

– Misura un attributo della struttura di controllo di un programma

– Non è una misura di complessità (cosa è la complessità?)

– Non è una misura di manutenibilità (anche altri fattori contribuiscono alla manutenibilità)

1

2

3 4

Esempi di misure


V(G) = 4-5+2=1

3 4

5

5

V(G) = 7-6+2=3

• Fan in, Fan out

– Applicato ad un modulo

– Fan in: n. di moduli che chiamano il modulo misurato

– Fan out: n. di moduli che il modulo misurato chiama

Esempi di misure


– Fan out: n. di moduli che il modulo misurato chiama

– Un fan in elevato suggerisce un accoppiamento elevato con gli altri moduli dell’architettura

– Un fan out elevato suggerisce una complessità interna elevata del modulo

• Profondità dell’albero di ereditarietà

• Numero di livelli nel grafo di specializzazione delle classi

• Interpretazione: più il valore di profondità è

Esempi di misure


• Interpretazione: più il valore di profondità è elevato, più il progetto è complesso e difficile da capire

Misurare la qualità di prodotto


Esempio: misura di manutenibilità



• Per ottenere stime di caratteristiche di qualità (es. manutenibilità) è necessario:

– Pianificare un insieme di misure diverse

– Eseguire le misure


– Eseguire le misure

– Interpretare i singoli risultati

– Integrare l’insieme dei risultati al fine di ottenere un valore dell’attributo stimato

• Pianificare un insieme di misure diverse

Matrice di qualità e piano di qualità


TestPrototipi


PrototipiIspezioniMisure quantitativeMisure qualitative

• Pianificare un insieme di misure diverseCosa misurare: la qualità nel contestoScenari(qualità di un componente nel contesto di uso)



Componente“Billing”

Manutenibilità

Modificacontratto

Componente“Billing”

ModificaNorme

legislative

• Pianificare un insieme di misure diverse

– Dimensione media dei moduli in LOC

– Numero ciclomatico medio dei moduli

– Coesione ed accoppiamento



– Coesione ed accoppiamento

– Indicatori di qualità della documentazione dei moduli

– Indicatori di qualità della documentazione dell’architettura

– ……………….

• Interpretare i singoli risultati

Misura InterpretazioneV(G) fino a 20 1 – positivo



V(G) fino a 20 1 – positivotra 20 e 40 0,5 – neutromaggiore di 40 0 – negativo

• Integrare l’insieme dei risultati al fine di ottenere un valore dell’attributo stimato

• Definire un criterio per identificare, a partire dalla singole interpretazioni, il valore stimato



singole interpretazioni, il valore stimato

– Media, Media pesata, Mediana

– Regole di integrazione

– …..

Esempio diapparato dimisura

Esempio




Esempio: misura di usabilità e interazione di usabilità / sicurezza con tecniche di ingegneria del software sperimentale


ingegneria del software sperimentale

Esempio diValutazione sperimentale dell’usabilità di sistemi per la sicurezza

Esempio

1. Purpose and scope definition2. Context and roles definition

U. Piazzalunga, P. Salvaneschi, P. Coffetti,The Usability of Security DevicesBook chapter in: L. Cranor and S.L. Garfinkel ed. “Designing Secure Systems That People Can Use”O’Reilly Media, Academic and Professional Series, 2004


The 3 form factors used in the usability tests.

2. Context and roles definition3. User selection4. Task definition5. Measurement apparatus design6. Execution and data collection7. Processing for statistical significance8. Computation of the quality attributes scores9. Results interpretation and explanation

Esempio


The base type of USB tokens collapse in one single object both the smart card readerand the cryptographic smart card IC.The advanced USB token adds a mass storage to the base type; when connected tothe host system, this token will make available as separate resources both the smartcard (and its reader) and a removable hard drive for general purpose storage

Usability Test Method

Purpose and scope definition.We define the aims of the test (e.g., the comparison of the usability of two types of devices) and sets thelimits of the test.

Context and roles definition.The context for the experimental scenario is designed, including the real environment we want to simulate,the roles of the users, the type of tasks they need to achieve, etc. Each role has to be clearly specified,including the possible actions of a supervisor.

User selection.

Esempio


User selection.The selection criteria of users are defined according with the selected context and aims of the test.The number of users has to be chosen to provide a wide-enough sample to support the statisticalanalysis of data.

Task definition.The tasks to be executed by each user (sequence of steps, input data, output data) are defined.

Measurement apparatus design.We choose a set of metrics and specify their relationships with the usability attributes. For each metric,we define name, description, scale, and procedure to collect the raw data and to compute the measurement.

Execution and data collection.The test is executed and the data are collected.

Processing for statistical significance.The data are processed to assure their statistical significance (e.g., a metric is the result of the computationof a mean value of raw data and it is required to compare two mean values coming from two differentsecurity devices).

Computation of the quality attributes scoresThe ISO 9126 quality model is a tree where the usability is linked to a set of attributes and each attribute isevaluated through a set of metrics. To compare the quality profile of two products, for example, it is usefulto compute the score for each quality attribute by considering the contribution of a number of metrics.This may be done through a procedure that takes as input the sets of measures and computes the scoreof the quality attributes. Note that this procedure has to consider diverse types of measures, including

Esempio


of the quality attributes. Note that this procedure has to consider diverse types of measures, includingquantitative measures, as well as qualitative ones, coming, for example, from expert’s evaluations.

Results interpretation and explanation.Finally, we need to interpret the whole set of results and suggest possible causal explanations useful forgenerating design recommendations.

Esempio

Purpose and scope definition

The scenario set up for this study compares the usability(and the usability – security interaction) of three alternative realizations of a simplebut widespread PKI-based system.These alternatives differ for the personal security devices used: the traditional plasticsmart card with a USB smart card reader and two types of USB tokens(labelled as “base” and “advanced” token).


(labelled as “base” and “advanced” token).

Context and roles definition.The role assigned to the participantwas to be responsible for the preparation and launch of an advertising campaign to promote a new product. Tasks for this job position included frequent travels among the different sites of her company and most of the material to be delivered for the campaign had to be sent to colleagues through emails. Given the high competition in the market targeted by the new product, a strong level of security protection was demanded on all email communications. To this end, a cryptographic device with her personal digital certificates was prepared. The company had a technical support team to assist her, should any trouble arise with the device. Her manager advised to keep to the minimum possible the calls

Esempio


trouble arise with the device. Her manager advised to keep to the minimum possible the calls to the support team, since it had limited staff.

The test involves both a number of participants (the users) and a supervisor. The supervisorhas the following roles:•Drive the initial phase of the test, giving the user all the required inputs.•Collect the measures during the test.•Act as the customer support service during the test execution.•Drive the final phase to collect the questionnaire.

User selection.We selected ten participants for the user test. All of them were at their second or third year of undergraduate studies in an engineering college. While they were all skilled with the use of email and computers, they did not have any previous experience with securing email or cryptographic devices.

The number of users was chosen to provide a wide-enough sample (10 samples for each device type) to support the statistical analysis of data.

Esempio


Task definition.The participant had to move across three company's sites where her work was required. Three workstations in three different university labs simulated this set up.

At each site the user had to execute the following tasksand then proceed to the next “site”.• Install drivers and software for the device.• Send an encrypted and signed email to a colleague through the standard Outlookencryption and signing procedure, which requires her to provide the password to authorizethe signatureoperationson the device. The text and the recipient for the email where

Esempio


the signatureoperationson the device. The text and the recipient for the email wherecontained in the documents handed out; the email client was configured to includebeforehand the digital certificate of the recipient. The user’s digital certificate isautomatically available right after the device is inserted.

At the end of the three sites, the supervisorgave to the user the hardware for the second form factor and the user repeated the step 1 and 2 for the three sites. The same process was executed for the third form factor.

Esempio

Measurement apparatus


Metrics and their relationships with the usability attributes.For example, the number of requests to the customer service and the time forsending email contribute to the “low cost to operate” attribute value.

Esempio



Usability / security interactionThe ISO standard does not model this type of attributes, because it describes aninteraction between properties (usability and security).

Esempio

The following errors are classified as security errors: • Failure to encrypt an email.The secret supposed to be protected was sent inclear.

• Failure to sign an email.It prevents the recipient from verifying the author andthe integrity of the email.

• Failure to bring the cryptographic device in the new location.



• Failure to bring the cryptographic device in the new location.The device is left on the desk or plugged in the workstation; this situation mayallow attackers to get access to the user's private key. Access to private keys isprotected through password authentication—user need to log in and beauthenticated by the smart card IC. Even though most of the cryptographicdevices implement password-locking functionalities to prevent brute forceattacks, badly chosen passwords or social engineering attacks may result in aprivate key compromise.

Measurement results

Esempio

Probabilità di rigettare a tortol’ipotesi che SC e BT siano eguali(l’ipotesi avrebbe dovuto essere accettata)


Test della significatività della differenza tra le duemedie con la distribuzione t di Student

Measurement results

Esempio


Esempio

Measurement results


Esempio

Measurement results


The results of the questionnaire.(a) Mean score values of the users’ evaluation of mobility and usability.(b) Preference of purchase.

Summary of the usability attributes scores

Esempio


Causal explanationof the natureof the security errors

A node of the graph represents a type

Esempio


A node of the graph represents a typeof events, while an oriented arc definesan influence relation between a nodeand his parents. The couple of numbers n/t means that,out of a total of “t” events, “n” influencedthe linked event. The data were comingfrom the measurements and the supervisorannotated comments taken during theexperiment.

Out of a total of 35 security errors, 21 occurred while using smartcards, 9 with the base tokens, and only 5 with the advanced ones(these 35 security errors represent the 15% of the total 230 email and mobility tasks).

Esempio


and mobility tasks).Most of the errors were due to:(i) improper connections of the devices or(ii) the failure to bring along the hardware when moving to a

different location.

It can be stated that the smart card form factor is familiar to millions of people whilethe USB token is not. The experimental results reported here, however, indicates thatthis claim does not translate into good usability and security, at least when the smartcard is to be used actively for security purposes on present day computers. Indeed,current smart card deployment seems to often ignore a simple but hardly surprisingusability issue, the correct card insertion. For example, the graphics printed onAmex Blue or Target smart cards provides no clear visual clue to users about whichis the side and edge that would need to be inserted into the reader. Furthermore,many smart card readers do not offer a clear visual feedback to user when the smart

Esempio


many smart card readers do not offer a clear visual feedback to user when the smartcard is properly positioned.The introduction of these two designs—visual clues onthe graphics printed on the smart card and good visual feedback from readers—would likely limit the usability problems related to proper smart card insertion.The reason for a better usability of the USB tokens is rooted into the minor number ofcomponents involved and the well-designed usability of the USB connector(users canplug a USB device in one way only). The advanced tokens best results are further linkedto a side effect of a software usability issue in the email client: the token was alreadyplugged in due to its use in installation. Therefore it bypassed the failure of the softwareto remind users to insert the device for signing emails.

Misure di servizio, progetto, processo

• Le misure relative ai prodotti possono essere utilizzate anche per valutare, controllare, gestire servizi, progetti, processi

• Valutazione di scarsa manutenibilità del prodotto:

– Possibile indicatore di carente progettazione


– Possibile indicatore di carente professionalità dei programmatori

– Possibile indicatore di pianificazione carente o vincoli di tempo non compatibili con la qualità attesa

– ……

• Difettosità elevata del prodotto in esercizio:

– Possibile indicatore di carenze del processo di testing

– ……

• Dal prodotto software al servizio

– Software + piattaforma di delivery

– Servizio

• Misurarele risorse



• Misurarele risorse

• Introdurre la variabile tempo

• La misura come base per la definizione dei“Service Level Agreement”

• Misurare i progetti

– Misurare le caratteristiche tecniche

– Misurare le risorse

• Avanzamentodelleattività



• Avanzamentodelleattività

• Costi

• Sforzi

• …

• Misurare i processi

• Un processo può essere gestito e migliorato attivando la raccolta e la valutazione periodica di un insieme di misure al fine di



un insieme di misure al fine di

• Valutare la qualità del processo (maturità)

• Intraprendere azioni di miglioramento



Processo di sviluppo

–N. progetti fuori costo previsto a budget / n.totale progetti

–N. progetti fuori tempo previsto di consegna / n.totale progetti

Processo di manutenzione

–N.segnalazioni risolte / n.segnalazioni totali nel periodo

–Tempo medio di risoluzione


consegna / n.totale progetti

–N.lamentele gravi dei clienti

–N. difetti sui prodotti rilasciati in esercizio /LOC

–…..

–Tempo medio di risoluzione

–…


• ISO/IEC 15939: 2007Software Measurement Process

• PSM(Practical Software and Systems Measurement)– Practical Software and System Measurement (PSM) is sponsored by

the Department of Defense and the US Army. The goal of the project is to provide Project Managers with the objective information needed to successfully meet cost, schedule, and technical objectives on programs.


programs. – PSM is based on actual measurement experience on DoD,

Government and Industry programs. – PSM served as the base document for the development of ISO/IEC

15939. PSM provides additional details on the activities and tasks presented in ISO/IEC 15939, and provides detailed steps to successfully meet these tasks.

a5 4 controllo qualità v32 [modalità compatibilità] _v32...misure di prodotto: concetti generali...

Documents