ISO/IEC 25000 -standardisarja (SQUARE)

Ohjelmistojen ja järjestelmien laadun mittaaminen

Ohjelmiston ja järjestelmän laatumalliLaadun mittarit, esimerkkejä

Laadun arvioinnin periaatteita

Tervetuloa luentoaineiston käyttäjäksi!

Tämän luentoaineiston ovat laatineet TkL Risto Nevalainen FiSMA ry:stä ja professori Markku Tukiainen Itä-Suomen Yliopistosta. Kalvosarja on tuotettu SFS:n projektirahoituksella.

Aineisto on suunnattu ammattikorkeakoulujen ja yliopistojen opettajille ja opiskelijoille. Kalvosarja esittelee ohjelmistojen ja järjestelmien laadun mittaamisen standardiperheen SQUARE keskeisen sisällön sekä työn alla olevat uudistukset.

Tässä kalvosarjassa ei käsitellä laadun mittaamisen standardeja yksityiskohtaisesti, vaan yleisen johdanto-osan jälkeen esitellään lähinnä laatumalli, esimerkkejä laadun mittareista ja arvioinnin periaatteista.

02.05.23 | 2

Aineiston käyttö ja tekijänoikeudet

• Tämän luentoaineiston tekijänoikeudet omistaa Suomen Standardisoimisliitto SFS ry.

• Esitystä saa vapaasti käyttää opetustarkoituksiin ja sitä saa tarvittaessa muokata. Aineistoa lainattaessa lähde tulee mainita.

• Aineiston käyttö kaupallisiin tarkoituksiin on kielletty.

• Tämä materiaali on päivitetty viimeksi 14.12.2015.

02.05.23 | 3

Sisältö

• Laadun mittaamisen standardien ja mallien kokonaisuus

• Hieman ISO/IEC 25000 viitekehyksestä• ISO/IEC 25010 –standardi (laatumalli)• Esimerkkejä laadun mittareista• Ohjelmiston ja järjestelmän laadun arviointi• Kokemuksia standardin käytöstä• Standardin jatkokehitys

02.05.23 | 4

Mikä on SQuaRE malli ja viitekehys?

• SQuaRE = Software Quality Requirements and Evaluation– Yleisnimi tuotelaadun ISO/IEC 25000

standardiperheelle• SQuaRE sisältää laatumallin ja joukon laadun

mittareita ohjelmistolle, järjestelmälle ja lähiaikoina myös palvelulle ja tiedon laadulle (Software, Systems, Services, Data)– Standardiperhe on kasvanut pikkuhiljaa

kattamaan käytännössä kaikki digitaalisen maailman tärkeimmät tuotteen mittaamisen yleiset osa-alueet

02.05.23 | 5

Hieman historiaa

• Ohjelmiston laadun mittaamisen standardin kehitys alkoi jo vuonna 1985. Ensimmäiseksi koottiin lista laatuun vaikuttavista tekijöistä.

• Boehm model ja McCall model olivat tärkeimmät alkuvaiheen julkaistut mallit, joita käytettiin lähteinä.

• Jo alkuvaiheessa myös laadun arviointi otettiin mukaan standardointityöhön.

• Ensimmäinen standardi julkistettiin vuonna 1991: ISO/IEC 9126: Information technology-Software product evaluation-Quality Laatupiirres and the guidelines for their use

• ISO/IEC 9126 jaettiin muutama vuosi myöhemmin 9126 (mallit ja mittarit) ja 14598 (laadun arviointi) sarjoiksi

02.05.23 | 6

SC7 ja WG6 työryhmä, jossa SQUARE standardia tehdään

SC7

Secretariat

Standards Mana-gement Group

SWG 5

Systems & Software Documentation

WG2ProcessAssessment

WG10

VocabularyMaintenance

SWG22

WG26Software TestingTools and

Environment

WG4Techniques for Specifying IT Systems

WG19

Life Cycle Management

WG7

Software ProductMeasurement andEvaluation

WG6

Architecture

WG42

CIF Usability

WG28

SLC Profiles and Guidelines for VSE

WG24

SWG 1Business Planning Group

WG20Software EngineeringBody of Knowledge

WG21SoftwareAsset Management

02.05.23 | 7

SC7 WG6 / ISO/IEC 25000 edeltäjät• ISO/IEC 9126: Software engineering - Product quality – (Part

1: Quality model, Part 2: External metrics, Part 3: Internal metrics, Part 4: Quality in use metrics)

• ISO/IEC 14598: Software Engineering - Product evaluation – (Part 1: General overview, Part 2: Planning and management, Part 3: Process for developers, Part 4: Process for acquirers, Part 5: Process for evaluators, Part 6: Evaluation module)

Lisäksi on hyvä huomioida etenkin seuraavat standardit:• ISO/IEC 12207, ohjelmistotuotannon elinkaarimalli• ISO/IEC 15288, järjestelmäsuunnittelun elinkaarimalli• ISO/IEC 15939 Mittaaminen• ISO/IEC 20000, IT-palvelujen hallinnan malli• ISO/IEC 29119, Ohjelmiston testaus

02.05.23 | 8

ISO/IEC 9126 ja ISO/IEC 14598 kokonaisuus ja ryhmittely

02.05.23 | 9

Siirtyminen 9126 ja 14598 -> SQuaRE

11ISO/IEC JTC1/SC7/WG6 Hyderabad Meeting Report 11

SQuaRE nykyinen arkkitehtuuri ja sen standardit

ISO/IEC 2504n: Quality Evaluation Division

25030: Quality Requirements (IS)

ISO/IEC 2503n: Quality Requirement Division

ISO/IEC 2500n: Product Quality General Division

ISO/IEC 2501n: Quality Model Division

ISO/IEC 2502n: Quality Measurement Division

25010: System and software quality models (IS)

25000: Guide to SQuaRE (IS Rev1)

25020: Measurement Reference Model (IS)

25021: Quality Measure Elements (IS) 25022: Measurement of Quality in Use (FDIS)

25040: Quality Evaluation Process (IS)

25041: Evaluation Guide for Developers, Acquirers and Independent Evaluators (IS)

25023: Measurement of Sys. & SWP Quality (FDIS)25024: Measurement of Data Quality (IS)

25012: Data Quality Model (IS)

25051: Requirements for quality of Ready to Use Software Product (RUSP) and instructions fortesting (IS Rev1)

ISO/IEC 25050 - 25099: SQuaRE Extension Division

25045: Evaluation Module forRecoverability (IS)

ISO/IEC 25060 - 25069: Common Industry Format for Usability ReportsJoint between JTC1/SC7 and ISO/TC159/SC4

25001: Planning and Management (IS Rev1)

25011: IT Service Quality Model (PDTS)

Mahdolliset muut aiheet ja laajennukset 25050 - 25099

Laatumallienosio

2501n

Ohjelmiston ja järjestelmän

laadun hallinnan osio 2500n

Laadun mittaamisenja mittojen osio

2502n

Laadunarvioinnin

osio 2504n

Laatu-vaatimusten

osio2503n

SQuaRE standardien ryhmittely eri osioihin

02.05.23 | 12

Ohjelmiston ja järjestelmän laadun hallinta: 2500x osio

• Tässä osiossa kuvataan ohjelmiston ja järjestelmän laadun hallinnan ja mittaamisen käsitteistö ja osa-alueet

• Tähän mennessä on julkaistu kaksi standardia:• ISO/IEC 25000: Guide to SQuaRE

– Yleinen johdatus SQuaRE ajatteluun, käsitteistöön ja standardiperheeseen kokonaisuutena.

• ISO/IEC 25001: Planning and Management– Laadun mittaamisen vaatimukset standardia käyttävän

organisaation kannalta.

02.05.23 | 13

Laatumallit: 2501x osio• Tässä osiossa määritellään SQuaRE laatumallit sekä asetetaan

vaatimukset niiden käytölle, soveltamiselle ja muokkaamiselle.• Tähän mennessä on julkaistu kaksi standardia:• ISO/IEC 25010: System and software quality models

– Ohjelmiston / järjestelmän käytön aikainen laatumalli, sisältäen viisi osa-aluetta ja niiden luonnehdinnat. Ne jakaantuvat edelleen 11 laatuominaisuuteen.

– Kehittämisen aikainen laatumalli, jakaantuen 8 osa-alueeseen ja 31 erilliseen laatuominaisuuteen.

• ISO/IEC 25012: Data quality model– Järjestelmässä olevan tiedon laatumalli, jakaantuen myöskin osa-

alueisiin ja laatuominaisuuksiin kuten 25010.• ISO/IEC 25011: Service quality model

– Tämä standardi on vielä kesken (vaiheessa CD 12/2015)

02.05.23 | 14

Laadun mittaaminen ja mitat: 2502x osio

• Tässä osiossa määritellään vaatimukset laadun mitoille, yksilöidään suositeltavat mitat ja annetaan niiden käytön ohjeita.

• Tässä osiossa on viisi standardia (osa vielä työn alla):• ISO/IEC 25020: Measurement reference model and guide

– Yleiset vaatimukset, mittojen jäsennys ja käytön ohjeet.• ISO/IEC 25021: Quality measure elements

– Perusmittojen jäsentely ja määritelmät.– Standardeissa 25022, 25023 ja 25024 käytetään perusmittoja

johdettujen mittareiden luontiin• ISO/IEC 25022: Quality in use measures (FDIS 12/2015)• ISO/IEC 25023: Measurement of system and software product

quality (työn alla)• ISO/IEC 25024: Measurement of data quality (FDIS 12/2015)

02.05.23 | 15

Laadun vaatimukset: 2503x osio

• Ohjelmiston / järjestelmän laatu ilmaistaan organisaation vaatimuksina, joiden perusteella laatumallit ja laatumitat valitaan ja sovitetaan tarpeiden mukaisesti.

• Laadun vaatimukset asetetaan eri näkökulmat ja sidosryhmät huomioiden ja tasapainottaen, esimerkiksi ostaminen, asiakkaan vaatimukset, ylläpito, laadunvarmistus ja auditointi.

• Sisältää ohjeet laatuvaatimusten asettamiseen.• Tässä osiossa on julkaistu yksi standardi: ISO/IEC 25030:

Quality requirements– Ohjelmistotuotteelle asetettavien laatuvaatimusten

asettaminen– Muutostyö aloitettu 12/2015

02.05.23 | 16

Laadun arviointi: 2504x osio

• Yleiset vaatimukset ohjelmiston / järjestelmän laadun arvioinnille (evaluation).

• Vaatimukset metodeille, joiden avulla laatu todetaan.• Tässä osiossa on julkaistu kaksi standardia:• ISO/IEC 25040: Quality evaluation process

– Arvioinnin prosessi ja sen vaatimukset. • ISO/IEC 25041: Evaluation guide for developers, acquirers

and independent evaluators– Vaatimukset ja ohjeet kehittäjille, ostajille ja

riippumattomille tarkastajille laadun arvioimiseksi.

02.05.23 | 17

SQuaRE standardiperheen käyttämisen periaate – miten osiot toimivat yhdessä

Laatu-vaatimukset

Laadun arviointi

Määrittää

Tukee Tukee

AsiakasKäyttäjä

Kehitysorganisaatio

Asettaa

OstajaTarkastajaKehittäjä

Suorittaa Saa ohjeita guidance

Laatumallit,mittaaminen ja

mitat02.05.23 | 18

Laadun mittaaminen tuotteen elinkaaren eri vaiheissa

Quality in useQuality in use

Requirements

Requirements Product

External

Quality

External Quality

Requirements

Internal

Quality

Internal Quality

Requirements

Validation

Validation & Verification

Verification

Verification

Implementation

Needs

Specifying

Specifying

Specifying

Determine

Determine

Indicates

Indicates

Quality in 　Use Measures

External

Quality

Measures

Internal

QualityMeasures

Evaluating

Evaluating

Evaluating

02.05.23 | 19

LAATUMALLI 25010 JA ESIMERKKEJÄ MUISTA STANDARDIN OSISTA

02.05.23 | 20

ISO/IEC 25010 ohjelmiston ja järjestelmän laatumalli

• Käytön aikaisen laadun malli (quality in use) koostuu viidestä osa-alueesta eli laatupiirteistä (Laatupiirres, some of which are further subdivided into subLaatupiirres). Laadun piirteet ja ominaisuudet on johdettu järjestelmän yleisistä käyttötilanteista. Ne pitää tulkita tapauskohtaisesti, yhtä ainoaa oikeaa laatumallia ei ole.

• Ohjelmiston / järjestelmän laatumalli (internal and external), koostuen kahdeksasta laatupiirteestä. Ne voidaan nähdä sekä staattisina että dynaamisina ominaisuuksina. Standardissa käytetään myös jakoa sisäiset (internal) ja ulkoiset (external). Pääasiallinen tarkoitus on käyttää tätä laatumallia ohjelmiston tai järjestelmän kehittämisen aikana.

02.05.23 | 21

Laatupiirre (Characteristic) 1

Laatutekijä 1

Laatupiirre 3 Laatupiirre n

Laatupiirteenosa-alue 2

Laatupiirteen Osa-alue n

Laatutekijä 2 Laatupiirre n

Quality

Laatupiirre 2

Laatupiirteen osa-alue (sub-char) 1

Laatutekijä (quality property) 1

Laatutekijä 3 Laatutekijä nLaatutekijä 2

Käsitteiden hierarkia SQuaREssa: laadun yksilöinti laatupiirteiksi ja edelleen laatuominaisuuksiksi

02.05.23 | 22

Muutama termi

• Laatupiirre (quality characteristic, subcharacteristic) = laadun itsenäisesti arvioitavissa oleva osa-alue

• Laatuominaisuus (quality attribute) = laadun mitattavissa oleva laatupiirteen osa, voi jakaantua edelleen laatutekijöiksi (quality properties)

• Sidosryhmä, osapuoli (stakeholder) = yksilö tai organisaatio, jolla on tarve ja kiinnostus laatuun. Esimerkkejä sidosryhmistä: kehittäjät, järjestelmän toimittajat, ostajat, tuotteen omistajat, ylläpitäjät, sopimusosapuolet ja loppukäyttäjät.

• Käyttäjä = yksilö tai ryhmä, joka hyötyy järjestelmästä sen käytön aikana.

• Loppukäyttäjä = henkilö joka on vuorovaikutuksessa ohjelmiston ja / tai järjestelmän kanssa.

02.05.23 | 23

Laadun elinkaaren päävaiheet: sisäinen, ulkoinen, käytön aikainen

02.05.23 | 24

Prosessin

laatu

Sisäiset laatu-tekijät

Ulkoiset laatu-tekijät

Käytön aikainen

laatu

Prosessinmitat

Sisäiset mitat

Ulkoiset mitat

Käytön aikaiset

mitat

Prosessi Ohjelmiston laatu Ohjelmistotuotteen vaikutus

vaikuttaa vaikuttaa vaikuttaa

riippuu riippuu riiippuu Määritellyt käyttötilanteet

Tietojärjestelmä

Ihminen-kone järjestelmä ja vuorovaikutus

Tietoliikenne-järjestelmä

Käyttämisenympäristö

Ensisijaiset,Toissijaiset

ja muutkäyttäjät

LaatumallitOhjelmiston / Järjestelmän

laatumalliDatan laatumalli Käytön aikaisen

laadun malli

System

Tietokone Muuohjelmisto

Kohde-ohjelmisto

Kohteen data Muu data

Kohteena oleva laitteisto

Muut sidosryhmätKey:Mitä mallilla pyritään mittaamaanMuita huomioitavia asioita ja yhteyksiä

Laatumallien käyttökohteet SQUARE-standardiperheessä

Laadun mittaamisen käyttökohteiden väliset tärkeimmät riippuvuudet

02.05.23 | 26

Kehittämis-prosessin laatu

Ohjelmistonlaatu

Järjestelmän laatu

Resurssien laatu

Järjestelmänkäytön aikainen

laatu

Määriteltykäyttötilanne

Muiden osajärjestelmien

laatu

A BA vaikuttaa B:hen, taiB seuraa A:sta

Sidosryhmät Tehtävä Ympäristö

Vaikuttavuus Tehokkuus Tyytyväisyys Riskittömyys Käyttötilan-teiden kattavuus

Käytön aikainen laatu

Vaikuttavuus Tehokkuus Hyödyllisyys

Luottamus

Käyttämisen miellyttävyys

Käyttö-mukavuus

Taloudellisten riskien hallinta

Terveys- ja turvallisuus-

riskien hallinta

Ympäristö-riskien

hallinta

Käyttötilanteiden

täydellisyys

Joustavuus

Käytön aikaisten laatupiirteiden jäsentely (5 kpl, 9 alipiirrettä)

Käytön aikaiset laatupiirteet – muutama selvennys

02.05.23 | 28

Vaikuttavuus (Effectiveness) = täsmällisyys ja täydellisyys miten haluttu käyttämisen tavoite saavutetaan

Tehokkuus (Efficiency) = resurssien käyttäminen suhteessa saavutettuun tehokkuuteen

Tyytyväisyys (Satisfaction) = tyytyväisyys ohjelmiston / järjestelmän käyttöön määritellyssä käyttötilanteessa

Riskittömyys (Freedom from risk) = riskien hallinnan (mitigation) määrä suhteessa riskin potentiaaliseen vaikutukseen

Käyttötilanteiden kattavuus (Context coverage) = mainittujen neljän laatupiirteen täyttyminen määritellyissä ja uudenlaisissa käyttötilanteessa (mukaanlukien määritellyt erityistilanteet)

Esimerkki laatupiirteestä: vaikuttavuus (effectiveness)

• Käytön aikainen laatupiirre (Vaikuttavuus-osa-alueen ainoa piirre): Käyttäjän saavuttama tavoitteiden toteuma– Tarkempi määritelmä: mitattu täsmällisyys ja täydellisyys

jolla käyttäjä pystyy toteuttamaan asetetut tavoitteet• Tähän laatupiirteeseen soveltuvia mittariehdokkaita

standardissa ISO/IEC 25022 ovat esimerkiksi:– Toteutetut tehtävät (oikein toteutettujen tehtävien määrä /

kaikki yritetyt/halutut tehtävät)– Suoritusosuudet tehtäville (kasvava summa osatehtävien

oikein suorituksen mukaan, laskentakaavassa määritellään virheiden oikeellisuutta pienentävä vaikutus osatehtävittäin, prosenttiluku )

02.05.23 | 29

Esimerkki laatupiirteestä: turvallisuus (safety)

• Käytön aikainen laatupiirre (riskittömyyden osa-alue): Terveys- ja turvallisuusriskien hallinta – Tarkempi määritelmä: hallinnan aste ihmisille

aiheutuvien riskien välttämiseksi aiotussa käyttötilanteessa

• Tähän laatupiirteeseen soveltuvia mittariehdokkaita standardissa ISO/IEC 25022 ovat esimerkiksi:– Käyttäjille aiheutuva terveysongelma järjestelmän

käyttämisessä (ongelmien määrä / kaikki käyttäjät)– Käyttäjille aiheutuvan terveysongelman vaikutus

suhteessa tavoitearvoon (esim. Prosenttiluku)– Järjestelmän aiheuttamien terveysongelmien

kokonaismäärä (vaikutukselle altistuneet / populaatio)

02.05.23 | 30

Kehittämisen aikaisten laatupiirteiden jäsentely SQuaRE – mallissa (8 kpl, 31

alipiirrettä)

02.05.23 | 31

Ohjelmiston ja järjestelmän kehittämisen aikainen laatu – laatupiirteiden avauksia (1/2)

02.05.23 | 32

Ohjelmiston ja järjestelmän kehittämisen aikainen laatu – laatupiirteiden avauksia (2/2)

02.05.23 | 33

Ohjelmiston laadun mittaamisen logiikka SQuaRE standardissa

02.05.23 | 34

02.05.23 | 35

Esimerkki vaikuttavuuden mittaamisesta

• Esimerkki Vaikuttavuuden (Effectiveness) mittareista (3 mittaria)– Toteutetut tehtävät

35

ID Nimi Kuvaus Mittausfunktio   Mittausmenetelmä

Ef-1-G Toteutetut tehtävät Osuus oikein suoritettujen tehtävien määrästrä suhteutettuna kaikkien tehtävien määrään (suoritus tehdään ilman neuvontaa)

X = A / B

A = Oikein suoritettujen tehtävien määräB = Kaikkien yritettyjen tehtävien määrä

Käyttäjän toiminnan mittaaminen

HUOM 1 Mittaria voidaan käyttää joko yksittäiselle käyttäjälle tai käyttäjäryhmälle

HUOM 2 Jos halutaan mitata tehtävien osittaista oikeinsuoritusta, mittari Ef-2-G Suoritusosuudet tehtäville on soveltuvampi

HUOM 3 Ijos halutaan huomioida tehtävien suorituksen vaikeusaste, mittaria voidaan painotta tehtävien vaikeuskertoimella Wii : X = (i=1..n) Wi x Ai / B

missä i on tehtävän numero ja Wi kuvaa tehtävän vaikeutta ja vaikeuskertoimien kokonaissumma on Wi = 1.0.

HUOM 4 Mittaria voidaan käyttää joko vaatimusmäärittelyssä esitettyihin tehtäviin tai käyttäjän suorituksen aikana yrittämiin tehtäviin.

02.05.23 | 36

Palvelun laatumalli ISO/IEC 25011 SQuaRE standardissa

• SQuaRE-standardiin ollaan lisäämässä Palvelun laatumallia, joka on WG6:n sisäisen kehityksen vaiheessa CD3 (committee draft version 3)

• Malli pohjaa SERVQUAL-malliin, mutta toteuttaa ISO/IEC 25010 tuotelaatu- ja käytön aikaisen laadun mallit palvelun osalta

• Malli on voimakkaan kehityksen alla, mutta seuraavassa esitetään tämänhetkinen tilanne (12/2015)

36

02.05.23 | 37

Palvelun käytönaikainen laatu (luonnos 12/2015)

37

02.05.23 | 38

Palvelun tuotelaatumalli (luonnos 12/2015)

38

02.05.23 | 39

Laadun kokonaiskuva SQuaRE-standardissa

39

Process quality

System & softwareproductquality

Serviceproduct quality

Internal quality

measures

External quality

measures

Process quality

measures

Service product quality

measures

System and products Effect of system and products

Development and maintenance process

Dataquality

Quality measures from Inherent point of view

Quality measures from System dependent

point of view

influences

depends on

depends on

Quality in use

Quality in usemeasures

influences

depends onQuality in useQuality in use

depends on

Contexts of use

influences

depends on

02.05.23 | 40

Standardin kehitystyö lähitulevaisuudessa

• Kukin osa uusitaan oman aikataulunsa mukaan– Parhaillaan työn alla 25020 sarja (laadun mitat),

perustuen aiempaan standardiin ISO/IEC 9126.– Samaten ollaan tekemässä 25040-sarjaa (laadun

arviointi), perustuen aiempaan ISO/IEC 14598 sarjaan.

• Lisäksi uusia osia tulossa kaiken aikaa, esim.– Palvelun laatumalli ISO/IEC 25011. Tällä

standardilla on tulevaisuudessa käyttöä myös IT-palveluiden ja pilvipalvelujen mittaamisessa.

02.05.23 | 41

Standardin käyttökokemuksia Suomessa

• Laajaa mielenkiintoa ohjelmistoyrityksissä, kun– Kun pitää osoittaa ohjelmiston laatu asiakkaalle tai viranomaiselle – Kun tuotelaatu nähdään keskeisenä kilpailutekijänä ja halutaan

mitata se suoraan, ei vain asiakastyytyväisyytenä tai kehittämisprosessin kyvykkyytenä

• Standardi on verraten yksityiskohtainen, joten se ei sovellu ihan vasta-alkajille– Käytön voi kuitenkin aloittaa omien laatutarpeiden ja –vaatimusten

tunnistamisesta, ottaen laatumalli käyttöön vähitellen aloittaen tärkeimmistä osa-alueista

• SQuaRE – mallia käytetään myös lähteenä muissa standardeissa– Etenkin ohjelmistotestauksen standardi ISO/IEC 29119

Lisätietoa standardeista

• SQuaRE standardiperheestä vastaa kansainvälinen ISO/IEC JTC 1/SC7 – alikomitea, erityisesti sen työryhmä 6 (WG 6 IT Product Quality). Moni muukin JTC1:n työryhmä on mukana ohjelmistojen ja järjestelmien standardien laadinnassa. Hae lisätietoja www.sfs.fi.

• Suomen osalta FiSMA ry (Finnish Software Measurement Association) seuraa SC7 – alikomitean ja sen työryhmien työtä ja laatii kansallisia kannanottoja. Hae lisätietoja www.fisma.fi.

02.05.23 | 42