Validering och Verifiering: Vad är det och hur bör det utföras?

Kerstin Elvin

EQUALIS användarmöte 18 april 2013

Vad är det?????

Validering

• Engelskans validate göra giltigt, bekräfta.

• ”Validering fastställer att man mäter det man har för avsikt att mäta”

• Tillverkarens utvärdering av reagens / kit

Verifiering

• Latinets verificare eller verus sant

• ”Verifiering bekräftar att metoden uppför sig på specificerat sätt”

• Laboratoriet undersöker alltså om valideringen stämmer

Validering

• In Europe it is the statutory responsibility of the manufacturer to determine, describe and verify the performance of the measuring system (EU IVD Directive 98/79 {2})

Validering/Verifiering

• SWEDAC DOC 01:55 från 2011

• Kravreferenser ”Standarder”

– ISO/IEC 17025; 5.4.1, 2, 4 och 5

– ISO 15189; 5.5.1 och 2

Validering/Verifiering

• Metoden ska motsvara kliniska verksamheternas krav

• Kvalmanualen – Vilka är ansvariga – Riktlinjer och rutiner

• Rapport alt. checklista m bilagor – Arkiveras med primärdata

• Leverantörens validering ska finnas tillgängligt • Protokoll skall vara godkända och signerade innan

metoden tas i bruk

Validering

Tillverkaren validerar

• Kit-bundna metoder och metoder utvecklade för speciellt instrument

ex ImmunoCap allergi

Tillverkaren/Laboratoriet

• Metod (vedertagen) som anpassas till instrument ex CCP, ELISA-robot

Laboratoriet

• In-house metod utifrån publicerad vetenskaplig lit. Lab validerar/verifierar (väletablerad metod) ex. ELISA gliadin

• In-house metod Egenutvecklad Laboratoriet validerar ex. ELISA Anti-TNFa

Verifiering

• Precision – Repeterbarhet (inomserie)

– Mellanliggande precision (total precision)

• Mätosäkerhet uppskattas

– Täcka rel mätområde minst 2 nivåer!

– Stabilitet

• Riktighet – IRP

– EK

– Tre-lab

• Referensintervall Cut-off – Friska blodgivare

• Diagnostisk sensitivitet och specificitet bör verifieras (prediktivt värde)

– Jämförelsemetod

• Dataöverföring

Clinical and Laboratory Standards Institute (EP15och EP5) (förut NCCLS)

– Total precision (CV%)

• Minst 20 dagars analyser 2 aliquot för varje konc och 2 analyser/dag Prover sätts i olika ordning

• Minst 30 dagar om endast 1 analys/dag

• Precision

– Repeterbarhet (Inomserie)

3 replikat x 5 =15

(helst 5 x 5 =25! Khatami et al)

Minst 2 nivåer !

Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward

Kearney4, Peter Breadon5 Anders Kallner6

Repeterbarhet

• Minst två poolade patientprov

• Ingen störande hemolys, lipidemi eller annat enl leverantör

• Förvarande enl leverantör (helst kylförvarat)

Utförande

• 5 replikat x 5 dagar =25

• Analysis of variance (ANOVA).

Clinical and Laboratory Standards Institute (EP15och EP5) (förut NCCLS)

• Riktighet (Bias)

– Jämförelsemetod (EP15) • Minst 20 prov inom det

kliniskt intressanta mätområdet

• 20-200 vanligt

(E Theodorsson 2012)

– Referensmaterial • CRM=IRP

• EK

• Preparation fr tillverkaren

• Preparation tredje part

– Två koncentrationer

– Duplikat x 3-5

Measurement verification in the clinical laboratory: Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5

Anders Kallner6

Jämförelsematerial

>20 patientprov inom relevant mätområde jämförs

-4

-3

-2

-1

0

1

2

0 20 40 60 80

Dif

f Te

st -

Re

fere

nce

Mean of Test and Reference

Difference graph

Diff

+/- 1,96 s

Mean bias

Partition bias

Regr

Riktighet referensmaterial

• Duplikat x 3-5 omgångar

• Medelvärde och Standarddeviation

• Estimera bias från förväntat värde

• Evaluera signifikans av skillnader med Student’s t-test

Klinisk betydelse

Med Sjukdom

Utan Sjukdom

Positivt test Sant positiva Falskt positiva

Negativt test Falskt negativa

Sant negativa

Sensitivitet Sant pos/ Tot sjukdom

PPV = Sant pos/Tot pos

NPV = Sant neg /Tot neg

Specificitet Sant neg/ Tot Ej sjukdom

Exempel:

Anti BP-180-ak (IgG) och BP-230-ak (IgG) ELISA verifiering

Orsak till validering/verifiering

• Införande av ny metod för bestämning av antikroppar mot BP 180 och BP 230 med ELISA.

Ansvar

• BMA: Anna-Britta Johansson

• Tekniskt ansvar: Ulf Sundin och Anders Wannberg

• Medicinskt ansvar: Kerstin Elvin

Validering/verifieringskrav

Tillverkarens data Euroimmun tillhandahåller

kommersiella ELISA-baserade kit för bestämning av antikroppar mot BP 180 och BP 230. Analyserna är validerade av Euroimmun

• ≥20 RU/ml bedöms positiva. • I sin validering rapporterar

Euroimmun BP 180 Sensitivitet: 90%

Specificitet: 98%. BP 230 Sensitivitet: 57% Specificitet: 97%

Verifieringsplan • 1. Cut–off nivå och specificitet för anti-BP 180

respektive anti-BP 230 skall verifieras genom analys av 60 friska blodgivare av båda könen i åldern 40-70 år.

Krav: Cut-off skall överstiga 95:e percentilen för respektive analys vilket ger en specificitet på >95%.

• 2. Den kvalitativa överensstämmelsen mellan IFL BM och de nya ELISA-metoderna skall undersökas genom analys av prov positiva med IFL; 21 st prov positiva för IFL BM.

Krav: Överenstämmelsen d.v.s. relativa sensitiviteten skall vara > 50% för respektive analys.

• 3. Patienter med annan blåsdermatos (pemfigus), positiva för anti-Desmoglein 1 eller 3, skall vara negativa för anti-BP180 och 230.

Krav: specificitet >95 • 4. Inom och mellanserievariation ska bedömas

genom analys av låg och hög IK 5 i 6replikat vid 5 tillfällen

Utförande

Resultat • Andel negativa blodgivare för båda

analyserna var 59/60 = 98% (specificitet 98%). En cut-off på 20 RU/mL motsvarade 98:e percentilen för BP180 och 99:e percentilen för BP 230.

• Relativ sensitivitet jämfört med IFL BM var 71% för BP 180 och 81% för BP 230

• Samtliga patienter med annan blåsdermatos (pemfigus, n=8) var negativa för både BP 180 och BP 230 (specificitet 100%)

Uppföljning

1. Inom- och mellanserievariation

2. Mätosäkerhet

3. Riktighet

Ackreditering av metoden planeras då vi fått tillräcklig erfarenhet och kan bedöma variation, mätosäkerheten och riktighet.

Konklusioner

• I vår verifiering har Euroimmuns kit för analys av antikroppar mot BP 180 och BP 230 en hög specificitet (>95%) för bullös pemfigoid, och relativ sensitivitet ca 70-80% vid analys av BM positiva sera (IFL). BP 180 visade lägre relativ sensitivitet än tillverkarens sensitivitetsdata och BP230 högre än tillverkarens validering. Detta kan bero på att provurvalet skedde på basen av positiva IFL resultat. Verifieringresultaten betraktas som tillfredställande.

• Tillverkarens cut-off på 20 RU/mL kan användas.

• Analyserna implementerade i rutindrift fr.om. 100219

Inom- och mellanserievariation

• Totalt sträva efter 25 mätningar

5 replikat

5 analystillfällen

Riktighet

– IRP • CDC, WHO, NIBSC ex ANA specificiteter

• Avsaknad – tidigare krav verifiering av IK 2 ackr lab

– Jämförelsemetod

– EK • EQUALIS

• Nequas

• Instand

• Tre-labjämförelse

ex ECP, allergen, Anti-C1q

Mätosäkerhet

Variationskoefficienten: CV% CV%= standardavvikelse x 100 medelvärde Uttrycker standardavvikelsen som procent av medelvärdet dvs hur många procent i genomsnitt avviker observationerna från medelvärdet. Över längre tid, olika BMA, temperaturer och batcher Helst minst ett år!

Ackrediteringens omfång

Tack!!!