Esercitazione:La kappa di Cohen

Maria Pia Sormanimariapia.sormani@unige.it

Esercitazioni Stat Med per Metodologia Clinica

Obiettivi

1. Come si calcola la kappa2. Significato della concordanza casuale

Accordo “per caso”

Supponiamo che a due medici a cui vengachiesto di esaminare 100 esamimammografici.

Il primo medico non ha la più pallida idea dicome sia un esame positivo e li dichiaratutti negativi

Il secondo li esamina con grande attenzionee ne identifica 4 come positivi.

Accordo “per caso”I due medici si trovano d’accordo nella

classificazione di 96 esami su 100

1001000Med1

96960-

440+Med2-+

Accordo osservato=(0+96)/100

E’ giusto dire che la concordanza è il 96%?

Accordo “per caso”

Altra situazione: altri due medici inespertidecidono ognuno per conto suo diclassificare gli esami lanciando unamoneta, ed entrambi ne classificanometà come positivi e metà comenegativi

Accordo “per caso”I due medici si trovano d’accordo nella

classificazione di 25++ e 25-- esami su 100

1005050Med1

502525-

502525+Med2-+

E’ giusto dire che concordano su 50 esami su100 e che quindi la concordanza è il 50%?

Accordo “per caso”

Esiste una quota di concordanza che c’ècomunque ed è dovuta al caso.

Per calcolare la concordanza vera, bisognavedere quanta parte della concordanzatotale è dovuta al caso e quanta al realeaccordo tra gli osservatori

Calcolo dell’accordo “per caso”

La concordanza dovuta al caso si calcola daimarginali della tabella 2x2.

Osserviamo questa situazione:

200100100Med1

1007525-

1002575+Med2-+

Calcolo dell’accordo “per caso”

I valori attesi si calcolano in ogni cella

200100100Med1

100100*100

200100*100

200-

100100*100

200100*100

200+

Med2-+

Calcolo dell’accordo “per caso”

I valori attesi per caso si calcolano in ognicella

200100100Med1

1005050-

1005050+Med2-+

Accordo per caso: (50+50)/200=50%

Calcolo dell’accordo osservato

200100100Med1

1007525-

1002575+Med2-+

Accordo osservato: 150/200=75%

Calcolo di kappa

Accordo per caso: 50%

Accordo residuo non casuale: 100%-50%=50%

Accordo osservato: 75%

Accordo dovuto a concordanza vera=75%-50%=25%

Kappa=25%/50%= 50%

Calcolo di kappa

Un’altra situazione

1004060Med1

40328-

60852+Med2-+

Calcolo dell’accordo “per caso”

I valori attesi si calcolano in ogni cella

1004060Med1

4040*40100

60*40100-

6060*40100

60*60100+

Med2-+

Calcolo dell’accordo “per caso”

I valori attesi per caso si calcolano in ognicella

1004060Med1

401624-

602436+Med2-+

Accordo per caso: (36+16)/100=52%

Calcolo dell’accordo osservato

1004060Med1

40328-

60852+Med2-+

Accordo osservato: (52+32)/100=84%

Calcolo di kappa

Accordo per caso: 52%

Accordo residuo non casuale: 100%-52%=48%

Accordo osservato: 84%

Accordo dovuto a concordanza vera=84%-52%=32%

Kappa=32%/48%= 67%

Calcolo di kappa

Formula per il calcolo di kappa

( )( )AA

AAAOk

!

!=

1

Dove AA=accordo atteso per caso

AO= accordo osservato

Kappa e concordanzaKappa valori concordanza

<0,01 nulla

0,01-0,20 scarsa

0,21-0,40 modesta

0,41-0,60 moderata

0,61-0,80 sostanziale

0,81-1,00 quasi perfetta(Landis e Koch, 1977)

Test per kappa

Fare un test di significatività per kappasignifica rispondere alla domanda:

La concordanza trovata èsignificativamente diversa da zero?

H0 : k=0

Test per kappa

Devo vedere se il valore trovato di k ècompatibile con l’ipotesi che la realeconcordanza sia nulla e che quello chesto osservando sia solo una fluttuazionecasuale.

Test per kappa

Devo costruire la statistica z:

( )KVar

Kz =

e vedere che probabilità ha di presentarsiper caso; se la probabilità (la p) è bassa(inferiore a 5%) rifiuto H0.

Test per kappa

Mi manca la var(K).

( )( )( )2

2

1 AAN

AOAOkVar

!"

!=

Esercizi

Esercizio 1

Due osservatori fanno diagnosi di depressionesu 29 pazienti

291910Med1

12120-

17710+

Med2-+

Calcolo dell’accordo “per caso”

I valori attesi si calcolano in ogni cella

291910Med1

1212*19

2912*10

29-

1717*19

2917*10

29+

Med2-+

Calcolo dell’accordo “per caso”

I valori attesi per caso si calcolano in ognicella

291910Med1

127.864.14-

1711.145.86+Med2-+

Accordo per caso: (5.86+7.86)/29=47% (AA)

Calcolo dell’accordo osservato

291910Med1

12120-

17710+Med2-+

Accordo osservato: (10+12)/29=76% (AO)

Calcolo di kappa

Kappa=(0.76-0.47)/(1-0.47)=0.53

( )( )AA

AAAOk

!

!=

1

Calcolo di Var(kappa)

( )( )( )

( )( )

022,047,0129

76,076,0

12

2

2

2

=!"

!=

!"

!=

AAN

AOAOkVar

Test di ipotesi

( )( ) ( )57,3

022,0

53,0===

kVar

kz

Cerco sulle tavole z il valore di probabilitàche corrisponde ad una z di 3.57

Z=3.57 si osserva con p=0.0004

Test di ipotesi

Z=3.57 si osserva con p=0.0004

La p piccola (p<0.05) significa che laprobabilità che la Z osservata provengadalla distribuzione Z che vale sottol’ipotesi nulla è piccola, e quindi rifiutol’ipotesi nulla.

Un campione di 100 soggetti positivi al virus HIVUn campione di 100 soggetti positivi al virus HIVviene esaminato da due medici, i quali valutano perviene esaminato da due medici, i quali valutano perciascuno di essi la presenza o assenza delle seguenticiascuno di essi la presenza o assenza delle seguentimanifestazioni cliniche manifestazioni cliniche

Esercizio/2Esercizio/2

a. candidosi orale

Medico A TOTALE

Medico B s i no

s i 1 4 4 18

no 2 8 0 82

TOTALE 16 84 100

b. linfoadenopatia

Medico A TOTALE

Medico B s i no

s i 4 3 7 50

no 7 4 3 50

TOTALE 50 50 100

c. dermatite seborroica

Medico A TOTALE

Medico B s i no

s i 4 1 5

no 1 9 4 95

TOTALE 5 95 100

d. corioretinite

Medico A TOTALE

Medico B s i no

s i 3 3 6

no 2 9 2 94

TOTALE 5 95 100

D.-Valuta il grado di accordo tra i due medici D.-Valuta il grado di accordo tra i due medici rispetto ciascuna delle 4 manifestazioni cliniche rispetto ciascuna delle 4 manifestazioni cliniche prese singolarmente calcolando per ognuna:prese singolarmente calcolando per ognuna:

-concordanza sul risultato positivo-concordanza sul risultato positivo- concordanza sul risultato negativo- concordanza sul risultato negativo- concordanza totale osservata- concordanza totale osservata-indice di kappa-indice di kappa

Medico A TOTALE

Medico B s i no

s i a b a+b

no c d c+d

TOTALE a+c b+d a+b+c+d

Concordanza sul risultato positivo=a/(a+b+c+d)Concordanza sul risultato positivo=a/(a+b+c+d)

Concordanza sul risultato negativo=d/(a+b+c+d)Concordanza sul risultato negativo=d/(a+b+c+d)

Concordanza totale osservata (Po) =(a+d)/(a+b+c+d)Concordanza totale osservata (Po) =(a+d)/(a+b+c+d)

Kappa = Po-concordanza casuale (Pe)/(1-Pe)Kappa = Po-concordanza casuale (Pe)/(1-Pe)

a. candidosi orale

Medico A TOTALE

Medico B s i no

s i 1 4 4 18

no 2 8 0 82

TOTALE 16 84 100

Concordanza sul risultato positivo=14/100 = 0,14Concordanza sul risultato positivo=14/100 = 0,14

Concordanza sul risultato negativo=80/100= 0,80Concordanza sul risultato negativo=80/100= 0,80

Concordanza totale osservata (Po) = 94/ 100= 0,94Concordanza totale osservata (Po) = 94/ 100= 0,94

Medico A TOTALE

Medico B s i no

s i 2 , 8 8 1 5 , 1 2 18

no 1 3 , 1 2 6 8 , 8 8 82

TOTALE 16 84 100

Kappa = (0,94 - 0,72)/1-0,72=0,788Kappa = (0,94 - 0,72)/1-0,72=0,788

Concord.tot. osservata (Po) = 94/ 100= 0,94Concord.tot. osservata (Po) = 94/ 100= 0,94

Concord. tot. attesa (Pe) = 2,88+68,88)/ 100= 0,72Concord. tot. attesa (Pe) = 2,88+68,88)/ 100= 0,72

Concordanza a b c d

sul risultato positivo 0 , 1 4 0 , 4 3 0 , 0 4 0 , 0 3

sul risultato negativo 0 , 8 0 , 4 3 0 , 9 4 0 , 9 2

totale osservata 0 , 9 4 0 , 8 6 0 , 9 8 0 , 9 5

Kappa 0 , 7 8 8 0 , 7 2 0 , 7 8 9 0 , 5 2

Verificare la significatività della concordanza dellaVerificare la significatività della concordanza dellacorioretinite.corioretinite.

Errore Standard di K e test di significativitàErrore Standard di K e test di significatività

( )( )( )

( )( )

0475,090,01100

95,095,0

12

2

2

2

=!"

!=

!"

!=

AAN

AOAOkVar

( )( ) ( )39,2

0475,0

52,0===

kVar

kz

La concordanza è significativa con p<0,05La concordanza è significativa con p<0,05

Z=2,39>1,96Z=2,39>1,96