asociación versus clasificación en estudios...
TRANSCRIPT
Asociación versus Clasificación
en estudios biomédicos
Carmen Cadarso‐Suárez
Unidad de BioestadísticaFacultad de Medicina Departamento de Estadística e IO
Barcelona, 10 de diciembre de 2009
2. Estudios de clasificación (predicción/screening)
Exposición continua / enfermedad (estudios dosis‐respuesta)
• Modelo estadístico: GLM Logístico • Medidas de asociación: Odds‐Ratio (OR), Riesgo Relativo (RR )• Mejoras con modelos flexibles GAM (Generalized Additive Models)
1. Estudios de asociación
Bio(marcador) diagnóstico / enfermedad
• Herramienta estadística: Curva ROC (Receiver Operating Characteristic)• Medida de precisión diagnóstica: Área bajo la Curva (AUC)• Búsqueda de puntos de corte “óptimos” • Extensiones interesantes:
a) “Mezcla” de distribucionesb) Introducción de covariables
• Mejoras con modelos GAM.
3. Ilustración con datos reales
1. Estudios de asociación
Medidas relacionadas con el efecto:
Riesgo Relativo (Relative Risk, RR) Odds‐Ratio (OR)
Objetivo: búsqueda de asociación (o efecto) de
una “exposición” con una enfermedad
(“dose‐response” analyses)
Odds‐Ratio (OR)
( ) ( )( )=
p F / D Odds D
p F / D ( ) ( )
( )=p F / D
Odds Dp F / D
( )( )=F
F
Odds DOR
Odds D
OR = 1 , no asociación entre D y F OR > 1 , F factor de riesgo
OR < 1 , F factor protector
F factor de exposición (binario), y D representa el status de Enfermedad
Dosis‐respuesta: Modelos GLM
Los Modelos Lineales Generalizados (GLM) expresan la relación entre la respuesta de interés (D) y una exposición continua, X, a través de formas (funciones) paramétricas.
En un modelo GLM Logístico, la respuesta D es binaria (0/1):
( )( ) ( )0
1/logit=log
1 1/P D X
f XP D X ββ
⎛ ⎞== +⎜ ⎟⎜ ⎟− =⎝ ⎠
( ) ( ) ( )ln , ref refOR x x f x f xβ β= −
donde refx es el valor de referencia.
CIRUGÍA
“Factores de riesgo de infección post‐quirúrgica (POI)”
Cadarso‐Suárez C, Roca‐Pardiñas J, Figueiras A. Effect measures in non‐parametric regression withinteractions between continuous exposures. Stat Med. 2006 ;25(4):603‐21.
Cadarso‐Suárez C, Roca‐Pardiñas J, Figueiras A, González‐Manteiga W. Non‐parametric estimation of the odds ratios for continuous exposures using generalized additive models with an unknown linkfunction. Stat Med. 2005 ;24(8):1169‐84.
Saez M, Cadarso‐Suárez C, Figueiras A. Np.OR: an S‐Plus function for pointwise nonparametric estimation of odds‐ratios of continuous predictors. Comput Methods Programs Biomed. 2003;71(2):175‐9.
Figueiras A, Cadarso‐Suárez C. Application of nonparametric models for calculating odds ratios and their confidence intervals for continuous exposures. Am J Epidemiol. 2001;154(3):264‐75
Figure 2a
-3
-2
-1
0
1
2
3
4
50 75 100 125 150 175 200 225 250 275 300
Plasma glucose (mg/dl)
Ln O
R (x
, xre
f)
Reference value(95mg/dl)
( )10 0 1logit f Gluc Glucββ β β= + = + ×
Relación paramétrica lineal
Respuesta: Infección post-quirúrgica (0=no, 1=si) Exposición: Glucosa (mg/dl)
• Relación “rígida”.• Relación no plausible en valores bajos de glucosa.
0 1 2 32 3logit Gluc1+ Gluc Glucβ β β β= + × × + ×Figure 2a
-3
-2
-1
0
1
2
3
4
50 75 100 125 150 175 200 225 250 275 300Plasma glucose (mg/dl)
Ln O
R (x
, xre
f)Reference value
(95mg/dl)Grupo de referencia:
(92-102)
Análisis categórico
Gluc_co: “<92”, “92-102”, “103-121”, “>121” (cuartiles)
• Riesgos constantes dentro de cada categoría.
• ¿Cómo seleccionar los puntos de corte?
Más flexibleque
la recta(local)
• En general, baja potencia estadística.
Herramientas GAM
Suavizadores (smoothers) :
‐ Smoothing splines (Wahba, 1990)‐ P‐Splines (Eilers‐Marx, 1996), Bayesian P‐Splines (Lang‐Brezger, 2004)‐ Thin regression Splines (Wood, 2003)….
( )0logit f Xβ= +
Métodos de estimación:
‐ Backfitting (Hastie‐Tibshirani, 1990)‐ Verosimilitud Penalizada (Ruppert et al, 2003; Wood, 2006)….
( )f̂ X
Criterios automáticos de suavización óptima ( ) :‐ Akaike´s Information Criterion (AIC)‐ Generalized Cross‐Validation (GCV)‐ Restricted Maximum Likelihood (REML),…
optdf
Relación suavizada: Modelo GAM
( )0logit f Glucβ= +
“Spoon” shape
Smoothing Splines , 6.25AICdf =
(Figueiras, A., Cadarso‐Suárez, C. Amer J Epidemiol, 2001)
Figure 5a
-3
-2
-1
0
1
2
3
4
50 75 100 125 150 175 200 225 250 275 300Plasma glucose (mg/dl)
LnO
R (x
,xre
f)
Reference value(95mg/dl)
Curva OR (Modelo GAM)
np.OR Sáez M, Cadarso‐Suárez C, Figueiras A. Comput Meth Progr Bio, 2003
( ) ( ) ( )ln , 95 95refOR x x f x f= = −
Curva OR “ajustada”
Interacción “factor x curva”
( ) ( )0 1 Diablogit Diab f Gluc f Glucβ β= + × + +
Diabetes No Diabetes
1GCVdf = 5.9GCVdf =
“diabetes x glucosa”
-0.3
1
2.3
45 95 145 195
Glucose
Log
(OR
)
Reference Value
-0 .8
0
0 .8
2 9 1 6 2 3 3 0 3 7 4 4
L y m p h o c yte s (% )
Log
(OR
)
R e fe re n c e V a lu e
Interacción entre exposiciones continuas
( ) ( )0 1 2 3 4logit Sex Age f Gluc f Linf%β β β= + + + +
( ) ( ) ( )0 1 2 3 4 34logit Sex Age f Gluc f Linf% f Gluc,Linf%β β β= + + + + +
“Main effects”
“Interaction”
2. Estudios de clasificación
Medidas de la precisión diagnóstica:
Curva ROCArea bajo la Curva (AUC)
Objetivo:
Búsqueda de (bio)marcadores o test diagnósticos de una enfermedad
( predicción, screening)
Medida da precisión diagnóstica de tests (marcadores) con respuesta continua, Y
Proponiendo un punto de corte “c” para clasificar a enfermos ysanos ( ),D D
D
D
c( )T P F c
( )F P F c
[ ]( ) /FNF c P Y c D= <
( ) /TNF c P Y c D Specificity⎡ ⎤= < =⎣ ⎦
( ) /FPF c P Y c D⎡ ⎤= ≥⎣ ⎦
[ ]( ) /TPF c P Y c D Sensitivity= ≥ =
Curva ROC (Receiver Operating Characteristic)
Área bajo la Curva (AUC)
( )1
0AUC ROC t dt= ∫
Curva ROC
Definiciones
( ) ( )( ) ( )1 , 0,1−= ∈D DROC t S S t t
donde son las funciones de supervivencia de enfermos y sanos, respectivamente., D DS S
AUC=0.5, marcador “nulo”AUC=1.0, marcador “perfecto”
Ventajas de la ROC sobre la OR
Si pretendemos evaluar/comparar el comportamiento diagnóstico de una exposición continua, Y, la OR no es una buena medida:
1. La OR depende de las unidades de la exposición, por lo que no puedencompararse dos exposiciones distintas.
2. Una fuerte asociación (en términos de OR) de una exposición Y conla enfermedad, no implica que Y sea un buen marcador para diagnosis…..
Pepe MS, Janes H, Longton G, et al. Limitations of the odds ratio in gauging the performance of a diagnostic, prognostic, or screening marker. Am J Epidemiol 2004;159:882–90.
OR=1..5 OR=3
OR=9 OR=25
OR=70 OR=350
Escenario controlado
OR=1.5 OR=3 OR=9 OR=25 OR=70 OR=350
AUC 0.5569 0.6567 0.7813 0.8724 0.9334 0.9808
Escenario controlado
Punto de corte “óptimo”
• En estudios de clasificación, un problema común es la búsqueda de un punto
de corte “óptimo”, C, para el marcadorc
• En la literatura estadística y biomédica, existen varios criterios. Entre ellos, el
basado en la maximización del Índice de Youden (Youden, 1951):
( ) ( )( )maxc
YI TPF c FPF c= −
El criterio típicamente adoptado en el contexto clasificatorio de considerar valores más
altos (o alternativamente más bajos) del marcador como indicativos de enfermedad, no
es siempre adecuado.
Por tanto, la determinación de la validez de dicho criterio viene dada por la distribución
del marcador en los casos y en los controles.
• Distribuciones no solapadas: la aproximación clásica a través de la ROC es la
adecuada. Habría 1 punto de corte “óptimo”.
• Distribuciones mezcladas : la regla clasificatoria asumida en la ROC no es la que minimiza
el error de clasificación global. Además, habría varios puntos de corte “óptimos”…..
Poblaciones “mezcladas”
• Solución intuitiva: estimar la probabilidad de pertenencia a cada uno de los estados
(caso/control) en función de los valores del marcador “transformado”, i.e. P(D=1/Y), y
basar la clasificación en dichas probabilidades (Neyman‐ Pearson ,1963; McIntosh‐Pepe,
2002).
• Puede utilizarse, p.e., un modelo flexible GAM logistico de la forma:
( )( ) ( )0
1/log
1 1/⎛ ⎞=
= +⎜ ⎟⎜ ⎟− =⎝ ⎠
P D Yf Y
P D Yβ
BIOLOGÍA MARINA“Clasificación del erizo de mar según sexo
a través del color de sus gónadas”
Lustres‐Pérez V, Rodríguez‐Álvarez MX, Pata MP, Fernández‐Pulpeiro E, Cadarso‐ Suárez C. (2009). The application of Receiver Operating Characteristic (ROC) methodology in biological studies of marine resources: sex determination of Paracentrotus lividus (Lamarck, 1816). Submitted.
Color gonadal (escala ordinal)
AUC = 0.586 , 95% bootstrap CI (0.542, 0.638)
Marcador “crudo”
AUC = 0.914 , 95% bootstrap CI (0.891, 0.936)
Marcador “transformado”
Range of female gonad
color
Probability of correct
classification of a
female individual (TPF)
Probability of correct
classification of a male
individual (TNF)
[9,14] 0.84 0.87
[9,15] 0.82 0.92
AUC CI (95%)“Crude”∙ Glucose 0,60 0,49‐0,71
“Transformed” Glucose 0,71 0,61‐0,78
Infección Post‐quirúrgica (POI)
La precisión diagnóstica de un marcador, Y, puede depender de un conjunto de covariables, X , asociadas al individuo (sexo, edad,….).
Aproximaciones actuales
1. ROC condicional (López de Ullibarri et al, 2008)Se basa en la estimación de las funciones de supervivencia condicionales (a X) de enfermos y sanos, y luego “componer” la curva ROC ajustada.
2. Regresión ROC (Pepe, 2003)
2.1. ROC “inducida” : Se ajusta el marcador con dos modelos de regresión separados (enenfermos y sanos) y luego se “ induce” la curva ROC.
2.2. ROC “directa” (ROC‐GLM): La curva ROC se estima directamente, utilizando un modelo de regresiónGLM logístico, donde la sensibilidad se pone en función, no sólo de lafracción FPF, sino también del conjunto de covariables X.
ROC con covariables
donde
son las funciones de superviviencia condicionales (a X ), en
enfermos y sanos, respectivamente.
• Estimación no paramétrica tipo kernel local.
• Los parámetros de suavizado se seleccionan con métodos bootstrap.
1. ROC condicional(López‐de‐Ullibarri et al, CSDA 2008)
( ) ( )( ) ( )1 , 0,1−= ∈X D X D XR O C t S S t t
, DX DXS S
RADIOLOGÍA
“Evaluación de sistemas diagnósticos asistidos por ordenador CAD (Computer‐Aided Diagnostic Systems)”
López‐de‐Ullibarri Cao R, Cadarso‐Suárez and Lado MJ (2008). Nonparametric estimation of conditional ROC curves: Application to discrimination tasks in computerized detection of early breast cancer. CSDA, 52, 2623-2631.
Evaluación diagnóstica del CAD
CADComputer‐Aided
Diagnosis
Radiografía(mama)
FP (False Positive)
Lesión:Cúmulo (real) de
microcalcificaciones
TP (True Positive)
Condicionado por:
Nivel de gris de la mamografía digital.
Tipo de tejido de la mama (denso/graso).
Test diagnóstico: Tamaño del cúmulo.Status: 1=cúmulo real, 0=no.
ROC condicional
Denso Graso Denso Graso
Gris Gris
Gris Gris
AUCROC
Sea Y el marcador. (X,Z) el vector de covariables, X continua, y Z un factor de K niveles)
( ) ( )( ) ( ),X Zg ROC t h t Z Xβ γ= + +
donde g = función link (probit, logit)
h(t) = función de la fracción FPF
Regresión ROC paramétrica (ROC‐GLM)
Pepe MS. The Statistical Evaluation of Medical Tests for Classification and Prediction. Oxford University Press: New York, 2003.
Janes H, Pepe MS. Adjusting for Covariates in Studies of Diagnostic, Screening, or Prognostic Markers: An Old Concept in a New Setting. Amer J Epidemiol, 2008.
Sea Y el marcador, (X,Z) el vector de covariables (X continua, Z factor):
( ) ( )( ) ( ) ( ),1
,K
k kX Zk
g ROC t h t Z f X Zβ=
= + +∑
Modelos Aditivos Generalizados (GAM; Hastie and Tibshirani, 1990)
Suavizadores: Tipo Local Linear Kernel
Método GCV (Generalized Cross‐Validation) para la selección automática delgrado de suavización.
Algoritmo Backfitting (Penalized Iterative Least Squares).
donde y son funciones suaves (desconocidas).{ }kf ( )h t
ROC‐GAM incluyendo interacciones(Rodríguez‐Álvarez et al 2009)
Herramientas estadísticas
ENDOCRINOLOGÍA“Predicción de factores de riesgo cardiovascular
a través de marcadores antropométricos”
Rodríguez‐ Alvarez MX, Roca‐Pardiñas J, Cadarso‐Suarez C (2009). ROC curves and covariates: extending the induced methodology to the non‐parametric framework. Tech. Report 09‐05 Univ Vigo. Submitted.Rodríguez‐ Alvarez MX, Roca‐Pardiñas J, Cadarso‐Suarez C (2009). A new flexible direct ROC regression methodology: detection of cardiovascular risk factors by anthropometric measures. Tech. Report 09‐06 Univ Vigo. Submitted.
1. No hay un consenso sobre cuál es el mejor índice antropométricopara predecir “clusters” de factores de riesgo cardiovasculares (diabetes,HTA,….)
2. Cuál debe ser el punto de corte “óptimo” de cada índice. Ellopermitiría llevar a cabo “cribados” (screenings) efectivos de la población.
3. La obesidad y factores de riesgo cardiovascular, dependen de:‐ Población (país) y raza.‐ Edad y sexo.
Cuestiones actuales en Endocrinología
Muestra representativa de la población adulta gallega (18‐85 años)
n=2945 individuos : 1361 varones (46.2%) , 1584 mujeres (53.8%)
Marcadores antropométricos:
BMI = Índice de Masa Corporal=Peso/Talla2 (Kg/m2)WC = Circunferencia de Cintura (cm)
Status:D=1 “tener 2 ó más factores de riesgo cardiovascular”D=0 “caso contrario”
Factores de riesgo cardiovascular (IDF, 2005):
Triglicéridos elevados, HDL‐C bajo, HTA, Glucemia en ayunas elevada ó ser diabético.
(Promovido por la Sociedad Gallega de Endocrinología y Nutrición)
Estudio EPDGA (2004)
D=0
D=1
Climaterio
Body Mass Index
D=0
D=1
Waist Circumference
( ) ( )( ) ( ) ( ) )
0 1 2,
, ,
( Age Gender
men women
ROC t M Gender
f Age men f Age women h t
β β β=Φ + × + × +
+ +
Φ = Link Probit ( distribución normal estándar )
M = factor con 2 niveles ( correspondiendo al tipo de marcador )
Criterio GCV de selección automática de los parámetros de suavización.
Las funciones, , se estiman no paramétricamente( ), , women menf f h t
Inferencia bootstrap: Método Bca (Efron and Tibshirani, 1993)
ROC‐GAM
Women Men
Superficies ROC
BMI
WC
BMI
WC
AUCs “ajustadas” por sexo y edad
Women
Women
Men
Men
94 cm (varones)
80 cm (mujeres)
Criterios Actuales (IDF)
Puntos de corte “óptimos” ajustados
Criterios Actuales
BMI>=30