© 2015 J Caro. All Rights Reserved.

El Uso del Análisis Multicriterio de Decisiones enla Evaluación de Tecnologías en Salud

J. Jaime Caro MDCM FRCPC FACP

Profesor de Medicina

Profesor de Epidemiología y Bioestadística

McGill University, Montreal, Canadá

Jefe Científico, Evidera, Boston, USA

WebinarBoston, MA

29 de enero, 2015

Análisis de eficiencia en el mundo

© J. Caro

PBAC 1992

NICE1999

CCOHTA1989

Cuando me graduéSiguientes años:SBU1987

CETS1988

2000’s:Ahora:

PCORI

VBP AMNOG

© J. Caro

Por qué análisis de eficiencia?

© J. Caro

Descubrimiento Ensayos clínicos

Agencia reguladora

AseguradorETS

Sirve?Eficaz y segura?

Beneficio excede riesgo?

Beneficio excede costo?

XX

X X

PagadorIndustria

Beneficios Gasto

“Costo”?>• Sobrevida• Dolor, otros síntomas• Disfunción• Reducción de riesgo• Prevención• Conveniencia …

Análisis de eficiencia

Análisis de eficiencia

PagadorIndustria

Beneficios Gasto

Costo de oportunidadQALYB$

$𝑜𝑄𝐴𝐿𝑌 𝑜

“Umbral” >

Análisis de eficiencia

PagadorIndustria

Beneficios Gasto

“Costo”?• Sobrevida• Dolor, otros síntomas• Disfunción• Reducción de riesgo• Prevención• Conveniencia …

Criterios

7

Tabla de criterios

Rx Sobrevida Dolor Disfunción ↓ riesgo Prevención Conveniencia …

peso ρS ρD ρDi ρR ρP ρC ρ

A SA DA … … … … …

B SB … … … … … …

C SC … … … … … …

… S… … … … … … …

El desempeño de cada intervención con respecto a cada criterio

+ + + …

¿∑ (𝜌𝑖×𝐴𝑖 )𝑉𝑎𝑙𝑜𝑟 𝐵=∑ (𝜌𝑖× 𝐴𝑖 ) AMCD

8

93%

5% 2%

Medición de valoresJerarquíaOrientado a objetivos

Otras formas de AMCD

Marsh et al. (2014)

9

Pasos a seguir

1. Establecer los criterios

(depende del contexto, la decisión a tomar, etc.)

2. Pesar cada criterio

3. Calificar cada intervención de acuerdo a cada criterio

(identificar las alternativas)

4. Analizar el valor de cada intervención

5. Incorporar incertidumbre

6. Interpretar los resultados.

Requisito Pregunta

1. Utilizables Es posible medir cada intervención utilizando este criterio?

2. Cubertura completa Cubren todos los efectos (positivos o negativos) relevantes?

3. Sin redundancia Cada criterio cobija una dimensión distinta (y en la cual hay diferencias entre intervenciones)?

4. Desempeños independientes El desempeño en un criterio no depende del desempeño en otro criterio?

5. Número manejable La cantidad de criterios es factible de evaluar?

1. Establecer los criterios

Identificar las posible consecuencias de las intervenciones Verificar que llenan los requisitos

11

Agrupar criterios

Criterios

Eficacia

Supervivencia

Síntomas

Seguridad

Reacción fatal

Reacciones sintomáticas

Conveniencia

Dosis

Ruta

Monitoreo

12

Desafíos

Quien identifica los criterios?

Como se identifican?

Son – generales y aplicables a todas las intervenciones?

– o son específicos a una área terapéutica?

Se mantienen constantes de una evaluación a otra o se pueden actualizar?

13

2. Pesar los criterios

Que tan importante es cada criterio?

Criterios

Eficacia

Supervivencia

Síntomas

Seguridad

Reacción fatal

Reacciones sintomáticas

Conveniencia

Dosis

Ruta

Monitoreo

1001

1

2

2

3

5

4

100

50? 10?

1?

Ranking? Puntos?

14

2. Pesar los criterios

Que tan importante es cada criterio?

Pero, que quiere decir “importante”?– Representa el valor relativo de la diferencia máxima en cada escala de

desempeñoo Los números que se utilizan para indicar el peso no importan mientras

o No obedecen a ningún otro requerimiento (ej. no tienen que sumar 100)

– Si las intervenciones difieren poco en un criterio, sigue siendo importante?

Ej. si todas son altamente eficaces (“no inferiores”), sigue siendo eficacia lo mas importante?

Aspecto fundamental de la metodología.

15

Métodos para establecer pesos

Marsh et al (2014)

Escala de-finida24%

Elección discreta

22%Proceso

analítico de jerarquía

27%

"swing we-ight"7%

Otros19%

16

Desafíos

Quien establece los pesos?– Como se resuelven los conflictos?

Como se hace?

Son– generales y aplicables a todas las evaluaciones?

– o son específicos a una área terapéutica?

Se mantienen constantes de una evaluación a otra o se deben actualizar?

17

3. Calificar cada intervención

Escoger (o crear) escalas numéricas– Asegurarse que la dirección de las escalas significan lo mismo (ej. calificaciones altas son

buenas)o Invertir la tasa de efectos secundarios (de menos frecuente es bueno a mas tiempo sin reacciones es

mejor)

– Usar la misma calificación numérica (ej. de 0% a 100%)

– Determinar los extremoso 0% = a lo peor posible (o lo peor observado)

o 100% = a lo mejor posible (o lo mejor observado)

Asociar la escala a los resultados naturales (“apreciar”)– Relación lineal (ej. disminución en la presión arterial, de 0mm Hg a 10mm Hg)

– Relación curvilínea (ej. alivio del dolor)

– Relación dada por un ‘experto’

Determinar el desempeño de cada intervención– Ensayos clínicos

– Meta-análisis

– Estudios observacionales

– Expertos

Procesos analíticos (“AHP”).

0 1 2 3 4 5 6 7 8 9 100

20

40

60

80

100

↓ mmHg

Califi

caci

ón (%

)0

20

40

60

80

100

Alivio del dolorCa

lifica

ción

(%)

nada total

18

Pasos a seguir

1. Establecer los criterios

(depende del contexto, la decisión a tomar, etc.)

2. Pesar cada criterio

3. Calificar cada intervención de acuerdo a cada criterio

(identificar las alternativas)

4. Analizar el valor de cada intervención

Suma ponderada de la calificación de cada intervención

5. Incorporar incertidumbre

Utilizar métodos ya bien establecidos: determinísticos (uni, multivariados), probabilísticos

𝑉𝑎𝑙𝑜𝑟 𝑋=∑ (𝜌𝑖× 𝐴𝑖 )

19

Incertidumbre

En la estructuración del problema– Criterios

– Intervenciones

– Metodologíao Calificación

o Pesos

En los valores de los diferentes componentes– Desempeño

– Calificación

– Pesos.

20

Pasos a seguir

1. Establecer los criterios

(depende del contexto, la decisión a tomar, etc.)

2. Pesar cada criterio

3. Calificar cada intervención de acuerdo a cada criterio

(identificar las alternativas)

4. Analizar el valor de cada intervención

Suma ponderada de la calificación de cada intervención

5. Incorporar incertidumbre

Utilizar métodos ya bien establecidos: determinísticos (uni, multivariados), probabilísticos

6. Interpretar los resultados– Se usa el AMCD para

o Escoger una intervención entre varias (el objetivo teórico)

o O para decidir si se cubre una intervención o no?

o O para establecer el valor relativo?

𝑉𝑎𝑙𝑜𝑟 𝑋=∑ (𝜌𝑖× 𝐴𝑖 )

6. Interpretar los resultados

0 5,000 10,000 15,000 20,000 25,000Costo

0

100

200

300

400

500

600

700

800

900

1000

Val

or

po

nd

erad

o

Intervenciones

AB

C

DE

FG

Si, si alcanzable

Frontera de eficiencia

Ventajas y desventajas

Descompone el problema y

facilita el análisis

Obliga a pensar!

Habilita la comunicación

Mejora el entendimiento

Permite los criterios

deseados

Sistemático, transparente

(y consistente)

Incorpora opiniones variadas

Requiere pesos cuantitativos

Dificultad de interpretación

Impone una carga cognitiva

Source: Marsh et al. (2014)

23

Criterios incluidos en AMCD en el campo salud

Health

impac

ts

Size o

f populati

on

Disease

seve

rity

Alternati

ve tr

eatm

ent

Cost/ budge

t

Productivit

y

Cost-eff

ective

ness

Quality

of evid

ence

Implem

entati

on complex

ity

Loca

l prio

rities

Politics

Other0

2

4

6

8

10

12

14

16

Num

ero

de e

stud

ios

Marsh et al. (2014)

24

AMCD esta generando interés entre Agencias Evaluadoras

EMA

IOM

IQWiG

CVZ

UK

CADTH

Thailand

Uso del AMCD en ETS va en aumento

Diaby et al., 201325

26

Lecturas

27

Lecturas