como é que avaliamos intervenções? quando não existe alocação aleatória a grupos de...
TRANSCRIPT
![Page 1: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/1.jpg)
![Page 2: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/2.jpg)
Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de
comparação
Quando não se pode manipular o processo de seleção
Caso geral Pessoas, lares, municípios ou outras entidades são expostos ou
não a um “tratamento” ou “política” Dois grupos não são comparáveis por causa do processo de
seleção Exemplo: Clientes de micro-crédito e indivíduos que não são
clientes de micro-crédito
Quando a randomização não é possível, como é que podemos utilizar as características do programa para “medir” o seu impacto?
Resposta: métodos quasi-experimentais Exemplo: Modelos de Regressão Descontínua (MDRs)
![Page 3: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/3.jpg)
MDR mais próximos das experiências randomizadas do que os outros métodos quasi-experimentais
Depende do conhecimento do processo de seleção dos participantes Necessário saber um critério de seleção quantificável –
“uma pontuação” Alocação ao “tratamento” depende
discontinuadamente desta pontuação Exemplo: Uma política que se aplique a empresas com
vendas anuais menores ou iguais a $5,000. Uma empresa com vendas = $5,001 não seria tratada,
mas seria muito semelhante a uma empresa com vendas = $5,000.
MDRs compararíam empresas com vendas exactamente acima e abaixo da barreira dos $5000.
![Page 4: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/4.jpg)
Lei: Idade mínima para beber nos EUA é 21 o consumo de alcóol é ilegal para pessoas com menos de 21 anos. Análise:
Pessoas com 20 anos, 11 meses e 29 dias Pessoas com 21 anos
Tratadas de uma forma diferente por uma restricção arbitrária (idade) Mas não necessariamente diferentes (probabilidade de irem a festas, obediência, chance de terem comportamentos de risco, etc)
![Page 5: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/5.jpg)
De facto: Esta lei aloca pessoas a grupos de tratamento e comparação
Grupo de tratamento: Pessoas com idades entre 20 anos e 11 meses e 20 anos, 11 meses e 29 dias Grupo de controle: Pessoas que tenham acabado de fazer 21 anos e que já podem beber legalmente. Ambos os grupos devem ser semelhantes em termos de características observáveis e não observáveis que afectam os resultados de interesse (taxas de mortalidade)
Desta forma, é possivel isolar o efeito de causalidade do consumo de alcóol nas taxas de mortalidade de adultos jovens
![Page 6: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/6.jpg)
Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades
Tratamento causa ummenor consumo de alcóol
![Page 7: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/7.jpg)
Taxas de mortalidade por idade
Aumento do consumo de alcóol causa taxas de mortalidade mais elevadas por volta dos 21 anos
Mortalidade geral
Mortalidade associada a acidentes, consumo de alcóol ou de drogas
Restante mortalidade
![Page 8: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/8.jpg)
• Alocação ao grupo de tratamento depende de uma pontuação ou de um ranking contínuo (ex.: Idade, vendas, resultado num exame, índice de pobreza)• Potenciais beneficiários são ordenados pela pontuação• Limite ou cut-off (ponto de corte) para ser “elegível”
definido claramente ex-ante• Cut-off determina alocação a grupos de tratamento e
de comparação
• Alocação geralmente resulta de decisões administrativas, onde• a participação é limitada devido a restrições
orçamentais• regras claras e não arbitrárias são utilizadas para a
participação no programa
![Page 9: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/9.jpg)
• Governo oferece subsídios via matching grants a PMEs formais
• Eligibilidade para receber estes subsídios baseada nas vendas do ano anterior:
• Se as vendas foram inferiores a $5,000, a empresa recebe a oferta do subsídio
• Se as vendas foram pelo menos $5,000, a empresa não pode beneficiar do subsídio
• Se as vendas foram divulgadas antes do anúncio da medida
• não é possível manipular as vendas reportadas no ano anterior
• fácil de medir as vendas e garantir a utilização da regra
![Page 10: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/10.jpg)
• O que acontece se nem todas as empresas com menos de $5000 aderem ao programa?• Falta de conhecimento da existência do programa
(não sabiam que o programa tinha sido introduzido)• Só as empresas interessadas aderem• Ambos implicam que haja uma seleção (empresas
que aderem ao programa podem ser diferentes daquelas que não aderem em várias dimensões)
• MAS: A percentagem de participantes altera-se descontinuadamente na fronteira (no ponto de corte), de zero para menos de 100%• Denominado MRD difuso
![Page 11: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/11.jpg)
0.2
5.5
.75
1
tre
atm
en
t pro
bab
ility
assignment variable
Sharp Design for Voucher receipt
0.2
5.5
.75
1
assignment variable
Fuzzy Design for Voucher receipt
100%
0%
75%
0%
![Page 12: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/12.jpg)
Descontinuidade Estanque A descontinuidade determina, com precisão, a condição de tratamento
▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcóolicas e mais ninguem o faz
▪ Todas as pessoas com menos de $5,000 em vendas recebe vouchers e empresas maiores não o fazem
Descontinuidade Difusa A percentagem de participantes muda de forma descontínua no cut-off, mas não de zero para 100% (ou de 100% para 0%)
▪ Algumas pessoas mais novas que 21 consomem bebidas alcóolicas e algumas com mais de 21 não consomem bebidas alcóolicas
▪ Regra determina eligibilidade, mas entre as empresas com menos de $5,000 em vendas, há apenas adesão parcial.
![Page 13: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/13.jpg)
Ideia geral: Se o ponto de corte é arbitrario, as pessoas
exactamente à esquerda e à direita desse ponto devem ser semelhantes
Diferenças nos resultados podem ser atribuídos à política
Principal condição Nada mais acontece: na ausência da política, não
observaríamos a discontinuidade nos resultados à volta deste limite em particular
Pode não ser o caso se▪ Regra do uso de capacete para motorizadas também se aplica
aos 21 anos▪ Outra medida oferece equipamento a empresas com vendas
inferiores a $5,000
![Page 14: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/14.jpg)
outc
om
e
assignment variable
Baseline
assignment variable
Follow-up
Forma diferente
![Page 15: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/15.jpg)
Serão os resultados generalizáveis para além destes dois grupos que estamos a comparar?
Contrafatual em MRD Indivíduos marginalmente excluídos dos benefícios Exemplos: pessoas com menos de 21 mas com mais
de 20 anos e 10 meses; empresas com vendas inferiores a $5,000 mas mais que $4,500.
As conclusões de causalidade são limitadas às pessoas, lares, municípios, no ponto de corte O impacto estimado é para individuos marginalmente
ou por pouco elegíveis para participarem no programa A extrapolação além deste ponto supõe premissas
adicionais, geralmente não garantidas (ou diversos pontos de corte)
Modelos difusos aumentam o problema
![Page 16: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/16.jpg)
Maiores vantagens dos MRD Transparência Possibilidade de ilustrar a situação atraves do uso de gráficos
Maiores desvantagens dos MRD Necessário que haja muitas observações à volta do cut-off Todas as observações longe da fronteira devem ter menos
importância Porque?
▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoas estão à esquerda ou à direita
▪ Por exemplo uma empresa com vendas anuais de $5,000 versus uma com $500
▪ Ou uma pessoa com 16 anos versus outra com 25
![Page 17: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/17.jpg)
outc
om
e
assignment variable
![Page 18: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/18.jpg)
MRD são intrumentos útils para identificar o efeito de causalidade Vantagens
▪ MRD partilham as mesmas propriedades de uma experiência no local do ponto de corte
▪ Podem ser utilizados para avaliar intervenções ex-post tratando os pontos de corte como “experiências naturais” (com propriedades próximas de uma experiência mas não são designados como tal)
Desvantagens▪ Os efeitos estimados do programa são apenas
representativos das pessoas/empresas perto do ponto de corte
▪ MRDs necessitam de amostras muito grandes▪ Pessoas/empresas podem ajustar o seu comportamento em
anos subsequente em resposta ao limite▪ Exemplo: Deixar de reportar vendas acima de $5,000
![Page 19: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/19.jpg)
Pode ser usado para desenhar uma avaliação prospectiva quando a randomização não for possível O design aplica-se a todos os programas
avaliados por médias Diversos pontos de corte para melhorar a
validade externa
Pode ser usado para avaliar intervenções ex-post usando as descontinuidades como “experiências naturais”.
![Page 20: Como é que avaliamos intervenções? Quando não existe alocação aleatória a grupos de tratamento e de comparação Quando não se pode manipular o processo](https://reader036.vdocuments.mx/reader036/viewer/2022062512/552fc171497959413d8ee443/html5/thumbnails/20.jpg)
20