+

Lab Experiments for Measurement in Program Evaluation

Michael J. Gilligan, Universidade New York

+A Tarefa Programas de Governo/ONG/CBO desejam mudar

atitudes e crenças dos participantes de forma particular

Normalmente estes programas treinam os participantes em um certo conjunto de "direito" de atitudes e crenças.

Exemplos Comportamentos pró-sociais: contribuições para a bens

públicos, a confiança, a tolerância, não-violência e assim por diante

Atitude e comportamentos em relação a grupos marginalizados: mulheres em minoria, grupos étnicos particulares

Estes programas gostariam de ser capazes de medir se os seus esforços têm sido bem sucedidos

+O Problema Estudos controlados são essenciais para ser

capaz de fazer afirmações causais sobre os efeitos do programa.

Mas estudos controlados não são uma solução para o problema de medição de fato - eles são um obstáculo para ele.

Programadores RCT só funcionam com as populações 'tratadas‘, somente populações tratadas recebem treinamento sobre as respostas "certas“

RCTs, a mesma coisa que está garantindo a tendência em relação ao assunto (saldo) é a introdução de tendência na medida

+Capital Social & Atitudes Pro-Sociais

+DefiniçãoAs redes [S]ociais e as normas de reciprocidade e confiança que surgem a partir delas. ... O capital [S]ocial está intimamente relacionado com ... "virtude cívica.'' A diferença é ... a virtude cívica é mais poderosa quando incorporada em uma densa rede de relações sociais recíprocas. Uma sociedade de muitas pessoas virtuosas, mas isoladas não é necessariamente rica em capital social (Putnam, 2000).

+Estamos interessados em medir:AltruismoConfiança ConfiabilidadeVontade de contribuir para bens públicos

As redes sociais que (supostamente) suportam estes comportamentos

+Implicações para DesenvolvimentoConfiança: fundamental para a auto aplicação eficaz em termos de custos de contratos

A conformidade com as normas sociais: a não-violência, compromisso, equidade

Contribuições para os bens públicos: essenciais para a eficiência econômica

Respeito por fontes legítimas de autoridade

+Algumas Constatações (entre muitas)Putnam (1993) mostra que os governos

locais na Itália são mais eficientes onde há maior engajamento cívico.

Knack e Keefer (1997) demonstram que o aumento da confiança a nível nacional leva a grandes aumentos no crescimento econômico do país.

La Porta et. al. (1997) estabelece uma forte relação positiva entre confiança e eficiência judicial e uma forte ligação negativa entre confiança e corrupção.

+Implicações

O Banco Mundial e outras entidades internacionais tem muitos programas para fomentar o capital social e a pró-sociabilidade

DDR-base comunitária

Programas voltados para a comunidade de desenvolvimento

Um foco na capacidade local em esforços de desenvolvimento

"Apropriação local" de programas de desenvolvimento para promover a sustentabilidade

+Medir Capital Social e normas sociaisEstes são conceitos muito difíceis de medir

Em muitos casos, eles não são observados diretamente

Indicadores diferem muito entre as diferentes culturas

As pessoas são muitas vezes relutantes em revelar um comportamento que não é pró-social

+ Medidas tradicionais de pesquisa‘De um modo geral, você diria que a

maioria das pessoas pode ser confiável ou que você não pode ser muito cuidadoso ao lidar com as pessoas? '(World Values Survey)

"Você estaria disposto a contribuir com um dia de tempo livre para ...?"

Quão difícil que você acha que seria para sua comunidade para chegar a acordo sobre ...? "

Nos últimos três meses se você contribuiu tempo ou dinheiro para uma organização de base comunitária?

Você votou na última eleição?

+Preocupações com pesquisas tendenciosasEntrevistados programadores treinados nas respostas "certas" para esses tipos de perguntas

Eles não operam em comunidades de controle de todo, assim os entrevistados nem sequer sabem as respostas "certas"

+Medidas observacionaisNúmero de pessoas que votaram na última eleição

Número de pessoas que aparecem para limpar um parque público

As contribuições para um fundo comunitário

+As medidas têm grande validade externa (no mundo real), mas ... Será que estamos medindo as atitudes sociais

ou a força de liderança?

... Ou intimidação?

... Ou corrupção?

Exemplo: O comparecimento dos eleitores na União Soviética era rotineiramente acima de 98 por cento

Resultados "bom" pode ser causada por exatamente o oposto de boas instituições e atitudes pró-sociais

+Medidas de observação estruturadaAtividades comunitárias estruturadas

»(Casey Glennerster e Miguel) Os fundos escolhidos no esquema de

correspondência de concessão A tomada de decisão sobre a alocação de sal ou

de baterias Alocação de lona

Projeto Tuungame, Congo (Humpreys, Sanchez de la Sierra e van der Windt 2013) A participação em fundos de contrapartida para

um bem público Alocação de um "golpe de sorte" 100 dólares Participação em uma reunião da comunidade

+Medidas de observação estruturadas

Estruturadas e, por conseguinte, mais comparáveis entre si

Têm grande validade externa ...

mas ainda não podemos separar os fatores individuais (atitudes) a partir de fatores de toda a comunidade (liderança, instituições)

+ Laboratório em atividades de campo Observando o comportamento em um

ambiente controlado de laboratório

Todas as pressões sociais, efeitos políticos institucionais etc, são removidos por desenho do experimento

Observamos apenas respostas das pessoas aos incentivos que nós (os experimentadores) oferecemos

Nós somos capazes de separar as atitudes de fatores de toda a comunidade

+Perda de validade externa

Factores a nível da Comunidade (liderança, eficiência institucional) são excluídos do laboratório de modo que não podemos obter medidas deles

Assim atividades de laboratório são melhor combinadas com os outros métodos de medição

+ Jogos de comportamentos Três jogos importantes são:

Jogo do altruismo Jogo da confiançaJogo dos bens públicos

Nosso interesse principal é nos jogos de altruísmo, de confiança e de bens públicos, mas também precisamos de conduzir os outros jogos para controlar atitudes de risco, paciência e altruísmo

+Instrução do Jogo

+

+Atividade de Altruismo

Sujeitos receberam uma quantia em dinheiroNepal; 40 NPR em 5 NPR notasSudan: 3 pounds em moedas de meia-pound

Cambodia: 16,000 KHR em 4,000 KHR notas

Sujeitos decidem quanto querem contribuir para uma família local carente

A identidade da família não é revelada

+

+Atividade de Confiança, Confiabilidade Os sujeitos são designados aleatoriamente para um

dos dois papéis: remetente ou destinatário (nós usamos nomes neutros em campo)

Ambos os tipos são dados dotação inicial de dinheiro

Remetentes decidem o quanto de sua dotação para enviar para o receptor

Nós triplicamos essa quantidade e damos ao receptor

O receptor decide quanto deste total para retornar para o remetente

Todos os jogadores e os tipos são anônimos

Concluo: envie zero, retornar zero

Ótimo social: envie dotação total, o retorno que for necessário para apoiar o comportamento confiante

+

+ Jogo dos Bens PúblicosTodos os indivíduos jogam

simultaneamente

Cada jogador recebe duas cartas, uma com um "X" e um em branco

Para cada cartão "X" que se transformou no primeiro turno todos os jogadores recebem uma quantia de dinheiro, dizer 4NPR

Transformando um cartão de "X" no segundo turno ganha o jogador quem transformou em uma quantidade maior, digamos 20 NPR

+Impactos Sociais de CDD (Sudao) por Estrategias de Medida Diferente

Rede de grupo de associados

Comportamento de Laboratorio

Auto-relato de Ação Individual (pesquisa)

Coesão comunitária subjetiva (pesquisa)

Melhoria subjectivana coesão comunitaria (pesquisa)

-0.18***(0.000)

-0.12(0.08)

0.21***(0.10)

0.18***(0.07)

0.46***(0.11)

+Atitudes para grupos marginalizados

+ExemplosMuitos programas estão interessados em melhorar o estado de grupos marginalizados, especialmente mulheres

Governos / ONGs / OSC, também se interessaram na flexibilização rivalidades étnicas (muitas vezes violentas), especialmente em cenários pós-conflito

+Mesmo problemaProgramadores RCT só funcionam com as populações 'tratadas' tão somente populações tratadas recebem treinamento sobre as respostas "certas"

RCT, a mesma coisa que está garantindo tendência em relação ao assunto (saldo) é a introdução de tendência na medida

+Uma variedade de opçõesJogois standard (altruismo, confiança,

bens públicos, etc) podem ser usados para medir atitudes em relação a “grupos de grupos” de foraBracic 2013 atitudes para Roma na

antiga Jugoslavia

Observando o comportamento de deliberação, a cooperação e o trabalho em equipe entre grupos mistos Karpowitz and Mandelberg 2014

deliberação em grupos mistos de homens e mulheres

+Observando o comportamento do grupo

Análise Bales na Interação de Processos

Os participantes recebem uma tarefa que exige uma decisão ou cooperação do grupo

Registro de interações de acordo com um conjunto específico de critérios para codificar tudo o que o pesquisador está interessado em medir (respeito, hostilidade, etc)

o truque Não dizendo a participantes que este é um

estudo de interação grupo sim, grupo não Incentivar os participantes a agir de acordo

com as crenças sobre o grupo de fora

+Exemplo: Atitudes em relação ao gênero e etnia na Polícia Nacional da Libéria (PNL)

O governo da Libéria adoptou uma quota explícita de 30% para mulheres na PNL

Nós não realizamos um RCT, mas nós estávamos interessados em: testar alguns dos pressupostos do programa de gênero

+Proponentes do Programa afirmou que mais mulheres iria produzir uma variedade de beneficiosTomada de decisão mais consensual

Maior sensibilidade para crimes de gênerocrimes

Décadas de descobertas da psicologia social que as mulheres não participam plenamente nas deliberações do grupo.

+ O programa estava em curso há vários anos para que os oficiais sabiam as atitudes em relação a policia feminina que eles deveriam ter

Assim, uma pesquisa não teria sido uma estratégia de medição convincente

Tivemos grupos de oficiais de tamanho da equipe completa e randomizados o número de oficiais do sexo feminino em cada grupo

Observou-se os membros da equipe 'para ver se os homens reagiram de forma diferente

em grupos com mais mulheres Grupos com mais mulheres deliberou mais

consensual e estavam mais propensos a ver o crime como gênero

+Descobertas

Oficiais do sexo feminino não foram, em geral, mais prováveveis de um crime de gênero, mas as mulheres mais competentes foram

Grupos com mais membros mulheres não eram mais propensos a ver um crime de gênero

Grupos com mais mulheres não eram mais consensuais

Efeito Backlash: Homens na maioria dos grupos femininos eram significativamente mais agressivos.

+Conclusão A programação pela sua própria natureza treina beneficiários

em dar o tipo de respostas ao inquérito que o programa gostaria de ouvir

A randomização agrava este problema

Medidas comportamentais são atraentes, mas: Medidas com alta validade externa pode tornar difícil de

deslindar os mecanismos em nível individual e comunitário Sintonia dos incentivos individuais chegam corretamente a

atitudes, mesmo quando os sujeitos são dirigidos para a resposta "certa": recompensa monetária vai induzir as pessoas a agir baseados em crenças realizadas em vez das "socialmente corretas"

Os laboratórios de atividades de campo vai abordar estas duas questões e fornecer uma ferramenta importante para medir os efeitos sociais dos programas, em alguma perda de validade externa