avaliação de políticas públicas: conceitos básicos e principais … · 2018-05-25 · "é...
TRANSCRIPT
![Page 1: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/1.jpg)
Proposta
Avaliação de Impacto da Embrapa em
Políticas Públicas: síntese de conceitos e
método Marlene de Araújo
SDI/GEDI/ ADE
![Page 2: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/2.jpg)
....
A cultura de monitoramento e avaliação de programas
• EUA – 1ª fase: 1930 / Objetivo: financiamento do Estado e em resposta a crise de 1929. • Temas : educação (alfabetização), saúde pública (doenças infecto-parasitárias) e qualificação profissional. • 2ª fase: 1960 ( governo Lyndon Johnson, Great Society) Objetivo: garantir melhor gestão dos programas públicos no nível federal Temas: prevenção da violência juvenil, planejamento familiar, nutrição, programas habitacionais e desenvolvimento rural. 3ª fase: 1970 . Objetivo: desregulamentação e descentralização da prestação dos serviços públicos. Inicia o monitoramento e avaliação nos governos estaduais, municipais e organizações não governamentais, com visão multidisciplinar. ................................... Brasil: Demanda da Constituição de 1988 e Projeto de Lei do Senado n° 488, de 2017 ( em trâmite) Acrescenta dispositivos à Lei Complementar nº 95, de 26 de fevereiro de 1998, com o intuito de estabelecer normas e diretrizes para encaminhamento de proposições legislativas que instituam
políticas públicas, propiciando melhor responsabilidade gerencial na Administração Pública. No Brasil tem sido realizada por centros de pesquisa, universidades. Equipes com boa experiência em macro politicas, conjuntura social ou projetos de pesquisa acadêmicos. ...............................
E na Embrapa?
![Page 3: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/3.jpg)
Avaliação Clássica de ciclo de políticas públicas Realizada por agentes públicos.
1 2
3
4
5 6
Fonte: JANNUZZI, 2011
![Page 4: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/4.jpg)
O que são politicas públicas?
• "Políticas públicas são um conjunto de decisões inter-relacionadas,
tomadas por um ator ou um grupo político, relacionadas com a seleção
de objetivos e os meios para atingi-los dentro de uma situação específica,
onde essas decisões devem, em princípio, ser possíveis de serem
alcançadas com o poder que esses atores dispõem.”
Howlett e Ramesh (1995, p. 7)
![Page 5: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/5.jpg)
Avaliação de Impacto em Políticas Públicas:
O que é?
"é o processo sistêmico de observação, mensuração, análise e
interpretação de politica pública, seja ela normas, programas ou
planos e a realidade social que lhe envolve, para se chegar a um
julgamento avaliativo baseado em evidência quanto à sua
concepção, implementação, resultados e impactos" (TREVISAN
et al, 2008).
![Page 6: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/6.jpg)
Parte-se da suposição de que existe uma relação causal entre uma variável independente (o programa, o plano) e uma variável dependente (alteração nas condições sociais).
É uma pesquisa dirigida para fora, para além do programa, e deve ser realizada durante ou depois da implementação, observando as causas dos resultados.
O objeto é o estudo do efeito de um programa ou plano, observando:
houve mudança?
qual magnitude?
quais segmentos foram afetados?
Em que medida cada um dos componentes atendidos pelo programa contribuiu para o alcance dos objetivos?
Os objetivos são:
– medir o resultado dos efeitos de uma política;
– servir de medida de desempenho da ação pública da instituição;
– estabelecer relação de causalidade entre as políticas e as alterações das condições sociais.
Estratégias quantitativas de avaliação de resultados e impacto
![Page 7: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/7.jpg)
Qual é a posição do avaliador?
Classificação pela posição do avaliador
• Externa: feita por especialistas que não formam o quadro da instituição responsável pelo programa. Permite comparar resultados de diferentes avaliações, mas os avaliadores podem não dominar completamente o objeto da avaliação. Vantagem: maior objetividade;
• Interna: realizada pela instituição gestora; vantagem de menor resistência e maior conhecimento e dados sobre o programa, mas pode apresentar menor objetividade entre avaliador e avaliado e choques de interesses. Para minimizar, avaliação pode ficar com pessoas não diretamente vinculadas à formulação e execução da contribuição ou solução;
• Mista: combinação da interna e externa;
• Participativa: avaliação que requer a participação de parceiros e grupos de interesse em todo o processo da avaliação.
• E, no método de Avaliação de Impacto da Contribuição Embrapa?
•
Mista: combinação da interna e externa – com especialistas da Instituição
![Page 8: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/8.jpg)
O estudo de caso:
SCPESCA/MS: o que é?
Sistema de Controle da Pesca do Mato Grosso do Sul Implantado em maio de 1994, numa parceria entre: IMASUL-SEMADE - licenciamento, normatização, gestão •
15º BPMA/MS - fiscalização
• Embrapa Pantanal
Objetivos:
Coletar e analisar dados da pesca profissional artesanal e amadora para gerar informações, conhecimentos e disponibiliza-los, a afim de
contribuir para a gestão da pesca.
Resultados:
Boletins de Pesquisa – SCPESCA/MS
21 publicações de 1994 a 2014
• estatísticas anuais da pesca
• tendências da pesca
Fonte: Catella; A. Embrapa Pantanal
![Page 9: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/9.jpg)
Existe um método e uma abordagem única para análise de políticas públicas?
Não!!
MÉTODOS QUANTITATIVOS – lógica hipotético-dedutiva: aplicação
de pressupostos, conceitos e princípios gerais a fenômenos. Levantamentos
amostrais, experimentos e quase-experimentos. Mais casos com menor
profundidade.
MÉTODOS QUALITATIVOS –
lógica indutiva: desenvolvimento de generalizações a partir da observação de
fenômenos empíricos e posterior verificação. Observação, entrevistas e grupos de discussão
para exploração de problema complexos. Menos casos e mais profundidade.
Existe um método para avaliação da Contribuição de Empresa Pública em PP? Não!!
![Page 10: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/10.jpg)
Estudo de caso A vulnerabilidade: Objetivo: Proteger as espécies de peixes migratórias, sem abrir do direito constitucional das populações ao acesso aos recursos naturais.
Escala de Tempo De 2003 a 2017.
Antes de 2003, existia normativa que regulava o uso de apetrechos de pesca.
Escala Pontual Colônias de Pescadores das cidades de: Corumbá, Miranda, Aquidauana, Anastácio, (Total de pescadores 4.589).
Parceiros em Campo Grande (2 instituições)
Escala de Espaço/Entorno: Estadual: 5.259 pescadores artesanais
Quantidade de pescadores:
Esportivos (Ano 2000: 42.874/, 2004: 26.357/, 2014: 13.242)
Profissional Amador: (Ano 2000: 1.651/; 2004: 1.419/; 2014: 1.921)
Escala Funcional/Local A Bacia do Alto Paraguai está em uma área de 363.446 Km², abriga 1% da população brasileira e se divide entre Estados de Mato Grosso e Mato Grosso do
Sul.
Formulação Simplificada Objetivo da Política Seguro Defeso:
Amparar os pescadores profissionais artesanais, impedidos de subsistir com seu trabalho durante certo período do ano. Além disso, oferece alguma proteção às
espécies marinhas, fluviais e lacustres que integram o ecossistema do país.
Característica: Política dirigida a grupos específicos.
Problema:
Risco de perda das espécies migratórias = riscos de perda de biodiversidade, redução de oferta de alimentos e conhecimento local populações ribeirinha que
dependem do peixe como alimento.
Pescador profissional artesanal que depende do peixe para geração de renda (uso comercial) e, pressão de ampliação das áreas de pastagens nas áreas de
preservação (margens do rio). A Bacia do Rio Paraguai possui 15,9 milhões de hectares de pastagens além de extração e minérios em região próximas a sua
margem.
Avaliação de Vulnerabilidade
(alta, moderada, inalterada, em
queda).
Exposição dos Pescadores = alta.
Sensibilidade dos Pescadores = alta
Capacidade de Adaptação dos pescadores = moderada
Nível de incerteza (médio a muito
alto)
Médio em função da instabilidade política
Problemas comuns Reduzir a pressão sobre recursos naturais.
Promoção de novas atividades econômicas, inclusive aquicultura.
Capacitar e educar para mudar.
Alteração no tempo:
(alta, moderada, baixa)
Alta para o controle do uso dos recursos naturais porque a fiscalização e controle reduziu a captura de 67,2% de 2000 a 2014 e, alteração baixa quando a
introdução de novas estratégias.
![Page 11: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/11.jpg)
Avaliação de Impacto da Contribuição da Embrapa em políticas públicas
• “Contribuição” da Embrapa
“se caracteriza pelo subsidio de caráter técnico oferecido a agentes públicos com o propósito de resolver um problema coletivo especifico”.
O subsidio se torna material por meio de uma variedade de ações que vão desde estudos e diagnósticos para a formulação de uma política pública ou um sistema de controle para conservação ou preservação ambiental, desenvolvimento de projetos de pesquisa para o desenvolvimento agrícola e econômico de uma determinada região. Projetos de transferência de conhecimento que visem à mudança de condutas e hábitos de comunidades, até o apoio na construção de mecanismos de subsídios econômicos para alavancar os planos de uma determinada política pública.
• Nesta proposta de método, estes serviços serão denominados de Entrega ou Solução Embrapa.
![Page 12: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/12.jpg)
Respostas:
• A entrega/solução da Embrapa contribuiu para a solução do problema seja ele social, ambiental ou econômico?
• Qual foi a contribuição?
• Houve mudanças ?
• Qual é a magnitude?
• Qual é a caraterística da entrega/solução?
• Quais segmentos foram afetados?
• Qual é valor da entrega da Embrapa percebido pelos parceiros e grupos de interesse?
• Qual é valor da entrega da Embrapa percebido pelos beneficiários?
![Page 13: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/13.jpg)
Objetivos:
• medir o resultado ou efeito da entrega/solução da Embrapa para uma
politica pública especifica,
• servir de conhecimento para melhoria em ações futuras,
• estabelecer relação de causalidade entre as politicas públicas que a
Embrapa contribuiu com as alterações das condições sociais,
ambientais e/ou econômicas.
![Page 14: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/14.jpg)
Finalidade da avaliação de impacto da Contribuição da Embrapa
• Prestação de contas (accountability). Deve estabelecer elementos para julgar e aprovar decisões, ações e apresentar resultados e, com isso justificar a utilização dos recursos públicos e as decisões tomadas para minimizar ou resolver as condições de vulnerabilidade.
• Instrumento de conhecimento do seu meio que apoiará a prospecção de demandas futuras, como também, permitirá desenvolver e melhorar estratégias de intervenção na realidade, para tanto, a avaliação de impacto tem que ser capaz de propor algo a respeito da política que está sendo avaliada.
• Empoderamento da participação dos envolvidos e beneficiários no sentido de gerar uma promoção social, desenvolvimento regional e local.
• Apoio ao desenvolvimento institucional de modo a abrir espaço para a democratização da atividade pública, incorporando grupos sociais excluídos, promovendo aprendizado institucional e fortalecendo as instituições envolvidas dentro da rede, retroalimentar os programas, projetos e agendas de futuras políticas.
![Page 15: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/15.jpg)
Ambiente de Política
![Page 16: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/16.jpg)
Contribuição da Embrapa
Politica Pública e o ambiente de
Politica
Cenários e Vulnerabilida
des
Beneficiários
Serviços de Politica
Pública
Parceiros e
Grupos de interesse
Síntese
![Page 17: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/17.jpg)
O ambiente de Politica Pública
Cenário: A realidade social.
é a compreensão e descrição do que envolve na “empreita ou missão”, os
problemas e as vulnerabilidades, os atores ou agentes, a informação por
trás de cada grupo de interesse, percepções sobre o ambiente, os objetivos
e sequências de ações, intervenções e eventos.
Vulnerabilidade:
é o grau em que um sistema, subsistema ou componente
que provavelmente sofrerá danos ou exposição a um perigo, seja uma
perturbação ou stress.
Variáveis ou atributo mensurados: Exposição, sensibilidade, capacidade
adaptação.
![Page 18: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/18.jpg)
Ambiente de Politica Pública
Serviços de politicas públicas: linhas de crédito, capacitação de parceiros e beneficiários, sistemas automatizados de
controle e fiscalização, bancos de sementes, acesso a viveiros públicos, matrizes, serviços especializados de agregação de
valor em processo produtivos, entre outros.
Parceiros é um arranjo em que duas partes ou mais partes estabelecem um acordo de cooperação para atingir
interesses.
Capital Social é o valor inicial que os parceiros empregam no plano de implementação da politica desde a formulação
da agenda até o monitoramento dos serviços entregue aos beneficiários
Beneficiários são os grupos de pessoas definidos como público-alvo de um determinado programa ou plano
visando uma transformação sócio-econômico-ambiental ou a reparação no uso de determinado recurso natural ou
outros problemas específicos e de caráter coletivo.
![Page 19: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/19.jpg)
Pesquisa avaliativa para avaliação de impacto
Sendo impacto o resultado dos efeitos de um programa, de um plano de trabalho ao longo de um
período de tempo, determinar o impacto exige considerar dois momentos: antes e depois;
Para tanto, controle de efeitos não atribuíveis ao programa – requer controle de variáveis
intervenientes;
Dificuldade de afirmar que mudança resultou do programa (relação de causalidade) é enfrentada com
a Pesquisa Experimental.
![Page 20: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/20.jpg)
O que avaliar? Os constructos de avaliação
1. Cenário e Vulnerabilidades
(exposição, sensibilidade, capacidade de adaptação)
2. Entrega/Solução (qualidade: eficiência, eficácia, efetividade na percepção interna, de parceiros e líderes de grupos de interesses)
3. Capital Social (aptidão, responsabilidades, integração, gestão de conflitos)
4. Impactos dos serviços da política (qualidade: eficiência, eficácia, efetividade)
5. Impactos nos beneficiários (renda, emprego/trabalho, equidade de gênero, gerações étnica)
![Page 21: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/21.jpg)
Os indicadores
Cenário e vulnerabilidade:
Nível de exposição
Nível de sensibilidade
Capacidade de adaptação
Outros alinhados ao objeto da
politica
Nos serviços de politicas
públicas:
Acesso
Qualidade (pertinência do
tema, atualidade,
aplicabilidade)
Eficácia
Eficiência (procedimento,
prazo, pontualidade)
Efetividade
Parceiros/Capital Social:
Para a entrega/solução:
Nível de aptidão
Responsabilidade
Integração
Capacidade de gestão de conflitos
Capacitação de parceiros
Beneficiários:
Renda (segurança, estabilidade/sazonalidade, distribuição, diversidade de fontes)
Trabalho/Emprego (capacitação, qualificação e oferta de trabalho, qualidade do
emprego)
Equidade de gênero (inclusão, participação, valorização, recompensa)
Equidade entre gerações (promoção de jovens, inclusão jovens aprendizes,
valorização, recompensa )
Equidade étnica (inclusão, participação, valorização, não discriminação,
recompensa)
![Page 22: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/22.jpg)
• Questão ambiental em Politicas Públicas
O objeto da política pública - é uma questão ambiental que condiciona uma resposta/solução na área ambiental.
Neste caso os indicadores de controle e impacto estão relacionados a característica da Entrega/Solução.
(Exemplo: Seguro Defeso- números de pescadores por classe, esforço anual de pesca, índice de captura por espécies)
• Outras possibilidades: aplicar indicadores de qualidade ambiental
![Page 23: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/23.jpg)
0,00
0,20
0,40
0,60
0,80
1,00
1,20
Captura total Profissional Esportivo
As toneladas totais de captura reduziram em 67,24%.
As 11 espécies estudadas tiveram 55,5% de redução de captura
por parte de pescadores profissionais e de 72,9% por parte dos
pescadores esportivos.
O estudo de caso
![Page 24: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/24.jpg)
O estudo de caso
Entrega/ Solução da Embrapa: Sistema de Controle e Monitoramento de Pesca-SPesca
Percepção dos Parceiros
Eficácia Eficiência Efetividade Social
(Cumprimento dos objetivos) (Utilização dos Recursos) (Alcançou os beneficiários planejados)
-3 -1 0 +1 +3 -3 -1 0 +1 +3 -3 1- 0 +1 +3
Entrega/ Solução da Embrapa: Sistema de Controle e Monitoramento de Pesca-SPesca
Entrega/Solução Cumprimento dos objetivos Utilização dos
Recursos
Alcançou os beneficiários
planejados
Averiguação
de fatores de
ponderação
Eficácia Eficiência
Efetividade Social
Fatores de Ponderação K 0,4 0,2 0,4
Marcar
com X
Escala de
ocorrênci
a
Sem
efeito
Local 1 3 3 3
Entorn
o
2 ? ?
Region
al
5 ? ?
Coeficiente de
Impacto
1,2 0,6 1,2 1
![Page 25: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/25.jpg)
O processo
Mensurar o impacto da contribuição
Avaliação como empreendimento técnico-científico
Busca de dados secundários
sobre a
Solução/entrega
Pesquisa de campo com
questionário
Desenhos quasi-experimentais e
não experimentais
Entrevistas
Grupos de discussão (se for o
caso)
Observação do objeto de PP e suas variantes
![Page 26: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/26.jpg)
Processo: o estudo de caso Embrapa Pantanal
.
Na Embrapa:
escolher um caso por
Unidade com mais de
5 anos de prática
![Page 27: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/27.jpg)
Estratégias qualitativas de avaliação
• Abordagens mais exploratórias e semiestruturadas em contextos complexos e distintos.
• Variedade de técnicas:
• Compilação de estudos anteriores – pesquisa bibliográfica;
• Meta-avaliações: análise mais específica das avaliações realizadas;
• Análise documental: exame de documentos, textos e relatórios de cunho administrativo;
• Análise situacional do problema social e das soluções elaboradas; base para roteiros de observação, moderação ou entrevistas.
![Page 28: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/28.jpg)
Estratégias qualitativas de avaliação
• Oficina com especialistas, técnicos e gestores: de 20 a 30 pessoas; situações de diagnósticos participativos,
problemas de implementação, apreciação de resultados, impactos e externalidades;
• Entrevistas individuais: semiestruturadas em profundidade - exige atenção na formulação das perguntas e
planejamento da amostra de entrevistados;
• Grupos focais: grupos menores, com identidade de interesses, permite aprofundar questões de desenho,
gestão, resultados, impactos e externalidades – tangíveis;
• Observações estruturadas: métodos menos invasivos; suposto distanciamento na análise de comportamentos;
exigem cuidados para não ser fiscalização ou auditoria.
• Observação etnográfica: registro do cotidiano de quem vivencia os efeitos dos programas; imersão na rotina,
no modo de vida do objeto de pesquisa; permite avaliar adequação de desenhos em segmentos, sem interferir.
• Análise estruturada de textos: técnica de análise de conteúdo; análise dos termos e categorias de interesse;
permite criação de termos indexados e categorias codificadas; permite interpretação estruturada de ideias e
conteúdo informacional de documentos.
![Page 29: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/29.jpg)
Operacionalizar a avaliação de impacto...
Integrar técnicas quanti e quali e, deve-se incluir análise de custos e benefícios.
– Estimativa de contrapartida para projetos experimentais e quase-experimentais, com
métodos econométricos para gerar grupo controle;
– Controle das diferenças dos participantes antes (coleta de dados para a baseline) e depois
(follow-up) com prazo suficiente para a observação dos efeitos;
![Page 30: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/30.jpg)
Operacionalizar a avaliação de impacto...
– Grupos de comparação e de tratamento com tamanho suficiente para garantir
significância estatística;
– Medição da eficiência do projeto com análise de custo-benefício ou eficácia em função
dos custos;
– Uso de técnicas qualitativas, para triangular os resultados.
![Page 31: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/31.jpg)
Fatores que influenciam as decisões metodológicas
• Na prática, decisões sobre métodos são afetadas por:
• Complexidade do objeto investigado ou natureza do programa;
• Estágio de desenvolvimento do programa - TEMPORALIDADE
• Objetivos da avaliação – QUAIS PERGUNTAS?
• Disponibilidade de recursos e tempo
• Importância dos dados secundários (incluindo relatórios de órgãos de controle, como CGU e TCU), dos sistemas de monitoramento, das bases de dados disponíveis – nem sempre é necessária coleta de dados primários.
![Page 32: Avaliação de Políticas Públicas: conceitos básicos e principais … · 2018-05-25 · "é o processo sistêmico de observação, mensuração, análise e interpretação de politica](https://reader033.vdocuments.mx/reader033/viewer/2022050403/5f80e26f789b2777f344eb13/html5/thumbnails/32.jpg)
Bibliografia
• BAKER, Judy. Avaliando o impacto de projetos de desenvolvimento voltados à pobreza. In: BARREIRA
E CARVALHO (org.) Tendências e perspectivas na avaliação de políticas e programas sociais. São
Paulo: IEE/PUC-SP, 2001.
• DRAIBE, Sonia Miriam. Avaliação de implementação: esboço de uma metodologia de trabalho em
políticas públicas. In: BARREIRA e CARVALHO (org.) Tendências e perspectivas na avaliação de
políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.
• GOMIDE, A. & PIRES, R., 2014. Capacidades Estatais e Democracia: arranjos institucionais de
políticas públicas. Brasília: Ipea.
• JANNUZZI, Paulo de Martino. Avaliação de programas sociais no Brasil: repensando práticas e
metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas – PPP, no 36, Jan/Jun, IPEA,
2011. http://www.ipea.gov.br/ppp/index.php/PPP/issue/view/30
• JANNUZZI, Paulo de Martino. Métodos de pesquisa social aplicados à Avaliação de Programas. In:
Monitoramento e Avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas,
SP: Editora Alínea, 2016.
• TREVISAN, Andrei P. e VAN BELLEN, Hans M. Avaliação de políticas públicas: uma revisão teórica
de um campo em construção. RAP – Rio de Janeiro 42(3):529-50, maio/jun. 2008.