instrumentos de monitoramento e pesquisas de avaliação para...
TRANSCRIPT
SAGI - Secretaria de Avaliação e Gestão da Informação
Paulo Jannuzzi
SAGI/MDS
Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS
Porto Alegre, 5 de novembro de 2011
SAGI - Secretaria de Avaliação e Gestão da Informação
• Maior regularidade na promoção de eventos na área, como o IV Seminário de Avaliação e Qualidade do Gasto Público
• Temas de M&A presentes nos jornais – impressos e mídia televisiva
• Oferta de cursos na área
• Criação de programas de pós-graduação com abordagem mais multidisciplinar
• Fortalecimento de redes de pesquisadores, profissionais e demandantes – Rede Brasileira de Monitoramento e Avaliação
• Aumento da produção acadêmica e profissional em M&A
Evidências da Importância crescentes do M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
• A institucionalização das atividades de monitoramento e avaliação (M&A) da ação governamental vem ganhando força no Brasil.
• Indicadores de Monitoramento e Pesquisas de Avaliação vem sendo empregados com maior regularidade por diversas instituições públicas para acompanhar os desdobramentos das atividades planejadas e implementadas, de modo a auxiliar a gestão e garantir níveis crescentes de eficiência e efetividade do gasto público.
Interesse crescente em Sistemas de M&A no Brasil
SAGI - Secretaria de Avaliação e Gestão da Informação
www.mds.gov.br/sagi -> pesquisador -> publicações
SAGI - Secretaria de Avaliação e Gestão da Informação
• No âmbito do IBGE – Sistema Integrado de Pesquisas Domiciliares
– Reformulação do Sistema de Pesquisas Econômicas
– Comitê de Estatísticas Sociais
– Levantamentos sobre infraestutura administativa – MUNIC e ESTADIC
– Incorporação da sociedade, governo e academia no plan. Censo 2010
• No âmbito subnacional – Renovação da agenda de pesquisa e estudos dos institutos estaduais e
municipais de planejamento e estatísticas
– Interesse por maior intercâmbio técnico entre as instituições
– Fortalecimento da ANIPES
Produção mais ampla de Estatísticas para M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
• No âmbito dos Ministérios – INEP/MEC: novo EducaCenso, Prova Brasil
– DataSus: organização e disponibilização das informações produzidas na rede de saúde, em nível municipal, estadual e federal
– Senasp/MJ: organização das estatísticas e informações sobre segurança pública, em conjunto com o Forum Brasileiro de Segurança Pública
– Infologo/MPrev: estatísticas da Previdência Social (benefícios, acidentes de trabalho etc) e CNIS
– MTE : RAIS, CAGED, informações sobre IMO e Qualificação
– MDS: Senarc – Cadastro Único de Programas Sociais e SAGI – Indicadores de Programas e Pesquisas de Avaliação
Organização e Produção mais sistemática de Registros de Programas e Cadastros Públicos para M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
• Respondem às demandas por maior transparência e efetividade do gasto público pela sociedade, seja pelo fortalecimento das instituições democráticas, seja pela pressão da arrecadação tributária
• Respondem à profissionalização crescente da Administração Pública, nas três esferas
• Respondem à introdução de sistemáticas mais sofisticadas de planejamento e controle na gestão das Políticas Públicas
• Respondem às demandas decorrentes da estruturação de um conjunto mais amplo de Políticas Sociais, instituídas como direitos na Constituição de 1988
Institucionalização dos Sistemas de M&A e maior disponibilização de informação para M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
Ampliação do Gasto Público em Políticas Sociais
SAGI - Secretaria de Avaliação e Gestão da Informação
Ampliação do escopo e escala das Políticas Sociais
SAGI - Secretaria de Avaliação e Gestão da Informação
Evolução do gasto social e ampliação do escopo e escala dos programas socias: o caso do MDS
11,4 14,3
18,3
22,6 24,3
28,6
32,6
38,9
0
5
10
15
20
25
30
35
40
45
2003 2004 2005 2006 2007 2008 2009 2010
BIL
HÕ
ES
R$
SAGI - Secretaria de Avaliação e Gestão da Informação
Segurança Alimentar e Nutricional
Banco de alimentos
Carteira Indígena
Cisternas
Consad
Cozinha Comunitária
Distribuição de Alimentos
Educação Alimentar e Nutricional
PAA
Restaurante Popular
Agricultura Urbana
Ações complementares
Programa Bolsa Família
Cadastro Único
CREAS
CRAS [Programa de Atenção Integral às Famílias]
Projovem Adolescente
Benefício de Prestação Continuada - BPC
BPC na Escola
Serviço socioassistenciais – crianças de 0 a 6 anos
Transferência de Renda Assistência Social
Serviço socioassistenciais – Pessoas idosas e Pessoas com deficiência
P E T I
Benefícios eventuais
Serviço de Proteção Social aos adolescentes em cumprimento de medidas sócio educativas
SENTINELA [Serviço de Proteção Social a Crianças e Adolescentes Vítimas de Violência, Abuso e Exploração Sexual e suas famílias]
Carteira do Idoso
SESEP
SAGI
Erradicação da pobreza extrema
Monitoramento, Avaliação, Gestão da Informação e Capacitação de atores
sociais
Condicionalidades
MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME
SECRETARIA EXECUTIVA
GABINETE DA MINSTRA
CONJUR AECI
SPO
SAA
ASPAR AI
SAGI - Secretaria de Avaliação e Gestão da Informação
Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias
SAGI - Secretaria de Avaliação e Gestão da Informação
Missão da SAGI
Produzir informações sistematizadas com o propósito de
• melhorar a gestão,
• avaliar e monitorar a efetividade das políticas de
desenvolvimento social e combate à fome,
por meio da realização de estudos
• sobre a demanda social,
• a implementação de programas e
• o impacto das políticas desenvolvidas,
da publicação de documentos de referência sobre a situação
social
no Brasil e
da capacitação de atores sociais
SAGI - Secretaria de Avaliação e Gestão da Informação
4
1
3
6
1
4
4
2
4
2
2
2
1
5
3
19
17
1
2
4
0 2 4 6 8 10 12 14 16 18 20
Serviço Social
Secretariado Executivo
Psicologia
Pedagogia/Educação
Letras
História
Geografia/Geoprocessamento
Farmacologia / Saúde pública
Estatística/Matemática
Engenharia
Economia
Direito
Desenho Industrial
Demografia
Comunicação Social
Ciências Sociais e Políticas / Antropologia
Ciência da Computação/Processamento de dados/Adm.de…
Biblioteconomia
Agronomia
Administração/Gestão Empresarial
Qtde de pessoas
RH SAGI segundo última formação
Equipe M&A: •Diversidade de formação •Experiência na gestão e operação de programas •Capacidade de comunicação •Espírito de inovação •Conjunto de consultores especializados
SAGI - Secretaria de Avaliação e Gestão da Informação
• Ferramentas de Gestão de Informação
• Indicadores e Painéis de Monitoramento de
Programas
• Pesquisas de Avaliação de Desenho,
Implementação e Impactos de Programas
• Estratégias de disseminação do conhecimento
produzido
SAGI - Secretaria de Avaliação e Gestão da Informação
Projetos concluídos
Secretaria
ANO
Total
2004 2005 2006 2007 2008 2009 2010
SENARC 1 1 6 1 1 1 1 12
SAIP 0 0 0 1 1 1 0 3
SNAS 0 4 6 2 1 4 7 24
SESAN 0 3 11 4 3 3 3 27
GERAL 0 2 2 3 2 5 2 16
Total por ano 1 10 25 11 8 14 13 82
Projetos concluídos, por ano, por secretaria finalística
SAGI - Secretaria de Avaliação e Gestão da Informação
• Cultura de monitoramento e avaliação de programas é incipiente, assim como seu principal elemento estruturador (Sistema de Proteção Social vem sendo construído desde a Constituição de 1988)
• Formação em Avaliação de Políticas e Programas ainda é incipiente, fortemente disciplinar, distante da realidade operacional enfrentada pelo agente público
• Maioria dos programas sociais tem 10 a 20 anos, com potencial de avaliabilidade muito distintos
• Resistência dos gestores à avaliação (natureza humana !)
Em que pesem os avanços na institucionalização dos Sistemas de M&A,´o contexto brasileiro ainda é desafiador
SAGI - Secretaria de Avaliação e Gestão da Informação
• Projetos de avaliação são confundidos com projetos de pesquisa de natureza acadêmica
• Múltiplas demandas de informação do gestor não permitem fazer recortes no objeto de estudo de modo a potencializar o “desenho metodológico”
• Tempo da decisão e recursos monetários disponíveis são fatores críticos para uso da pesquisa
• Contexto de intervenção de um programa é muito mais complexo (conflito de interesses, dificuldade de cooperação etc)
• Múltiplos sujeitos e agentes envolvidos
• Produtos dos programas podem ser muito distintos: benefício monetário, isenção tributária ou serviços
Em que pesem os avanços na institucionalização dos Sistemas de M&A,´o contexto brasileiro ainda é desafiador
SAGI - Secretaria de Avaliação e Gestão da Informação
1. Clareza do foco dos esforços em M&A
2. Clareza da abrangência e objeto
3. Clareza sobre a avaliabilidade do programa
4. Formalização das etapas de especificação do instrumento de monitoramento e avaliação
5. Ajustamento dos instrumentos de M&A ao estágio de maturidade e necessidade do programa
6. Ajustamento da técnica à complexidade do programa
7. Complementaridade entre instrumentos monitoramento, pesquisas de avaliação e estudos avaliativos
È preciso, pois, ter um conjunto de diretrizes e estratégias para conseguir avançar na produção de
informação e conhecimentos em M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
• Podem ser orientados mais ao – aprimoramento interno de programas, – gestão e decisão orçamentária ou – prestação de contas da ação governamental ao
parlamento ou à sociedade.
• Assumem características diferentes, dependendo de onde estão sediados – Ministério da Fazenda, – Ministério do Planejamento, – Ministérios setoriais, – Assessoria da Presidência, – Órgão de Controle Externo – Parlamento ou Sociedade
Clareza da Finalidade de Sistemas de M&A
SAGI - Secretaria de Avaliação e Gestão da Informação
• Podem abarcar a – integralidade das ações de governo, – algumas áreas setoriais ou – um conjunto seletivo de projetos prioritários.
• A abrangência conceitual e programática dos sistemas de
M&A pode ser – mais macro- quando se referem a Políticas ou Estratégias
de Governo – meso – quando voltados ao acompanhamento gerencial e
analítico de programas e/ou organizações – micro-ambiental- quando a ênfase avaliativa recai sobre
indivíduos, processos ou produtos muito específicos.
Clareza da Abrangência e Objeto
SAGI - Secretaria de Avaliação e Gestão da Informação
Estudo da avaliabilidade do Programa: primeiro passo
1. Analisar a avaliabilidade do programa
2. Definir o foco da avaliação
3. Definir estratégia metodológica
4. Coletar as informações
5. Organizar as informações
6. Analisar as informações
7. Apresentar as informações
SAGI - Secretaria de Avaliação e Gestão da Informação
Avaliabilidade do programa (Worthen et al 2004)
• Verificação preliminar
– O programa já engrenou ou tem problemas de gestão – Não é o caso de visitas e auditorias – Há sistemas ou registros informatizados acerca dos procedimentos
– Já existe um conjunto mínimo de indicadores de monitoramento
• Existem elementos para orientar a demanda de avaliação – “Esclarecer o modelo ou a teoria do programa” – “Examinar o programa na implementação para determinar se corresponde
ao modelo e se tem condições de alcançar suas metas e objetivos” – “Explorar diferentes abordagens da avaliação para determinar o grau em
que satisfazem as necessidades de informação dos interessados e se sua implementação é praticável”.
– “Definir as prioridades da avaliação e com os usos que se pretende fazer em estudo”
SAGI - Secretaria de Avaliação e Gestão da Informação
Formalização das etapas: da demanda à pesquisa de avaliação
1. Discussão 2. Termo de Referência 3. Contratação
SAGI/UC
•Definição da avaliação a ser realizada
•Relevância do estudo proposto
•Identificação de parceiros interinstitucionais relevantes
SAGI/UC
•Elaboração do TOR pela SAGI
•Revisão do TOR pela UC
SAGI/SAA e/ou Órgão de Cooperação Internacional
•Aprovação do TOR
•Elaboração de edital
•Avaliação de propostas técnicas e comerciais
•Contratação da instituição executora (IE)
4. Interlocução para operacionalização do estudo
5. Acompanhamento 6. Resultados Finais
SAGI/UC/IE
•Definição de questões relevantes para o estudo
•Disponibilização dos dados necessários para a realização da pesquisa
SAGI/IE
•Desenvolvimento dos instrumentos de pesquisa
•Envolvimento no treinamento de equipes
•Acompanhamento in loco do trabalho de campo
•Análise, discussão e aprovação de relatórios parciais e do relatório final
SAGI/UC/IE
•Recomendações da avaliação (IE)
•Discussões com gestores e parceiros interinstitucionais
•Retroalimentação dos programas
7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados
SAGI/UC/IE
•Apresentação dos resultados finais ao MDS
•Coletivas de imprensa (ou seminários ou outros formatos) abertos ao público externo
SAGI
•Cadernos de estudos
•Relatórios de pesquisa
•Livros
•Multimeios
SAGI
•Disponibilização ao CIS dos microdados desidentificados e documentação pertinente
SAGI = Secretaria de Avaliação e Gestão da Informação / SAA=Secretaria de Assuntos Administrativos /UC = Unidade Cliente / IE= Instituição Executora / CIS = Consórcio de Informações Sociais
SAGI - Secretaria de Avaliação e Gestão da Informação
Avaliação ex-ante
de demandas
Avaliação de
desenhos de
implementação
Avaliação de
resultados e
impactos
Avaliação custo-
efetividade Avaliação de
processos
Avaliação ajustada à maturidade e necessidades do Programa em seu “ciclo de vida”
SAGI - Secretaria de Avaliação e Gestão da Informação
• Não existe “padrão ouro” de técnicas avaliativas
• Um bom pesquisador ou avaliador deve saber que técnicas são mais adequadas frente à complexidade do programa, às perguntas que se requer responder e às condições de exequibilidade do projeto (tempo, recursos, equipe, cooperação etc).
• Eclestismo metodológico responsável: abordagens quantitativas e qualitativas não são mutuamente excludentes em um projeto de pesquisa ou avaliação. São complementares, compatíveis e conectáveis.
Avaliação deve ser ajustada à complexidade do programa, não o contrário
SAGI - Secretaria de Avaliação e Gestão da Informação
Ecletismo Metodológico e rigor técnico: Triangulação de técnicas e sujeitos
Painel longitudinal com desenho quase-experimental Beneficiários X Não Beneficiários
Pesquisas amostrais
Abordagens qualitativas: entrevistas, grupos focais, avaliação participativa
Levantamentos e ferramentas web
Indicadores e Painéis
SAGI - Secretaria de Avaliação e Gestão da Informação
Avaliação de Impacto do Bolsa Família 2 (desenho quase experimental) No Nordeste, crianças em domicílios beneficiários do Bolsa Família, são mais propensas a freqüentar a Escola
0,6
0,65
0,7
0,75
0,8
0,85
0,9
0,95
1
6 7 8 9 10 11 12 13 14 15 16 17
Frequencia escolar atual, por idade – Meninos, região Nordeste, 2009
BF Non-recipients: NE,Males
BF Recipients: NE,Males
Não-beneficiário: NE, masculino
Beneficiário: NE, masculino
0,6
0,65
0,7
0,75
0,8
0,85
0,9
0,95
1
6 7 8 9 10 11 12 13 14 15 16 17
Frequencia escolar atual, por idade – Meninas, região Nordeste, 2009
BF Non-recipients: NE,Females
BF Recipients: NE,Females
Não-beneficiário: NE, feminino
Beneficiário: NE, feminino
30
SAGI - Secretaria de Avaliação e Gestão da Informação
Pesquisa Quantitativa de Avaliação do Programa
de Erradicação do Trabalho Infantil (PETI)
Articulação do PETI com o CRAS e CREAS:
– De acordo com os gestores, a principal forma para identificação de
crianças para o PETI é a busca de crianças em situação de trabalho
(53,6%). Os encaminhamentos feitos pelos CRAS também são realizados
com frequência (20,2%).
– Em 26,8% dos municípios as famílias de crianças e adolescentes
beneficiários do PETI são acompanhadas pelos CRAS.
– A maioria das atividades oferecidas às famílias é realizada no próprio
núcleo do PETI (85,7%) ou no CRAS (78,6%).
– O Bolsa Família é o Programa mais articulado com o PETI, segundo os
gestores entrevistados (97,3%). Logo após encontramos o CRAS
(89,3%) e o ProJovem Adolescente (72,3%).
SAGI - Secretaria de Avaliação e Gestão da Informação
Estudo qualitativo de Avaliação do Programa de
Erradicação do Trabalho Infantil (PETI)
Principais resultados
• As crianças e adolescentes disseram que o fato delas estarem
trabalhando foi o motivo principal de terem entrado no PETI.
• As crianças e adolescentes também afirmam que “a vida melhorou”
depois do PETI, especialmente porque:
“conviviam
com as piores
situações de
violência e
maus tratos”
“o dinheiro do
PETI auxiliou na
convivência
familiar”
“a vida melhorou
depois de entrar
no PETI porque
brincam muito e
aprendem a ter
respeito com os
outros.”
SAGI - Secretaria de Avaliação e Gestão da Informação
Eu acho que o mais importante é
a erradicação do trabalho
infantil, que já diz tudo, as
crianças que estão aqui elas saem
do trabalho, e muitas aqui
trabalhavam em casas de farinha,
na roça, com os pais, e aqui não,
tem uma ajuda financeira e eles
vêm, se divertem, aprendem e
saem do trabalho Relato de monitor do PETI
O PETI ajudou minhas crianças...
meus filhos saírem da rua, sem
contar assim, que ajuda
financeiramente, que o governo dá
pra gente, já me auxilia muito na
alimentação deles e assim, tira eles
da rua, e financeiramente me ajuda
na alimentação... Relato de mãe de criança
beneficiária do PETI
SAGI - Secretaria de Avaliação e Gestão da Informação
Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação.
Complementaridade de Sistemas de Monitoramento e Pesquisas de Avaliação
SAGI - Secretaria de Avaliação e Gestão da Informação
Monitoramento e Avaliação de Programas
M&A de programas compõe-se de atividades de Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores ex-ante (diagnóstico) por meio de Painéis gerenciais desenho dos programas por meio de Painéis analíticos processo resultados e impactos custo-efetividade Recurso: base de dados e Recurso: técnicas de aplicativos pesquisa social Aprimoramento da Gestão do Programa
SAGI - Secretaria de Avaliação e Gestão da Informação
Construção do Painel de Indicadores do Plano Brasil
Sem Miséria
SAGI - Secretaria de Avaliação e Gestão da Informação
Premissas na especificação de indicadores
O MONIB pressupõe um exercício de identificação de indicadores-chave para construção de painéis, segundo diferentes lógicas de organização: - encadeamento das ações e programas - área temática ou programática - nível estratégico-tático da ação
Os indicadores-chave devem ser selecionados segundo critérios de relevância e pertinência à ação monitorada, periodicidade de atualização, especificidade e sensibilidade das medidas, evitando redundância e ambiguidade nas informações apresentadas.
SAGI - Secretaria de Avaliação e Gestão da Informação
Aplicativos Informacionais www.mds.gov.br/sagi
SAGI - Secretaria de Avaliação e Gestão da Informação
Bibliografia de referência
•JANNUZZI,P.M. Avaliação de programas sociais no Brasil:
repensando práticas e metodologias das pesquisas avaliativas.
Planejamento e políticas públicas. Brasilia, n.36, p. 252-
275,2011.(www.ipea.gov.br)
•VAISTMAN,J.; PAES SOUSA,R. Avaliação de programas e
profssionalização da gestão pública. Brasilia, Revista
Brasileira de Monitoramento e Avaliação, n.1,p.20-37, 2011.
•ROSSI,P.H. et al. Evaluation: a systematic approach.
Thousand Oaks: Sage, 2004.
•WORTHERN, B.R. et al. Avaliação de programas:
concepções e práticas. São Paulo: EdUsp;Ed. Gente, 2004.