cnpq_1_introducao e temas transversais
Post on 16-Oct-2015
65 Views
Preview:
TRANSCRIPT
-
avaLIao de PoLtICas PBLICas:
ReFleXes acadmicas sobRe o desenvolvimento social e o combate Fome
1. Introduo e Temas Transversais
2. Transferncia de Renda
3. Assistncia Social e Territorialidades
4. Segurana Alimentar e Nutricional
5. Incluso Produtiva
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
Presidenta da Repblica Federativa do Brasil
Dilma Rousseff
Ministra do Desenvolvimento Social e Combate Fome
Tereza Campello
Secretrio Executivo
Marcelo Cardona
Secretrio de Avaliao e Gesto da Informao
Paulo de Martino Jannuzzi
Secretrio Nacional de Segurana Alimentar e Nutricional
Arnoldo Anacleto de Campos
Secretrio Nacional de Renda de Cidadania
Luis Henrique da Silva de Paiva
Secretria Nacional de Assistncia Social
Denise Colin
Secretrio Extraordinrio de Superao da Extrema Pobreza
Tiago Falco
ExPEDIENTE: ESTA uMA PuBLICAo TCNICA DA SECRETARIA DE AvALIAo E GESTo DA INFoRMAo. SECRETRIo
DE AvALIAo E GESTo DA INFoRMAo: PAuLo DE MARTINo JANNuzzI; DIREToRA Do DEPARTAMENTo DE AvALIAo:
JNIA vALRIA QuIRoGA DA CuNHA; DIREToR Do DEPARTAMENTo DE MoNIToRAMENTo: MARCoNI FERNANDES DE
SouSA; DIREToR Do DEPARTAMENTo DE GESTo DA INFoRMAo: CAIo NAkASHIMA; DIREToRA Do DEPARTAMENTo DE
FoRMAo E DISSEMINAo: PATRICIA AuGuSTA FERREIRA vILAS BoAS.
-
Introduo e temas transversaIs
-
Ministrio do Desenvolvimento Social e Combate Fome
Esta uma publicao tcnica da Secretaria de Avaliao e Gesto da Informao.
Este livro apresenta, em cinco volumes, um conjunto de artigos elaborados com base na experincia de construo e resultados do Edital MCT/MDS-SAGI/CNPq n. 36/2010.
Coordenao Editorial: ktia ozrio Equipe de apoio: victor Gomes de Lima, valria Brito, Roberta Cortizo e Clcio Fernandes Diagramao: Tarcsio Silva e Jonathan Phelipe Bibliotecria: Tatiane Dias Reviso: Alexandro Rodrigues Pinto, Jnia valria Quiroga da Cunha, Luciana Monteiro vasconcelos Sardinha, Renata Mirandola Bichir, Renato Francisco dos Santos de Paula.
Brasil. Ministrio do Desenvolvimento Social e Combate Fome. Avaliao de polticas pblicas: reflexes acadmicas sobre o desen-
volvimento social e o combate fome, v.1: Introduo e temas transversais -- Braslia, DF: MDS; Secretaria de Avaliao e Gesto da Informao, 2014.
277p.
1. Poltica social, Brasil. 2. Desenvolvimento social, Brasil. 3. Polticas pblicas, avaliao, Brasil. I. Secretaria de Avaliao e Gesto da Infor-mao.
CDU 304(81)
FicHatcnica
Abril de 2014
Ministrio do Desenvolvimento Social e Combate Fome Secretaria de Avaliao e Gesto da Informao Esplanada dos Ministrios Bloco A, 3 andar, Sala 340 CEP: 70.054-906 Braslia DF Telefones (61) 2030-1501 http://www.mds.gov.br
Central de Relacionamento do MDS: 0800-707-2003
-
FicHatcnica
Avaliao de polticas pblicas: reflexes acadmicas sobre o Desenvol-vimento Social e o Combate Fome
Organizadores
Jnia valria Quiroga da Cunha Alexandro Rodrigues Pinto Renata Mirandola Bichir Renato Francisco dos Santos de Paula
Agradecimentos
os organizadores agradecem aos especialistas que se dispuseram a parti-cipar como comentaristas nas oficinas de acompanhamento dos projetos. Gratido especial tambm aos pareceristas, que dispuseram de seu tempo e experincia para contribuir com os autores dos artigos seguem lista-dos, respeitando a opo daqueles que no autorizaram a publicao de seu nome.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
Pareceristas
Alberto Albino dos Santos
Alcides Fernando Gussi
Aldaza Sposati
Alexandro Rodrigues Pinto
Ana Maria Segall Corra
Andrea Butto
Antonio Eduardo Rodrguez Ibarra
Bruno Barreto
Carla Cristina Enes
Crispim Moreira
Daniela Sherring Siqueira
Dirce koga
Eduardo Cesar Leo Marques
Eduardo Salomo Cond
Elizabete Ana Bonavigo
Elza Maria Franco Braga
Fabio veras Soares
Ftima valria Ferreira de Souza
Fernanda Pereira de Paula
Frederico Luiz Barbosa de Melo
Haroldo Torres
Igor da Costa Arsky
Jeni vaitsman
Juliana Picoli Agatte
Jlio Csar Borges
Jnia valria Quiroga da Cunha
kyara Michelline Frana Nascimento
Leonor Maria Pacheco Santos
Letcia Bartholo
Luana Simes Pinheiro
Luclia Luiz Pereira
Luciana Maria de Moura Ramos
Lus otvio Pires Farias
Luiz Rafael Palmier
Marconi Fernandes de Sousa
Marcos Costa Lima
Mariana Helcias Crtes
Mariana Lpez Matias
Marina Pereira Novo
Marta Arretche
Marta Battaglia Custdio
Milena Bendazzoli Simes
Neuma Figueiredo de Aguiar
onaur Ruano
Paula Montanger
Paulo de Martino Jannuzzi
Pedro Antnio Bavaresco
Pedro Israel Cabral de Lira
Rafael Guerreiro osorio
Renata Mirandola Bichir
Renato Francisco dos Santos de Paula
Rodrigo Constante Martins
Rmulo Paes de Sousa
Sergei Suarez Dillon Soares
Silvia Maria voci
Simone Amaro dos Santos
Simone de Arajo Ges Assis
Sonia Lucia Lucena Sousa de Andrade
Walquiria Leo Rego
-
9apResentao
No contexto de complexidade da ao governamental no Brasil, de arranjos fe-
derativos e articulao intersetorial na gesto e operao dos programas sociais,
de volume de recursos e de profissionalizao do setor pblico, as atividades de
levantamento e organizao de dados e produo de estudos e pesquisas de ava-
liao so fatores crticos para garantir potencialmente maior efetividade Po-
ltica Social. Informao e conhecimento, sistematizados de forma prtica e ope-
racional, atualizados no tempo e referidos nos domnios territoriais adequados
e com escopo abrangente e multidisciplinar constituem-se em insumos bsicos
para a tomada de deciso tcnico-poltica em qualquer momento do ciclo de vida
ou maturao de uma poltica ou programa social. Dados, indicadores, estudos e
pesquisas de campo so fundamentais no levantamento de evidncias empricas
na formulao de uma estratgia de superao ou mitigao de uma problemtica
social especfica, no planejamento de um arranjo operativo que permita coloc-
-la em ao, na coordenao de um conjunto escolhido de agentes pblicos, de
instituies privadas ou do terceiro setor, no monitoramento das atividades plane-
jadas, e, enfim, na avaliao dos resultados e esforos empreendidos.
No Ministrio do Desenvolvimento Social e Combate Fome (MDS), a produo de
informao e conhecimento para aprimoramento do desenho e gesto de polti-
cas e programas tem sido uma atividade permanente desde sua criao em 2004,
com a instituio de uma unidade de monitoramento e avaliao com status de
Secretaria Nacional: a Secretaria de Avaliao e Gesto da Informao (SAGI). Em
parceria com as secretarias finalsticas deste Ministrio, a SAGI tem produzido um
conjunto considervel de pesquisas e estudos avaliativos que contribuem para
conhecer melhor os diversos pblicos-alvo das polticas de desenvolvimento so-
cial, os desafios da implementao dos programas, os resultados e impactos dos
servios e aes.
Este livro , nesse sentido, mais uma contribuio para Avaliao de Polticas e
Programas do MDS. Mais especificamente, trata-se de uma publicao, organiza-
da em cinco volumes temticos, com estudos produzidos no mbito de edital de
fomento pesquisa Edital n 36/2010 do Conselho Nacional de Desenvolvi-
mento Cientfico e Tecnolgico (CNPq) por um conjunto amplo de pesquisadores
de diversas instituies, de norte a sul do Pas.
Com diferentes perspectivas disciplinares, modelos terico-conceituais e estrat-
gias de pesquisa, os autores dedicam-se a diferentes temticas e problemticas das
polticas e programas do Ministrio, trazendo tambm suas interfaces com outras
polticas sociais em educao, sade e trabalho. uma boa amostra da abordagem
multidisciplinar e multi-mtodos de produo de estudos avaliativos adotados pela
SAGI em seus dez anos. Neste sentido, oportuno registrar nessa introduo alguns
princpios epistmicos, aspectos conceituais e metodolgicos sobre o que se enten-
de por Avaliao, e como ela vem se estruturando na Secretaria.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
Avaliao de Polticas Pblicas tem recebido as mais diferentes definies na lite-
ratura especializada, segundo os diversos modelos conceituais, paradigmas teri-
cos e linhas de pesquisa da Cincia Poltica, Cincias Sociais, Economia e Adminis-
trao Pblica, tomando a avaliao em perspectiva mais geral como componente
integrante da Anlise de Polticas Pblicas, como instrumento de Sistemas de Mo-
nitoramento e Avaliao de programas governamentais ou, em uma concepo
mais restrita, avaliao como um tipo particular de investigao emprica acerca
de programas e projetos sociais, como as avaliaes de impacto experimental
ou quasi-experimental. Em uma definio mais pragmtica e aplicada ao campo
da Gesto Pblica, Avaliao refere-se ao conjunto de procedimentos tcnicos
para produzir informao e conhecimento para desenho ex-ante, implementao
e validao ex-post de programas e projetos sociais, por meio das diferentes abor-
dagens metodolgicas da Pesquisa Social, com a finalidade de garantir o cum-
primento dos objetivos dos programas e projetos (eficcia), seus impactos mais
abrangentes em outras dimenses sociais, para alm dos pblicos-alvo atendidos
(efetividade), e a custos condizentes com a escala e complexidade da interveno
(eficincia).
Nesta definio, Avaliao no entendida to somente como uma investigao
com mtodos validados cientificamente para analisar diferentes aspectos sobre
um programa o que se constituiria em uma investigao de cunho acadmico ,
mas um levantamento consistente, sistemtico e replicvel de dados, informaes
e conhecimentos para aprimoramento da interveno programtica, versando so-
bre caractersticas essenciais do contexto de atuao, os pblicos-alvo, o desenho,
os arranjos de implementao, os custos de operao, os resultados de curto pra-
zo, os impactos sociais e de mais longo prazo de um programa. Enfim, na definio
aqui advogada, Avaliao tem o objetivo de produzir evidncias, compilar dados
e sistematizar estudos que contribuam para o aperfeioamento dos programas e
projetos sociais e a consecuo de seus objetivos.
Avaliaes que, de fato, tm uso efetivo na interveno so desenhadas confor-
me as demandas de informao e conhecimento ao longo do ciclo de maturida-
de do programa ou projeto social. Podem ser de natureza diagnstica Avaliao
Diagnstica , apoiada em fontes de dados j existentes, produzidas pelo IBGE,
nos registros e cadastro pblicos dos ministrios, para permitir um rpido dimen-
sionamento e caracterizao da questo social a ser objeto de interveno. Para
a formulao de programa ou projeto de mitigao ou equacionamento da pro-
blemtica social identificada, em geral, so necessrios novos esforos de levan-
tamentos de campo para o aprofundamento do diagnstico das condies de
vida, contexto econmico, restries ambientais, capacidade de gesto e oferta
de servios e de compilao de estudos j realizados na temtica, abordando
determinantes da problemtica em questo e eventuais programas e projetos j
idealizados, que constituem o que se denomina Avaliao de Desenho. Definidos
os pblicos a atender e os arranjos operacionais do programa ou projeto social,
preciso coloc-lo em ao, realizando as atividades planejadas, acompanhando
sua execuo mediante indicadores de gesto e de monitoramento, e identifican-
do problemas na oferta, na regularidade e na qualidade dos servios por meio de
pesquisas de Avaliao da Implementao.
-
11
Reconhecidos e, tanto quanto possvel, sanados os desafios da implementao, as
demandas de informao e conhecimento voltam-se para a Avaliao de Resulta-
dos e Impactos do programa ou projeto social. Trata-se de momento de investiga-
o mais exaustiva sobre os diversos componentes de uma interveno, abordan-
do no apenas o cumprimento dos seus objetivos, mas seu desenho, seus arranjos
operacionais, seus impactos sociais mais abrangentes no tempo e no territrio
e sobre a capacidade de inovao e redesenho frente ao contexto dinmico em
que operam os programas e projetos. Cabe nesse momento avaliar se a interven-
o programtica formulada conseguiu provocar mudanas na realidade social
que a originou, considerando naturalmente a complexidade do seu desenho e dos
arranjos operacionais, alm da criticidade da questo social enfrentada. Identificar
o momento adequado de avaliaes dessa natureza um misto de tcnica, poltica
e arte: avaliaes precoces podem colocar a perder a legitimidade de um progra-
ma e projeto meritrio que ainda no teve tempo de se estruturar; avaliaes tar-
dias podem comprometer recursos e esforos que poderiam ser usados de forma
mais eficiente e eficaz na mitigao da problemtica social em questo. Enfim, se
o programa e projeto produzem resultados e impactos, necessrio analisar os
custos envolvidos na operacionalizao de suas atividades, equipamento e pes-
soal Avaliao Custo-Efetividade. o custo-efetividade das intervenes, isto , o
valor gasto para produzir unidades de resultados e impactos em um perodo de
tempo e territrio especficos, certamente uma informao fundamental para
avaliar a sustentabilidade dos programas e projetos no futuro e em outros con-
textos. Ademais tais avaliaes, se bem realizadas com contabilidade precisa de
custos e vetor abrangente de indicadores de resultados fornecem parmetros
cruciais para comparar diferentes intervenes sociais e informar gestores nas de-
cises tcnicas e polticas acerca da continuidade, descontinuidade e expanso
de programas e projetos.
Em uma perspectiva metodolgica, os esforos de Avaliao podem se estruturar
em quatro tipos de produtos mais gerais, com maior ou menor aderncia e espe-
cificidade ao problema social ou interveno programtica desenhada: Estudos
Avaliativos anlises com base em dados secundrios ou compilao de artigos
e trabalhos j realizados anteriormente na temtica, com maior ou menor abran-
gncia; Pesquisas de avaliao levantamentos primrios, quali ou quantitativos,
desenhadas com objetivos de produo de evidncias mais especficas necess-
rias ao aprimoramento da interveno; Meta-avaliaes recenses sobre estudos
avaliativos, pesquisas e experincias nacionais, subnacionais e internacionais de
programas e projetos implementados; Relatrios-sntese de Avaliao e portais
Web com informao mais sumria, na forma de indicadores em geral, para comu-
nicao mais objetiva acerca de aspectos do diagnstico, implementao e resul-
tados do programa e projetos.
As pesquisas de campo podem ser mais estruturadas, como as enquetes quanti-
tativas com marco amostral probabilstico necessrias para produo de indica-
dores de dimensionamento de pblicos-alvo ou inferncia representativa quan-
to aos resultados dos programas ou com amostras intencionais mais rpidas,
menos custosas, mas com limitado poder de generalizao dos seus resultados.
Podem ser menos estruturadas, mais exploratrias, de cunho qualitativo, como
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
grupos de discusso ou entrevistas em profundidade, dirigidas a usurios e be-
neficirios de programas e projetos, assim como aos gestores e tcnicos encar-
regados da operacionalizao dos servios. So especialmente importantes para
identificar questes latentes acerca da implementao dos programas, no ante-
cipados quando de seu desenho. um tipo particular de instrumento estruturado,
as pesquisas com delineamento quasi-experimental tambm denominadas de
avaliao de impacto certamente so importantes instrumentos de avaliao de
programas, mas pelo tempo, recursos e conflitos ticos que estes levantamentos
envolvem, tm uso muito mais dirigido para a anlise do mrito e da contribuio
especfica das intervenes, para fins de prestao de contas a agentes financia-
dores do programa ou projeto.
No existe um mtodo ou estratgia padro-ouro para a produo de uma Ava-
liao. o melhor mtodo o que produz as evidncias que respondem de forma
consistente s demandas requeridas, ao tempo de serem utilizadas para decises
na Gesto Pblica. Informao precisa mas produzida a custos e tempo no con-
dizentes com a tempestividade da gesto ou informao rapidamente produzida
mas no consistente nem robusta em termos metodolgicos certamente no se
prestam a orientar decises cruciais acerca dos rumos de um programa ou projeto
social. Perspectiva multidisciplinar de investigao, triangulao de mtodos e de
sujeitos entrevistados, esforos combinados de avaliao interna com gestores
e tcnicos que conhecem os problemas e as atividades do programa e projeto e
de avaliao externa com pesquisadores especializados e apoio de equipe de
campo que garantem a credibilidade e robustez necessrias ao aprimoramento
da gesto e do desenho das intervenes programticas.
-
13
Por fim, mas no menos importante: a efetividade das Avaliaes no pode ser
medida pelo nmero de sugestes e recomendaes aportadas nas pesquisas e
estudos avaliativos nos programas e projetos. Avaliaes produzem informao e
conhecimento que, desde que devidamente estruturados e disseminados, podem
e devem ser usados para interferir cotidianamente na ao do gestor estratgico
e do tcnico na ponta, cujo registro formal difcil de realizar. Ademais, e fun-
damentalmente, programas e projetos sociais so empreendimentos complexos,
seja em termos de contexto poltico-institucional e escala, seja em arranjos de
implementao e pessoal tcnico envolvido. A introduo de inovaes, redese-
nho de processos, descontinuidade de atividades, contratao de novos agentes
e servios tpicas recomendaes derivadas de avaliaes de implementao
cumprem um calendrio que deve compatibilizar a agenda de prioridades de
correo de problemas com as janelas de oportunidades de mudanas, sem o risco
de interrupo das atividades para os pblicos atendidos.
os estudos resultantes do referido edital do CNPq aqui compilados assim como
outros produzidos por consultores, empresas contratadas ou pela equipe SAGI
guardam similitude com algumas das tipologias e classificaes aqui apresen-
tadas. Mas o mais importante a contribuio substantiva que aportam para o
debate sobre as polticas e programas do Ministrio.
A SAGI agradece o empenho dos pesquisadores, a participao dos tcnicos e ges-
tores do MDS que se envolveram ao longo da execuo dos projetos, e a compe-
tncia do Departamento de Avaliao na conduo de todo o processo de gesto
do Edital, que culminou com a organizao dessa relevante publicao.
Boa leitura!
-
sUmRio
MoNIToRAMENTo E AvALIAo DE PRoGRAMAS: uMA
CoMPILAo CoNCEITuAL E METoDoLGICA PARA
oRIENTAR A PRoDuo DE CoNHECIMENTo APLICADo
PARA APRIMoRAMENTo DA GESTo PBLICA
Paulo de Martino Jannuzzi
A PESQuISA APLICADA S PoLTICAS PBLICAS E A PoSSI-
BILIDADE DE CoNSTRuo DE uMA AGENDA ESTRATGI-
CA DE AvALIAo ENTRE ACADEMIA E GovERNoJnia QuirogaAlexandro Rodrigues PintoRenata Mirandola BichirRenato Francisco dos Santos de Paula
EDITAL N 36/2010: o DESAFIoMariomar AlmeidaRenata Gracioso BorgesMarcelo Gonalves valleRoberto Camargos AntunesJosiane B. Santos
16
56
68
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: c
on
tR
ibU
i
es
ac
ad
m
ica
s s
ob
Re
o d
es
en
vo
lvim
en
to s
oc
ial
e o
co
mb
at
e
Fo
me
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
intRodUo
-
PRoGRAMA BoLSA FAMLIA: PERSPECTIvAS A PARTIR Do oLHAR DE GNERo E
DA DIvERSIDADE SoCIoCuLTuRAL DE PovoS E CoMuNIDADES TRADICIoNAISMarcelo Cardona RochaTeresa Sacchet ktia Favilla
1. PRoGRAMA BoLSA FAMLIA: uMA ANLISE DoS ASPECToS SoCIoDEMo-GRFICoS E DAS RoTINAS DE CRIANAS NoS CoNTExToS uRBANo E RIBEIRI-
NHo AMAzNICo
2. o PRoGRAMA BoLSA FAMLIA E AS RELAES DE GNERo E GERAo NA AGRICuLTuRA FAMILIAR Do SEMIRIDo Do NoRDESTE
3. o PRoGRAMA BoLSA FAMLIA NA voz DAS PESCADoRAS ARTESANAIS Do LIToRAL DE PERNAMBuCo.
4. ESTRATGIAS DE ENFRENTAMENTo DA FoME E CoNSTRuES DE G-NERo: o CoTIDIANo DAS QuEBRADEIRAS DE CoCo BABAu DA REGIo DoS
CoCAIS- MA
5. SEGuRANA ALIMENTAR E ACESSo AoS PRoGRAMAS DE DESENvoL-vIMENTo SoCIAL E CoMBATE FoME DE CoMuNIDADES QuILoMBoLAS Do
ESTADo Do RIo GRANDE Do SuL.
6. Do PoNTo DE vISTA DAS CRIANAS: uMA AvALIAo Do PRoGRAMA BoLSA FAMLIA
7. o PRoGRAMA BoLSA FAMLIA E o ACESSo EDuCAo ESCoLAR EM CoMuNIDADES INDGENAS kAINGANG E GuARANI No PARAN
8. MuLHER E TRABALHo No PRoGRAMA BoLSA FAMLIA
82
94
122
148
170
202
216
264
238
temas tRansveRsais
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
monitoRamento e avaliao de PROGRAMAS: UMA COMPILAO CONCEITUAL E METODOLGICA PARA ORIENTAR A PRODUO de conHecimento aplicado paRa APRIMORAMENTO DA GESTO PBLICA1
Paulo de Martino Jannuzzi2
1 ESTE TExTo vERSo REvISADA DE ouTRo PRoDuzIDo CoMo MATERIAL DE REFERNCIA BSICA PARA
CuRSoS DE AvALIAo DE PRoGRAMAS SoCIAIS DA ESCoLA IBERoAMERICANA DE ADMINISTRAo E PoLTICAS PBLICAS,
oFERECIDoS NA ESCoLA NACIoNAL DE PoLTICAS PBLICAS DESDE 2009, PuBLICADo EM DuAS PARTES (JANNuzzI
2011A E 2011B). A REPRoDuo DoS MESMoS DE FoRMA INTEGRADA E REvISADA NESSA CoLETNEA JuSTIFICA-SE PELA
oPoRTuNIDADE DE DISSEMINAR uMA CoMPILAo TIL DE ASPECToS HISTRICoS, CoNCEITuAIS E METoDoLGICoS
ACERCA DE MoNIToRAMENTo E AvALIAo DE PRoGRAMAS No PAS JuNTo CoMuNIDADE ACADMICA BRASILEIRA,
INCITADA A PARTICIPAR MAIS DIRETAMENTE DA PRoDuo DE CoNHECIMENTo PARA AS PoLTICAS E PRoGRAMAS Do
MINISTRIo DE DESENvoLvIMENTo SoCIAL E CoMBATE FoME, PELoS EDITAIS DE FoMENTo PESQuISA Do CNPQ.
2 PRoFESSoR DA ESCoLA NACIoNAL DE CINCIAS ESTATSTICAS Do INSTITuTo BRASILEIRo DE GEoGRAFIA
E ESTATSTICA, PESQuISADoR Do CNPQ No PRoJETo PQ INFoRMAo ESTATSTICA E SISTEMAS DE MoNIToRAMENTo
E AvALIAo DE PoLTICAS E PRoGRAMAS SoCIAIS No BRASIL E AMRICA LATINA. ATuALMENTE ExERCE A FuNo DE
SECRETRIo DE AvALIAo E GESTo DA INFoRMAo (SAGI) Do MINISTRIo DE DESENvoLvIMENTo SoCIAL E CoMBATE
FoME (MDS).
-
17
intRodUo
A crescente atuao do Estado Brasileiro na promoo de polticas sociais, em es-
pecial a partir da Constituio Federal de 1988, tem sido acompanhada, com algu-
ma defasagem, pelo aprimoramento da capacidade de formulao e avaliao de
programas pblicos no pas. De modo geral, os estudos de avaliao de demandas
sociais, os diagnsticos propositivos para intervenes especficas, os sistemas de
indicadores de monitoramento e as pesquisas de avaliao de programas vm se
tornando mais consistentes e presentes no cotidiano dos gestores pblicos, ainda
que em um ritmo menos veloz que o necessrio e de forma bastante desigual
pelas esferas de governo e regies do pas. Em que pesem os avanos na capaci-
dade de gesto de programas, ainda so expressivos os contrastes que se podem
observar, por exemplo, no acompanhamento dos programas nas reas da sade
e da qualificao profissional, ou entre equipes de gestores do governo federal e
tcnicos de prefeituras de pequenos municpios no interior do pas.
H mesmo quem diga nos crculos acadmicos e nas diferentes esferas da admi-
nistrao pblica que no por falta de estudos, diagnsticos e indicadores que
os programas sociais no conseguem alcanar os resultados e impactos esperados
no Brasil. Afinal, fato que centros de pesquisa, universidades, empresas de con-
sultoria e equipes de tcnicos do setor pblico tm produzido, de forma sistem-
tica ou por meio de projetos contratados, um amplo conjunto de trabalhos, artigos
e estudos sobre diferentes aspectos da realidade social, referidos direta ou indire-
tamente ao contexto de operao dos vrios programas pblicos. Entretanto tam-
bm verdade que muitos desses trabalhos, mesmo os contratados para subsidiar
a formulao de programas especficos, acabam se revelando como diagnsticos
descritivos bastante gerais, aplicveis a diferentes programas sociais, com contri-
buies certamente relevantes, mas desprovidas de informaes mais particulares
e customizadas para formatao de aes pblicas mais dirigidas, no grau que se
requer atualmente. Nos diagnsticos contratados pelo setor pblico, contribuem
para isso, sem dvida, as imprecises ou lacunas dos termos de referncia que
espelham, muitas vezes, a falta de clareza dos objetivos e natureza do programa
pblico a ser implementado, fato decorrente, por sua vez, das deficincias de for-
mao do gestor pblico e a exiguidade de tempo e recursos para realizao
de levantamentos de campo especficos. Nesse contexto, acabam se justificando
estudos diagnsticos mais gerais, baseados em trabalhos anteriores e em fontes
de dados e pesquisas j disponveis.
Tambm preciso reconhecer as limitaes das pesquisas de avaliao de pro-
gramas pblicos como fontes de informao para readequao dos programas
existentes ou proposio de novos. Nas avaliaes de impacto, as constataes
empricas acerca da efetividade dos programas so, no raras vezes, ambguas ou
pouco consistentes. Nos casos em que se adotam delineamentos metodolgicos
quasi-experimentais, as condies para garantir a validade interna dos estudos
acabam por inviabilizar a apropriao e a generalizao dos resultados para ava-
liaes mais abrangentes dos programas3.
3 WoRTHERN ET AL., 2004.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
vrios estudos avaliativos focados no processo de implementao dos programas
acabam tendo baixo poder de generalizao devido s lacunas de conhecimento so-
bre as atividades desenvolvidas e o papel dos agentes institucionais envolvidos nos
programas, seja pelas limitaes ou inexistncia de sistemas de informaes de mo-
nitoramento, seja pelas decises metodolgicas quanto s tcnicas, amostras e aos
casos investigados, muitas vezes escolhidos mais em funo dos prazos e recursos
disponveis do que pelas perguntas as quais se quer responder. Avaliaes voltadas
anlise da consistncia terica e do desenho lgico de programas que poderiam
gerar conhecimento mais generalizvel na rea so menos frequentes ou, pelo
menos, menos conhecidas do que outros tipos de estudos avaliativos no pas.
Enfim, em que pesem os avanos na rea, preciso reconhecer que a insatisfao
com esses estudos ainda mais frequente do que o desejvel. Como j revelava
Cotta h mais de dez anos:
As metodologias de avaliao de programas sociais tm sido objeto de severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes no subsidiam o processo decisrio porque seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das prprias limitaes deste tipo de estudo, inoportunos devido morosidade do processo avaliativo e irrelevantes porque no respondem s demandas informacionais de todos os agentes sociais afetos interveno.4
Situao semelhante parece ter passado os Estados unidos (EuA) nos anos 1970, a
julgar pelo relatrio do General Accounting office, que, mobilizado por demanda do
Senado americano em 1974, constatou que as informaes das pesquisas sociais e
estudos avaliativos financiados com recursos pblicos no contribuam para o de-
senho das polticas pblicas, pela disperso e fragmentao de temas investigados,
falta de coordenao e orientao do que era de interesse governamental investigar,
dificuldade de acesso e compreenso dos relatrios de pesquisas.5
Mesmo mais recentemente tm-se constatado limitaes e problemas nos estu-
dos avaliativos de programas pblicos nos EuA, s vezes com desdobramentos at
piores que os descritos por Cotta. De fato, como colocam Worthern et al. :
De vez em quando, uma avaliao mal concebida ou mal executada produz informaes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser questionadas, e o resultado que decises importantes sobre programas e servios essenciais baseiam-se inadvertidamente em informaes falaciosas.6
4 CoTTA, 1998, P.118.
5 GAo, 1977.
6 WoRTHERN ET AL., 2004, P.44.
-
19
Conspiram para a conformao de tais problemas, entre tantos fatores, a crena
desmesurada na capacidade de antecipao e implementao de programas por
parte de tcnicos de alto escalo que, ao no incorporar a contribuio de agentes
envolvidos no trabalho, acabam por desenhar processos e rotinas que descon-
sideram as distintas realidades de operao dos programas. Esse tecnocratismo
ingnuo invariavelmente se esquece das dificuldades de articulao e colabora-
o dos trs nveis de governo ou de pastas sociais em uma mesma esfera e das
diferenas de capacidade de gesto e controle social pas afora. To ou mais grave,
tambm desconsidera, na formulao dos programas, a heterogeneidade socioe-
conmica da populao demandante, considerando-a como nico pblico-alvo,
para o qual se deve disponibilizar um mesmo conjunto de servios, de Norte a Sul,
do centro periferia das cidades. Assim, com problemas nas fases iniciais do ciclo
de gesto de programas no reconhecimento das questes sociais e no desenho
das intervenes idealizadas para mitig-los no se poderiam esperar resulta-
dos, de fato, impactantes.
Desconhecimento sobre o estgio de avaliabilidade dos programas outro fator a
minar a credibilidade dos instrumentos de monitoramento e avaliao. A prematu-
ridade na encomenda de estudos avaliativos de resultados e impactos, quando se
sabe que o programa ainda se encontra em fase de implantao ou com problemas
de gesto; e a antecipao de avaliaes externas, com natureza mais de auditoria
em detrimento de avaliaes de carter mais formativo, conduzidas internamente
e voltadas ao aprimoramento incremental do programa constituem-se problemas
mais frequentes do que se poderia esperar. So aportados volumes significativos
de recursos em pesquisas de avaliao, procurando garantir representatividade
amostral de resultados em nvel nacional, esquecendo-se de estruturar painis
ou sistemas de indicadores de monitoramento que com todas as limitaes de
cobertura, mas com a tempestividade devida permitiriam identificar boa parte
dos problemas em tempo de serem corrigidos.
De fato, um dos achados sistemticos das avaliaes de programas realizadas pelo
Tribunal de Contas da unio a inexistncia de sistemas de informao para o
acompanhamento das atividades dos programas. ilustrativa, nesse sentido, a
constatao, reproduzida a seguir, acerca da avaliao do Programa Nacional Bi-
blioteca na Escola (PNBE), operado pelo Fundo Nacional de Desenvolvimento Es-
colar (FNDE) do Ministrio da Educao (MEC), com objetivo de distribuir acervo de
livros para formao de bibliotecas nas escolas.
o trabalho constatou que o FNDE tem mostrado grande eficcia operacional na distribuio dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previso de atendimento de 139 mil escolas em 2002.
Todavia, tambm se verificou que o PNBE no tem atividades de monitoramento e avaliao bem estruturadas. o MEC no dispe de informaes que permitam conhecer o nvel de utilizao dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
escolar dos alunos nas escolas beneficiadas. Tal fato mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCu, 2002, p.10).
Para isso contribui o estgio do conhecimento do campo aplicado de monitora-
mento e avaliao de programas no Brasil. Enquanto nos EuA e em pases euro-
peus desenvolvidos a cultura de avaliao de programas j se encontra em estgio
maduro, depois de mais de trs ou quatro dcadas de desenvolvimento, com mar-
cos conceituais abrangentes e testados, com profissionais de formao multidisci-
plinar e com instituies especializadas, no Brasil, a institucionalizao do campo
bem mais recente.
Como comentam Worthern et al.7, a cultura de monitoramento e avaliao de
programas nos Estados unidos assim como os instrumentos de planejamento e
programao oramentria comeou a se fortalecer nos anos 1960 no Governo
Lyndon Johnson, quando da estruturao de vrios programas sociais em nvel
federal, no contexto do que se denominou Great Society, e da necessidade, por-
tanto, de garantir melhor gesto dos programas pblicos naquele pas. Rossi et al.8
identificam esforos sistemticos em avaliao de programas sociais norte-ameri-
canos, j a partir da dcada de 1930, como desdobramento do papel crescente do
Estado americano no financiamento de servios sociais (respondendo aos efeitos
da crise de 1929). A avaliao de programas, que se concentrava, inicialmente,
nas reas de educao (sobretudo na investigao de programas de alfabetiza-
o), de sade pblica (nas aes de combate mortalidade por doenas infecto-
-parasitrias) e de qualificao profissional, passa, no ps-guerra, a abranger reas
como preveno da violncia juvenil, planejamento familiar, nutrio, programas
habitacionais, desenvolvimento rural.
No entanto, nos anos 1960, o campo da avaliao de programas passa por uma alta
repentina e significativa, com a j mencionada ampliao dos programas sociais, e
tambm, como lembram Rossi et al.9, com o avano e a disseminao das tcnicas
aplicadas da pesquisa social, desenvolvidas nas universidades americanas.
Ao contrrio do que se poderia imaginar, nas dcadas seguintes, a nfase na
desregulamentao e descentralizao da prestao de servios pblicos e no
questionamento sobre a pertinncia e o tamanho dos programas sociais nos go-
vernos republicanos conservadores, que assumiram o poder mais tarde, acabou
por valorizar a prtica da avaliao, ao disseminar a cultura de monitoramento
e avaliao para governos estaduais, municipais e organizaes no governa-
mentais. Afinal, mesmo um estado regulador requer instrumentos de medi-
o de resultados para acompanhar a prestao dos servios financiados com
recursos pblicos, at para justificar, com alguma base tcnica e transparncia,
a descontinuidade de programas sociais ineficazes e redirecionar os gastos
para outras reas (como para as despesas militares da Guerra do vietn, no go-
verno Nixon, e para defesa militar no Governo Reagan). Respondendo a essas
7 WoRTHERN ET AL., 2004.
8 RoSSI ET AL., 2004.
9 RoSSI ET AL., 2004.
-
21
demandas, comentam os autores que, nos anos 1970, so estruturados cursos
de ps-graduao, de natureza disciplinar e, mais tarde, multidisciplinar, com
forte nfase em tcnicas de pesquisa (quantitativas e qualitativas), abrindo a
possibilidade para criao de uma comunidade profissional de avaliadores.10
A avaliao de programas deixaria de ser preocupao apenas de cientistas so-
ciais, em temas de pesquisas acadmicas nas universidades, ganhando projeo
e interesse na comunidade de gestores pblicos como ferramenta para aprimora-
mento dos servios pblicos. Essa mudana qualitativa da produo e apropriao
de conhecimentos na rea que parece se processar neste momento no Brasil
muito bem registrada pela seguinte passagem de Rossi et al.:11
In its early years, evaluation was shaped mainly by the interests of social researchers. In later stages, however, the consumers of evatuation research exercised a significant influence on the filed. Evaluation in now sustained primarily by funding from policymakers, program planners, and administrators who use the findings and by the interests of general public and the clients of the programs evaluated. Evaluation results may not make front-page headlines, but they are often matters of intense concern to informed citizens, program sponsors, and decisionmakers, and those whose lives are affected, directly or indirectly, by the programs at issue.
No caso brasileiro, atualmente, parte significativa da avaliao de programas p-
blicos tem sido realizada por equipes de centros de pesquisa e universidades,
com boa experincia em anlise de macropolticas, conjuntura social ou projetos
de pesquisa acadmicos, mas, em geral, sem experincia na implementao real
de programas e sem reunir o conhecimento multidisciplinar requerido para a abor-
dagem dos problemas complexos em que os programas procuram atuar.12 No h
10 vIDE, PoR ExEMPLo, AS PuBLICAES, EvENToS E SITES DAS ASSoCIAES PRoFISSIoNAIS ou ACADMICAS DE
AvALIAo NESSES PASES, ENTRE oS QuAIS: AMERICAN EvALuATIoN ASSoCIATIoN (WWW.EvAL.oRG); CANADIAN EvALuATIoN
SoCIETy (WWW.EvALuATIoNCANADA.CA); EuRoPEAN EvALuATIoN SoCIETy (WWW.EuRoPEANEvALuATIoN.oRG); E SoCIET
FRANAISE DEvALuATIoN (WWW.AFE.ASSo.FR).
11 RoSSI ET AL., 2004, P.9.
12 DE FATo, No BRASIL, oS TRABALHoS DE AvALIAo DE PRoGRAMAS PBLICoS E SEuS AuToRES ENCoNTRAM-SE
DISPERSoS PELAS PRINCIPAIS ASSoCIAES CIENTFICAS DISCIPLINARES, TAIS CoMo: ANPAD (ADMINISTRAo E ADMINISTRAo
PBLICA); ANPEC (ECoNoMIA); ANPoCS (CINCIAS SoCIAIS); ANPED (EDuCAo); ABEP (ESTuDoS PoPuLACIoNAIS); ABET (ESTuDoS Do
TRABALHo); ABRASCo (SADE CoLETIvA). vALE DESTACAR ALGuNS DoS PRINCIPAIS PERIDICoS EM QuE SE PoDE ENCoNTRAR ESTuDoS
AvALIATIvoS: REvISTA Do SERvIo PBLICo; REvISTA BRASILEIRA DE CINCIAS SoCIAIS; REvISTA DE ADMINISTRAo PBLICA; REvISTA
So PAuLo EM PERSPECTIvA; TExToS DE DISCuSSo (IPEA); PLANEJAMENTo E PoLTICAS PBLICAS; PESQuISA DE PLANEJAMENTo
ECoNMICo; TExTo DE DISCuSSo ENCE, ENTRE ouTRoS (ALGuNS DESSES PERIDICoS ESTo DISPoNvEIS No PoRTAL WWW.SCIELo.
BR. A PARTIR DoS ANoS 2000, FoRAM CRIADoS ESPAoS MAIS MuLTIDISCIPLINARES PARA DISCuSSo E APRESENTAo DE ESTuDoS
DE AvALIAo DE PoLTICAS PBLICAS, ENTRE ELES A ASSoCIAo BRASILEIRA DE AvALIAo EDuCACIoNAL (WWW.ABAvE.oRG.BR); A
REDE BRASILEIRA DE MoNIToRAMENTo E AvALIAo (HTTP://REDEBRASILEIRADEMEA.NING.CoM); o PoRTAL PoLTICAS PBLICAS EM
FoCo (WWW.BoLETIM-FuNDAP.CEBRAP.oRG.BR), MANTIDo PELA FuNDAP E CEBRAP; o STIo Do TRIBuNAL DE CoNTAS DA uNIo (WWW.
TCu.Gov.BR) E DA CoNTRoLADoRIA-GERAL DA uNIo (WWW.CGu.Gov.BR ), ALM DoS FRuNS CRIADoS PELoS PRoGRAMAS DE PS-
GRADuAo LATo E STRICTo SENSu, ACADMICoS E PRoFISSIoNAIS, E DAS LINHAS DE PESQuISA NESSE SENTIDo EM PRoGRAMAS DE
PS-GRADuAo EM ADMINISTRAo PBLICA, ECoNoMIA SoCIAL, SADE CoLETIvA, DIREITo ETC.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
dvidas de que, em geral, essas avaliaes de programas contam com equipes
competentes no emprego das boas prticas da pesquisa social e no uso rigoroso
de tcnicas quantitativas e qualitativas de coleta e anlise de dados. Como nas
pesquisas acadmicas, fundamental garantir o rigor metodolgico nos estudos
avaliativos, para permitir conhecimento mais circunstanciado dos problemas, as
solues idealizadas para mitig-los e para conferir legitimidade tcnica-cientfica
na avaliao da ao governamental. Mas, como j alertado em um dos primeiros
manuais abrangentes de avaliao de programas no incio dos anos 1970, progra-
mas sociais so objetos de pesquisa inerentemente difceis de serem tratados,
pelo ambiente muitas vezes inspito e pouco colaborativo, pelo contexto poltico
menos ou mais favorvel, pela natureza fugidia das perguntas e questes que o
avaliador deve responder, pela menor ou maior disponibilidade de dados, pelo
tempo e recursos disponveis para conduzir anlises mais consistentes.13 Em ma-
nuais mais recentes, como os j citados de Worthern et al. e Rossi et.al., recomen-
da-se que os estudos avaliativos sejam realizados por pesquisadores com conhe-
cimento tcnico e metodolgico apropriado temtica em questo, mas tambm
com experincia emprica anterior e, sobretudo, com desprendimento para inovar
e improvisar nas diversas circunstncias e dificuldades que insistem em aparecer
no cotidiano prtico da rea. No incomum, pois, que estudos avaliativos realiza-
dos por puristas metodolgicos cheguem a resultados j conhecidos do gestor
de programas, ou concluam com ingnua assertividade acerca da necessidade
de descontinuidade do programa avaliado, pela suposta baixa efetividade apura-
da, segundo suas escolhas metodolgicas sobre o que investigar e como faz-lo.
Essas consideraes iniciais um tanto extensas, mas necessrias para contex-
tualizao e justificativa da discusso aqui pretendida procuram situar o qua-
dro de deficincia de sistemas de monitoramento para acompanhar as aes e os
programas governamentais no Brasil e os frequentes problemas de especificao
de pesquisas de avaliao desses programas na gesto pblica no pas. No
to comum encontrar, nos gabinetes e escritrios de gestores e tcnicos do setor
pblico, especialmente em nvel estadual e dos grandes municpios, sistemas de
monitoramento que permitam acompanhar, por meio de um conjunto consistente
e atualizado de indicadores, a ao governamental, desde a alocao do gasto
pblico ao impacto junto aos pblicos beneficirios. Muitos so os exemplos de
pesquisas de avaliao que, mesmo motivadas por preocupao legtima e meri-
tria com a eficcia e efetividade do gasto pblico, revelam, infelizmente, resul-
tados triviais, metodologicamente questionveis ou com baixa apropriao para
reformulao dos programas.
Este texto procura trazer alguma contribuio de natureza conceitual e metodol-
gica para ajudar a debelar os males apontados anteriormente; isto , para auxiliar
na estruturao de sistemas de monitoramento e na especificao de pesquisas
de avaliao que realmente se prestem ao objetivo de permitir o acompanhamen-
to contnuo e o efetivo aprimoramento da ao governamental e, portanto, da ges-
to de programas.
13 WEISS, 1972.
-
23
Inicia-se com uma exposio do Ciclo de Formulao e Avaliao de Polticas P-
blicas e Programas, para em seguida discutir como os sistemas de indicadores de
monitoramento e as pesquisas de avaliao podem e devem se integrar naquele.
Esse caminho escolhido parte da hiptese de que as dificuldades apontadas no
monitoramento e avaliao de programas no Brasil e as frustraes da decor-
rentes so consequncia, em boa medida, de desenvolv-los seguindo modelos
e prescries muito particulares e padronizados, sem a devida customizao que
deveriam ter em funo do estgio de maturidade dos programas ou do momen-
to do ciclo de vida em que eles se encontram , ou, ainda, de conduzi-los sem
uma anlise prvia do grau de avaliabilidade dos programas e sem uma compre-
enso de que essas atividades se integram a processos mais amplos, igualmente
importantes, da gesto de programas.
Forando um pouco o argumento para torn-lo mais claro ainda que em prejuzo
do reconhecimento do esforo meritrio e do trabalho competente observado em
diversos setores da administrao pblica brasileira , o fato que as lacunas de
formao e o pouco domnio de conceitos e tcnicas no campo de monitoramento
e avaliao, na comunidade de gestores, acabam trazendo problemas na especifi-
cao dos instrumentos de monitoramento e avaliao das aes governamentais.
Isso leva s conhecidas frustraes com resultados to ansiosamente esperados e
aos questionamentos sobre a utilidade dos estudos.
Explicitando melhor a motivao para elaborao desse texto agora sob o risco
de simplificar demais a natureza e minimizar o alcance dos estudos avaliativos
conduzidos por colegas pesquisadores nas universidades e centros de pesquisa
no pas , a abordagem marcadamente disciplinar da pesquisa aplicada no campo,
a sobrevalorizao de algumas abordagens e modelos especficos de avaliao, o
desconhecimento do contexto de operao da ao pblica e da forma com que
os resultados dos estudos podem ser usados mais efetivamente pelos gestores
so elementos que tambm contribuem para conformao de tal quadro. Este tex-
to procura, assim, em uma perspectiva modesta em substncia, mas comprometida
em seu sentido pblico, colaborar para a melhoria na especificao da demanda
de instrumentos de monitoramento e pesquisa de avaliao por parte da comuni-
dade de gestores pblicos e na estruturao dos servios a serem oferecidos pela
comunidade de pesquisadores acadmicos e profissionais.
Antes de passar a uma explicao mais detalhada de cada etapa desse ciclo, vale
formalizar dois termos citados correntemente no texto polticas pblicas e pro-
gramas. Isso importante para circunstanciar os limites do campo de dilogo es-
tabelecido neste texto, j que avaliao de polticas pblicas e avaliao de pro-
gramas pblicos so termos muito imbricados, mas referem-se a contextos muito
diferentes (em amplitude) da anlise da interveno estatal.
Evitando entrar em uma discusso muito extensa sobre os diferentes significados
do termo sistematizados em villanueva14 poltica pblica , na definio de
Nascimento15, o conjunto de decises tomadas por aqueles que detm competn-
14 vILLANuEvA, 2006.
15 NASCIMENTo, 1991.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
cia legal para deliberar em nome da coletividade as instituies de Estado vi-
sando soluo de um problema ou ao redirecionamento de uma tendncia, com
a inteno de orientar sua evoluo para um fim estabelecido como o desejvel.
Como esclarece Saravia, em
[...] uma perspectiva mais operacional, poderamos dizer que ela [a poltica pblica] um sistema de decises pblicas que visa a aes ou omisses, preventivas ou corretivas, destinadas a manter ou modificar a realidade de um ou vrios setores da vida social, por meio da definio de objetivos e estratgias de atuao e da alocao dos recursos necessrios para atingir os objetivos estabelecidos.16
As decises que conformam tal poltica pblica distributiva, redistributiva ou
regulatria, universal ou focalizada assumem diferentes formatos: podem ser
enunciados de diretrizes estratgicas de governo, leis e decretos normativos,
que especificam de forma mais clara e operacional tais diretrizes, a criao de
organizaes ou programas que vo conferir operacionalidade s diretrizes, leis
e normas.17
o programa pblico , pois, um dos instrumentos operacionais das polticas p-
blicas. Mais especificamente, trata-se de um conjunto sistmico de aes pro-
gramadas e articuladas entre si, com objetivo de atender uma demanda pblica
especfica, encampada na agenda de prioridades do Estado ou governo quanto a
essas polticas. Assim, um programa social um conjunto de atividades direcio-
nadas para solucionar um problema vivenciado pela sociedade, em seu conjunto
ou por grupos.18
Avaliao de polticas pblicas, ou melhor, anlise de polticas pblicas, termo
preferido por owen19, , pois, uma atividade muito mais ampla que a avaliao de
programas. Trata do contexto poltico-social de surgimento da poltica, dos ato-
res participantes. volta-se mais ao esclarecimento de seu processo de construo
do que da recomendao prtica de como aprimor-la, constituindo, na realida-
de, um campo de investigao mais propriamente acadmico que a perspectiva
tcnica-profissional em que se realiza a avaliao de programas. vale observar
que h Programas, inclusive, com escopo temtico e escala de operao muito
mais abrangente que o usual, revelando-se mais como um guarda-chuva de outros
programas mais especficos. outros podem ser projetos de curto alcance, ou ativi-
dades que visam produo de um produto ou servio finalstico ou da rea-meio.
A discusso aqui empreendida suficientemente ampla para contemplar essas
modalidades.
16 SARAvIA, 2006, P.29.
17 vILLANuEvA, 2006.
18 RoSSI ET AL., 2004.
19 oWEN, 2007.
-
25
O Ciclo de Polticas Pblicas e Programas
Nos manuais clssicos de Cincia Poltica, o processo de formulao de polticas
pblicas tem sido apresentado recorrentemente pelo ciclo de etapas sucessivas
(Policy Cycle), com mais ou menos estgios, como ilustrado no Diagrama 120. Em
que pesem as crticas de longa data quanto forma simplificada com que esse
diagrama apresenta o processo poltico e sua prpria veracidade emprica, a se-
parao em etapas se presta aos objetivos de evidenciar, ao longo do processo,
nfases diferenciadas no planejamento, na operao ou avaliao dos programas.
Justifica-se ainda para fins didticos e para orientar o recorte analtico na pesquisa
acadmica na rea.21
Nesse modelo, a primeira etapa Definio da Agenda Poltica (Agenda-Setting)
corresponde aos mltiplos caminhos e processos que culminam com o reconhe-
cimento de uma questo social como problema pblico e da necessidade da ao
governamental para sua soluo; isto , a legitimao da questo social na pauta
pblica ou agenda das polticas pblicas do pas, em determinado momento. A
etapa seguinte Formulao de Polticas e Programas (Policy Formulation) refe-
re-se aos processos e atividades relacionados construo de possveis solues,
encaminhamentos e programas para lidar com a questo recm-legitimada na
agenda. preciso, ento, em sequncia na Tomada de Deciso Tcnica-Poltica
(Decision Making) , escolher o rumo a seguir, de ao efetiva ou no, decidindo-se
por uma ou algumas das alternativas formuladas. A quarta etapa Implementa-
o de Polticas e Programas (Policy Implementation) corresponde aos esforos
de execuo da ao governamental, na alocao de recursos e desenvolvimento
dos processos previstos nas alternativas e programas escolhidos anteriormente.
Por fim, preciso analisar se os esforos empreendidos esto atuando no sentido
esperado de solucionar o problema original etapa de Avaliao das Polticas e
Programas (Policy Evaluation). necessrio avaliar se preciso realizar mudanas
nos programas implementados para garantir sua efetividade; descontinu-los, se o
problema deixou de compor a agenda; ou ento adapt-los a uma nova realidade,
reiniciando o ciclo.
oportuno registrar que a avaliao, como etapa do ciclo, realiza-se aps a imple-
mentao. Trata-se de um momento de natureza mais reflexiva para continuidade
ou no do programa. Distingue-se, portanto, das atividades de monitoramento e
avaliao, que se realizam mediante os sistemas de indicadores e as pesquisas de
avaliao, instrumentos investigativos que podem ser empregados a qualquer mo-
mento do ciclo, conforme discutido mais adiante. Denominar essa etapa decisiva
do ciclo como avaliao somativa talvez ajudasse a evitar o duplo sentido que o
termo assume na rea.
20 CoMo APRESENTADo NoS vRIoS TExToS REuNIDoS NA vALIoSA CoLETNEA SoBRE PoLTICAS PBLICAS
oRGANIzADA PoR SARAvIA E FERRAREzI (2006), PuBLICADA PELA ENAP E DISPoNIBILIzADA EM SEu STIo ELETRNICo
(WWW.ENAP.Gov.BR), o CICLo DE PoLTICAS PBLICAS PoDE SER DESCRITo CoM uM NMERo MAIoR ou MENoR
DE ETAPAS. DE MoDo GERAL, DISTINGuEM-SE PELo MENoS TRS MACRoETAPAS: FoRMuLAo (NA QuAL ESTARIA A
FoRMAo DA AGENDA), A IMPLEMENTAo E A AvALIAo. ESSA PuBLICAo, oRGANIzADA SEGuNDo AS ETAPAS Do
CICLo, TRAz ARTIGoS CLSSICoS QuE APRoFuNDAM A vASTA DISCuSSo ENvoLvIDA EM CADA uMA DELAS.
21 NASCIMENTo, 1991.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
A agenda poltica corresponde ao conjunto de assuntos e problemas que os ges-
tores pblicos e a comunidade poltica entendem como mais relevantes em dado
momento e, no necessariamente, lista de preocupaes da sociedade ou des-
taques da imprensa.22 Afinal, o reconhecimento de uma questo social como pro-
blema de governo ou Estado no um processo simples e imediato, que responde
automaticamente s estatsticas disponveis, por mais reveladoras que sejam da
gravidade da questo, quando comparada a outros pases ou a outros momentos
do passado. No a vontade de um tcnico do setor pblico, um pesquisador aca-
dmico ou governante eleito, portador de conhecimento emprico consistente da
realidade ou com uma viso ousada, que garante imediatamente sua incorporao
na agenda formal de governo. Como coloca Parada, no toda idea entra a la agen-
da. No todos temas de la agenda se convierten em programas.23
Quando existe a convico de que um problema social precisa ser dominado po-
ltica e administrativamente, que ele se transforma em uma questo pblica.24
Se parece haver soluo tcnica vivel e factvel para determinada questo social,
essa entra mais facilmente na agenda. Afinal, a estrutura do setor pblico, pelos
mecanismos institucionais existentes e operantes, um ambiente que digere
inovaes a seu prprio tempo e estilo.25
22 JANN; WEGRICH, 2007.
23 PARADA, 2006, P.73.
24 FREy, 1997.
25 A RESISTNCIA MuDANA E INCoRPoRAo DE INovAES No PRoBLEMA S No SEToR PBLICo,
MAS TAMBM NAS EMPRESAS PRIvADAS. oS MECANISMoS DE MoTIvAo, PRESSo E CoERo NESSAS LTIMAS
ACABAM MoBILIzANDo MuDANAS, S vEzES A ELEvADoS CuSToS PESSoAIS E INSTITuCIoNAIS. No SEToR PBLICo, oS
INSTRuMENToS PARA MoBILIzAo ENvoLvEM, EM TESE, MAIS CooRDENAo DE ESFoRoS E CoNvENCIMENTo, AT
PoRQuE AS RESISTNCIAS PoDEM SER BASTANTE LEGTIMAS. ou SEJA, NEM ToDA MuDANA NECESSARIAMENTE uMA
INovAo PoSITIvA. PARA o BEM ou PARA o MAL, So CoNHECIDoS oS CASoS EM QuE A RESISTNCIA DA BuRoCRACIA
PBLICA ACABA REvERTENDo ou MINANDo PRoPoSTAS CoNSIDERADAS MuITo ouSADAS.
dIaGrama 1: o CICLo de PoLtICas e ProGramas PBLICos
-
27
H vrias interpretaes de como a agenda construda. Em todas as perspectivas,
ela entendida como um processo coletivo e conflituoso de definio, como as-
sinalam Howlett & Ramesh.26 vai sendo formada por meio de diferentes mecanis-
mos de presso externa de grupos organizados em partidos polticos, sindicatos,
associaes patronais, imprensa e outras instituies, pelas temticas por eles en-
tendidas como relevantes; por iniciativa interna do governo e mobilizao social
em funo de compromissos assumidos nas eleies; pela atuao da burocracia
pblica no encaminhamento das demandas setoriais etc.
os atores polticos se constituem em elementos catalisadores desse processo.
Eles so diversos e possuem caractersticas distintas: polticos e burocratas; em-
presrios, trabalhadores/sindicatos, servidores pblicos e os meios de comunica-
o.27 Grandes empresrios, individualmente ou por meio de seus lobbies (gru-
pos de presso), encaminham suas demandas e pressionam os atores pblicos,
nas decises governamentais, em favor de seus interesses. outro ator poltico de
grande importncia so os agentes internacionais, tais como o Fundo Monetrio
Internacional (FMI), o Banco Mundial, a organizao das Naes unidas (oNu), a
organizao Mundial do Comrcio (oMC) etc.; ou ainda os pases com os quais o
Brasil mantm relaes polticas. Esses atores podem afetar no apenas a econo-
mia, como tambm a poltica interna do pas.28 Alm desses, os meios de comuni-
cao so outros agentes importantes no processo de modo especial, a televiso,
com difuso massificada em todas as camadas da populao pois dispem de
recursos para influenciar a opinio pblica na formao das demandas.29 Enfim,
as organizaes polticas partidos, sindicatos, grupos de interesse so funda-
mentais para que as demandas entrem na agenda poltica do governo e para que,
uma vez nela presentes, possam se transformar em aes e programas concretos.
A amplitude da agenda poltica estaria condicionada tambm ao nvel de desen-
volvimento econmico e tecnolgico do pas, j que tais fatores, ao viabilizar ga-
nhos crescentes de produtividade na economia, permitiriam o atendimento de de-
mandas de grupos de interesse organizados, pela ampliao da oferta, cobertura e
diversidade dos servios sociais.30 o ritmo de constituio de tal agenda de bem-
-estar social seria potencializado, em contextos de maior liberdade e participao
poltica, com maior atuao de partidos polticos, sindicatos, imprensa e outros
grupos de interesse. os nveis de urbanizao e envelhecimento populacional
tambm seriam outros condicionantes importantes para entender a formao da
agenda poltica, pela visibilidade e concretude que conferem aos problemas so-
ciais deles decorrentes.
26 HoWLETT & RAMESH, 2003.
27 RuA, 1998.
28 IDEM, IBIDEM.
29 FREy, 1997.
30 CAREy, 2006.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
Na etapa da formulao da poltica, os problemas, as propostas e demandas ex-
plicitadas na agenda transformam-se em leis, programas e propostas de aes.
Isto , a formulao de poltica envolve a busca de possveis solues para as
questes priorizadas na agenda. Nesse momento, os elementos operacionais da
poltica em questo precisam ser evidenciados: diretrizes estratgicas, propos-
tas de leis, decretos normativos, programas e projetos. Em uma viso simpli-
ficada e um tanto romntica e ingnua, como diria Charles Lindblom , tais
programas e propostas seriam elaborados pelo emprego de tcnicas gerais de
planejamento de projetos; conhecimentos setoriais especficos; anlise de via-
bilidade poltica, de custo-benefcio ou custo-efetividade das solues; reviso
crtica de experincias anteriores e boas prticas identificadas. Essas tarefas so
conduzidas por tcnicos do setor pblico, com maior ou menor participao de
consultores externos, seguindo orientaes emanadas de gestores pblicos no
topo da hierarquia.
Em funo da natureza do problema e orientao geral de governo, os programas
propostos se classificariam em aes de cunho distributivo, redistributivo ou re-
gulamentrio.31 Na realidade, essa fase no est to desvinculada do cotidiano
da poltica ou to isolada das influncias das propostas dos grupos de interesse,
como se supe. Muitas vezes, as propostas de encaminhamento de solues che-
gam junto com as presses para introduzir a questo na agenda formal de governo.
Se no, colocada a questo, h sempre atores com maior ou menor influncia na
formatao dos possveis programas e aes.32
Levantadas as diferentes alternativas para uma dada questo social, preciso es-
colher qual dever ser adotada. Enquanto que na definio da agenda poltica e
formulao de programas a participao de agentes no pertencentes ao governo
ou Estado desempenha papel central, a tomada de deciso envolve os gestores e
tcnicos mais diretamente relacionados poltica ou ao programa. Esse o nus
e o bnus do exerccio da atividade pblica. Isso no significa que outros agentes
e atores no estejam ativos no processo, de modo a influenciar a deciso em um
ou outro sentido, introduzindo legitimamente em muitos casos consideraes
de ordem poltica em rotinas de cunho mais eminentemente tcnico. Como bem
colocam Howlett & Ramesh:
These actors can and do, of course, engage in various kinds of lobbying activities aimed at persuading, encouraging, and sometimes even coercing authoritative office-houlders to adopt options of which they approve. However, unlike office-holders, those other actors have, at best, a voice in the decision-making process, but they do not have a vote per se.33
31 HoWLETT & RAMESH, 2003
32 JANN; WEGRICH, 2007.
33 HoWLETT & RAMESH, 2003, P.163.
-
29
Chega ento o momento da implementao dos programas, projetos e aes pontuais
ou mais abrangentes. A fase de Implementao o momento em que a poltica pbli-
ca comea a ser executada, em que os recursos alocados passam a se transformar em
aes capazes de agir e mudar certa realidade. Aqui, a poltica adquire uma concre-
tude objetiva maior e, por isso, comea a revelar mais explicitamente as dificuldades
de sua introduo e operao pelos agentes encarregados de pr a mo na massa.34
Trata-se da gesto das aes para fazer uma poltica sair do papel e funcionar efetiva-
mente, compreendendo o conjunto de aes realizadas, por grupos ou atores de na-
tureza pblica ou privada, para a consecuo de objetivos definidos. Envolve progra-
mao de atividades, previsionamento de recursos financeiros, alocao de recursos
humanos, mobilizao de agentes, interlocuo com atores estratgicos, manejo dos
mecanismos que assegurem a governabilidade das atividades e correo de cursos,
caso se identifiquem obstculos ou surpresas no antecipadas.
na avaliao ou melhor, na avaliao somativa que so confrontados os resul-
tados esperados com os resultados alcanados. o momento em que se d um re-
torno etapa inicial de formulao, com correes no plano de ao, caso seja uma
poltica de ordem contnua; ou quando se decide pelo encerramento da poltica.
tambm uma etapa de verificao dos impactos desejados e indesejados. Trata-se
de verificar os efeitos obtidos para deduzir consequncias indesejadas nas aes
e programas futuros. Como bem coloca Frey,35 a avaliao imprescindvel para o
desenvolvimento e a adaptao contnua das formas e dos instrumentos de ao
pblica, o que pode ser denominado como a fase de aprendizagem poltica.
o ciclo de polticas pblicas tal como descrito , certamente, um modelo idealiza-
do, com aderncia bastante limitada ao cotidiano verificado no Brasil ou em outros
pases. Como bem observa Saravia, o processo de poltica pblica no possui uma
racionalidade manifesta. No uma ordenao tranquila na qual cada ator social
conhece e desempenha o papel esperado.36 Pelo que sugere Lindblom,37 atuali-
zao da agenda, formulao de polticas e programas, implementao e avaliao
seriam estgios permanentes e concomitantes do processo poltico. A atualizao
da agenda poltica e as inovaes dos programas seriam, de fato, muito mais in-
crementais e contnuas do que gostariam os gestores pblicos. Tampouco haveria,
segundo Parada, um momento de avaliao cabal das polticas e programas, sendo
[...] ms habitual que cambien o se combinen com outras. Se h llegado a decir
que ls polticas pblicas son imortables.38
Boa parte da crtica feita a esse modelo se refere ao fato de ele sugerir que a
administrao pblica, seus gestores, os atores polticos e os tcnicos atuem de
forma bastante sistemtica e cooperativa, como se estivessem todos envolvidos
na resoluo de um problema consensualmente percebido, empregando mtodos
34 NASCIMENTo, 1991
35 FREy, 1997.
36 SARAvIA, 2006, P.29.
37 LINDBLoM, 2006.
38 PARADA, 2006, P.72.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
racionais e objetivos na busca da soluo, de acordo com uma sequncia linear
de etapas bem definidas. Como diria Lindblom,39 mais uma vez, o imperativo da
racionalidade tcnica no processo, a anlise exaustiva dos problemas, a busca de
solues timas e a crena no poder revelador e conciliador do discurso tcnico-
-cientfico to presentes nos rgos de planejamento pblico no seriam em-
piricamente constatveis, nem factveis e muito menos desejveis.
Na realidade, a formulao de polticas configura-se como um processo que envol-
ve a interao de muitos agentes, com diferentes interesses. marcada por apoios
entusiasmados de alguns, resistncias legtimas ou no de outros. Est repleta de
avanos e retrocessos, com desdobramentos no necessariamente sequenciais e
no plenamente antecipveis. Como observam Jann & Wegrich:
Policy process rarely features clear-cut beginnings and endings. At the same time, policies have always been constantly reviewed, controlled, modified and sometimes even terminated; policies are perpetually reformulated, implemented, evaluated and adapted. [] Moreover, policies do not develop in a vacuum, but are adopted in a crowded policy space that leaves little space for innovation [].40
Contudo, na viso de Howlett & Ramesh,41 esse modelo de representao tem a
grande virtude de facilitar o entendimento do processo complexo de interao
de diversos agentes, nos mltiplos estgios por que passa a formulao de polti-
cas pblicas, oferecendo um marco metodolgico geral para anlises isoladas de
cada etapa do processo ou das relaes de cada uma com as demais, frente ou
jusante. Esse modelo seria tambm suficientemente geral para ser aplicado no
entendimento do processo na maioria dos mbitos e contextos de formulao de
polticas e programas em nvel federal, estadual, local e mesmo setorial.
Jann & Wegrich42 acrescentam ainda que o sucesso e a resilincia desse mode-
lo clssico s crticas de pesquisadores acadmicos que ele parece como um
modelo prescritivo ideal a ser adotado, em que gestores eleitos governam com
corpos burocrticos dotados de grande capacidade de diagnstico de problemas,
com posturas ativas e inovadoras na formulao de programas, operando com ra-
cionalidade tcnica na tomada de decises, com controle efetivo das atividades
na implementao dos programas pblicos e objetividade na avaliao desses.
Os sistemas de indicadores de monitoramento no Ciclo de Polticas e Programas
A preocupao com a construo de indicadores de monitoramento da ao go-
vernamental to ou mais antiga que a prpria avaliao de programas pblicos,
39 LINDBLoM, 2006.
40 JANN; WEGRICH, 2007, P.44-45.
41 HoWLETT & RAMESH, 2003.
42 JANN & WEGRICH, 2007.
-
31
se forem consideradas as medidas de performance mais geral do setor p-
blico baseadas na entrega de obras e produtos e na computao de indi-
cadores de custos de servios, a partir da execuo oramentria. Como
registram Mcdavid e Hawthorn em livro que procura oferecer uma viso inte-
grada entre avaliao de programas e medio do desempenho governamental:
While we have tended to situate the beginnings of performance measures in the united States, in the 1960s, with the development of performance management systems such as programmed planned budgeting systems (PPBS) [] there is good evidence that performance measurement and reporting was well-developed in some American local governments early in the 20th century.43
os autores citam as iniciativas de alguns governos locais nos EuA, antes da 2
Guerra Mundial, na elaborao de relatrios com computao regular de medi-
das de eficincia dos servios pblicos ento oferecidos, como a construo e
manuteno das ruas e rodovias, distribuio de gua e recolhimento de lixo. os
produtos e servios disponibilizados pelo setor pblico municipal eram bastante
simples e tangveis, assim como a contabilizao dos custos para sua produo.
Mas foi a introduo das tcnicas de programao oramentria por programas no
Governo kennedy que marcaria um momento de maior aprimoramento na medi-
o do desempenho expresso por indicadores de eficincia e efetividade na
esfera federal americana. Ao propor a estruturao do oramento segundo conjun-
to de atividades e programas afins agora bem mais complexos que os oferecidos
pelos municpios na primeira metade do sculo xx e no segundo as agncias e
organizaes que as executavam, esperava-se conseguir apurar resultados e cus-
tos mais consistentes dos servios pblicos disponibilizados e, portanto, medidas
de eficincia mais precisas.44
Em que pesem o fracasso na implementao do oramento-programa na vincula-
o entre recursos-produtos ao nvel de programas e o contexto de crise fiscal do
Estado, comentam os autores que a orientao voltada medio dos resultados
ganhou fora nos anos 1970 e na dcada seguinte. os governos conservadores
desse perodo (em especial na Inglaterra, com Thatcher, e nos EuA, com Reagan)
imprimem reformas no setor pblico, que vieram a ser conhecidas como o movi-
mento da Nova Administrao Pblica, preconizando a adoo de instrumentos de
controle e gesto de resultados do setor privado.
Sem entrar na discusso acerca dos excessos, limitaes e aspectos meritrios de
tal movimento debate esse j empreendido no Brasil por vrios autores, com
muito mais competncia, autoridade e espao do que o disponvel para este tex-
to , o legado de preocupao com a transparncia e responsabilizao pblica
criou oportunidades para aprimoramento da gesto de programas, seja para a
43 MCDAvID; HAWTHoRN, 2006, P.283.
44 MCDAvID; HAWTHoRN, 2006.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
estruturao de sistemas de indicadores de monitoramento, seja para a realizao
das pesquisas de avaliao. Neste tpico do texto, discute-se o primeiro desses
instrumentos de gesto: os sistemas de monitoramento.
o modelo idealizado de ciclo de vida de polticas e programas apresentado ante-
riormente uma referncia conceitual interessante para ilustrar como os sistemas
de indicadores de monitoramento podem ser estruturados e como as pesquisas
de avaliao podem ser especificadas de forma a potencializar seu emprego na
gesto dos programas. A proposta bsica desta seo mostrar a importncia de
se dispor de indicadores relevantes e periodicamente atualizados para acompa-
nhar as atividades e a produo de servios dos programas, que permitam corri-
gir desvios, reprogramar atividades ou mesmo especificar pesquisas de avaliao
para entender por que determinados processos no esto se encaminhando no
sentido idealizado originalmente.
Como discutido em texto anterior,45 as atividades de cada etapa do ciclo apoiam-se
em um conjunto especfico de indicadores. Na definio da agenda, os indicadores
so recursos valiosos para dimensionar os problemas sociais, servindo como ins-
trumentos de advocacy e presso de demandas sociais no satisfeitas. Indicadores
produzidos pelas instituies oficiais de estatsticas sobretudos os computados
a partir de censos demogrficos e pesquisas amostrais regulares prestam-se bem
a esse papel, pela legitimidade que gozam perante diferentes pblicos. No Brasil,
o relatrio Sntese de Indicadores Sociais, publicado anualmente pelo IBGE,
uma referncia importante nesse sentido, provocando grande interesse na mdia
quando de sua divulgao.46 o ndice de Desenvolvimento Humano (IDH) compu-
tado para pases, municpios, mulheres e negros outro bom exemplo de como
uma medida simples pode mobilizar os veculos de comunicao e recolocar anu-
almente o debate sobre desigualdade social e os impactos das polticas pblicas
na mdia e nas esferas de governo.47
Na elaborao dos diagnsticos para formulao de programas, os indicadores
so imprescindveis para qualificar os pblicos-alvo, localiz-los e retrat-los de
modo to amplo e detalhado quanto possvel. preciso adequar as intervenes
s caractersticas e necessidades dos demandantes dos programas. De modo ge-
ral, na elaborao de diagnsticos socioeconmicos propositivos para programas
pblicos, empregam-se indicadores de vrias reas temticas analticas ou de atu-
ao governamental. Para desenvolver programas no campo da educao bsica,
por exemplo, preciso conhecer no apenas as condies de acesso escola, a
infraestrutura escolar, o desempenho dos alunos, mas tambm aspectos relacio-
nados s condies de vida dos estudantes, como moradia, nvel de pobreza e
45 JANNuzzI (2005), DISPoNvEL PARA DoWNLoAD NA REvISTA Do SERvIo PBLICo, v.56, N.2, EM WWW.
ENAP.Gov.BR. ouTRA REFERNCIA PARA APRoFuNDAMENTo NESSE CAMPo JANNuzzI (2004).
46 ESSA PuBLICAo Do IBGE, ASSIM CoMo DIvERSAS ouTRAS DA INSTITuIo, EST DISPoNvEL PARA
DoWNLoAD EM WWW.IBGE.Gov.BR.
47 uMA DISCuSSo DoS LIMITES E PoTENCIALIDADES Do IDH PoDE SER vISTA EM GuIMARES E JANNuzzI
(2005).
-
33
renda familiar, acesso a servios de sade, escolaridade dos pais, fatores esses que
certamente podem afetar ou potencializar as aes programticas especficas.48
Indicadores construdos a partir dos censos demogrficos so particularmente
teis nessa fase, pela amplitude do escopo temtico investigado e pela possibi-
lidade de desagregao territorial ou por grupos sociodemogrficos especficos.
o Censo Demogrfico 2010 potencializar ainda mais essas duas caractersticas
escopo e desagregabilidade , constituindo-se em marco importante para reava-
liao das demandas sociais da populao brasileira, nesse momento de amplia-
o da estrutura de proteo social no pas.
Na seleo de alternativas programticas idealizadas para atender questo p-
blica colocada na agenda e eleger prioridades de interveno, preciso dispor de
indicadores que operacionalizem os critrios tcnicos e polticos definidos. Indi-
cadores sintticos, como o j citado ndice de Desenvolvimento Humano, o ndice
de Desenvolvimento da Educao Bsica, o ndice da Pegada Humana (Footprint
Index) ou as classificaes geradas por tcnicas de anlise multicritrio podem ser
teis para apoiar decises nessa fase do ciclo,49 como discutido em Scandar et al.50
e Jannuzzi et al.51
Para acompanhar a implementao dos programas e, posteriormente, para ges-
to, quando eles entrarem em plena operao, so necessrios indicadores que
permitam acompanhar regularmente as aes programadas, do previsionamento e
alocao do gasto produo dos servios e, idealmente, aos eventuais resultados
e impactos esperados quando da idealizao dos programas. So os indicadores
que estruturam processos formais de monitoramento, entendido, nas palavras de
Coutinho, como um processo sistemtico e contnuo que, produzindo informa-
es sintticas e em tempo eficaz, permite rpida avaliao situacional e a inter-
veno oportuna que confirma ou corrige as aes monitoradas.52
Dispostos em painis ou em sistemas informatizados, os indicadores de monitora-
mento devem ser atualizados com regularidade e tempestividade adequada to-
mada de deciso. Idealmente, esses indicadores devem ser especficos e sensveis
s aes programadas, a fim de se tornarem, de fato, teis para inferir se o progra-
ma est sendo implantado conforme planejado ou para permitir as correes de
rumo (aspectos que s podero ser comprovados mais precisamente por meio de
pesquisas de avaliao especficas, durante ou aps a implantao).
48 uM BoM ExEMPLo DE INDICADoRES PARA DIAGNSTICoS DE PRoGRAMAS SEToRIAIS DEMoNSTRADo
NA PuBLICAo CoNSTRuINDo o DIAGNSTICo MuNICIPAL, DISPoNvEL EM WWW.CEPAM.SP.Gov.BR. ouTRo ExEMPLo
DE DIAGNSTICo APoIADo EM INDICADoRES MuLTITEMTICoS o DIAGNSTICo PARA PRoGRAMA DE QuALIFICAo
PRoFISSIoNAL Do ESTADo DE So PAuLo, DISPoNvEL EM WWW.EMPREGo.SP.Gov.BR.
49 No STIo WWW.ANIPES.oRG.BR EST DISPoNvEL uM APLICATIvo (PRADIN) QuE PERMITE ENTENDER o
PoTENCIAL DA ANLISE MuLTICRITRIo NA ToMADA DE DECISo EM PoLTICAS PBLICAS.
50 SCANDAR ET AL., 2006.
51 JANNuzzI ET AL., 2009.
52 CouTINHo, 2001, P.11.
-
av
ali
a
o
de
po
lt
ica
s p
b
lic
as
: R
eFl
eX
e
s a
ca
d
mic
as
so
bR
e o
de
se
nv
olv
ime
nto
so
cia
l e
o c
om
ba
te
F
om
e
Int
ro
du
o e
te
ma
s t
ra
ns
ve
rs
aIs
Para isso, esses painis ou sistemas de indicadores de monitoramento devem se
valer dos dados continuamente atualizados nos cadastros e registros administra-
dos pelos gestores e operadores envolvidos nos programas. Devem estar interli-
gados aos sistemas informatizados de gesto do programa, no qual so registrados
atendimentos prestados, informaes dos agentes que o operam, caractersticas
dos beneficirios, processos intermedirios, que produziro os efeitos idealizados
pelo programa. Diferentemente do que se passa nas pesquisas de avaliao, na
estruturao de sistemas de monitoramento no se prev levantamentos prim-
rios de dados. Pode ser necessrio criar rotinas de coleta de dados que operem
fora dos crculos normais de produo de servios dos programas, mas preciso
fazer esforos para aproveitar as informaes geradas no mbito de operao co-
tidiana dos programas. A criao de mais uma rotina para registro de informao,
pelo beneficirio do programa ou pelo agente envolvido na implementao, pode
implicar atrasos indesejados e, pior, declaraes mal preenchidas que acabam no
se prestando sua finalidade original.
vale observar que, em geral, as informaes compiladas e enviadas para atualizao
dos registros de acompanhamento do Plano Plurianual, no Ministrio do Planeja-
mento, oramento e Gesto, so somente a ponta do iceberg de dados armazenados
em planilhas eletrnicas e gavetas nos escritrios da administrao pblica. Alis,
curioso que, nas mdias e altas gerncias do setor pblico prefeituras, secretarias
de estados ou ministrios , reclame-se de falta de informao para gesto em meio
a tanta informao continuamente produzida nas unidades de prestao de servios
pblicos (escolas, postos de sade, delegacias, centros de referncia da assistncia
social, postos de intermediao de mo de obra, agncias do INSS etc.). Para superar
esse paradoxo da escassez na abundncia, preciso aprimorar os processos de
gesto da informao nos escritrios em que se planejam e coordenam as polticas
e programas pblicos. os fluxos de informao, os processos de tratamento, vali-
dao, classificao e, naturalmente, de armazenamento precisam ser pensados de
forma articulada, valendo-se de aplicativos e ferramentas de integrao de dados (e
no dos custosos em planejamento, tempo dinheiro sistemas informatizados
de 4, 5 ou ensima gerao propostos por consultorias experientes em automa-
o de processos na iniciativa privada, mas pouco conhecedoras da complexidade
operacional da gesto de programas pblicos).
possvel que algumas informaes produzidas pelas agncias estatsticas no
caso brasileiro, o IBGE, o Datasus, o Inep, entre outros53 possam ser teis para
a construo de indicadores de monitoramento de programas, sobretudo de na-
tureza universal ou com pblico-alvo numeroso. Em geral, essas fontes proveem
informaes para avaliaes de polticas ou para um conjunto de polticas e ma-
croaes governamentais mais adequadas para composio de mapas estrat-
gicos da ao governamental e no para os propsitos de monitoramento de
programas especficos, em funo da escala territorial de desagregao dos dados
ou do tempo que levam para serem produzidas. Esse quadro pode mudar para
melhor com as transformaes anunciadas nas pesquisas amostrais do IBGE para
53 AS PESQuISAS E DADoS DESTAS INSTITuIES PoDEM SER CoNSuLTADAS, RESPECTIvAMENTE, EM WWW.
IBGE.Gov.BR, WWW.DATASuS.Gov.BR, WWW.INEP.Gov.BR. No PoRTAL WWW.ANIPES.oRG.BR, PoDEM SER ACESSADoS
STIoS ELETRNICoS DE RGoS SuBNACIoNAIS DE ESTATSTICA No BRASIL.
-
35
a dcada de 2010, com maior integrao conceitual, maior possibilidade de in-
corporao de temas suplementares, ampliao e adensamento da amostra pelo
interior do pas. No s se poder dispor de um escopo mais amplo de estatsticas
e indicadores sociais divulgados mais regularmente ao longo do ano, como tam-
bm referidos para domnios territoriais e grupos sociodemogrficos bem mais
diversos. Aos indicadores mensais de emprego, hoje restritos s seis principais re-
gies metropolitanas, somar-se-o muitos outros educacionais, habitacionais, de
rendimentos etc. , divulgados
top related