cnpq_1_introducao e temas transversais

avaLIao de PoLtICas PBLICas:

ReFleXes acadmicas sobRe o desenvolvimento social e o combate Fome

1. Introduo e Temas Transversais

2. Transferncia de Renda

3. Assistncia Social e Territorialidades

4. Segurana Alimentar e Nutricional

5. Incluso Produtiva

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

Presidenta da Repblica Federativa do Brasil

Dilma Rousseff

Ministra do Desenvolvimento Social e Combate Fome

Tereza Campello

Secretrio Executivo

Marcelo Cardona

Secretrio de Avaliao e Gesto da Informao

Paulo de Martino Jannuzzi

Secretrio Nacional de Segurana Alimentar e Nutricional

Arnoldo Anacleto de Campos

Secretrio Nacional de Renda de Cidadania

Luis Henrique da Silva de Paiva

Secretria Nacional de Assistncia Social

Denise Colin

Secretrio Extraordinrio de Superao da Extrema Pobreza

Tiago Falco

ExPEDIENTE: ESTA uMA PuBLICAo TCNICA DA SECRETARIA DE AvALIAo E GESTo DA INFoRMAo. SECRETRIo

DE AvALIAo E GESTo DA INFoRMAo: PAuLo DE MARTINo JANNuzzI; DIREToRA Do DEPARTAMENTo DE AvALIAo:

JNIA vALRIA QuIRoGA DA CuNHA; DIREToR Do DEPARTAMENTo DE MoNIToRAMENTo: MARCoNI FERNANDES DE

SouSA; DIREToR Do DEPARTAMENTo DE GESTo DA INFoRMAo: CAIo NAkASHIMA; DIREToRA Do DEPARTAMENTo DE

FoRMAo E DISSEMINAo: PATRICIA AuGuSTA FERREIRA vILAS BoAS.

Introduo e temas transversaIs

Ministrio do Desenvolvimento Social e Combate Fome

Esta uma publicao tcnica da Secretaria de Avaliao e Gesto da Informao.

Este livro apresenta, em cinco volumes, um conjunto de artigos elaborados com base na experincia de construo e resultados do Edital MCT/MDS-SAGI/CNPq n. 36/2010.

Coordenao Editorial: ktia ozrio Equipe de apoio: victor Gomes de Lima, valria Brito, Roberta Cortizo e Clcio Fernandes Diagramao: Tarcsio Silva e Jonathan Phelipe Bibliotecria: Tatiane Dias Reviso: Alexandro Rodrigues Pinto, Jnia valria Quiroga da Cunha, Luciana Monteiro vasconcelos Sardinha, Renata Mirandola Bichir, Renato Francisco dos Santos de Paula.

Brasil. Ministrio do Desenvolvimento Social e Combate Fome. Avaliao de polticas pblicas: reflexes acadmicas sobre o desen-

volvimento social e o combate fome, v.1: Introduo e temas transversais -- Braslia, DF: MDS; Secretaria de Avaliao e Gesto da Informao, 2014.

277p.

1. Poltica social, Brasil. 2. Desenvolvimento social, Brasil. 3. Polticas pblicas, avaliao, Brasil. I. Secretaria de Avaliao e Gesto da Infor-mao.

CDU 304(81)

FicHatcnica

Abril de 2014

Ministrio do Desenvolvimento Social e Combate Fome Secretaria de Avaliao e Gesto da Informao Esplanada dos Ministrios Bloco A, 3 andar, Sala 340 CEP: 70.054-906 Braslia DF Telefones (61) 2030-1501 http://www.mds.gov.br

Central de Relacionamento do MDS: 0800-707-2003

FicHatcnica

Avaliao de polticas pblicas: reflexes acadmicas sobre o Desenvol-vimento Social e o Combate Fome

Organizadores

Jnia valria Quiroga da Cunha Alexandro Rodrigues Pinto Renata Mirandola Bichir Renato Francisco dos Santos de Paula

Agradecimentos

os organizadores agradecem aos especialistas que se dispuseram a parti-cipar como comentaristas nas oficinas de acompanhamento dos projetos. Gratido especial tambm aos pareceristas, que dispuseram de seu tempo e experincia para contribuir com os autores dos artigos seguem lista-dos, respeitando a opo daqueles que no autorizaram a publicao de seu nome.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

Pareceristas

Alberto Albino dos Santos

Alcides Fernando Gussi

Aldaza Sposati

Alexandro Rodrigues Pinto

Ana Maria Segall Corra

Andrea Butto

Antonio Eduardo Rodrguez Ibarra

Bruno Barreto

Carla Cristina Enes

Crispim Moreira

Daniela Sherring Siqueira

Dirce koga

Eduardo Cesar Leo Marques

Eduardo Salomo Cond

Elizabete Ana Bonavigo

Elza Maria Franco Braga

Fabio veras Soares

Ftima valria Ferreira de Souza

Fernanda Pereira de Paula

Frederico Luiz Barbosa de Melo

Haroldo Torres

Igor da Costa Arsky

Jeni vaitsman

Juliana Picoli Agatte

Jlio Csar Borges

Jnia valria Quiroga da Cunha

kyara Michelline Frana Nascimento

Leonor Maria Pacheco Santos

Letcia Bartholo

Luana Simes Pinheiro

Luclia Luiz Pereira

Luciana Maria de Moura Ramos

Lus otvio Pires Farias

Luiz Rafael Palmier

Marconi Fernandes de Sousa

Marcos Costa Lima

Mariana Helcias Crtes

Mariana Lpez Matias

Marina Pereira Novo

Marta Arretche

Marta Battaglia Custdio

Milena Bendazzoli Simes

Neuma Figueiredo de Aguiar

onaur Ruano

Paula Montanger


Pedro Antnio Bavaresco

Pedro Israel Cabral de Lira

Rafael Guerreiro osorio

Renata Mirandola Bichir

Renato Francisco dos Santos de Paula

Rodrigo Constante Martins

Rmulo Paes de Sousa

Sergei Suarez Dillon Soares

Silvia Maria voci

Simone Amaro dos Santos

Simone de Arajo Ges Assis

Sonia Lucia Lucena Sousa de Andrade

Walquiria Leo Rego

9apResentao

No contexto de complexidade da ao governamental no Brasil, de arranjos fe-

derativos e articulao intersetorial na gesto e operao dos programas sociais,

de volume de recursos e de profissionalizao do setor pblico, as atividades de

levantamento e organizao de dados e produo de estudos e pesquisas de ava-

liao so fatores crticos para garantir potencialmente maior efetividade Po-

ltica Social. Informao e conhecimento, sistematizados de forma prtica e ope-

racional, atualizados no tempo e referidos nos domnios territoriais adequados

e com escopo abrangente e multidisciplinar constituem-se em insumos bsicos

para a tomada de deciso tcnico-poltica em qualquer momento do ciclo de vida

ou maturao de uma poltica ou programa social. Dados, indicadores, estudos e

pesquisas de campo so fundamentais no levantamento de evidncias empricas

na formulao de uma estratgia de superao ou mitigao de uma problemtica

social especfica, no planejamento de um arranjo operativo que permita coloc-

-la em ao, na coordenao de um conjunto escolhido de agentes pblicos, de

instituies privadas ou do terceiro setor, no monitoramento das atividades plane-

jadas, e, enfim, na avaliao dos resultados e esforos empreendidos.

No Ministrio do Desenvolvimento Social e Combate Fome (MDS), a produo de

informao e conhecimento para aprimoramento do desenho e gesto de polti-

cas e programas tem sido uma atividade permanente desde sua criao em 2004,

com a instituio de uma unidade de monitoramento e avaliao com status de

Secretaria Nacional: a Secretaria de Avaliao e Gesto da Informao (SAGI). Em

parceria com as secretarias finalsticas deste Ministrio, a SAGI tem produzido um

conjunto considervel de pesquisas e estudos avaliativos que contribuem para

conhecer melhor os diversos pblicos-alvo das polticas de desenvolvimento so-

cial, os desafios da implementao dos programas, os resultados e impactos dos

servios e aes.

Este livro , nesse sentido, mais uma contribuio para Avaliao de Polticas e

Programas do MDS. Mais especificamente, trata-se de uma publicao, organiza-

da em cinco volumes temticos, com estudos produzidos no mbito de edital de

fomento pesquisa Edital n 36/2010 do Conselho Nacional de Desenvolvi-

mento Cientfico e Tecnolgico (CNPq) por um conjunto amplo de pesquisadores

de diversas instituies, de norte a sul do Pas.

Com diferentes perspectivas disciplinares, modelos terico-conceituais e estrat-

gias de pesquisa, os autores dedicam-se a diferentes temticas e problemticas das

polticas e programas do Ministrio, trazendo tambm suas interfaces com outras

polticas sociais em educao, sade e trabalho. uma boa amostra da abordagem

multidisciplinar e multi-mtodos de produo de estudos avaliativos adotados pela

SAGI em seus dez anos. Neste sentido, oportuno registrar nessa introduo alguns

princpios epistmicos, aspectos conceituais e metodolgicos sobre o que se enten-

de por Avaliao, e como ela vem se estruturando na Secretaria.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

Avaliao de Polticas Pblicas tem recebido as mais diferentes definies na lite-

ratura especializada, segundo os diversos modelos conceituais, paradigmas teri-

cos e linhas de pesquisa da Cincia Poltica, Cincias Sociais, Economia e Adminis-

trao Pblica, tomando a avaliao em perspectiva mais geral como componente

integrante da Anlise de Polticas Pblicas, como instrumento de Sistemas de Mo-

nitoramento e Avaliao de programas governamentais ou, em uma concepo

mais restrita, avaliao como um tipo particular de investigao emprica acerca

de programas e projetos sociais, como as avaliaes de impacto experimental

ou quasi-experimental. Em uma definio mais pragmtica e aplicada ao campo

da Gesto Pblica, Avaliao refere-se ao conjunto de procedimentos tcnicos

para produzir informao e conhecimento para desenho ex-ante, implementao

e validao ex-post de programas e projetos sociais, por meio das diferentes abor-

dagens metodolgicas da Pesquisa Social, com a finalidade de garantir o cum-

primento dos objetivos dos programas e projetos (eficcia), seus impactos mais

abrangentes em outras dimenses sociais, para alm dos pblicos-alvo atendidos

(efetividade), e a custos condizentes com a escala e complexidade da interveno

(eficincia).

Nesta definio, Avaliao no entendida to somente como uma investigao

com mtodos validados cientificamente para analisar diferentes aspectos sobre

um programa o que se constituiria em uma investigao de cunho acadmico ,

mas um levantamento consistente, sistemtico e replicvel de dados, informaes

e conhecimentos para aprimoramento da interveno programtica, versando so-

bre caractersticas essenciais do contexto de atuao, os pblicos-alvo, o desenho,

os arranjos de implementao, os custos de operao, os resultados de curto pra-

zo, os impactos sociais e de mais longo prazo de um programa. Enfim, na definio

aqui advogada, Avaliao tem o objetivo de produzir evidncias, compilar dados

e sistematizar estudos que contribuam para o aperfeioamento dos programas e

projetos sociais e a consecuo de seus objetivos.

Avaliaes que, de fato, tm uso efetivo na interveno so desenhadas confor-

me as demandas de informao e conhecimento ao longo do ciclo de maturida-

de do programa ou projeto social. Podem ser de natureza diagnstica Avaliao

Diagnstica , apoiada em fontes de dados j existentes, produzidas pelo IBGE,

nos registros e cadastro pblicos dos ministrios, para permitir um rpido dimen-

sionamento e caracterizao da questo social a ser objeto de interveno. Para

a formulao de programa ou projeto de mitigao ou equacionamento da pro-

blemtica social identificada, em geral, so necessrios novos esforos de levan-

tamentos de campo para o aprofundamento do diagnstico das condies de

vida, contexto econmico, restries ambientais, capacidade de gesto e oferta

de servios e de compilao de estudos j realizados na temtica, abordando

determinantes da problemtica em questo e eventuais programas e projetos j

idealizados, que constituem o que se denomina Avaliao de Desenho. Definidos

os pblicos a atender e os arranjos operacionais do programa ou projeto social,

preciso coloc-lo em ao, realizando as atividades planejadas, acompanhando

sua execuo mediante indicadores de gesto e de monitoramento, e identifican-

do problemas na oferta, na regularidade e na qualidade dos servios por meio de

pesquisas de Avaliao da Implementao.

11

Reconhecidos e, tanto quanto possvel, sanados os desafios da implementao, as

demandas de informao e conhecimento voltam-se para a Avaliao de Resulta-

dos e Impactos do programa ou projeto social. Trata-se de momento de investiga-

o mais exaustiva sobre os diversos componentes de uma interveno, abordan-

do no apenas o cumprimento dos seus objetivos, mas seu desenho, seus arranjos

operacionais, seus impactos sociais mais abrangentes no tempo e no territrio

e sobre a capacidade de inovao e redesenho frente ao contexto dinmico em

que operam os programas e projetos. Cabe nesse momento avaliar se a interven-

o programtica formulada conseguiu provocar mudanas na realidade social

que a originou, considerando naturalmente a complexidade do seu desenho e dos

arranjos operacionais, alm da criticidade da questo social enfrentada. Identificar

o momento adequado de avaliaes dessa natureza um misto de tcnica, poltica

e arte: avaliaes precoces podem colocar a perder a legitimidade de um progra-

ma e projeto meritrio que ainda no teve tempo de se estruturar; avaliaes tar-

dias podem comprometer recursos e esforos que poderiam ser usados de forma

mais eficiente e eficaz na mitigao da problemtica social em questo. Enfim, se

o programa e projeto produzem resultados e impactos, necessrio analisar os

custos envolvidos na operacionalizao de suas atividades, equipamento e pes-

soal Avaliao Custo-Efetividade. o custo-efetividade das intervenes, isto , o

valor gasto para produzir unidades de resultados e impactos em um perodo de

tempo e territrio especficos, certamente uma informao fundamental para

avaliar a sustentabilidade dos programas e projetos no futuro e em outros con-

textos. Ademais tais avaliaes, se bem realizadas com contabilidade precisa de

custos e vetor abrangente de indicadores de resultados fornecem parmetros

cruciais para comparar diferentes intervenes sociais e informar gestores nas de-

cises tcnicas e polticas acerca da continuidade, descontinuidade e expanso

de programas e projetos.

Em uma perspectiva metodolgica, os esforos de Avaliao podem se estruturar

em quatro tipos de produtos mais gerais, com maior ou menor aderncia e espe-

cificidade ao problema social ou interveno programtica desenhada: Estudos

Avaliativos anlises com base em dados secundrios ou compilao de artigos

e trabalhos j realizados anteriormente na temtica, com maior ou menor abran-

gncia; Pesquisas de avaliao levantamentos primrios, quali ou quantitativos,

desenhadas com objetivos de produo de evidncias mais especficas necess-

rias ao aprimoramento da interveno; Meta-avaliaes recenses sobre estudos

avaliativos, pesquisas e experincias nacionais, subnacionais e internacionais de

programas e projetos implementados; Relatrios-sntese de Avaliao e portais

Web com informao mais sumria, na forma de indicadores em geral, para comu-

nicao mais objetiva acerca de aspectos do diagnstico, implementao e resul-

tados do programa e projetos.

As pesquisas de campo podem ser mais estruturadas, como as enquetes quanti-

tativas com marco amostral probabilstico necessrias para produo de indica-

dores de dimensionamento de pblicos-alvo ou inferncia representativa quan-

to aos resultados dos programas ou com amostras intencionais mais rpidas,

menos custosas, mas com limitado poder de generalizao dos seus resultados.

Podem ser menos estruturadas, mais exploratrias, de cunho qualitativo, como

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

grupos de discusso ou entrevistas em profundidade, dirigidas a usurios e be-

neficirios de programas e projetos, assim como aos gestores e tcnicos encar-

regados da operacionalizao dos servios. So especialmente importantes para

identificar questes latentes acerca da implementao dos programas, no ante-

cipados quando de seu desenho. um tipo particular de instrumento estruturado,

as pesquisas com delineamento quasi-experimental tambm denominadas de

avaliao de impacto certamente so importantes instrumentos de avaliao de

programas, mas pelo tempo, recursos e conflitos ticos que estes levantamentos

envolvem, tm uso muito mais dirigido para a anlise do mrito e da contribuio

especfica das intervenes, para fins de prestao de contas a agentes financia-

dores do programa ou projeto.

No existe um mtodo ou estratgia padro-ouro para a produo de uma Ava-

liao. o melhor mtodo o que produz as evidncias que respondem de forma

consistente s demandas requeridas, ao tempo de serem utilizadas para decises

na Gesto Pblica. Informao precisa mas produzida a custos e tempo no con-

dizentes com a tempestividade da gesto ou informao rapidamente produzida

mas no consistente nem robusta em termos metodolgicos certamente no se

prestam a orientar decises cruciais acerca dos rumos de um programa ou projeto

social. Perspectiva multidisciplinar de investigao, triangulao de mtodos e de

sujeitos entrevistados, esforos combinados de avaliao interna com gestores

e tcnicos que conhecem os problemas e as atividades do programa e projeto e

de avaliao externa com pesquisadores especializados e apoio de equipe de

campo que garantem a credibilidade e robustez necessrias ao aprimoramento

da gesto e do desenho das intervenes programticas.

13

Por fim, mas no menos importante: a efetividade das Avaliaes no pode ser

medida pelo nmero de sugestes e recomendaes aportadas nas pesquisas e

estudos avaliativos nos programas e projetos. Avaliaes produzem informao e

conhecimento que, desde que devidamente estruturados e disseminados, podem

e devem ser usados para interferir cotidianamente na ao do gestor estratgico

e do tcnico na ponta, cujo registro formal difcil de realizar. Ademais, e fun-

damentalmente, programas e projetos sociais so empreendimentos complexos,

seja em termos de contexto poltico-institucional e escala, seja em arranjos de

implementao e pessoal tcnico envolvido. A introduo de inovaes, redese-

nho de processos, descontinuidade de atividades, contratao de novos agentes

e servios tpicas recomendaes derivadas de avaliaes de implementao

cumprem um calendrio que deve compatibilizar a agenda de prioridades de

correo de problemas com as janelas de oportunidades de mudanas, sem o risco

de interrupo das atividades para os pblicos atendidos.

os estudos resultantes do referido edital do CNPq aqui compilados assim como

outros produzidos por consultores, empresas contratadas ou pela equipe SAGI

guardam similitude com algumas das tipologias e classificaes aqui apresen-

tadas. Mas o mais importante a contribuio substantiva que aportam para o

debate sobre as polticas e programas do Ministrio.

A SAGI agradece o empenho dos pesquisadores, a participao dos tcnicos e ges-

tores do MDS que se envolveram ao longo da execuo dos projetos, e a compe-

tncia do Departamento de Avaliao na conduo de todo o processo de gesto

do Edital, que culminou com a organizao dessa relevante publicao.

Boa leitura!

sUmRio

MoNIToRAMENTo E AvALIAo DE PRoGRAMAS: uMA

CoMPILAo CoNCEITuAL E METoDoLGICA PARA

oRIENTAR A PRoDuo DE CoNHECIMENTo APLICADo

PARA APRIMoRAMENTo DA GESTo PBLICA


A PESQuISA APLICADA S PoLTICAS PBLICAS E A PoSSI-

BILIDADE DE CoNSTRuo DE uMA AGENDA ESTRATGI-

CA DE AvALIAo ENTRE ACADEMIA E GovERNoJnia QuirogaAlexandro Rodrigues PintoRenata Mirandola BichirRenato Francisco dos Santos de Paula

EDITAL N 36/2010: o DESAFIoMariomar AlmeidaRenata Gracioso BorgesMarcelo Gonalves valleRoberto Camargos AntunesJosiane B. Santos

16

56

68

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: c

on

tR

ibU

i

es

ac

ad

m

ica

s s

ob

Re

o d

es

en

vo

lvim

en

to s

oc

ial

e o

co

mb

at

e

Fo

me

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

intRodUo

PRoGRAMA BoLSA FAMLIA: PERSPECTIvAS A PARTIR Do oLHAR DE GNERo E

DA DIvERSIDADE SoCIoCuLTuRAL DE PovoS E CoMuNIDADES TRADICIoNAISMarcelo Cardona RochaTeresa Sacchet ktia Favilla

1. PRoGRAMA BoLSA FAMLIA: uMA ANLISE DoS ASPECToS SoCIoDEMo-GRFICoS E DAS RoTINAS DE CRIANAS NoS CoNTExToS uRBANo E RIBEIRI-

NHo AMAzNICo

2. o PRoGRAMA BoLSA FAMLIA E AS RELAES DE GNERo E GERAo NA AGRICuLTuRA FAMILIAR Do SEMIRIDo Do NoRDESTE

3. o PRoGRAMA BoLSA FAMLIA NA voz DAS PESCADoRAS ARTESANAIS Do LIToRAL DE PERNAMBuCo.

4. ESTRATGIAS DE ENFRENTAMENTo DA FoME E CoNSTRuES DE G-NERo: o CoTIDIANo DAS QuEBRADEIRAS DE CoCo BABAu DA REGIo DoS

CoCAIS- MA

5. SEGuRANA ALIMENTAR E ACESSo AoS PRoGRAMAS DE DESENvoL-vIMENTo SoCIAL E CoMBATE FoME DE CoMuNIDADES QuILoMBoLAS Do

ESTADo Do RIo GRANDE Do SuL.

6. Do PoNTo DE vISTA DAS CRIANAS: uMA AvALIAo Do PRoGRAMA BoLSA FAMLIA

7. o PRoGRAMA BoLSA FAMLIA E o ACESSo EDuCAo ESCoLAR EM CoMuNIDADES INDGENAS kAINGANG E GuARANI No PARAN

8. MuLHER E TRABALHo No PRoGRAMA BoLSA FAMLIA

82

94

122

148

170

202

216

264

238

temas tRansveRsais

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

monitoRamento e avaliao de PROGRAMAS: UMA COMPILAO CONCEITUAL E METODOLGICA PARA ORIENTAR A PRODUO de conHecimento aplicado paRa APRIMORAMENTO DA GESTO PBLICA1

Paulo de Martino Jannuzzi2

1 ESTE TExTo vERSo REvISADA DE ouTRo PRoDuzIDo CoMo MATERIAL DE REFERNCIA BSICA PARA

CuRSoS DE AvALIAo DE PRoGRAMAS SoCIAIS DA ESCoLA IBERoAMERICANA DE ADMINISTRAo E PoLTICAS PBLICAS,

oFERECIDoS NA ESCoLA NACIoNAL DE PoLTICAS PBLICAS DESDE 2009, PuBLICADo EM DuAS PARTES (JANNuzzI

2011A E 2011B). A REPRoDuo DoS MESMoS DE FoRMA INTEGRADA E REvISADA NESSA CoLETNEA JuSTIFICA-SE PELA

oPoRTuNIDADE DE DISSEMINAR uMA CoMPILAo TIL DE ASPECToS HISTRICoS, CoNCEITuAIS E METoDoLGICoS

ACERCA DE MoNIToRAMENTo E AvALIAo DE PRoGRAMAS No PAS JuNTo CoMuNIDADE ACADMICA BRASILEIRA,

INCITADA A PARTICIPAR MAIS DIRETAMENTE DA PRoDuo DE CoNHECIMENTo PARA AS PoLTICAS E PRoGRAMAS Do

MINISTRIo DE DESENvoLvIMENTo SoCIAL E CoMBATE FoME, PELoS EDITAIS DE FoMENTo PESQuISA Do CNPQ.

2 PRoFESSoR DA ESCoLA NACIoNAL DE CINCIAS ESTATSTICAS Do INSTITuTo BRASILEIRo DE GEoGRAFIA

E ESTATSTICA, PESQuISADoR Do CNPQ No PRoJETo PQ INFoRMAo ESTATSTICA E SISTEMAS DE MoNIToRAMENTo

E AvALIAo DE PoLTICAS E PRoGRAMAS SoCIAIS No BRASIL E AMRICA LATINA. ATuALMENTE ExERCE A FuNo DE

SECRETRIo DE AvALIAo E GESTo DA INFoRMAo (SAGI) Do MINISTRIo DE DESENvoLvIMENTo SoCIAL E CoMBATE

FoME (MDS).

17

intRodUo

A crescente atuao do Estado Brasileiro na promoo de polticas sociais, em es-

pecial a partir da Constituio Federal de 1988, tem sido acompanhada, com algu-

ma defasagem, pelo aprimoramento da capacidade de formulao e avaliao de

programas pblicos no pas. De modo geral, os estudos de avaliao de demandas

sociais, os diagnsticos propositivos para intervenes especficas, os sistemas de

indicadores de monitoramento e as pesquisas de avaliao de programas vm se

tornando mais consistentes e presentes no cotidiano dos gestores pblicos, ainda

que em um ritmo menos veloz que o necessrio e de forma bastante desigual

pelas esferas de governo e regies do pas. Em que pesem os avanos na capaci-

dade de gesto de programas, ainda so expressivos os contrastes que se podem

observar, por exemplo, no acompanhamento dos programas nas reas da sade

e da qualificao profissional, ou entre equipes de gestores do governo federal e

tcnicos de prefeituras de pequenos municpios no interior do pas.

H mesmo quem diga nos crculos acadmicos e nas diferentes esferas da admi-

nistrao pblica que no por falta de estudos, diagnsticos e indicadores que

os programas sociais no conseguem alcanar os resultados e impactos esperados

no Brasil. Afinal, fato que centros de pesquisa, universidades, empresas de con-

sultoria e equipes de tcnicos do setor pblico tm produzido, de forma sistem-

tica ou por meio de projetos contratados, um amplo conjunto de trabalhos, artigos

e estudos sobre diferentes aspectos da realidade social, referidos direta ou indire-

tamente ao contexto de operao dos vrios programas pblicos. Entretanto tam-

bm verdade que muitos desses trabalhos, mesmo os contratados para subsidiar

a formulao de programas especficos, acabam se revelando como diagnsticos

descritivos bastante gerais, aplicveis a diferentes programas sociais, com contri-

buies certamente relevantes, mas desprovidas de informaes mais particulares

e customizadas para formatao de aes pblicas mais dirigidas, no grau que se

requer atualmente. Nos diagnsticos contratados pelo setor pblico, contribuem

para isso, sem dvida, as imprecises ou lacunas dos termos de referncia que

espelham, muitas vezes, a falta de clareza dos objetivos e natureza do programa

pblico a ser implementado, fato decorrente, por sua vez, das deficincias de for-

mao do gestor pblico e a exiguidade de tempo e recursos para realizao

de levantamentos de campo especficos. Nesse contexto, acabam se justificando

estudos diagnsticos mais gerais, baseados em trabalhos anteriores e em fontes

de dados e pesquisas j disponveis.

Tambm preciso reconhecer as limitaes das pesquisas de avaliao de pro-

gramas pblicos como fontes de informao para readequao dos programas

existentes ou proposio de novos. Nas avaliaes de impacto, as constataes

empricas acerca da efetividade dos programas so, no raras vezes, ambguas ou

pouco consistentes. Nos casos em que se adotam delineamentos metodolgicos

quasi-experimentais, as condies para garantir a validade interna dos estudos

acabam por inviabilizar a apropriao e a generalizao dos resultados para ava-

liaes mais abrangentes dos programas3.

3 WoRTHERN ET AL., 2004.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

vrios estudos avaliativos focados no processo de implementao dos programas

acabam tendo baixo poder de generalizao devido s lacunas de conhecimento so-

bre as atividades desenvolvidas e o papel dos agentes institucionais envolvidos nos

programas, seja pelas limitaes ou inexistncia de sistemas de informaes de mo-

nitoramento, seja pelas decises metodolgicas quanto s tcnicas, amostras e aos

casos investigados, muitas vezes escolhidos mais em funo dos prazos e recursos

disponveis do que pelas perguntas as quais se quer responder. Avaliaes voltadas

anlise da consistncia terica e do desenho lgico de programas que poderiam

gerar conhecimento mais generalizvel na rea so menos frequentes ou, pelo

menos, menos conhecidas do que outros tipos de estudos avaliativos no pas.

Enfim, em que pesem os avanos na rea, preciso reconhecer que a insatisfao

com esses estudos ainda mais frequente do que o desejvel. Como j revelava

Cotta h mais de dez anos:

As metodologias de avaliao de programas sociais tm sido objeto de severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes no subsidiam o processo decisrio porque seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das prprias limitaes deste tipo de estudo, inoportunos devido morosidade do processo avaliativo e irrelevantes porque no respondem s demandas informacionais de todos os agentes sociais afetos interveno.4

Situao semelhante parece ter passado os Estados unidos (EuA) nos anos 1970, a

julgar pelo relatrio do General Accounting office, que, mobilizado por demanda do

Senado americano em 1974, constatou que as informaes das pesquisas sociais e

estudos avaliativos financiados com recursos pblicos no contribuam para o de-

senho das polticas pblicas, pela disperso e fragmentao de temas investigados,

falta de coordenao e orientao do que era de interesse governamental investigar,

dificuldade de acesso e compreenso dos relatrios de pesquisas.5

Mesmo mais recentemente tm-se constatado limitaes e problemas nos estu-

dos avaliativos de programas pblicos nos EuA, s vezes com desdobramentos at

piores que os descritos por Cotta. De fato, como colocam Worthern et al. :

De vez em quando, uma avaliao mal concebida ou mal executada produz informaes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser questionadas, e o resultado que decises importantes sobre programas e servios essenciais baseiam-se inadvertidamente em informaes falaciosas.6

4 CoTTA, 1998, P.118.

5 GAo, 1977.

6 WoRTHERN ET AL., 2004, P.44.

19

Conspiram para a conformao de tais problemas, entre tantos fatores, a crena

desmesurada na capacidade de antecipao e implementao de programas por

parte de tcnicos de alto escalo que, ao no incorporar a contribuio de agentes

envolvidos no trabalho, acabam por desenhar processos e rotinas que descon-

sideram as distintas realidades de operao dos programas. Esse tecnocratismo

ingnuo invariavelmente se esquece das dificuldades de articulao e colabora-

o dos trs nveis de governo ou de pastas sociais em uma mesma esfera e das

diferenas de capacidade de gesto e controle social pas afora. To ou mais grave,

tambm desconsidera, na formulao dos programas, a heterogeneidade socioe-

conmica da populao demandante, considerando-a como nico pblico-alvo,

para o qual se deve disponibilizar um mesmo conjunto de servios, de Norte a Sul,

do centro periferia das cidades. Assim, com problemas nas fases iniciais do ciclo

de gesto de programas no reconhecimento das questes sociais e no desenho

das intervenes idealizadas para mitig-los no se poderiam esperar resulta-

dos, de fato, impactantes.

Desconhecimento sobre o estgio de avaliabilidade dos programas outro fator a

minar a credibilidade dos instrumentos de monitoramento e avaliao. A prematu-

ridade na encomenda de estudos avaliativos de resultados e impactos, quando se

sabe que o programa ainda se encontra em fase de implantao ou com problemas

de gesto; e a antecipao de avaliaes externas, com natureza mais de auditoria

em detrimento de avaliaes de carter mais formativo, conduzidas internamente

e voltadas ao aprimoramento incremental do programa constituem-se problemas

mais frequentes do que se poderia esperar. So aportados volumes significativos

de recursos em pesquisas de avaliao, procurando garantir representatividade

amostral de resultados em nvel nacional, esquecendo-se de estruturar painis

ou sistemas de indicadores de monitoramento que com todas as limitaes de

cobertura, mas com a tempestividade devida permitiriam identificar boa parte

dos problemas em tempo de serem corrigidos.

De fato, um dos achados sistemticos das avaliaes de programas realizadas pelo

Tribunal de Contas da unio a inexistncia de sistemas de informao para o

acompanhamento das atividades dos programas. ilustrativa, nesse sentido, a

constatao, reproduzida a seguir, acerca da avaliao do Programa Nacional Bi-

blioteca na Escola (PNBE), operado pelo Fundo Nacional de Desenvolvimento Es-

colar (FNDE) do Ministrio da Educao (MEC), com objetivo de distribuir acervo de

livros para formao de bibliotecas nas escolas.

o trabalho constatou que o FNDE tem mostrado grande eficcia operacional na distribuio dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previso de atendimento de 139 mil escolas em 2002.

Todavia, tambm se verificou que o PNBE no tem atividades de monitoramento e avaliao bem estruturadas. o MEC no dispe de informaes que permitam conhecer o nvel de utilizao dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

escolar dos alunos nas escolas beneficiadas. Tal fato mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCu, 2002, p.10).

Para isso contribui o estgio do conhecimento do campo aplicado de monitora-

mento e avaliao de programas no Brasil. Enquanto nos EuA e em pases euro-

peus desenvolvidos a cultura de avaliao de programas j se encontra em estgio

maduro, depois de mais de trs ou quatro dcadas de desenvolvimento, com mar-

cos conceituais abrangentes e testados, com profissionais de formao multidisci-

plinar e com instituies especializadas, no Brasil, a institucionalizao do campo

bem mais recente.

Como comentam Worthern et al.7, a cultura de monitoramento e avaliao de

programas nos Estados unidos assim como os instrumentos de planejamento e

programao oramentria comeou a se fortalecer nos anos 1960 no Governo

Lyndon Johnson, quando da estruturao de vrios programas sociais em nvel

federal, no contexto do que se denominou Great Society, e da necessidade, por-

tanto, de garantir melhor gesto dos programas pblicos naquele pas. Rossi et al.8

identificam esforos sistemticos em avaliao de programas sociais norte-ameri-

canos, j a partir da dcada de 1930, como desdobramento do papel crescente do

Estado americano no financiamento de servios sociais (respondendo aos efeitos

da crise de 1929). A avaliao de programas, que se concentrava, inicialmente,

nas reas de educao (sobretudo na investigao de programas de alfabetiza-

o), de sade pblica (nas aes de combate mortalidade por doenas infecto-

-parasitrias) e de qualificao profissional, passa, no ps-guerra, a abranger reas

como preveno da violncia juvenil, planejamento familiar, nutrio, programas

habitacionais, desenvolvimento rural.

No entanto, nos anos 1960, o campo da avaliao de programas passa por uma alta

repentina e significativa, com a j mencionada ampliao dos programas sociais, e

tambm, como lembram Rossi et al.9, com o avano e a disseminao das tcnicas

aplicadas da pesquisa social, desenvolvidas nas universidades americanas.

Ao contrrio do que se poderia imaginar, nas dcadas seguintes, a nfase na

desregulamentao e descentralizao da prestao de servios pblicos e no

questionamento sobre a pertinncia e o tamanho dos programas sociais nos go-

vernos republicanos conservadores, que assumiram o poder mais tarde, acabou

por valorizar a prtica da avaliao, ao disseminar a cultura de monitoramento

e avaliao para governos estaduais, municipais e organizaes no governa-

mentais. Afinal, mesmo um estado regulador requer instrumentos de medi-

o de resultados para acompanhar a prestao dos servios financiados com

recursos pblicos, at para justificar, com alguma base tcnica e transparncia,

a descontinuidade de programas sociais ineficazes e redirecionar os gastos

para outras reas (como para as despesas militares da Guerra do vietn, no go-

verno Nixon, e para defesa militar no Governo Reagan). Respondendo a essas

7 WoRTHERN ET AL., 2004.

8 RoSSI ET AL., 2004.


21

demandas, comentam os autores que, nos anos 1970, so estruturados cursos

de ps-graduao, de natureza disciplinar e, mais tarde, multidisciplinar, com

forte nfase em tcnicas de pesquisa (quantitativas e qualitativas), abrindo a

possibilidade para criao de uma comunidade profissional de avaliadores.10

A avaliao de programas deixaria de ser preocupao apenas de cientistas so-

ciais, em temas de pesquisas acadmicas nas universidades, ganhando projeo

e interesse na comunidade de gestores pblicos como ferramenta para aprimora-

mento dos servios pblicos. Essa mudana qualitativa da produo e apropriao

de conhecimentos na rea que parece se processar neste momento no Brasil

muito bem registrada pela seguinte passagem de Rossi et al.:11

In its early years, evaluation was shaped mainly by the interests of social researchers. In later stages, however, the consumers of evatuation research exercised a significant influence on the filed. Evaluation in now sustained primarily by funding from policymakers, program planners, and administrators who use the findings and by the interests of general public and the clients of the programs evaluated. Evaluation results may not make front-page headlines, but they are often matters of intense concern to informed citizens, program sponsors, and decisionmakers, and those whose lives are affected, directly or indirectly, by the programs at issue.

No caso brasileiro, atualmente, parte significativa da avaliao de programas p-

blicos tem sido realizada por equipes de centros de pesquisa e universidades,

com boa experincia em anlise de macropolticas, conjuntura social ou projetos

de pesquisa acadmicos, mas, em geral, sem experincia na implementao real

de programas e sem reunir o conhecimento multidisciplinar requerido para a abor-

dagem dos problemas complexos em que os programas procuram atuar.12 No h

10 vIDE, PoR ExEMPLo, AS PuBLICAES, EvENToS E SITES DAS ASSoCIAES PRoFISSIoNAIS ou ACADMICAS DE

AvALIAo NESSES PASES, ENTRE oS QuAIS: AMERICAN EvALuATIoN ASSoCIATIoN (WWW.EvAL.oRG); CANADIAN EvALuATIoN

SoCIETy (WWW.EvALuATIoNCANADA.CA); EuRoPEAN EvALuATIoN SoCIETy (WWW.EuRoPEANEvALuATIoN.oRG); E SoCIET

FRANAISE DEvALuATIoN (WWW.AFE.ASSo.FR).

11 RoSSI ET AL., 2004, P.9.

12 DE FATo, No BRASIL, oS TRABALHoS DE AvALIAo DE PRoGRAMAS PBLICoS E SEuS AuToRES ENCoNTRAM-SE

DISPERSoS PELAS PRINCIPAIS ASSoCIAES CIENTFICAS DISCIPLINARES, TAIS CoMo: ANPAD (ADMINISTRAo E ADMINISTRAo

PBLICA); ANPEC (ECoNoMIA); ANPoCS (CINCIAS SoCIAIS); ANPED (EDuCAo); ABEP (ESTuDoS PoPuLACIoNAIS); ABET (ESTuDoS Do

TRABALHo); ABRASCo (SADE CoLETIvA). vALE DESTACAR ALGuNS DoS PRINCIPAIS PERIDICoS EM QuE SE PoDE ENCoNTRAR ESTuDoS

AvALIATIvoS: REvISTA Do SERvIo PBLICo; REvISTA BRASILEIRA DE CINCIAS SoCIAIS; REvISTA DE ADMINISTRAo PBLICA; REvISTA

So PAuLo EM PERSPECTIvA; TExToS DE DISCuSSo (IPEA); PLANEJAMENTo E PoLTICAS PBLICAS; PESQuISA DE PLANEJAMENTo

ECoNMICo; TExTo DE DISCuSSo ENCE, ENTRE ouTRoS (ALGuNS DESSES PERIDICoS ESTo DISPoNvEIS No PoRTAL WWW.SCIELo.

BR. A PARTIR DoS ANoS 2000, FoRAM CRIADoS ESPAoS MAIS MuLTIDISCIPLINARES PARA DISCuSSo E APRESENTAo DE ESTuDoS

DE AvALIAo DE PoLTICAS PBLICAS, ENTRE ELES A ASSoCIAo BRASILEIRA DE AvALIAo EDuCACIoNAL (WWW.ABAvE.oRG.BR); A

REDE BRASILEIRA DE MoNIToRAMENTo E AvALIAo (HTTP://REDEBRASILEIRADEMEA.NING.CoM); o PoRTAL PoLTICAS PBLICAS EM

FoCo (WWW.BoLETIM-FuNDAP.CEBRAP.oRG.BR), MANTIDo PELA FuNDAP E CEBRAP; o STIo Do TRIBuNAL DE CoNTAS DA uNIo (WWW.

TCu.Gov.BR) E DA CoNTRoLADoRIA-GERAL DA uNIo (WWW.CGu.Gov.BR ), ALM DoS FRuNS CRIADoS PELoS PRoGRAMAS DE PS-

GRADuAo LATo E STRICTo SENSu, ACADMICoS E PRoFISSIoNAIS, E DAS LINHAS DE PESQuISA NESSE SENTIDo EM PRoGRAMAS DE

PS-GRADuAo EM ADMINISTRAo PBLICA, ECoNoMIA SoCIAL, SADE CoLETIvA, DIREITo ETC.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

dvidas de que, em geral, essas avaliaes de programas contam com equipes

competentes no emprego das boas prticas da pesquisa social e no uso rigoroso

de tcnicas quantitativas e qualitativas de coleta e anlise de dados. Como nas

pesquisas acadmicas, fundamental garantir o rigor metodolgico nos estudos

avaliativos, para permitir conhecimento mais circunstanciado dos problemas, as

solues idealizadas para mitig-los e para conferir legitimidade tcnica-cientfica

na avaliao da ao governamental. Mas, como j alertado em um dos primeiros

manuais abrangentes de avaliao de programas no incio dos anos 1970, progra-

mas sociais so objetos de pesquisa inerentemente difceis de serem tratados,

pelo ambiente muitas vezes inspito e pouco colaborativo, pelo contexto poltico

menos ou mais favorvel, pela natureza fugidia das perguntas e questes que o

avaliador deve responder, pela menor ou maior disponibilidade de dados, pelo

tempo e recursos disponveis para conduzir anlises mais consistentes.13 Em ma-

nuais mais recentes, como os j citados de Worthern et al. e Rossi et.al., recomen-

da-se que os estudos avaliativos sejam realizados por pesquisadores com conhe-

cimento tcnico e metodolgico apropriado temtica em questo, mas tambm

com experincia emprica anterior e, sobretudo, com desprendimento para inovar

e improvisar nas diversas circunstncias e dificuldades que insistem em aparecer

no cotidiano prtico da rea. No incomum, pois, que estudos avaliativos realiza-

dos por puristas metodolgicos cheguem a resultados j conhecidos do gestor

de programas, ou concluam com ingnua assertividade acerca da necessidade

de descontinuidade do programa avaliado, pela suposta baixa efetividade apura-

da, segundo suas escolhas metodolgicas sobre o que investigar e como faz-lo.

Essas consideraes iniciais um tanto extensas, mas necessrias para contex-

tualizao e justificativa da discusso aqui pretendida procuram situar o qua-

dro de deficincia de sistemas de monitoramento para acompanhar as aes e os

programas governamentais no Brasil e os frequentes problemas de especificao

de pesquisas de avaliao desses programas na gesto pblica no pas. No

to comum encontrar, nos gabinetes e escritrios de gestores e tcnicos do setor

pblico, especialmente em nvel estadual e dos grandes municpios, sistemas de

monitoramento que permitam acompanhar, por meio de um conjunto consistente

e atualizado de indicadores, a ao governamental, desde a alocao do gasto

pblico ao impacto junto aos pblicos beneficirios. Muitos so os exemplos de

pesquisas de avaliao que, mesmo motivadas por preocupao legtima e meri-

tria com a eficcia e efetividade do gasto pblico, revelam, infelizmente, resul-

tados triviais, metodologicamente questionveis ou com baixa apropriao para

reformulao dos programas.

Este texto procura trazer alguma contribuio de natureza conceitual e metodol-

gica para ajudar a debelar os males apontados anteriormente; isto , para auxiliar

na estruturao de sistemas de monitoramento e na especificao de pesquisas

de avaliao que realmente se prestem ao objetivo de permitir o acompanhamen-

to contnuo e o efetivo aprimoramento da ao governamental e, portanto, da ges-

to de programas.

13 WEISS, 1972.

23

Inicia-se com uma exposio do Ciclo de Formulao e Avaliao de Polticas P-

blicas e Programas, para em seguida discutir como os sistemas de indicadores de

monitoramento e as pesquisas de avaliao podem e devem se integrar naquele.

Esse caminho escolhido parte da hiptese de que as dificuldades apontadas no

monitoramento e avaliao de programas no Brasil e as frustraes da decor-

rentes so consequncia, em boa medida, de desenvolv-los seguindo modelos

e prescries muito particulares e padronizados, sem a devida customizao que

deveriam ter em funo do estgio de maturidade dos programas ou do momen-

to do ciclo de vida em que eles se encontram , ou, ainda, de conduzi-los sem

uma anlise prvia do grau de avaliabilidade dos programas e sem uma compre-

enso de que essas atividades se integram a processos mais amplos, igualmente

importantes, da gesto de programas.

Forando um pouco o argumento para torn-lo mais claro ainda que em prejuzo

do reconhecimento do esforo meritrio e do trabalho competente observado em

diversos setores da administrao pblica brasileira , o fato que as lacunas de

formao e o pouco domnio de conceitos e tcnicas no campo de monitoramento

e avaliao, na comunidade de gestores, acabam trazendo problemas na especifi-

cao dos instrumentos de monitoramento e avaliao das aes governamentais.

Isso leva s conhecidas frustraes com resultados to ansiosamente esperados e

aos questionamentos sobre a utilidade dos estudos.

Explicitando melhor a motivao para elaborao desse texto agora sob o risco

de simplificar demais a natureza e minimizar o alcance dos estudos avaliativos

conduzidos por colegas pesquisadores nas universidades e centros de pesquisa

no pas , a abordagem marcadamente disciplinar da pesquisa aplicada no campo,

a sobrevalorizao de algumas abordagens e modelos especficos de avaliao, o

desconhecimento do contexto de operao da ao pblica e da forma com que

os resultados dos estudos podem ser usados mais efetivamente pelos gestores

so elementos que tambm contribuem para conformao de tal quadro. Este tex-

to procura, assim, em uma perspectiva modesta em substncia, mas comprometida

em seu sentido pblico, colaborar para a melhoria na especificao da demanda

de instrumentos de monitoramento e pesquisa de avaliao por parte da comuni-

dade de gestores pblicos e na estruturao dos servios a serem oferecidos pela

comunidade de pesquisadores acadmicos e profissionais.

Antes de passar a uma explicao mais detalhada de cada etapa desse ciclo, vale

formalizar dois termos citados correntemente no texto polticas pblicas e pro-

gramas. Isso importante para circunstanciar os limites do campo de dilogo es-

tabelecido neste texto, j que avaliao de polticas pblicas e avaliao de pro-

gramas pblicos so termos muito imbricados, mas referem-se a contextos muito

diferentes (em amplitude) da anlise da interveno estatal.

Evitando entrar em uma discusso muito extensa sobre os diferentes significados

do termo sistematizados em villanueva14 poltica pblica , na definio de

Nascimento15, o conjunto de decises tomadas por aqueles que detm competn-

14 vILLANuEvA, 2006.

15 NASCIMENTo, 1991.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

cia legal para deliberar em nome da coletividade as instituies de Estado vi-

sando soluo de um problema ou ao redirecionamento de uma tendncia, com

a inteno de orientar sua evoluo para um fim estabelecido como o desejvel.

Como esclarece Saravia, em

[...] uma perspectiva mais operacional, poderamos dizer que ela [a poltica pblica] um sistema de decises pblicas que visa a aes ou omisses, preventivas ou corretivas, destinadas a manter ou modificar a realidade de um ou vrios setores da vida social, por meio da definio de objetivos e estratgias de atuao e da alocao dos recursos necessrios para atingir os objetivos estabelecidos.16

As decises que conformam tal poltica pblica distributiva, redistributiva ou

regulatria, universal ou focalizada assumem diferentes formatos: podem ser

enunciados de diretrizes estratgicas de governo, leis e decretos normativos,

que especificam de forma mais clara e operacional tais diretrizes, a criao de

organizaes ou programas que vo conferir operacionalidade s diretrizes, leis

e normas.17

o programa pblico , pois, um dos instrumentos operacionais das polticas p-

blicas. Mais especificamente, trata-se de um conjunto sistmico de aes pro-

gramadas e articuladas entre si, com objetivo de atender uma demanda pblica

especfica, encampada na agenda de prioridades do Estado ou governo quanto a

essas polticas. Assim, um programa social um conjunto de atividades direcio-

nadas para solucionar um problema vivenciado pela sociedade, em seu conjunto

ou por grupos.18

Avaliao de polticas pblicas, ou melhor, anlise de polticas pblicas, termo

preferido por owen19, , pois, uma atividade muito mais ampla que a avaliao de

programas. Trata do contexto poltico-social de surgimento da poltica, dos ato-

res participantes. volta-se mais ao esclarecimento de seu processo de construo

do que da recomendao prtica de como aprimor-la, constituindo, na realida-

de, um campo de investigao mais propriamente acadmico que a perspectiva

tcnica-profissional em que se realiza a avaliao de programas. vale observar

que h Programas, inclusive, com escopo temtico e escala de operao muito

mais abrangente que o usual, revelando-se mais como um guarda-chuva de outros

programas mais especficos. outros podem ser projetos de curto alcance, ou ativi-

dades que visam produo de um produto ou servio finalstico ou da rea-meio.

A discusso aqui empreendida suficientemente ampla para contemplar essas

modalidades.

16 SARAvIA, 2006, P.29.

17 vILLANuEvA, 2006.


19 oWEN, 2007.

25

O Ciclo de Polticas Pblicas e Programas

Nos manuais clssicos de Cincia Poltica, o processo de formulao de polticas

pblicas tem sido apresentado recorrentemente pelo ciclo de etapas sucessivas

(Policy Cycle), com mais ou menos estgios, como ilustrado no Diagrama 120. Em

que pesem as crticas de longa data quanto forma simplificada com que esse

diagrama apresenta o processo poltico e sua prpria veracidade emprica, a se-

parao em etapas se presta aos objetivos de evidenciar, ao longo do processo,

nfases diferenciadas no planejamento, na operao ou avaliao dos programas.

Justifica-se ainda para fins didticos e para orientar o recorte analtico na pesquisa

acadmica na rea.21

Nesse modelo, a primeira etapa Definio da Agenda Poltica (Agenda-Setting)

corresponde aos mltiplos caminhos e processos que culminam com o reconhe-

cimento de uma questo social como problema pblico e da necessidade da ao

governamental para sua soluo; isto , a legitimao da questo social na pauta

pblica ou agenda das polticas pblicas do pas, em determinado momento. A

etapa seguinte Formulao de Polticas e Programas (Policy Formulation) refe-

re-se aos processos e atividades relacionados construo de possveis solues,

encaminhamentos e programas para lidar com a questo recm-legitimada na

agenda. preciso, ento, em sequncia na Tomada de Deciso Tcnica-Poltica

(Decision Making) , escolher o rumo a seguir, de ao efetiva ou no, decidindo-se

por uma ou algumas das alternativas formuladas. A quarta etapa Implementa-

o de Polticas e Programas (Policy Implementation) corresponde aos esforos

de execuo da ao governamental, na alocao de recursos e desenvolvimento

dos processos previstos nas alternativas e programas escolhidos anteriormente.

Por fim, preciso analisar se os esforos empreendidos esto atuando no sentido

esperado de solucionar o problema original etapa de Avaliao das Polticas e

Programas (Policy Evaluation). necessrio avaliar se preciso realizar mudanas

nos programas implementados para garantir sua efetividade; descontinu-los, se o

problema deixou de compor a agenda; ou ento adapt-los a uma nova realidade,

reiniciando o ciclo.

oportuno registrar que a avaliao, como etapa do ciclo, realiza-se aps a imple-

mentao. Trata-se de um momento de natureza mais reflexiva para continuidade

ou no do programa. Distingue-se, portanto, das atividades de monitoramento e

avaliao, que se realizam mediante os sistemas de indicadores e as pesquisas de

avaliao, instrumentos investigativos que podem ser empregados a qualquer mo-

mento do ciclo, conforme discutido mais adiante. Denominar essa etapa decisiva

do ciclo como avaliao somativa talvez ajudasse a evitar o duplo sentido que o

termo assume na rea.

20 CoMo APRESENTADo NoS vRIoS TExToS REuNIDoS NA vALIoSA CoLETNEA SoBRE PoLTICAS PBLICAS

oRGANIzADA PoR SARAvIA E FERRAREzI (2006), PuBLICADA PELA ENAP E DISPoNIBILIzADA EM SEu STIo ELETRNICo

(WWW.ENAP.Gov.BR), o CICLo DE PoLTICAS PBLICAS PoDE SER DESCRITo CoM uM NMERo MAIoR ou MENoR

DE ETAPAS. DE MoDo GERAL, DISTINGuEM-SE PELo MENoS TRS MACRoETAPAS: FoRMuLAo (NA QuAL ESTARIA A

FoRMAo DA AGENDA), A IMPLEMENTAo E A AvALIAo. ESSA PuBLICAo, oRGANIzADA SEGuNDo AS ETAPAS Do

CICLo, TRAz ARTIGoS CLSSICoS QuE APRoFuNDAM A vASTA DISCuSSo ENvoLvIDA EM CADA uMA DELAS.

21 NASCIMENTo, 1991.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

A agenda poltica corresponde ao conjunto de assuntos e problemas que os ges-

tores pblicos e a comunidade poltica entendem como mais relevantes em dado

momento e, no necessariamente, lista de preocupaes da sociedade ou des-

taques da imprensa.22 Afinal, o reconhecimento de uma questo social como pro-

blema de governo ou Estado no um processo simples e imediato, que responde

automaticamente s estatsticas disponveis, por mais reveladoras que sejam da

gravidade da questo, quando comparada a outros pases ou a outros momentos

do passado. No a vontade de um tcnico do setor pblico, um pesquisador aca-

dmico ou governante eleito, portador de conhecimento emprico consistente da

realidade ou com uma viso ousada, que garante imediatamente sua incorporao

na agenda formal de governo. Como coloca Parada, no toda idea entra a la agen-

da. No todos temas de la agenda se convierten em programas.23

Quando existe a convico de que um problema social precisa ser dominado po-

ltica e administrativamente, que ele se transforma em uma questo pblica.24

Se parece haver soluo tcnica vivel e factvel para determinada questo social,

essa entra mais facilmente na agenda. Afinal, a estrutura do setor pblico, pelos

mecanismos institucionais existentes e operantes, um ambiente que digere

inovaes a seu prprio tempo e estilo.25

22 JANN; WEGRICH, 2007.

23 PARADA, 2006, P.73.

24 FREy, 1997.

25 A RESISTNCIA MuDANA E INCoRPoRAo DE INovAES No PRoBLEMA S No SEToR PBLICo,

MAS TAMBM NAS EMPRESAS PRIvADAS. oS MECANISMoS DE MoTIvAo, PRESSo E CoERo NESSAS LTIMAS

ACABAM MoBILIzANDo MuDANAS, S vEzES A ELEvADoS CuSToS PESSoAIS E INSTITuCIoNAIS. No SEToR PBLICo, oS

INSTRuMENToS PARA MoBILIzAo ENvoLvEM, EM TESE, MAIS CooRDENAo DE ESFoRoS E CoNvENCIMENTo, AT

PoRQuE AS RESISTNCIAS PoDEM SER BASTANTE LEGTIMAS. ou SEJA, NEM ToDA MuDANA NECESSARIAMENTE uMA

INovAo PoSITIvA. PARA o BEM ou PARA o MAL, So CoNHECIDoS oS CASoS EM QuE A RESISTNCIA DA BuRoCRACIA

PBLICA ACABA REvERTENDo ou MINANDo PRoPoSTAS CoNSIDERADAS MuITo ouSADAS.

dIaGrama 1: o CICLo de PoLtICas e ProGramas PBLICos

27

H vrias interpretaes de como a agenda construda. Em todas as perspectivas,

ela entendida como um processo coletivo e conflituoso de definio, como as-

sinalam Howlett & Ramesh.26 vai sendo formada por meio de diferentes mecanis-

mos de presso externa de grupos organizados em partidos polticos, sindicatos,

associaes patronais, imprensa e outras instituies, pelas temticas por eles en-

tendidas como relevantes; por iniciativa interna do governo e mobilizao social

em funo de compromissos assumidos nas eleies; pela atuao da burocracia

pblica no encaminhamento das demandas setoriais etc.

os atores polticos se constituem em elementos catalisadores desse processo.

Eles so diversos e possuem caractersticas distintas: polticos e burocratas; em-

presrios, trabalhadores/sindicatos, servidores pblicos e os meios de comunica-

o.27 Grandes empresrios, individualmente ou por meio de seus lobbies (gru-

pos de presso), encaminham suas demandas e pressionam os atores pblicos,

nas decises governamentais, em favor de seus interesses. outro ator poltico de

grande importncia so os agentes internacionais, tais como o Fundo Monetrio

Internacional (FMI), o Banco Mundial, a organizao das Naes unidas (oNu), a

organizao Mundial do Comrcio (oMC) etc.; ou ainda os pases com os quais o

Brasil mantm relaes polticas. Esses atores podem afetar no apenas a econo-

mia, como tambm a poltica interna do pas.28 Alm desses, os meios de comuni-

cao so outros agentes importantes no processo de modo especial, a televiso,

com difuso massificada em todas as camadas da populao pois dispem de

recursos para influenciar a opinio pblica na formao das demandas.29 Enfim,

as organizaes polticas partidos, sindicatos, grupos de interesse so funda-

mentais para que as demandas entrem na agenda poltica do governo e para que,

uma vez nela presentes, possam se transformar em aes e programas concretos.

A amplitude da agenda poltica estaria condicionada tambm ao nvel de desen-

volvimento econmico e tecnolgico do pas, j que tais fatores, ao viabilizar ga-

nhos crescentes de produtividade na economia, permitiriam o atendimento de de-

mandas de grupos de interesse organizados, pela ampliao da oferta, cobertura e

diversidade dos servios sociais.30 o ritmo de constituio de tal agenda de bem-

-estar social seria potencializado, em contextos de maior liberdade e participao

poltica, com maior atuao de partidos polticos, sindicatos, imprensa e outros

grupos de interesse. os nveis de urbanizao e envelhecimento populacional

tambm seriam outros condicionantes importantes para entender a formao da

agenda poltica, pela visibilidade e concretude que conferem aos problemas so-

ciais deles decorrentes.

26 HoWLETT & RAMESH, 2003.

27 RuA, 1998.

28 IDEM, IBIDEM.

29 FREy, 1997.

30 CAREy, 2006.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

Na etapa da formulao da poltica, os problemas, as propostas e demandas ex-

plicitadas na agenda transformam-se em leis, programas e propostas de aes.

Isto , a formulao de poltica envolve a busca de possveis solues para as

questes priorizadas na agenda. Nesse momento, os elementos operacionais da

poltica em questo precisam ser evidenciados: diretrizes estratgicas, propos-

tas de leis, decretos normativos, programas e projetos. Em uma viso simpli-

ficada e um tanto romntica e ingnua, como diria Charles Lindblom , tais

programas e propostas seriam elaborados pelo emprego de tcnicas gerais de

planejamento de projetos; conhecimentos setoriais especficos; anlise de via-

bilidade poltica, de custo-benefcio ou custo-efetividade das solues; reviso

crtica de experincias anteriores e boas prticas identificadas. Essas tarefas so

conduzidas por tcnicos do setor pblico, com maior ou menor participao de

consultores externos, seguindo orientaes emanadas de gestores pblicos no

topo da hierarquia.

Em funo da natureza do problema e orientao geral de governo, os programas

propostos se classificariam em aes de cunho distributivo, redistributivo ou re-

gulamentrio.31 Na realidade, essa fase no est to desvinculada do cotidiano

da poltica ou to isolada das influncias das propostas dos grupos de interesse,

como se supe. Muitas vezes, as propostas de encaminhamento de solues che-

gam junto com as presses para introduzir a questo na agenda formal de governo.

Se no, colocada a questo, h sempre atores com maior ou menor influncia na

formatao dos possveis programas e aes.32

Levantadas as diferentes alternativas para uma dada questo social, preciso es-

colher qual dever ser adotada. Enquanto que na definio da agenda poltica e

formulao de programas a participao de agentes no pertencentes ao governo

ou Estado desempenha papel central, a tomada de deciso envolve os gestores e

tcnicos mais diretamente relacionados poltica ou ao programa. Esse o nus

e o bnus do exerccio da atividade pblica. Isso no significa que outros agentes

e atores no estejam ativos no processo, de modo a influenciar a deciso em um

ou outro sentido, introduzindo legitimamente em muitos casos consideraes

de ordem poltica em rotinas de cunho mais eminentemente tcnico. Como bem

colocam Howlett & Ramesh:

These actors can and do, of course, engage in various kinds of lobbying activities aimed at persuading, encouraging, and sometimes even coercing authoritative office-houlders to adopt options of which they approve. However, unlike office-holders, those other actors have, at best, a voice in the decision-making process, but they do not have a vote per se.33

31 HoWLETT & RAMESH, 2003

32 JANN; WEGRICH, 2007.

33 HoWLETT & RAMESH, 2003, P.163.

29

Chega ento o momento da implementao dos programas, projetos e aes pontuais

ou mais abrangentes. A fase de Implementao o momento em que a poltica pbli-

ca comea a ser executada, em que os recursos alocados passam a se transformar em

aes capazes de agir e mudar certa realidade. Aqui, a poltica adquire uma concre-

tude objetiva maior e, por isso, comea a revelar mais explicitamente as dificuldades

de sua introduo e operao pelos agentes encarregados de pr a mo na massa.34

Trata-se da gesto das aes para fazer uma poltica sair do papel e funcionar efetiva-

mente, compreendendo o conjunto de aes realizadas, por grupos ou atores de na-

tureza pblica ou privada, para a consecuo de objetivos definidos. Envolve progra-

mao de atividades, previsionamento de recursos financeiros, alocao de recursos

humanos, mobilizao de agentes, interlocuo com atores estratgicos, manejo dos

mecanismos que assegurem a governabilidade das atividades e correo de cursos,

caso se identifiquem obstculos ou surpresas no antecipadas.

na avaliao ou melhor, na avaliao somativa que so confrontados os resul-

tados esperados com os resultados alcanados. o momento em que se d um re-

torno etapa inicial de formulao, com correes no plano de ao, caso seja uma

poltica de ordem contnua; ou quando se decide pelo encerramento da poltica.

tambm uma etapa de verificao dos impactos desejados e indesejados. Trata-se

de verificar os efeitos obtidos para deduzir consequncias indesejadas nas aes

e programas futuros. Como bem coloca Frey,35 a avaliao imprescindvel para o

desenvolvimento e a adaptao contnua das formas e dos instrumentos de ao

pblica, o que pode ser denominado como a fase de aprendizagem poltica.

o ciclo de polticas pblicas tal como descrito , certamente, um modelo idealiza-

do, com aderncia bastante limitada ao cotidiano verificado no Brasil ou em outros

pases. Como bem observa Saravia, o processo de poltica pblica no possui uma

racionalidade manifesta. No uma ordenao tranquila na qual cada ator social

conhece e desempenha o papel esperado.36 Pelo que sugere Lindblom,37 atuali-

zao da agenda, formulao de polticas e programas, implementao e avaliao

seriam estgios permanentes e concomitantes do processo poltico. A atualizao

da agenda poltica e as inovaes dos programas seriam, de fato, muito mais in-

crementais e contnuas do que gostariam os gestores pblicos. Tampouco haveria,

segundo Parada, um momento de avaliao cabal das polticas e programas, sendo

[...] ms habitual que cambien o se combinen com outras. Se h llegado a decir

que ls polticas pblicas son imortables.38

Boa parte da crtica feita a esse modelo se refere ao fato de ele sugerir que a

administrao pblica, seus gestores, os atores polticos e os tcnicos atuem de

forma bastante sistemtica e cooperativa, como se estivessem todos envolvidos

na resoluo de um problema consensualmente percebido, empregando mtodos

34 NASCIMENTo, 1991

35 FREy, 1997.

36 SARAvIA, 2006, P.29.

37 LINDBLoM, 2006.

38 PARADA, 2006, P.72.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

racionais e objetivos na busca da soluo, de acordo com uma sequncia linear

de etapas bem definidas. Como diria Lindblom,39 mais uma vez, o imperativo da

racionalidade tcnica no processo, a anlise exaustiva dos problemas, a busca de

solues timas e a crena no poder revelador e conciliador do discurso tcnico-

-cientfico to presentes nos rgos de planejamento pblico no seriam em-

piricamente constatveis, nem factveis e muito menos desejveis.

Na realidade, a formulao de polticas configura-se como um processo que envol-

ve a interao de muitos agentes, com diferentes interesses. marcada por apoios

entusiasmados de alguns, resistncias legtimas ou no de outros. Est repleta de

avanos e retrocessos, com desdobramentos no necessariamente sequenciais e

no plenamente antecipveis. Como observam Jann & Wegrich:

Policy process rarely features clear-cut beginnings and endings. At the same time, policies have always been constantly reviewed, controlled, modified and sometimes even terminated; policies are perpetually reformulated, implemented, evaluated and adapted. [] Moreover, policies do not develop in a vacuum, but are adopted in a crowded policy space that leaves little space for innovation [].40

Contudo, na viso de Howlett & Ramesh,41 esse modelo de representao tem a

grande virtude de facilitar o entendimento do processo complexo de interao

de diversos agentes, nos mltiplos estgios por que passa a formulao de polti-

cas pblicas, oferecendo um marco metodolgico geral para anlises isoladas de

cada etapa do processo ou das relaes de cada uma com as demais, frente ou

jusante. Esse modelo seria tambm suficientemente geral para ser aplicado no

entendimento do processo na maioria dos mbitos e contextos de formulao de

polticas e programas em nvel federal, estadual, local e mesmo setorial.

Jann & Wegrich42 acrescentam ainda que o sucesso e a resilincia desse mode-

lo clssico s crticas de pesquisadores acadmicos que ele parece como um

modelo prescritivo ideal a ser adotado, em que gestores eleitos governam com

corpos burocrticos dotados de grande capacidade de diagnstico de problemas,

com posturas ativas e inovadoras na formulao de programas, operando com ra-

cionalidade tcnica na tomada de decises, com controle efetivo das atividades

na implementao dos programas pblicos e objetividade na avaliao desses.

Os sistemas de indicadores de monitoramento no Ciclo de Polticas e Programas

A preocupao com a construo de indicadores de monitoramento da ao go-

vernamental to ou mais antiga que a prpria avaliao de programas pblicos,

39 LINDBLoM, 2006.

40 JANN; WEGRICH, 2007, P.44-45.

41 HoWLETT & RAMESH, 2003.

42 JANN & WEGRICH, 2007.

31

se forem consideradas as medidas de performance mais geral do setor p-

blico baseadas na entrega de obras e produtos e na computao de indi-

cadores de custos de servios, a partir da execuo oramentria. Como

registram Mcdavid e Hawthorn em livro que procura oferecer uma viso inte-

grada entre avaliao de programas e medio do desempenho governamental:

While we have tended to situate the beginnings of performance measures in the united States, in the 1960s, with the development of performance management systems such as programmed planned budgeting systems (PPBS) [] there is good evidence that performance measurement and reporting was well-developed in some American local governments early in the 20th century.43

os autores citam as iniciativas de alguns governos locais nos EuA, antes da 2

Guerra Mundial, na elaborao de relatrios com computao regular de medi-

das de eficincia dos servios pblicos ento oferecidos, como a construo e

manuteno das ruas e rodovias, distribuio de gua e recolhimento de lixo. os

produtos e servios disponibilizados pelo setor pblico municipal eram bastante

simples e tangveis, assim como a contabilizao dos custos para sua produo.

Mas foi a introduo das tcnicas de programao oramentria por programas no

Governo kennedy que marcaria um momento de maior aprimoramento na medi-

o do desempenho expresso por indicadores de eficincia e efetividade na

esfera federal americana. Ao propor a estruturao do oramento segundo conjun-

to de atividades e programas afins agora bem mais complexos que os oferecidos

pelos municpios na primeira metade do sculo xx e no segundo as agncias e

organizaes que as executavam, esperava-se conseguir apurar resultados e cus-

tos mais consistentes dos servios pblicos disponibilizados e, portanto, medidas

de eficincia mais precisas.44

Em que pesem o fracasso na implementao do oramento-programa na vincula-

o entre recursos-produtos ao nvel de programas e o contexto de crise fiscal do

Estado, comentam os autores que a orientao voltada medio dos resultados

ganhou fora nos anos 1970 e na dcada seguinte. os governos conservadores

desse perodo (em especial na Inglaterra, com Thatcher, e nos EuA, com Reagan)

imprimem reformas no setor pblico, que vieram a ser conhecidas como o movi-

mento da Nova Administrao Pblica, preconizando a adoo de instrumentos de

controle e gesto de resultados do setor privado.

Sem entrar na discusso acerca dos excessos, limitaes e aspectos meritrios de

tal movimento debate esse j empreendido no Brasil por vrios autores, com

muito mais competncia, autoridade e espao do que o disponvel para este tex-

to , o legado de preocupao com a transparncia e responsabilizao pblica

criou oportunidades para aprimoramento da gesto de programas, seja para a

43 MCDAvID; HAWTHoRN, 2006, P.283.

44 MCDAvID; HAWTHoRN, 2006.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

estruturao de sistemas de indicadores de monitoramento, seja para a realizao

das pesquisas de avaliao. Neste tpico do texto, discute-se o primeiro desses

instrumentos de gesto: os sistemas de monitoramento.

o modelo idealizado de ciclo de vida de polticas e programas apresentado ante-

riormente uma referncia conceitual interessante para ilustrar como os sistemas

de indicadores de monitoramento podem ser estruturados e como as pesquisas

de avaliao podem ser especificadas de forma a potencializar seu emprego na

gesto dos programas. A proposta bsica desta seo mostrar a importncia de

se dispor de indicadores relevantes e periodicamente atualizados para acompa-

nhar as atividades e a produo de servios dos programas, que permitam corri-

gir desvios, reprogramar atividades ou mesmo especificar pesquisas de avaliao

para entender por que determinados processos no esto se encaminhando no

sentido idealizado originalmente.

Como discutido em texto anterior,45 as atividades de cada etapa do ciclo apoiam-se

em um conjunto especfico de indicadores. Na definio da agenda, os indicadores

so recursos valiosos para dimensionar os problemas sociais, servindo como ins-

trumentos de advocacy e presso de demandas sociais no satisfeitas. Indicadores

produzidos pelas instituies oficiais de estatsticas sobretudos os computados

a partir de censos demogrficos e pesquisas amostrais regulares prestam-se bem

a esse papel, pela legitimidade que gozam perante diferentes pblicos. No Brasil,

o relatrio Sntese de Indicadores Sociais, publicado anualmente pelo IBGE,

uma referncia importante nesse sentido, provocando grande interesse na mdia

quando de sua divulgao.46 o ndice de Desenvolvimento Humano (IDH) compu-

tado para pases, municpios, mulheres e negros outro bom exemplo de como

uma medida simples pode mobilizar os veculos de comunicao e recolocar anu-

almente o debate sobre desigualdade social e os impactos das polticas pblicas

na mdia e nas esferas de governo.47

Na elaborao dos diagnsticos para formulao de programas, os indicadores

so imprescindveis para qualificar os pblicos-alvo, localiz-los e retrat-los de

modo to amplo e detalhado quanto possvel. preciso adequar as intervenes

s caractersticas e necessidades dos demandantes dos programas. De modo ge-

ral, na elaborao de diagnsticos socioeconmicos propositivos para programas

pblicos, empregam-se indicadores de vrias reas temticas analticas ou de atu-

ao governamental. Para desenvolver programas no campo da educao bsica,

por exemplo, preciso conhecer no apenas as condies de acesso escola, a

infraestrutura escolar, o desempenho dos alunos, mas tambm aspectos relacio-

nados s condies de vida dos estudantes, como moradia, nvel de pobreza e

45 JANNuzzI (2005), DISPoNvEL PARA DoWNLoAD NA REvISTA Do SERvIo PBLICo, v.56, N.2, EM WWW.

ENAP.Gov.BR. ouTRA REFERNCIA PARA APRoFuNDAMENTo NESSE CAMPo JANNuzzI (2004).

46 ESSA PuBLICAo Do IBGE, ASSIM CoMo DIvERSAS ouTRAS DA INSTITuIo, EST DISPoNvEL PARA

DoWNLoAD EM WWW.IBGE.Gov.BR.

47 uMA DISCuSSo DoS LIMITES E PoTENCIALIDADES Do IDH PoDE SER vISTA EM GuIMARES E JANNuzzI

(2005).

33

renda familiar, acesso a servios de sade, escolaridade dos pais, fatores esses que

certamente podem afetar ou potencializar as aes programticas especficas.48

Indicadores construdos a partir dos censos demogrficos so particularmente

teis nessa fase, pela amplitude do escopo temtico investigado e pela possibi-

lidade de desagregao territorial ou por grupos sociodemogrficos especficos.

o Censo Demogrfico 2010 potencializar ainda mais essas duas caractersticas

escopo e desagregabilidade , constituindo-se em marco importante para reava-

liao das demandas sociais da populao brasileira, nesse momento de amplia-

o da estrutura de proteo social no pas.

Na seleo de alternativas programticas idealizadas para atender questo p-

blica colocada na agenda e eleger prioridades de interveno, preciso dispor de

indicadores que operacionalizem os critrios tcnicos e polticos definidos. Indi-

cadores sintticos, como o j citado ndice de Desenvolvimento Humano, o ndice

de Desenvolvimento da Educao Bsica, o ndice da Pegada Humana (Footprint

Index) ou as classificaes geradas por tcnicas de anlise multicritrio podem ser

teis para apoiar decises nessa fase do ciclo,49 como discutido em Scandar et al.50

e Jannuzzi et al.51

Para acompanhar a implementao dos programas e, posteriormente, para ges-

to, quando eles entrarem em plena operao, so necessrios indicadores que

permitam acompanhar regularmente as aes programadas, do previsionamento e

alocao do gasto produo dos servios e, idealmente, aos eventuais resultados

e impactos esperados quando da idealizao dos programas. So os indicadores

que estruturam processos formais de monitoramento, entendido, nas palavras de

Coutinho, como um processo sistemtico e contnuo que, produzindo informa-

es sintticas e em tempo eficaz, permite rpida avaliao situacional e a inter-

veno oportuna que confirma ou corrige as aes monitoradas.52

Dispostos em painis ou em sistemas informatizados, os indicadores de monitora-

mento devem ser atualizados com regularidade e tempestividade adequada to-

mada de deciso. Idealmente, esses indicadores devem ser especficos e sensveis

s aes programadas, a fim de se tornarem, de fato, teis para inferir se o progra-

ma est sendo implantado conforme planejado ou para permitir as correes de

rumo (aspectos que s podero ser comprovados mais precisamente por meio de

pesquisas de avaliao especficas, durante ou aps a implantao).

48 uM BoM ExEMPLo DE INDICADoRES PARA DIAGNSTICoS DE PRoGRAMAS SEToRIAIS DEMoNSTRADo

NA PuBLICAo CoNSTRuINDo o DIAGNSTICo MuNICIPAL, DISPoNvEL EM WWW.CEPAM.SP.Gov.BR. ouTRo ExEMPLo

DE DIAGNSTICo APoIADo EM INDICADoRES MuLTITEMTICoS o DIAGNSTICo PARA PRoGRAMA DE QuALIFICAo

PRoFISSIoNAL Do ESTADo DE So PAuLo, DISPoNvEL EM WWW.EMPREGo.SP.Gov.BR.

49 No STIo WWW.ANIPES.oRG.BR EST DISPoNvEL uM APLICATIvo (PRADIN) QuE PERMITE ENTENDER o

PoTENCIAL DA ANLISE MuLTICRITRIo NA ToMADA DE DECISo EM PoLTICAS PBLICAS.

50 SCANDAR ET AL., 2006.

51 JANNuzzI ET AL., 2009.

52 CouTINHo, 2001, P.11.

av

ali

a

o

de

po

lt

ica

s p

b

lic

as

: R

eFl

eX

e

s a

ca

d

mic

as

so

bR

e o

de

se

nv

olv

ime

nto

so

cia

l e

o c

om

ba

te

F

om

e

Int

ro

du

o e

te

ma

s t

ra

ns

ve

rs

aIs

Para isso, esses painis ou sistemas de indicadores de monitoramento devem se

valer dos dados continuamente atualizados nos cadastros e registros administra-

dos pelos gestores e operadores envolvidos nos programas. Devem estar interli-

gados aos sistemas informatizados de gesto do programa, no qual so registrados

atendimentos prestados, informaes dos agentes que o operam, caractersticas

dos beneficirios, processos intermedirios, que produziro os efeitos idealizados

pelo programa. Diferentemente do que se passa nas pesquisas de avaliao, na

estruturao de sistemas de monitoramento no se prev levantamentos prim-

rios de dados. Pode ser necessrio criar rotinas de coleta de dados que operem

fora dos crculos normais de produo de servios dos programas, mas preciso

fazer esforos para aproveitar as informaes geradas no mbito de operao co-

tidiana dos programas. A criao de mais uma rotina para registro de informao,

pelo beneficirio do programa ou pelo agente envolvido na implementao, pode

implicar atrasos indesejados e, pior, declaraes mal preenchidas que acabam no

se prestando sua finalidade original.

vale observar que, em geral, as informaes compiladas e enviadas para atualizao

dos registros de acompanhamento do Plano Plurianual, no Ministrio do Planeja-

mento, oramento e Gesto, so somente a ponta do iceberg de dados armazenados

em planilhas eletrnicas e gavetas nos escritrios da administrao pblica. Alis,

curioso que, nas mdias e altas gerncias do setor pblico prefeituras, secretarias

de estados ou ministrios , reclame-se de falta de informao para gesto em meio

a tanta informao continuamente produzida nas unidades de prestao de servios

pblicos (escolas, postos de sade, delegacias, centros de referncia da assistncia

social, postos de intermediao de mo de obra, agncias do INSS etc.). Para superar

esse paradoxo da escassez na abundncia, preciso aprimorar os processos de

gesto da informao nos escritrios em que se planejam e coordenam as polticas

e programas pblicos. os fluxos de informao, os processos de tratamento, vali-

dao, classificao e, naturalmente, de armazenamento precisam ser pensados de

forma articulada, valendo-se de aplicativos e ferramentas de integrao de dados (e

no dos custosos em planejamento, tempo dinheiro sistemas informatizados

de 4, 5 ou ensima gerao propostos por consultorias experientes em automa-

o de processos na iniciativa privada, mas pouco conhecedoras da complexidade

operacional da gesto de programas pblicos).

possvel que algumas informaes produzidas pelas agncias estatsticas no

caso brasileiro, o IBGE, o Datasus, o Inep, entre outros53 possam ser teis para

a construo de indicadores de monitoramento de programas, sobretudo de na-

tureza universal ou com pblico-alvo numeroso. Em geral, essas fontes proveem

informaes para avaliaes de polticas ou para um conjunto de polticas e ma-

croaes governamentais mais adequadas para composio de mapas estrat-

gicos da ao governamental e no para os propsitos de monitoramento de

programas especficos, em funo da escala territorial de desagregao dos dados

ou do tempo que levam para serem produzidas. Esse quadro pode mudar para

melhor com as transformaes anunciadas nas pesquisas amostrais do IBGE para

53 AS PESQuISAS E DADoS DESTAS INSTITuIES PoDEM SER CoNSuLTADAS, RESPECTIvAMENTE, EM WWW.

IBGE.Gov.BR, WWW.DATASuS.Gov.BR, WWW.INEP.Gov.BR. No PoRTAL WWW.ANIPES.oRG.BR, PoDEM SER ACESSADoS

STIoS ELETRNICoS DE RGoS SuBNACIoNAIS DE ESTATSTICA No BRASIL.

35

a dcada de 2010, com maior integrao conceitual, maior possibilidade de in-

corporao de temas suplementares, ampliao e adensamento da amostra pelo

interior do pas. No s se poder dispor de um escopo mais amplo de estatsticas

e indicadores sociais divulgados mais regularmente ao longo do ano, como tam-

bm referidos para domnios territoriais e grupos sociodemogrficos bem mais

diversos. Aos indicadores mensais de emprego, hoje restritos s seis principais re-

gies metropolitanas, somar-se-o muitos outros educacionais, habitacionais, de

rendimentos etc. , divulgados

cnpq_1_introducao e temas transversais

Documents