iv seminário de avaliação de políticas públicas e qualidade do gasto - ariel pares

Porto Alegre, 05 dezembro de 2011

Monitoramento e Avaliação no mundo real:

necessidades, dificuldades e potencialidades

IV Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto

Vetores da modernização da gestão pública

Experiência Internacional e conceitos gerais de

monitoramento e avaliação

1

3

2

Experiência do Governo Federal


1

4 vetores de transformação

Disciplina fiscal e estabilidade da moeda: um valor societário

Democracia estável: demandas sociais crescentes, controle social, transparência, descentralização e governança

Globalização e competitividade: convergência do padrão gerencial e de produtividade entre o setor público e o privado

Sociedade da informação: governo-eletrônico, produtividade, controle e transparência


Crise 1: fiscal ou déficit fiscal

Crise fiscal X democracia = crise de legitimidade

Crise 2: de legitimidade ou déficit de legitimidade

Crise de legitimidade X Capacidade do Estado = crise do

Estado burocrático - reconhecimento das demandas da

sociedade pela administração pública

Crise 3: do Estado burocrático ou déficit de eficiência

Mudança na forma de criação do valor público comparado ao valor privado

Crise do Estado diante de um novo padrão de produção e sociedade democrática


Experiência internacional e conceitos gerais de avaliação

2

Inerente à gestão por desempenho

Inerente ao fortalecimento da democracia com participação social, transparência e controle social

Preocupações crescentes com a qualidade do gasto e a produtividade do setor público

Forte incremento nos últimos 20 anos, porque?


Constituição de sistemas de avaliação: Canadá é o exemplo mais antigo e bem sucedido, seguido da Austrália, Inglaterra, Chile, Espanha (casos menos freqüentes)

Avaliações aleatórias, dependentes da orientação gerencial de cada organização, sem obrigações para com o órgão responsável pela administração do serviço público: EUA (caso mais freqüente)

Prestação de contas anual: Holanda, Suécia, mais recentemente a França etc.

Três modelos principais de estruturação da função avaliativa no setor público


Sistema descentralizado de avaliação – a avaliação é contratada e executada pelo Ministério; depende de rede de avaliadores externos credenciados e mercado de avaliação forte; há órgão central que lidera o sistema (mais freqüente)

Sistema centralizado – a avaliação é contratada pelo cabeça de sistema - é o caso do Chile, cujo órgão responsável é a Secretaria de orçamento, do Ministério de Economia (pouco freqüente)

Sistemas públicos de avaliação: dois modelos principais


Sumario

Coordenação

de

Governo

Beneficiários

e Formadores

de opinião

Relacionado

ao

orçamento

Sistemas de Monitoramento e Avaliação pelo lado da demanda (incentivos vindo dos usuários)

Inerente ao bom desempenho da coordenação de governo

O peso da personalidade do mandatário e sua assessoria dificultam a institucionalização de sistemas M.A. de suporte ao funcionamento do Alto Governo

Inexistência de quadros permanentes e os aspectos cumulativos das especificidades de cada governo afetam o seguinte

Não é frequente o uso de mecanismos especializados para a tomada de decisão no Alto Governo:

Prevalece o caráter discricionário e pautado pela emergência

Os instrumentos de apoio tendem a limitar a intervenção direta e pessoal do Mandatário

Coordenação e Sistemas de M.A.


Governo FHC 1 e 2 (experiências)

Brasil em Ação + Câmaras de Governo (sem vasos comunicantes)

Avança Brasil + Câmaras de Governo (sem vasos comunicantes)

Governo Lula 1 e 2 (experiências): Sistema de Metas Presidenciais + SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes)

Programa de Aceleração do Crescimento (PAC)+ SIGOV/PNUD Gestão da Agenda presidencial (vasos comunicantes) + Salas de Situação responsáveis pela supervisão e resolução de gargalos

Governo Dilma (experiências): Ainda é cedo para saber como funciona, mas o esquema está mantido embora o PAC esteja no MPOG

Coordenação e Sistemas de M.A.


Cada vez mais frequente

Faz parte da boas práticas de gestão de risco público

É sequência natural de processos de planejamento com participação social

Há risco do cidadão e mesmo gestores públicos compararem serviços públicos com serviços privados equivalentes

Participação tem começado na fase inicial de formulação de políticas

Participação dos beneficiários e Sistemas de M.A.


Participação dos beneficiários e Sistemas de M.A.


BARCELONA - ESPANHA

Relação entre a avaliação e orçamento: combinação de difícil execução

Do orçamento incremental para o orçamento por desempenho, de uma cultura orientada pelo gasto para outra orientada pelo resultado ( gastar com qualidade e eficiência)

O problema central no orçamento não é o conflito distributivo e sim a forma de arbitragem (importância do planejamento e da avaliação)

A responsabilização c/ maior autonomia administrativa, baseada na contratualização e avaliação, depende da estabilidade de recursos


Os resultados da avaliação não substituem a negociação

política que influencia o orçamento

Rigidez orçamentária: fixação da despesa por lei específica

e crescimento de contribuições no perfil tributário

Assimetria temporal: defasagem entre o tempo da

avaliação e a sua influencia possível no gasto




Experiência chilena revela algumas disfunções quando o M.A.

está no Tesouro ou no Orçamento

Doença dos 100% de resultado

Uso de indicadores de baixo risco, inócuos

Organizações com 2 grupos de indicadores, os de baixo

risco para o contrato de gestão e os desafiadores

Efeito Túnel (OCDE) metas de produtos ou

intermediárias, de curto prazo desvinculadas de outras

organizações, porque não há indicadores de resultados

na sociedade associados a desempenho de longo prazo


Sumario

Órgãos de

estatística

Sistemas de Monitoramento e Avaliação pelo lado da oferta (incentivos aos produtores de informação)

Sistemas de

M.A.

Registros

administrativos

setoriais

Independência e transparência

Pesquisa de opinião e avaliação participativa

Auditoria de terceira parte

Definir o problema ou a oportunidade para a elaboração de política, programa, projeto de investimento – Marco Lógico

Melhorar a capacidade de decisão sobre novas políticas, programas e projetos – Fase de apreciação, vai além do modelo lógico

Existem maneiras melhores de atingir este objetivo?*

Existem usos melhores para estes recursos?*

Avaliar os riscos de implementação

Criar ou fortalecer Sistemas de M.A.

4 procedimentos essenciais


* Livro Verde, Guia do Departamento do Tesouro do UK

Porque avaliar

Apreender com a ação (nem sempre é lembrado, além disso responsabilização e culpa dificultam)

Melhorar a tomada de decisão (como mitigar a influência da intervenção direta, pessoal, política e do valor da intuição dos decisores)

Melhorar a alocação de recursos (como conviver com a rigidez orçamentária)

Prestar contas aos parlamentos e a sociedade (como evitar a inapetência desses segmentos)


O que avaliar

Políticas e Programas – avaliação de políticas públicas (mede sobretudo efetividade)

Projetos de Investimentos – avaliação ex-ante de custos, prazos, qualidade e impactos ambientais

Servidores - avaliação de desempenho individual (problemático)

Organizações – avaliação institucional, geralmente baseada na experiência ISO (mede frequentemente apenas a eficiência e a eficácia, raramente resultados)


Evolução

Valor da Mudança

Resultados

Outputs

Inputs

Processos

Efetividade (impactos na sociedade)

Eficiência (custos e produtividades)

Eficácia (atendimento à demanda)


Menos frequentee, no entanto a mais importante das medições

Diferença entre avaliação e pesquisa está na finalidade distinta

O compromisso da avaliação de programas está

em gerar informações relevantes sobre o

desempenho com vistas a melhoria contínua do

programa (incide sobre o programa ou projeto)

O compromisso da pesquisa avaliativa é o de gerar

conhecimento, teste de teorias, estabelecimento de

“verdades” e/ou Melhorar a alocação de recursos

(incide sobre as diretrizes das políticas públicas)


Quanto ao promotor

Auto-avaliação com meta-avaliação (se pratica no Brasil)

Avaliação independente (se pratica no Chile e no Brasil)

Pesquisa avaliativa (se pratica no EUA)

Auto-avaliação, com participação social, combinada com pesquisa avaliativa(promissora)


Quanto a temporalidade

Avaliação ex-ante

Qualidade da intervenção e definição da linha de Base

Avaliação durante a execução

Monitoramento de desempenho - rotineiro

Avaliação de impactos - tópico

Avaliação ex-post (mais adequada a projetos)

Avaliação de impactos


O paradoxo entre necessidade de recursos e qualidade e eficiência do gasto

Dicotomia entre carências sociais e econômicas graves e

dificuldade fiscal não se resolve apenas com mais recursos

Desafio de ser mais eficiente no gasto mostra-se com

maior intensidade nos períodos de crise, mas geralmente a

urgência embaça a oportunidade para grandes mudanças

de cultura gerencial

Outro problema grave é administrar na prosperidade –

gastar é tão complicado, no setor público, como gastar de

forma eficiente e efetiva



3

Vários sistemas estruturados de M.A. operando ao mesmo tempo

Sistema de M.A. do PPA (Secretaria de Planejamento e

Investimentos Estratégicos - MPOG)

Sistema de Avaliação Externa de Programas de Governo (Tribunal de Contas da União)

Sistema de Avaliação e Monitoramento das Políticas e

Programas Sociais (Secretaria de Avaliação e Gestão da

Informação – MDS)

Sistema de Monitoramento do PAC (Presidência da República,

governo Lula, MPOG no governo Dilma)


Sistema de M.A. do PPA

Abrangente – toda a atuação de governo, escapa o que é realizado fora da função, no abrigo das ações orçamentárias

Auto-avaliação com meta-avaliação por parte do MPOG

Correlacionado ao orçamento

Avaliação de projetos de grande impacto – funciona mal

Avalia programas, política setorial do Ministério e estratégia do plano – o primeiro mais consistente e os dois últimos apresentam fraca consistência

Combina SIGPLAN sistema centralizado de informática com InfraSigs, sistemas por Ministério

Referência para o Balanço Geral da União e Mensagem Presidencial – Doc. com forte mediação política


Sistema de Avaliação Externa de Programas de Governo

Combina instrumentos de auditoria com pesquisa primária juntos aos órgãos implementadores e envolve o beneficiário

Tenciona com a tradição da auditoria de contas de caráter punitivo no consumo interno (TCU) das informações

Procura enfatizar o caráter de aprendizado, mas gera nos

órgãos desconfiança com uso da informação pelo TCU

Fortalece a cultura de resultados no Executivo, valoriza uso

de indicadores, de bons indicadores nos programas do PPA

Avaliações rápidas, profundas e focadas

Informações checadas e confiáveis


Sistema de Avaliação e monitoramento das políticas e programas sociais

Focado nos programas do MDS

Promove o monitoramento físico financeiro dos programas (21 programas em 2007, correspondendo a 6 no PPA)

Avalia os impactos na realidade social

Avaliação de terceira parte, independente

Uso de métodos sofisticados, quantitativos

Realiza pesquisas de opinião


Sistema de Monitoramento do PAC

Monitoramento físico-financeiro

Apoio do Alto Governo na resolução de gargalos à execução

Possui incentivos baseado no caráter privilegiado da alocação e execução financeira – os recursos pertencem ao Alto Governo e não aos Ministérios setoriais

Mobiliza a agenda do Alto Governo e Presid. – SIGOV/PNUD

Execução ancorado em salas de situação na Presidência

Esteve no período Lula na Presidência, agora está no MPOG


Lições da experiência

São superpostos, embora complementares

Aumenta a informação e melhora o M.A.

Há canais de comunicação entre os Sistemas, com sinergias

Pluralidade de Sistemas atende a diversidade e

complexidade da Administração Pública e da demanda

Os Sistemas informatizados tem baixa interoperabilidade

Uma estimativa de custos dos 4 Sistemas, registrava em 2007, valor de R$ 24,1 milhões/ano, 0,0058% do Orçamento da União, quando se aceita até 2% internacionalmente (Humberto Falcão Martins – CLAD)

Estratégia de institucionalização e partir de uma oferta e criar a demanda


Sistemas de M.A seletivos, no Alto Governo, com sistemas abrangentes para o resto do governo (restrições do resto do governo afetam o desempenho das prioridades)

Sistema de M.A. associado ao processo orçamentário

Funcionamento descentralizado do sistema de M.A. com unidades nos setoriais

Combinar auto-avaliação com meta-avaliação

Avaliação com participação social, sobretudo quando

envolve serviços públicos

Avaliação de projetos ex-ante

Criar incentivos associados ao bom desempenho

Enfrentar a polêmica dos indicadores: mais vale uma

métrica do que um indicador preciso

Alguns desafios dos Sistemas de M.A. que merecem destaque

Obrigado pela oportunidade

[email protected]

(61) 2028-1224

mailto:[email protected]

iv seminário de avaliação de políticas públicas e qualidade do gasto - ariel pares

News & Politics