hanseníase: monitoramento e avaliação - manual de capacitação

Ministério da saúde

Brasília – dF2009

Hanseníase: MonitoraMento e avaliaçãoManual de Capacitação em M&a – Caderno do Participante

© 2009 Ministério da saúde.todos os direitos reservados. é permitida a reprodução parcial ou total desta obra, desde que citada a fonte e que não seja para venda ou qualquer fim comercial.a responsabilidade pelos direitos autorais de textos e imagens desta obra é da área técnica.a coleção institucional do Ministério da saúde pode ser acessada na íntegra na Biblioteca virtual em saúde doMinistério da saúde: http://www.saude.gov.br/bvs

série F. Comunicação e educação em saúde

tiragem: 1ª edição – 2009 – 5.000 exemplares

elaboração, distribuição e informações:Ministério da saúde secretaria de vigilância em saúde departamento de vigilância epidemiológicaorganização: Programa nacional de Controle da Hanseníase Produção: núcleo de Comunicaçãoendereço: setor Comercial sul, Quadra 4, edifício Principal, Bloco a, 3º andarCeP: 72304-000, Brasília – dFE-mails: [email protected] [email protected] page: http://www.saude.gov.br/svs

Instituições parceiras:Fundação oswaldo Cruz escola nacional de saúde Pública sérgio aroucadepartamento de endemias samuel Pessoa laboratório de avaliação de situações endêmicas regionais av. leopoldo Bulhões, 1480 – 6º andar, ManguinhosE-mail: [email protected] Home page: www.ensp.fiocruz.br/laser

Baseado em material traduzido e adaptado de:Monitoring & evaluation Capacity Building for Program improvementField Guide – version 1 – december 2003Global aids Program – Centers for disease Control and Prevention – orC Macroresponsável: Programa nacional de dst/aids – assessoria de Monitoramento e avaliação

Coordenação geral: Maria leide W. de oliveiradanusa Fernandes Benjamim

Coordenação para texto e editoração: Maria rita Coelho dantas

Assessoria de conteúdo: Maria aparecida de assis Patroclo – laser/ensp/Fiocruz; elizabeth Moreira dos santos – laser/ensp/Fiocruz; Marly Marques da Cruz – laser/ensp/Fiocruz; sonia natal – laser/ensp/Fiocruz

impresso no Brasil / Printed in Brazil

Ficha Catalográfica_________________________________________________________________________________________________________

Brasil. Ministério da saúde. secretaria de vigilância em saúde. departamento de vigilância epidemiológica. Hanseníase : monitoramento e avaliação : manual de capacitação em M&a : caderno do aluno / Ministério da saúde, secretaria de vigilância em saúde, departamento de vigilância epidemiológica. – Brasília : Ministério da saúde, 2009. 75 p. : il. color. – (série F. Comunicação e educação em saúde)

1. Hanseníase. 2. Gestão do trabalho e da educação em saúde. 3. Capacitação. i. título. ii. série.

CdU 616-002.73_________________________________________________________________________________________________________

Catalogação na fonte – Coordenação-Geral de documentação e informação – editora Ms – os 2009/0226

Títulos para indexação:serão encaminhados posteriormente, pois está sendo feita a tradução.

Colaboração: andréa Pacheco amorim Gastaldello – secretaria estadual da saúde/rJ/UFrJ; adgine Ferreira dantas – secretaria estadual de saúde/Pa; astrid rodrigues navas Zamora – Gt Hansen/PB; Carmelita ribeiro de oliveira – secretaria estadual de saúde/ro; Clarissa Cotrim dos anjos – Gthansen/ses/al; Conceição de Maria soares de assis –sesus/são luís; egon luiz rodrigues daxbacher – Gt hansen/ses/rJ; elzeny Gama Carlos – secretaria Municipal de vitória/es; José eduardo de Pinho andrade – nlr Brasil; Kédman trindade Mello – ses/rJ; léa Márcia Melo da Costa – ses/Ma; Maria ana a. leboeuf – assessora técnica do PnCH; Maria aparecida de Faria Grossi – ses/MG; Maria Célia dalvi Brunelli sales – secretaria Municipal de vitória/es; Maria da Conceição Cavalcante Magalhães – sGPl/se/Ms; Maria elizabeth lovera – Gthansen/ses/Pr; Maria de Jesus Freitas de alencar – ses/ro/UFC; Maria Jesus nasser viana – ses/Ms; Maria de lourdes de Queiroz – ses/Mt; Maria Madalena – ses/dF; Marilda andrade – secretaria estadual da saúde/rJ; Milde do r. B. a. Cavalcante – sMs/recife; nadia s. nogueira Pimentel – FWaM/aM; olga Maria alencar – daB/sMs (luziânia/Go); rachel tebaldi tardin – sMs/rJ; rejane P. almeida – Gt Hansen/ses/Pe; roseane Pereira de deus – ses/dF; shirlei C. Moreira – assessora técnica do PnCH; sonia Maria Ferreira da silva – ses/Ma; thais Coutinho de oliveira – assessora técnica do PnCH

Projeto gráfico e editoração: eduardo trindade

Revisão: denise Goulart

Fotos: arquivo PnCH

Sumário

Apresentação ................................................................................................... 5

Introdução ....................................................................................................... 7

Apoio didático ................................................................................................. 9

Referências ....................................................................................................... 73

Para saber mais ................................................................................................ 75

5

Apresentação

este manual de capacitação em monitoramento e avaliação (M&a) expressa o empenho dessa coordenação em institucionalizar esses processos de gestão, possibilitando a qualificação de profissionais de saúde inseri-dos nas diferentes instâncias gerenciais das atividades de controle da hanseníase no país.

o monitoramento das ações em andamento para a melhoria do programa de controle da hanseníase se antecede à necessidade de avaliar de forma sistemática o grau de implementação do mesmo. a gestão municipalizada e descen-tralizada das ações de diagnóstico e tratamento da hanseníase, acompanhando o aumento de cobertura da atenção básica, vem diversificando as demandas para a incorporação de novas tecnologias, adequadas a cada nível de comple-xidade. da mesma forma, a multiplicidade de fontes de insumos relacionadas aos diferentes parceiros envolvidos.

nesse sentido, o objetivo deste manual é proporcionar uma prática pedagógica que ofereça conteúdos e habilida-des técnicas que permitam que as pessoas capacitadas incorporem as práticas de monitoramento e avaliação no seu cotidiano, institucionalizando-as. além disso, objetiva que essa capacitação viabilize e fomente o processo de qualificação desses profissionais para atuarem futuramente como multiplicadores, além de contribuírem de forma ativa para o sucesso das intervenções propostas.

as oficinas já realizadas nas regiões mais endêmicas do país – norte, nordeste e centro-oeste – foram responsáveis por um contingente de cerca de 470 participantes, com seleção de 46 monitores. Muito ainda tem de se realizar para ampliar a cobertura para todas as áreas geográficas com necessidade de implementar o desempenho de seus planos municipais de controle da hanseníase. espera-se, portanto, a reprodução dessas oficinas de capacitação, bem como a consolidação de processos dinâmicos e contínuos de monitoramento, com avaliações pontuais e adequações pertinentes.

esses manuais, do monitor e do aluno, resultam de um esforço conjunto de técnicos especializados do Ministério da saúde e da Fiocruz, por meio do Programa nacional de Controle da Hanseníase e do laser, da escola nacional de saúde Pública. além disso, recebeu a contribuição de técnicos regionais e locais, que foram os primeiros parti-cipantes dessas oficinas. a todos esses nossos parceiros, os nossos agradecimentos.

Gerson Pennasecretário de vigilância em saúde

Maria Leide W. de OliveiraCoordenadora do PnCH

7

Introdução

esta oficina faz parte do esforço para institucionalizar o monitoramento e avaliação (M&a) e possibilitar de forma mais efetiva a qualificação em M&a de profissionais inseridos nas atividades de controle da hanse-níase no país.

o objetivo desta oficina é operacionalizar uma prática pedagógica que propicie a reflexão e ofereça aos seus participantes conteúdos e habilidades técnicas que os capacite para iniciar a institucionalização dos processos de monitoramento e avaliação de programas. além disso, tem-se como propósito viabilizar e fomentar o proces-so de qualificação de técnicos que também possam ser multiplicadores da oficina, de acordo com as recomen-dações nacionais e internacionais para o campo de M&a.

a oficina foi estruturada para uma carga horária de no mínimo 16 (dezesseis) horas, embora a mesma possa ser adapta-da de acordo com a necessidade e a realidade local, não devendo, entretanto, ser reproduzida em menos de 16 horas.

a proposta pedagógica baseia-se na problematização que requer sucessivas aproximações com o objeto temático por meio de idas e vindas.

Para a realização da oficina, utiliza-se um conjunto de slides e o manual do aluno, que servem como guia para o processo de ensino-aprendizagem. Faz parte do conjunto de materiais didáticos o manual do professor, que é um caderno de apoio que visa nortear o trabalho de problematização e oferecer textos e bibliografias de suporte para o monitor da oficina.

esta oficina não tem a pretensão de ser considerada como um modelo pronto e acabado, mas oferece um conjunto de materiais didáticos de capacitação e apoio para o desenvolvimento operacional da prática de monitoramento e avaliação, que se caracteriza como ferramenta para o amadurecimento na identificação e uso de indicadores de M &a adequados a cada realidade, havendo expectativas de que possa contribuir para a construção de um sistema nacional de M&a.

Cabe mencionar que a elaboração deste material reúne técnicos da Fiocruz, por meio da escola nacional de saúde Pública (ensP), do Ministério da saúde, por meio do Programa nacional de Controle da Hanseníase (PnCH), e de um conjunto de técnicos brasileiros inseridos no programa que durante a testagem colaboraram de forma inestimável para esta versão.

9

SLIDE 01

Apoio didático

Ministério da SaúdeHanseníase: Monitoramento e Avaliação

10

AnotAçõeS

SLIDE 02

Planejamento das Atividades de Controle do Programa de Hanseníase

Diagnóstico situacional

Estratégias de intervenção

AvaliaçãoMonitorização

Fonte: Manual de normas do Programa de Controle de Hanseníase, 2002.

Apoio didático

11

AnotAçõeS

SLIDE 03

Provérbios

Como cada provérbio se relaciona

com Monitoramento e Avaliação?

Exercício 1


12

AnotAçõeS

SLIDE 04

Conceitos de Monitoramento

“elaboração e análise de mensurações rotineiras, através das quais seja possível detectar mudanças no ambiente ou no estado de saúde de comunidades” (last, 1988).

“Coleta de dados, análise regular dos dados e ampla disseminação dos dados a todos que deles necessitem” (WaldMan, 1998).

“análise continuada dos sistemas de informação, acompanhando procedimentos, produtos e situações de saúde” (HartZ, 2000).

Apoio didático

13

AnotAçõeS

SLIDE 05

Conceito de Avaliação

“avaliação é a coleta sistemática de dados sobre atividades, características e efeitos de programas para uso de interessados, de forma a reduzir incertezas, melhorar a efetividade e tomar decisões com respeito ao que aquele programa está fazendo, quais são seus resultados e como pode ser ajustado” (Patton, 1990).

“avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção, um serviço ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisão” (ContandrioPoUlos et al, 1997).

“Evaluation is not to prove it is to improve” (W. J. KelloGG FoUndation, 1998).


14

AnotAçõeS

SLIDE 06

Melhoria do programa

Os Usos da Avaliação

Compartilhamentodo conhecimento

produzido com parceiros

Prestação de contas(accountability)

Apoio didático

15

AnotAçõeS

SLIDE 07

Relação entre Situação Real e Intervenções

Situação real

intervenções são ações organizadas para mudar uma dada realidade e podem se estruturar sob a forma de:

Políticas•

Programas•

Projetos•

Intervenções

Problemas de saúde Efeitos


16

AnotAçõeS

SLIDE 08

Níveis e Objetos de M&A

sistema

estabelecimentos

serviços

ações

tecnologias

Políticas, programas e projetos

Fonte: Paim, 1993.

Apoio didático

17

AnotAçõeS

SLIDE 09DurAção Do ExErCíCio: 30 MinutoS.Excercício desenvolvido para construir uma compreensão sobre M&A.

Definições e terminologias

Leia a descrição da intervenção e responda cada questão

classificando se a atividade que está sendo realizada

é de Monitoramento ou de Avaliação.

Exercício 2


18

InStruçõeS

Leia a descrição da intervenção abaixo e responda cada questão, classificando se a atividade é de monitora-mento ou de avaliação.

A intervenção

A intervenção para descentralização das ações do Pro-grama de Hanseníase em um estado incluiu um dia de campanha para detecção de casos de hanseníase e durante a mesma treinar médicos(as), enfermeiro(as) e agentes comunitários de saúde (ACS). Durante as campanhas foram treinadas todas as categorias pro-fissionais das equipes de Saúde da Família e de uni-dades básicas.

Os resultados esperados eram: aumento da descoberta de casos novos, recuperação de casos em abandono de tratamento e capacitação dos profissionais para desen-volverem ações do Programa de Hanseníase.

QueStõeS

1. O número de casos detectados nas campanhas foi comparado com o número de casos novos estima-dos para o ano e verificou-se que durante as cam-panhas foram detectados 30% do total de casos estimados para o ano.

2. Através da lista de freqüência, identificou-se que, no primeiro semestre, 90 profissionais comparece-

ram ao treinamento durante as campanhas, de um total esperado de 170. No segundo semestre, 65 profissionais participaram do treinamento durante as campanhas.

3. Após dois anos de campanha analisaram-se os in-dicadores: percentual de casos novos com grau 0 de incapacidade, percentual de casos novos MB e percentual de comunicantes de casos novos exami-nados. Foi feita análise em comparação com dados dos 5 anos anteriores à intervenção e os resultados encontrados demonstraram que os achados eram insuficientes para um padrão pactuado como ade-quado. Após essa análise, desenvolveram-se inves-tigações para explicar por que os resultados não alcançaram o padrão adequado.

4. O serviço de epidemiologia da unidade básica de re-ferência está fazendo acompanhamento para verifi-car se os ACS estão notificando os casos suspeitos identificados em visitas domiciliares.

5. Com a implantação do PSF e descentralização das ações, os ACS, durante o cadastro das famílias, perguntavam a um dos moradores em cada do-micílio o que era hanseníase. Na fase seguinte ao cadastro foram realizadas ações educativas, incluindo a distribuição de folhetos com sinais e sintomas da doença, fixação de cartazes em pon-tos estratégicos e palestras em igrejas. Seis meses após as ações educativas foram refeitas entrevis-

tas em domicílios selecionados aleatoriamente para identificar possíveis mudanças na opinião dos moradores.

6. Com a descentralização do programa para as equi-pes de Saúde da Família, a regional propôs a verifi-cação trimestral do número de blister em estoque, das condições de armazenamento e do prazo de validade para remanejamento oportuno dos medi-camentos, a fim de evitar o desperdício.

7. A secretaria estadual de saúde solicitou à univer-sidade local comparar os coeficientes de detecção geral e em menores de 15 anos de idade, entre mu-nicípios que adotaram e municípios que não adota-ram a intervenção, buscando identificar as razões para as diferenças encontradas.

8. Em um dos municípios, durante a verificação dos achados de campanha, identificou-se que 20% dos casos novos de hanseníase eram portadores de hi-pertensão arterial e que 70% deles não faziam tra-tamento por desconhecerem o diagnóstico. Essas informações serviram de subsídio para pactuação de ações integradas.

9. No acompanhamento da sustentabilidade da inter-venção, identificou-se que foi aprovada pela Câmara de Vereadores de alguns municípios, dotação orça-mentária específica para a realização de campanhas e treinamento de profissionais de saúde.

Exercício 2 M&A – Definições e terminologias

Apoio didático

19

AnotAçõeS

SLIDE 10

Monitoramento

O que é Monitoramento?

acompanha rotineiramente informações prioritárias sobre um programa e •seus efeitos esperados.

acompanha os custos e o funcionamento do programa.•

Provê informações que podem ser utilizadas para a avaliação de programa.•

Melhora o programa e subsidia decisões de forma rápida e oportuna.•

Busca, em geral, responder perguntas como, por exemplo:

os achados indicam possibilidade de alcançar produtos e resultados •planejados?

Que estratégias/medidas devem ser adotadas para redirecionar a interven-•ção e ajustar os problemas verificados, garantindo a sustentabilidade de atividades promissoras?


20

AnotAçõeS

SLIDE 11

O que é Avaliação?

é um processo sistemático de coleta de informações sobre as atividades, •as características e os efeitos de um programa, respondendo a uma per-gunta avaliativa.

determina o mérito ou valor do programa e explica a relação entre ele •e seus efeitos considerando os contextos (político, econômico, cultural, sóciodemográfico, organizacional etc.).

é usada para julgar, embasar o planejamento, reestruturar o programa •com foco na sua melhoria por meio de decisões gerenciais pertinentes.

Avaliação

Apoio didático

21

AnotAçõeS

SLIDE 12

Relações entre M&A

AvaliaçãoMonitoramento

Monitoramento

AvaliaçãoMonitoramento

Avaliação


22

AnotAçõeS

SLIDE 13

Exercício 3

Classificar os indicadores/medidas,

marcando "x" na coluna apropriada.

DurAção Do ExErCíCio: 20 MinutoS. uM progrAMA tEM VárioS CoMponEntES: inSuMoS, proDutoS, rESuLtADoS E iMpACtoS. o ExErCíCio 3 foi DESEnVoLViDo pArA introDuzir A DiSCuSSão SobrE AS DEfiniçõES DE CADA uM DESSES CoMponEntES.

Apoio didático

23

itens insumo AtividAde Produto resultAdo imPActo

Número de exames dermatológicos realizados no programa.

Incidência e prevalência de dermatoses na população.

Profissionais de saúde existentes que serão alocados nas unidades e módulos de Saúde da Família para descentralização das ações.

Financiamento existente para descentralização.

Mudanças na representação social da hanseníase.

Número de kits distribuídos para teste de sensibilidade.

Realização de capacitações técnicas.

Número de unidades de saúde com o programa implantado após capacitação.

Desempenho dos profissionais no exame dermato-neurológico, avaliação de incapacidade e acompanhamento de tratamento.

Realização de ações educativas em comunidades.

Realização de campanhas semestrais para busca ativa de casos novos.

Número de cartilhas de prevenção de incapacidade distribuídas.

Esperança de vida ao nascer.

Taxa de cura de hanseníase.

Reinserção social do portador de hanseníase.

Unidade de saúde previamente existente.

Práticas profissionais adotadas.

Número de cartilhas de autocuidados distribuídas.

exercício 3 classifique os itens abaixo, marcando um "X" na coluna apropriada


24

AnotAçõeS

SLIDE 14

terminologias de Monitoramento e Avaliação

são os recursos necessários e disponíveis para uso no programa. incluem recursos financeiros, humanos, materiais e informações.

exemplos:

recursos financeiros específicos para o programa.•

Pessoal técnico para exame dermato-neurológico.•

análise de séries históricas para planejar a estimativa de número •de casos novos a serem detectados.

Procedimentos pelos quais os insumos são mobilizados visando à obtenção dos efeitos esperados.

exemplos:

treinar agentes comunitários para triagem de suspeitos.•

realizar teste de sensibilidade em lesões suspeitas.•

Insumos

Atividades

Apoio didático

25

AnotAçõeS

SLIDE 15


são os efeitos da intervenção nas populações-alvo. os resultados incluem vários tipos de efeitos, podendo considerar quantidades e qualidades (conhecimentos, atitudes, comportamentos).

exemplos:

Percentual de contatos examinados.•

Qualidade das ações de controle da hanseníase.•

Percentual de cura.•

Percentual de pacientes que comunicaram o diagnóstico à família.•

são as conseqüências imediatas da mobilização dos insumos por meio das atividades do programa.

exemplos:

número de pacientes com testes de sensibilidade realizados.•

número de usuários avaliados em campanhas.•

número de casos suspeitos referidos por agentes comunitários de saúde.•

Produtos

resultados


26

AnotAçõeS

SLIDE 16


referem-se aos efeitos de intervenções que são mensurados na população geral. raramente são atribuídos a uma única intervenção, a um único programa ou projeto.

exemplos:

incidência de hanseníase em menores de 15 anos de idade.•

Coeficiente de prevalência de hanseníase inferior a 1/10.000 habitantes.•

Grau de estigma em relação à hanseníase na população em geral.•

Impactos

Apoio didático

27

AnotAçõeS

SLIDE 17

Processo/implementação

Componentes de um Programa

Dados para desenvolvimento

do programa

Dados do programa Dados populacionais

Identificação do problema

e da mudança desejada

Insumos Atividades Produtos Resultados Impactos

recursos intervenções e serviços

efeitos imediatos

efeitos intermediários

efeitos finalísticos


28

AnotAçõeS

SLIDE 18

Exercício 4

Definições e terminologias

Classifique se as atividades de monitoramento e avaliação

do exercício 2 estão relacionadas com insumos, atividades,

produtos, processos, resultados ou impactos.

o objEtiVo Do ExErCíCio 4 é fixAr oS ConCEitoS EM M&A DoS DiVErSoS CoMponEntES DE MoDELo LógiCo DE uM progrAMA.

Apoio didático

29

Instruções

Classifique cada atividade de monitoramento ou ava-liação, de insumo, produto, resultado ou impacto.

A intervenção

A intervenção para descentralização das ações do Pro-grama de Hanseníase em um estado incluiu um dia de campanha para detecção de casos de hanseníase e durante a mesma treinar médicos(as), enfermeiro(as) e agentes comunitários de saúde (ACS). Durante as campanhas foram treinadas todas as categorias pro-fissionais das equipes de Saúde da Família e de uni-dades básicas.

Os resultados esperados eram: aumento da des-coberta de casos novos, recuperação de casos em abandono de tratamento e capacitação dos profis-sionais para desenvolverem ações do Programa de Hanseníase.

Questões

1. O número de casos detectados nas campanhas foi comparado com o número de casos novos estima-dos para o ano e verificou-se que durante as cam-panhas foram detectados 30% do total de casos estimados para o ano.

2. Através da lista de freqüência, identificou-se que, no primeiro semestre, 90 profissionais comparece-

ram ao treinamento durante as campanhas, de um total esperado de 170. No segundo semestre, 65 profissionais participaram do treinamento durante as campanhas.

3. Após dois anos de campanha analisaram-se os in-dicadores: percentual de casos novos com grau 0 de incapacidade, percentual de casos novos MB e percentual de comunicantes de casos novos exami-nados. Foi feita análise em comparação com dados dos 5 anos anteriores à intervenção e os resultados encontrados demonstraram que os achados eram insuficientes para um padrão pactuado como ade-quado. Após essa análise desenvolveram-se inves-tigações para explicar por que os resultados não alcançaram o padrão adequado.

4. O serviço de epidemiologia da unidade básica de referência está fazendo acompanhamento para ve-rificar se os ACS estão notificando os casos suspei-tos identificados em visitas domiciliares.

5. Com a implantação do PSF e descentralização das ações, os ACS, durante o cadastro das famí-lias, perguntavam a um dos moradores em cada domicílio o que era hanseníase. Na fase seguinte ao cadastro foram realizadas ações educativas, incluindo a distribuição de folhetos com sinais e sintomas da doença, fixação de cartazes em pontos estratégicos e palestras em igrejas. Seis meses após as ações educativas foram refeitas entrevistas em domicílios selecionados aleato-

riamente para identificar possíveis mudanças na opinião dos moradores.

6. Com a descentralização do programa para as equi-pes de Saúde da Família, a regional propôs a veri-ficação trimestral do número de blister, das con-dições de armazenamento e do prazo de validade para remanejamento oportuno dos medicamentos, a fim de evitar o desperdício.

7. A secretaria estadual de saúde solicitou à univer-sidade local comparar os coeficientes de detecção geral e em menores de 15 anos de idade, entre municípios que adotaram e municípios que não adotaram a intervenção, buscando identificar as razões para as diferenças encontradas.

8. Em um dos municípios, durante a verificação dos achados de campanha, identificou-se que 20% dos casos novos de hanseníase eram portadores de hi-pertensão arterial e que 70% deles não faziam tra-tamento por desconhecerem o diagnóstico. Essas informações serviram de subsídio para pactuação de ações integradas.

9. No acompanhamento da sustentabilidade da in-tervenção, identificou-se que foi aprovada pela Câmara de Vereadores de alguns municípios, dotação orçamentária específica para a realiza-ção de campanhas e treinamento de profissio-nais de saúde.

Exercícios 4 M&A – Definições e terminologias


30

AnotAçõeS

SLIDE 19


acompanhamento de informação sobre insumos ou recursos e sobre produtos resultantes das atividades do programa, considerando se as informações indicam possibilidade de alcançar produtos e resultados planejados.

Responde questões do tipo:

Insumo

Qual o número de profissionais disponíveis para o programa?•

Qual o número de • blisters necessários para suprir a demanda de medica-mentos para pacientes da área?

Produto

Qual o número de profissionais treinados?•

Qual o número de • blisters distribuídos?

Monitoramento de insumo/

produto

Apoio didático

31

AnotAçõeS

SLIDE 20


é abordada, usualmente, como equivalente à análise de implantação/implementação.

Complementa o monitoramento de insumos, atividades e produtos com uma dimensão explicativa, viabilizando a compreensão dos contextos que podem afetar o programa.

Responde a questões sobre o grau de implementação e fornece explicações sobre os achados, como sugerido a seguir:

a intervenção foi implementada conforme o planejado? •

Quais as possíveis explicações para os achados?•

exemplos:

todas as famílias foram cadastradas?•

Que fatores explicam os resultados do cadastramento?•

Qual o percentual da população que compareceu à campanha?•

Que fatores dificultaram ou facilitaram o acesso no dia da campanha? •

Avaliação de processo


32

AnotAçõeS

SLIDE 21

Modelo para Análise da Implementação

A Bautonomia técnica, gerencial, financeira

e política

Contexto organizacional

integralidade, acesso e qualidade das ações de saúde

Grau de implementação

Controle de riscos •e danos

satisfação do usuário•

Efeitos

Compromisso político•

vulnerabilidade social•

outros recursos e/ou •programas sociais

Componente externo

Modelo teórico ou Lógico dos Programas

Apoio didático

33

AnotAçõeS

SLIDE 22


acompanhamento das informações relacionadas aos efeitos esperados do •programa.

Usualmente é relacionado à população-alvo em um período de tempo, tais •como curto e médio prazos.

Responde a questões do tipo:

o efeito esperado ocorreu?•

o comparecimento à campanha implicou a descoberta de casos novos? •

Houve recuperação de casos em abandono de tratamento?•

exemplo:

Qual o percentual de casos confirmados dentre os casos suspeitos detecta-•dos por agentes comunitários de saúde?

Monitoramento de resultado


34

AnotAçõeS

SLIDE 23


Contempla ou aborda as explicações sobre as razões pelas quais as ativida-•des do programa alcançaram ou não os seus efeitos na população-alvo.

enfatiza as relações causais entre intervenção e efeito.•

Responde a questão do tipo:

a intervenção explica os efeitos esperados?•

exemplo:

as campanhas foram responsáveis pela variação no percentual de casos •novos detectados? Como?

Avaliação de resultado

Apoio didático

35

AnotAçõeS

SLIDE 24


refere-se, usualmente, ao acompanhamento das tendências epidemiológicas da doença.


a taxa de detecção/incidência de hanseníase mudou no período considerado?•

a taxa de incidência tem evoluído conforme o esperado?•

exemplo:

acompanhamento sistemático da evolução da taxa de incidência de hanse-•níase (vigilância epidemiológica da hanseníase).

Monitoramento de impacto


36

AnotAçõeS

SLIDE 25


análise das relações entre as tendências epidemiológicas da doença e os programas de controle e outros fatores associados.


Quanto do efeito se deve à intervenção?•

exemplo:

Quanto da variação na taxa de detecção/incidência de hanseníase foi devi-•da às campanhas?

Avaliação de impacto

Apoio didático

37

AnotAçõeS

SLIDE 26

Modelo Lógico de Interação

ProdutosResultados

de curto prazoResultados

intermediários

Insumos do programa estadual

Insumos do programa

federal

Insumos do programa municipal

Outros insumos

Programa

Programa

Programa

Programa

Programa

Programa

Programa

Programa

Impactos

Interfaces

Parcerias governamentais

Parcerias multisetoriais


38

AnotAçõeS

SLIDE 27

terminologias de Avaliação

é realizada durante todo o processo de planejamento e execução do •programa.

visa ao aprendizado e à construção de alternativas para a melhoria do •programa.


Como a intervenção pode ser modificada para atingir os seus produtos e •resultados?

existem melhores soluções que aquelas propostas pelo programa? •

Como os componentes deste programa se relacionam entre si?•

Avaliação formativa

Apoio didático

39

AnotAçõeS

SLIDE 28


Usualmente realizada para prover aos gestores ou aos usuários julgamento sobre pertinência ou mérito de um programa.


o programa é efetivo? •

o programa deve continuar?•

Usualmente realizada para prover aos gestores ou aos usuários julgamento sobre a conformidade de um programa às normas ou padrão ouro prescritos.


o programa segue as normas prescritas?•

Avaliação somativa

Avaliação normativa


40

AnotAçõeS

SLIDE 29


Relação entre avaliação formativa e somativa em um programa

Avaliação formativa

Avaliação somativa

vida do programa

Ênfa

se re

lativ

a

Apoio didático

41

AnotAçõeS

SLIDE 30

Relação entre Avaliação, Planejamento, Implementação e Resultado

estudos de avaliabilidade•

diagnóstico de situação•

Monitoramento de insumos •

atividades e produtos•

avaliação de processo•

Monitoramento de resultados•

avaliação de resultado•

Monitoramento de impacto•

avaliação de impacto•

Planejamento Implementação e efeitos operacionais Efeitos finalísticos

ESSE SLiDE AprESEntA AS rELAçõES EntrE A AVALiAção, o pLAnEjAMEnto E A ExECução Do progrAMA, E ExEMpLifiCA SituAçõES ConCrEtAS DE AVALiAção noS VárioS MoMEntoS DESSAS rELAçõES.


42

AnotAçõeS

SLIDE 31

Implicações do Desconhecimento de como uma Intervenção foi Implementada

Planejamento

??????????

Efeitos

Apoio didático

43

AnotAçõeS

SLIDE 32

níveis do esforço em M&A

núm

ero

de p

roje

tos

M&A: Expectativas Realistas

todos os níveis Maioria dos níveis

Considerar relação com a execução

do programa

Alguns níveis

Considerar a possibilidade de identificar efeitos

sobre população-alvo

Poucos níveis

Considerar a possibilidade de identificar efeitos

na população geral

Monitoramento de insumos, atividades

e produtos

avaliação de processoM&a de resultado M&a de impacto

Adaptado de rehle/rugg M&e Pipeline Model, FHI 2001.

Pipeline de M&A


44

AnotAçõeS

SLIDE 33

Componentes do Modelo Lógico do Programa

1 2 3 4 5

Recursos/insumos Atividades Produtos Resultados Impactos

trabalho previsto efeitos esperados

Identificação do problema

Apoio didático

45

AnotAçõeS

SLIDE 34

Análise de situação

Análise de intervenções

de estratégias conhecidas

necessidade dos atoresAnálise de recursosPlanos de

colaboração

FinanciamentostécnicosMateriais

InstalaçõesSuprimentos

treinamentosAções educativas

tratamentosCampanhas

nº de técnicos treinadosnº de participantes

em ações educativasnº de blisters distribuídos

nº de usuários atendidos em campanhas

nº de casos suspeitos identificados

em campanhasnº de casos novos

descobertos em campanhas

% de técnicos habilitados nas ações de controle

% de participantes/ total esperado

% de blisters distribuídos/pacientes em tratamento% da população atendida

em campanhas% de casos suspeitos/total atendidos nas campanhas% de casos confirmados/suspeitos na campanha

% de casos novos segundo grau de incapacidade

Incidência e prevalência de

hanseníaseestigma

Incidência em menores de 15 anos

Concessão de benefícios do InSS por incapacidade

exeMPloS: reAlIzAr: reDuzIr:

Diagnóstico e planejamento

Insumos (recursos)

Atividades (intervenções,

serviços)

Produtos (efeitos imediatos)

Resultados(efeitos intermediários)

Impactos (efeito acumulado/

longo prazo)

Processo/Implementação

Dados para desenvolvimento

do programa

Dados do programa Dados populacionais: saúde, sóciocomportamentais

InForMAçõeS

Modelo Lógico do Programa de Hanseníase

Além de monitorar dados, alguns programas realizam avaliações de processo e de resultado.

EStE SLiDE MoStrA A priMEirA ViSuALizAção Do EnCADEAMEnto LógiCo DoS CoMponEntES Do progrAMA, DEtALhADo poStEriorMEntE no MoDELo LógiCo.


46

AnotAçõeS

SLIDE 35

Definição de Modelo Lógico

é uma maneira visual e sistemática de apresentar as relações entre inter-•venção e efeito.

é uma representação da racionalidade do programa, freqüentemente apre-•sentado como um fluxograma, um mapa ou uma tabela, que explicita a seqüência de passos que conduzem aos resultados do programa.

Ele deve incluir:

as relações entre os recursos necessários para operacionalizar o programa. •

as atividades planejadas e as mudanças ou resultados que o programa •pretende alcançar.

Modelo lógico

Apoio didático

47

AnotAçõeS

SLIDE 36

Identificação do problema: casos novos de hanseníase têm algum grau de incapacidade demonstrando que a detecção não é precoce.


Financiamento governamental

e outros

Sistema de informação

Material para capacitação técnica

equipes para descentralização

do programa

Cartazes e folderes

Cartilhas para orientar tratamento

e prevenção de incapacidades

Kits diagnóstico, tratamento e prevenção de incapacidades

Sistema de referência nível 2º/ 3º e 4º estruturado

treinar equipes de unidade e Saúde da

Família para diagnosticar e tratar, para ações de promoção, prevenção,

triagem em comunidade e uso de sistema

de informação

Disponibilizar material didático, inclusive normas

realizar supervisões do programa

Disponibilizar material para mobilização

comunitária

Disponibilizar material educativo para pacientes

Disponibilizar material para diagnóstico

e tratamento

referenciar pacientes

nº de treinamentos

realizados

nº de profissionais

treinados

nº casos novos identificados

nº casos novos em tratamento

nº supervisões realizadas

nº de áreas mobilizadas

nº de ações educativas realizadas

nº de casos em tratamento

nº de casos referidos

Desempenho dos técnicos no diagnóstico precoce,

avaliação de incapacidade, acompanhamento de tratamento e uso de

sistema de informação conforme normas

Desempenho dos ACS nas ações de promoção,

prevenção e triagem em comunidade

Aumento do nível de descentralização

das ações

Aumento do grau de informação da população

Aumento da adesão ao tratamento

Melhoria da qualidade do programa

Aumento das taxas de cura

redução das taxas

de abandono

redução do grau de

incapacidades físicas

Alteração significativa

do coeficiente de incidência

redução do estigma

na população em geral

Modelo Lógico de Implementação da Detecção Precoce de Casos de Hanseníase

o MoDELo LógiCo inCLui A DESCrição DoS CoMponEntES E AS rELAçõES EntrE CADA uM DELES, uSuALMEntE ExprESSAS no MoDELo por MEio DE SEtAS.


48

AnotAçõeS

SLIDE 37

Por que usar Modelos Lógicos?

ilustra a consistência lógica interna do programa, contribuindo para iden-•tificar lacunas e resultados não realísticos.

envolve os atores e promove a comunicação sobre o programa entre finan-•ciadores, executores, membros da comunidade e outros atores, inclusive avaliadores.

Focaliza a avaliação do programa ao identificar as questões avaliativas •apropriadas e os dados relevantes necessários.

Comunica o propósito fundamental do programa, evidenciando, de manei-•ra explícita, os produtos e resultados esperados do programa.

Contribui para o monitoramento do progresso do programa ao fornecer •um plano claro de acompanhamento, de forma que os sucessos possam ser reproduzidos e os problemas, evitados.

vantagens do modelo lógico

Apoio didático

49

AnotAçõeS

SLIDE 38

Limitações do Modelo Lógico

é uma representação da realidade, não a realidade.•os programas não são lineares. »

normalmente, não inclui efeitos, além daqueles inicialmente esperados.•

Há dificuldade do estabelecimento da causalidade.•Muitos fatores influenciam os efeitos. »

Parte do pressuposto que a escolha da intervenção é a mais correta.•não leva em conta a pergunta: o que estamos fazendo é o mais correto? »

limitações

AS inStruçõES DEStA páginA São ExtEnSiVAS AoS SLiDES 39 E 40.


50

AnotAçõeS

SLIDE 39DurAção Do ExErCíCio: 30 MinutoS. o objEtiVo Do ExErCíCio 5 é ConStruir uM MoDELo LógiCo pArA A VigiLânCiA DE ContAtoS.

Exercício 5

Construa o modelo lógico para vigilância de contatos

de hanseníase utilizando os cartões disponibilizados.

Apoio didático

51

AnotAçõeS

SLIDE 40

Objetivos e Metas

estabelece, de forma geral e abrangente, as intenções e os efeitos esperados do programa, orientando o seu desenvolvimento. explicita a mudança que a intervenção pretende alcançar.

estabelecem quantitativamente os efeitos esperados em um tempo deter-minado. devem ser específicas, viáveis e mensuráveis.

Conjunto de eventos ou ações concretas que, coletivamente, contribuem para alcançar o objetivo geral.

objetivo geral

objetivos específicos

Metas


52

AnotAçõeS

SLIDE 41

Exemplos de Objetivos e Metas

Objetivo específico:examinar contatos registrados de casos novos e antigos em tratamento de hanseníase.

Metaao final do primeiro ano do projeto, metade dos contatos registra-dos de casos novos e antigos em tratamento no início da interven-ção deverão ter sido examinados.

ProDuto

nº de contatos de casos antigos e

novos examinados.

Objetivo específico:implantar estratégias educativas para que o portador de hanseníase comunique o diagnóstico a seus familiares.

Meta ao final do segundo ano do projeto, 90% dos casos novos e antigos em tratamento no início da intervenção deverão ter participado de reuniões educativas para a comunicação do diagnóstico à família.

reSultADo

Percentual de casos novos e antigos

que participaram de reuniões educativas

para comunicar o diagnóstico

à família.

Apoio didático

53

AnotAçõeS

SLIDE 42

Estratégia SMARt de Definição de Metas

eSPeCíFICA: identifica eventos ou ações concretas que ocorrerão. a meta especifica claramente o que deve ser alcançado, onde e o quanto?

MenSurável: Quantifica os recursos, as atividades e a mudança. a meta é mensurável?

AProPrIADA: relaciona logicamente o problema identificado com os efeitos desejáveis. a meta se relaciona com o que o programa se propõe a realizar?

ReAlIStA: dimensiona realisticamente a adequação entre os recursos disponíveis e o plano de implementação.

a meta é alcançável dada a disponibilidade de recursos e experiência?

teMPorAlIDADe: especifica um prazo no qual a meta será alcançada. a meta especifica quando ela será alcançada?

EStE é uM DoS ConCEitoS MAiS iMportAntES DESSA ofiCinA.


54

AnotAçõeS

SLIDE 43

Exemplos de Metas SMARt

ao final do primeiro ano do projeto, metade dos contatos registrados de casos novos e antigos em tratamen-to no início da intervenção deverão ter sido examinados.

ao final do segundo ano do projeto, 90% dos casos novos e antigos em tratamento no início da intervenção deverão ter participado de reuniões educativas para a comunicação do diagnóstico à família.

eSPeCíFICA: a meta especifica claramente o que deve ser alcançado, onde e o quanto?

MenSurável: a meta é mensurável?

AProPrIADA: a meta se relaciona com o que o programa se propõe a realizar?

ReAlIStA: a meta é alcançável dada a disponibilidade de recursos e experiência?

teMPorAlIDADe: a meta especifica quando ela será alcançada?

Apoio didático

55

AnotAçõeS

SLIDE 44

Exercício 6

Definição de metas SMARt

Escreva três metas SMArt relacionadas com

a vigilância de contatos de hanseníase.

DurAção Do ExErCíCio: 20 MinutoS.o objEtiVo Do ExErCíCio 6 é fixAr o ConCEito DA MEtA SMArt, LEVAnDo oS pArtiCipAntES A rEfLEtir SobrE uMA SituAção ConCrEtA.


56

Exercício 6 Desenvolvendo metas SMARt

Considerando informações sobre os mecanismos de transmissão da hanseníase, estudos científicos e observações empíricas consideram que a vigilância de contatos é atividade-chave para prevenção e diagnóstico precoce de casos novos. o modelo lógico previsto para implementação desta intervenção está descrito a seguir. a avaliação desta implementação também deve ser considerada. você deve elaborar metas para a intervenção que possam captar o processo, resultado e impacto.

identificação do problema

estudos epidemiológicos longitudinais identificam maior risco de hanseníase entre comunicantes domiciliares do que na •população em geral.

insumos local com privacidade e iluminação natural.•Profissionais com capacitação técnica. •livro de registro de contatos. •vacina BCG.•seringas, agulhas. •Kit para teste de sensibilidade. •Geladeira para armazenamento exclusivo de vacinas. •

atividades identificar contatos a serem examinados. •realizar exame dermato-neurológico em contatos. •diagnosticar casos novos e iniciar tratamento.•identificar contatos indenes para vacinação. •aplicar vacina BCG em contatos indenes. •

Produtos número de contatos identificados.•número de contatos examinados.•número de contatos doentes.•número de contatos indenes. •número de contatos indenes vacinados. •

resultados % de contatos examinados. •% de contatos doentes em tratamento. •% de contatos indenes.•% de contatos indenes que receberam BCG.•aumento do número de casos com diagnóstico precoce. •redução da incidência de formas multibacilares. •

impacto redução do coeficiente geral de incidência. •

Apoio didático

57

RELACIONE tRêS MEtAS PARA EStE PROGRAMA vERIfIqUE SE ESSAS MEtAS SEGUEM O CRItéRIO SMARt

ProDuto

eSpecífca

Mensurável

Apropriada

Realista

Temporalidade

reSultADo

eSpecífca

Mensurável

Apropriada

Realista

Temporalidade

IMPACto

eSpecífca

Mensurável

Apropriada

Realista

Temporalidade


58

AnotAçõeS

SLIDE 45ViMoS Até Aqui A utiLizAção Do MoDELo LógiCo pArA o pLAnEjAMEnto.A pArtir DE AgorA DiSCutirEMoS CoMo ESSA fErrAMEntA poDE SEr uSADA no M&A.

Utilizando Modelos Lógicos para Avaliação

Modelo teórico de avaliação

Apoio didático

59

AnotAçõeS

SLIDE 46

Modo de Pensar Avaliativo

existe uma diferença?essa diferença é aceitável?

Como explicar essa diferença?

nível de implementação

nível de desempenho

intervenção

efeitos na população-alvo

Planejado

Executado

Planejado

Alcançado

Modelo operacional

Modelo teórico


60

AnotAçõeS

SLIDE 47

Matriz de Avaliação de Programa

Contexto

planejado executado

indicadores padrões mérito

insumos

atividades

produtos

Descrição

valor

Con

tIn

gÊn

CIA

S

CongruÊnCIAS

Matriz de descrição

Matriz de julgamento

AdAptAdo de StAke 1973.

EnfAtizE quE o MoDELo tEóriCo DA AVALiAção é CoMpoSto DE trêS MAtrizES intEgrADAS: A MAtriz DESCritiVA Do progrAMA, A DE CoMpArAção ou AnáLiSE E A DE juLgAMEnto.AproVEitE ESSE MoMEnto pArA rELEMbrAr A DifErEnçA EntrE AVALiAção E MonitorAMEnto.

Apoio didático

61

AnotAçõeS

SLIDE 48

Ou seja...

Existe uma diferença?(descrever + comparar)

Como explicar essa diferença?(descrever + analisar)

Essa diferença é aceitável?(comparar + negociar padrões + julgar + explicar)

ESSE SLiDE SintEtizA oS prinCipAiS pontoS DiSCutiDoS noS SLiDES AntEriorES.


62

AnotAçõeS

SLIDE 49

Exemplo de Modelo Operacional de Avaliação de Intervenção para Detecção Precoce de Caso de Hanseníase

Lógica da intervenção: a mobilização da população para reconhecimento dos sinais e sintomas de hanseníase motiva casos suspeitos a participarem das campanhas; as equipes de saúde da Família e agentes comunitários treinados fazem busca ativa de casos em domicílios; os pacientes participantes de ações educativas comunicam o diagnóstico aos familiares que procuram espontaneamente os serviços. a descentralização das ações de controle e integração com a rede básica facilita o acesso. o treinamento de profissionais e a disseminação da informação para a população contribui para a descoberta precoce de casos novos, aumento nas taxas de cura, alterando a incidência da doença.

Profissionaistreinados

Profissionaistreinados

realizar campanhas

Campanhas realizadas


realização de duas campanhas no ano

600 pessoas examinadas

45 casos confirmados

45 casos novos

iniciando tratamento

30 casos novos

iniciando tratamento

100% de taxa de cura

80% de taxa de cura

alteração significativa

na incidência de hanseníase

alteração da incidência da

hanseníase não foi significativa

realização de uma campanha no ano


30 casos confirmados

ESSE SLiDE MoStrA uM ExEMpLo DE MoDELo tEóriCo pArA AVALiAção DE AtiViDADES pLAnEjADAS nA intErVEnção.

Apoio didático

63

AnotAçõeS

SLIDE 50

Relação entre os Componentes de um Modelo Lógico, as Metas e as Perguntas Avaliativas

Modelo lógico

Meta

Perguntas de monitoramento

e avaliação

o quê e como medir

Profissionais treinados

realização no 1º ano da intervenção de uma campanha no ano


30 casos novos confirmados

30 casos novos

iniciaram tratamento

80% de taxa de cura

A alteração na incidência de hanseníase

não foi significativa

realizar durante 10 anos 2 campanhas no ano e examinar 600 pessoas a cada ano

os 45 casos novos descobertos em cada ano deverão iniciar tratamento

e 100% receberem alta por cura

Alteração significativa da incidência de hanseníase

Quantas campanhas foram realizadas no ano em curso e quantas pessoas foram examinadas? (monitoramento)

Por quê? (avaliação)

Quantos casos foram diagnosticados, iniciaram tratamento e tiveram alta por cura? (monitoramento)

Por quê? (avaliação)

Indicadores Método e fonte de coleta de dados

nº de campanhas realizadas

Análise de documentosFonte: relatórios de campanhas

nº de usuários examinados

Análise de documentosFonte: relatórios de campanhas

Facilidades/ obstáculos

entrevistasFonte: gerentes/gestores

Indicadores Método de coleta de dados

nº casos novos Análise documentalFonte: livro de registro de casos

nº de casos novos em tratamento

Análise documentalFonte: prontuários

nº altas por cura Análise documentalFonte: prontuários

Motivos abandono entrevistas Fonte: pacientes



64

AnotAçõeS

SLIDE 51

Exercício 7

Com base no modelo lógico:

a) Analise se as metas descritas são SMArt.

b) Elabore perguntas de monitoramento e avaliação.

c) Descreva o que será medido e como será medido.

Definição da pergunta de

monitoramento e avaliação

DurAção Do ExErCíCio: 20 MinutoS.o objEtiVo DESSE ExErCíCio é rEforçAr o ConCEito DE MEtA SMArt E EStiMuLAr o pArtiCipAntE A DESEnVoLVEr toDA A SEqüênCiA quE LigA AS pErguntAS DE MonitorAMEnto ou DE AVALiAção àS forMAS DE rESponDê-LAS, inCLuinDo oS MEioS DE VErifiCAção E oS inDiCADorES.

Apoio didático

65

AnotAçõeS

SLIDE 52

Exercício 7


ao final de 2 anos, 100% dos municípios

deverão ter implantado vigilância de contatos em unidades com o programa

ao final de cinco anos, 75% dos contatos de casos antigos e novos

registrados no início da intervenção deverão ter sido examinados e 100%

dos indenes vacinados com BCG

alteração significativa

no coeficiente de incidência ao final de

5 anos

Meta

Profissionais capacitados

Kit para teste de sensibilidade

Geladeira, seringas, agulhas e

vacina BCG

realizar exame

dermato- neurológico de contatos

aplicar BCG em contatos

indenes

número de contatos de casos novos e

antigos examinados

número de contatos indenes vacinados

número de casos confirmados em

tratamento

Percentual de casos

novos pauci e multibacilares

alteração do coeficiente

de incidência

Modelo lógico


66

AnotAçõeS

SLIDE 53

Etapas na Prática da Avaliação

Comprometa os atores estratégicosPessoas envolvidas ou afetadas, pessoas necessárias à sustentabilidade do programa •e usuários primários da avaliação (stakeholders).

Descreva a intervençãodefina com clareza o problema, necessidades, estágio do programa, contexto, re-•cursos e modelo lógico (articulando atividades a efeitos esperados).

Descreva o desenho da avaliaçãoPropósitos, questões, foco, usos, abordagem, métodos, acordos, usuários poten-•ciais dos achados da avaliação.

Acumule evidências com credibilidadeQualidade dos indicadores e das fontes de coleta de dados.•

Justifique as conclusõesPadrões, análise/síntese, interpretação, julgamento e recomendações.•

garanta o uso e compartilhe as lições aprendidasdesenho, preparação, retroalimentação, seguimento e disseminação. •

ESSE SLiDE SintEtizA AS prinCipAiS EtApAS prátiCAS DA AVALiAção.

Apoio didático

67

AnotAçõeS

SLIDE 54

Pré-requisitos de Avaliabilidade

existe a vontade de realizar avaliação?•

as pessoas que irão utilizar os resultados da avaliação foram identificadas?•

existe um modelo lógico descrevendo a implementação e os efeitos esperados?•

as perguntas avaliativas foram identificadas?•

existe a intenção de usar os resultados da avaliação?•

as informações necessárias estão definidas?•

os dados necessários estão disponíveis ou sua coleta é factível?•

os recursos para a avaliação estão assegurados?•

os procedimentos para coleta, manuseio e análise de dados foram desenvolvidos?•

existe uma estratégia para difundir e utilizar os resultados da avaliação?•

Not ready

Ready to evaluate!


68

AnotAçõeS

SLIDE 55

Pré-requisitos para uma Avaliação de Resultado

o programa é sustentável?•

o programa foi implementado de acordo com o plano estabelecido?•

o programa vem sendo desenvolvido com níveis de estabilidade aceitáveis?•

o programa atinge um número suficiente de pessoas?•

o programa tem sido executado com a intensidade suficiente?•

Apoio didático

69

AnotAçõeS

SLIDE 56

Padrões de Avaliação das Avaliações

Etapas da Avaliação

gara

nta o

uso

e co

mpa

rtilhe

as

liçõe

s ap

rend

idas

Comprometa os atores estratégicos

Descreva a

intervenção

com credibilidadeAcumule evidências

conclusõesJustifique as

exeqüibilidade

Propriedade

Acurácia

utilidade

desen

ho d

a av

alia

ção

Descr

eva

o

Padr

ões p

ara uma "boa" avaliação


70

AnotAçõeS

SLIDE 57

Como Avaliar uma Avaliação? (Meta-avaliação)

utilidadea avaliação atende às necessidades de informação dos usuários intencionais?•

exeqüibilidadetodos os passos necessários foram executados e dentro de um custo aceitável?•

Propriedadedurante o processo avaliativos, os princípios legais, éticos, técnicos e de respeito •ao bem-estar dos envolvidos ou afetados pela avaliação foram observados?

Acuráciaos resultados divulgados são tecnicamente válidos?•

obSErVE quE oS CritérioS DEVEM rEfLEtir A SinguLAriDADE DA AVALiAção propoStA E o ContExto EM quE ELA oCorrE.

Apoio didático

71

AnotAçõeS

SLIDE 58

Avaliação da Oficina

Que bom que...

Que pena que...

Que tal se...


72

73

Centers For disease Control and Prevention (CdC). Framework for Program evaluation in Public Health. MMWr, [s.l.], 17 sept., v. 48, p. 1-40, 1999.

______. Global AIDS Program Monitoring and evaluation Capacity Building for Program improvement Field Guide. atlanta, 2003.

ContrandrioPoUlos, andré-Pierre et al. a avaliação na Área da saúde: conceitos e métodos. in: avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. rio de Janeiro: Fiocruz, 1997.

HartZ, Z. M. a. (org.). Avaliação de Saúde: dos Modelos Conceituais à Prática na análise de implantação de Programas. rio de Janeiro: Fiocruz, 1997.

HartZ, Z. M. a. avaliação dos Programas de saúde: Perspectivas teórico-Metodológicas e Políticas institucionais. Ciência & Saúde Coletiva, [s.l.], v. 4, n. 2, p. 341-353, 1999.

______. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulgação em Saúde para Debate, rio de Janeiro, n. 21, p. 29-35, dez. 2000.

institUto Fonte. Introdução à Avaliação de Programas Sociais. são Paulo: instituto Fonte, 2004. (Coletânea de textos).

Joint CoMMittee on standards For edUCational evalUation. The Program Evaluation Standards. 2nd ed. thousand oaks: sage, 1994.

last, J. M. A Dictionary of Epidemiology. new York: oxford University Press, 1988.

Medina, M. G. et al. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. in: HartZ, Zulmira; vieira-da-silva l. M. (org.) Avaliação em Saúde: dos Modelos teóricos à Prática na avaliação de Programas e sistemas de saúde. salvador: edUFBa; rio de Janeiro: Fiocruz, 2005. p. 41-63.

Patton, M. Q. Qualitative Evaluation and Research Methods. newbury Park. sage Publications, 1990

______. Evaluation Methods. Hardcover: sage Publications, 2001.

______. Qualitative Research & Evaluation Methods. 3rd ed. thousand-oaks: sage Publications, 2002.

PosavaC, e.; CareY, r. G. Program Evaluation: Methods and Case studies. 6th ed. Upper saddle river: Prentice-Hall, 2003.

rUGG, d.; Mills, s. development of an integrated Monitoring and evaluation Plan. in: reHle, t. et al. (ed.). Evaluating Programs for HIV/Aids Prevention and Care in Developing Countries. arlington: Family Health international, 2000.

staKe, r. the Countenance of educational evaluation. in: WortHen, B. r.; sanders, J. r. Educational Evaluation: theory and Practice. California: Wadsworth Publishing Company, 1973.

W. K. KelloGG FoUndation. Evaluation Handbook. retrieved January, 1998.

______. Logic Model Development Guide: logic Models to Bring together Planning, evaluation & action. Battle Creek, Mi: W. K. Kellogg Foundation, 2001.

WaldMan, e. a. Usos da vigilância e da Monitorização em saúde Pública. Informe Epidemilógico do SUS, [s.l.], v. 7, n. 3, p. 7-26, jul./set. 1998.

WortHen, B. r.; sanders, J. r.; FitZPatriCK, J. l. Program Evaluation: alternative approaches and Practical Guidelines. 2nd ed. United states: longman, 1997.

Sites consultados:ellen taylor-Powell. [200-]. disponível em: <http://www.uwex.edu/ces/pdande/evaluation/evalpresentations.html>. acesso em: 16. jun. 2004.

CdC evaluation Working Group. [200-]. disponível em: <http://www.cdc.gov/eval/resources.htm#logic> acesso em: 26 out. 2004.

Referências

75

aMeriCan evalUation assoCiation. Guiding Principles for Evaluators. Fairhaven: eval, 2004.

anKer, M. et al. rapid evaluation Methods (reM) of Health services Performance: methodological observations. in: tHe Use of essential drugs. Geneva: WHo, 1992. (technical report series, n. 825).

Brasil. Ministério da saúde. Avaliação na Atenção Básica em Saúde: caminhos da institucionalização. Brasília, 2005. 36 p.

______. Ministério da saúde. Monitor Aids: sistema de Monitoramento de indicadores do Programa nacional de dst e aids. Brasília: Ministério da saúde, 2004. 100 p. il.

ContrandrioPoUlos, andré-Pierre. avaliando a institucionalização da avaliação. Ciência e Saúde Coletiva, rio de Janeiro, v. 11, n. 3, jul./set., 2006.

FelisBerto, eronildo. Monitoramento e avaliação na atenção Básica: novos horizontes. in: inForMes técnico-institucionais. Rev. Bras. Saúde Matern. Infant., recife, v. 4, n. 3, p. 317-321, jul./set., 2004.

Ferreira, Helder; Cassiolato, Martha; GonZaleZ, roberto. Como Elaborar Modelo Lógico de Programa: um roteiro básico. Brasília: ipea, 2007.

HartZ, Zulmira Maria de araújo. Princípios e Padrões em Meta-avaliação: diretrizes para os programas de saúde. Ciência & saúde Coletiva, [s.l.], v. 11, n. 3, p. 733-738, 2006.

MaCinKo, James; GUanais, Frederico C.; soUZa, Maria de Fátima Marinho de. evaluation of the impact of the Family Health Program on infant Mortality in Brazil, 1990-2002. J. Epidemol. Community Health, [s.l.], v. 60, p. 13-19, 2006.

Medina, M. G. et al. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. in: HartZ, Zulmira; vieira-da-silva, l. M. (org.). Avaliação em saúde:

dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. salvador: edufba; rio de Janeiro: Fiocruz, 2005. p. 41-63.

natal, sonia et al. avaliação do Programa de Controle da tuberculose: estudo de casos na amazônia legal. Bol. Pneumol. sanit., [s.l.], v. 12, n. 2, p. 91-109, 2004.

neMes, Maria inês Battistella et al. avaliação da Qualidade da assistência no Programa de aids: questões para a investigação em serviços de saúde no Brasil. Cad. Saúde Pública, rio de Janeiro, v. 20, p. 5310-5321, 2004. suplemento 2.

santos, elizabeth Moreira dos; natal, sonia; CrUZ, Marly. Dimensão Técnico-operacional: curso de especialização em avaliação de Programas de Controle de Processos endêmicos, com ênfase em dst/Hiv/aids. rio de Janeiro: abrasco, 2007. p. 7-10.

santos, iná s. et al. avaliação da eficácia do aconselhamento nutricional dentro da estratégia do aidPi (oMs/UniCeF). Rev. Bras. Epidemiol., [s.l.], v. 5, n. 1, 2002.

viCtoria, Cesar G. avaliando o impacto de intervenções em saúde. Rev. Bras. Epidemiol., [s.l.], v. 5, n. 1, 2002.

WortHen, Blaine r.; sanders, James r.; FitZPatriCK, Jody l. Como avaliar avaliações: curso de especialização em avaliação de Programas de Controle de Processos endêmicos, com ênfase em dst/Hiv/aids. in: ______. Avaliação de Programas: Concepções e Práticas. são Paulo: Gente, 2004. p. 21-31.

Para saber mais

disque saúde0800 61 1997

Biblioteca virtual em saúde do Ministério da saúdewww.saude.gov.br/bvs

secretaria de vigilância em saúdewww.saude.gov.br/svs

hanseníase: monitoramento e avaliação - manual de capacitação

Documents