pesquisa sobre avaliações externas - resultados
TRANSCRIPT
Nigel BrookeGAME/FAE/UFMG
A Fundação Victor Civita, que tem por missão contribuir para a melhoria da
qualidade da Educação Básica no Brasil, produzindo publicações, sites,
material pedagógico, pesquisas e projetos que auxiliem na capacitação dos professores, gestores e demais
responsáveis pelo processo educacional, implantou uma área de
estudos com objetivo de levantar dados e informações que auxiliem as
discussões sobre práticas, metodologias e políticas públicas de Educação. Para acompanhar outros
trabalhos, visite o nosso site www.fvc.org.br/estudos.
EQUIPE DA FUNDAÇÃO VICTOR CIVITA
DIRETORIA EXECUTIVAAngela Cristina Dannemann
COORDENAÇÃO PEDAGÓGICARegina Scarpa
REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLARGabriel GrossiPaola Gentile
ESTUDOS, PESQUISAS E PROJETOSMauro MorellatoAdriana Deróbio
© 2011 Fundação Victor Civita. Todos os direitos reservados
Avaliação externa – Avaliação padronizada; avaliação de sistemas; avaliação em larga escala
Gestão educacional – As políticas das Secretarias Estaduais de Educação (SEE) que usam como critério os resultados dos sistemas próprios de avaliação (sistemas estaduais e os das grandes capitais)
Para quais políticas os gestores estão usando os resultados dos sistemas de avaliação?
Pesquisa FVC
DEFINIÇÕES
© 2011 Fundação Victor Civita. Todos os direitos reservados
Sistema classificatório para os usos da avaliação
Achados principais da pesquisa
Política de bonificação ou incentivo salarial
Especulações sobre consequências
RESUMO
Alcance
Características técnicas
Seus impactos
Pesquisa no Brasil
Pesquisa nos Estados Unidos e outros países
© 2011 Fundação Victor Civita. Todos os direitos reservados
NÚMERO DE ESTADOS COM SISTEMASPRÓPRIOS DE AVALIAÇÃO EDUCACIONAL1992-2011
© 2011 Fundação Victor Civita. Todos os direitos reservados
Tendência – Aumento gradual mesmo inconsistente
Hiatos
Transição para TRI
Momentos de mudança política
Recuos
Dados imperfeitos
Nenhum órgão para coletar esse tipo de informação
De que consiste um sistema estadual? Abrangência
SISTEMAS ESTADUAIS DE AVALIAÇÃO
© 2011 Fundação Victor Civita. Todos os direitos reservados
Crescimento no uso dos resultados pelas SEE
Reformas da Educação década 1990 calcadas na avaliação da qualidade (Brasil só um exemplo: 13 países da América Latina adotam sistemas de avaliação entre 1990 e 1998)
Reforma da gestão pública: ênfase na produtividade e eficiência do aparato governamental; melhoria na qualidade dos serviços públicos; metas e controle a posteriori dos resultados. Educação na linha de frente
Incorporação de modelos de accountability –responsabilização dos atores públicos via consequências
Para dar conta da expansão e diversificação dos usos, um novo sistema classificatório bidimensional
EXPANSÃO E DIVERSIFICAÇÃO
© 2011 Fundação Victor Civita. Todos os direitos reservados
USO DOS RESULTADOSSISTEMA CLASSIFICATÓRIO
© 2011 Fundação Victor Civita. Todos os direitos reservados
© 2011 Fundação Victor Civita. Todos os direitos reservados
Vou me concentrar no uso da avaliação para políticas de incentivo/bonificação salarial
Política veio para ficar
Sete estados já têm experiência: Amazonas, Ceará, Pernambuco, Rio de Janeiro, Minas Gerais, Espírito Santo e São Paulo
Distrito Federal já estabeleceu os procedimentos
Duas capitais – uma conseguiu (São Paulo) e outra não (Belo Horizonte)
FOCO
© 2011 Fundação Victor Civita. Todos os direitos reservados
Em Trairão, pequena cidade no sudoeste do Pará, a secretária de Educação fala do projeto que dá mais dinheiro aos professores e às escolas que apresentam desempenho melhor. “Com o projeto Professor por Excelência, a gente espera que dê uma alavancada no município. Para quem mais se destacar, o professor vai ganhar um valor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo um
valor alto, a gente espera motivar os envolvidos”, explica Maria Regina
No município de Careiro (AM), o secretário Paulo de Andrade conta
que estipulou uma meta mais “ousada” para estimular seus profissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1 no Ideb, os professores recebem 14º e 15º salários
Até os municípios menores estãoembarcando (usando o Ideb) segundoreportagem UOL Educação 02/09/2011
© 2011 Fundação Victor Civita. Todos os direitos reservados
QUE POLÍTICA É ESSA?
Não é nova. Uso de avaliações externas para responsabilizar professores, escolas e sistemas pela aprendizagem dos alunos tem longa história:
Em 1863, Parlamento britânico criou sistema de financiamento de escolas de acordo com os resultados dos alunos
Nova fase dessa política começa com o movimento de padrões mínimos na década de 1970 nos EUA. A lei Nenhuma Criança Deixada para Trás (2001) é um exemplo recente
© 2011 Fundação Victor Civita. Todos os direitos reservados
CARACTERÍSTICAS
(por exemplo, Ceará 2001 – Prêmio Educacional Escola do Novo Milênio; Rio de Janeiro 2000 – Programa Nova Escola):
Prêmio para a média de desempenho mais alto (ou % alunos com desempenho satisfatório)Ou evolução maior na média de desempenhoOutros critérios (gestão)
geração
Distribuição por faixa de desempenhoMedida do nível socioeconômico e/ou esforço da escolaUso de metasValorização da permanência Avaliações múltiplas (matérias, anos)
Critérios múltiplosValor agregado
geração
geração(?)
© 2011 Fundação Victor Civita. Todos os direitos reservados
QUAIS SÃO OS IMPACTOS?
Do ponto de visto do gestor:
Que há ganhos na aprendizagem pelos efeitos sobre o professor – Motivação e competência
Que há custos também – Custo/benefício
Do ponto de vista dos críticos, os efeitos colaterais dos testes high stakes (alto impacto) são severos:
Reduzem o ensino à preparação para os testes/estreitam o currículoFalseiam os dados das avaliações (inflação)Induzem à desonestidadeDesestruturam métodos colaborativos (quando individualizada)
© 2011 Fundação Victor Civita. Todos os direitos reservados
COMO AVALIAR?
A pesquisa no Brasil é escassa
Pesquisa descritiva (terminologia: bônus, bonificação, prêmio, gratificação, incentivo por mérito, por desempenho, por resultado)
Pesquisas de impacto
Sobre a política Nova Escola – Rio de Janeiro (Rodrigues, 2007; ganhos em Língua Portuguesa, perdas em Matemática) Uma em andamento – C. Ferraz, Pernambuco
Nem pesquisas mais qualitativas sobre os efeitos colaterais negativos. (?) Uma sobre os efeitos do Acordo de Resultados em MG (Soares, 2011) (resultados no Simave/Proeb; bônus até 100% vencimento mensal); “pressão” sobre professores de Português e Matemática para ensinar de acordo com a matriz de referência
© 2011 Fundação Victor Civita. Todos os direitos reservados
PESQUISA NOS EUA
Precisa fazer distinções: incentivos salariais versus outros tipos de incentivo/accountability (por exemplo: Nenhuma Criança Deixada para Trás (NCLB); exames de saída Ensino Médio)
Professor versus aluno (Nova York, Ohio)
Programas não são comparáveis – Diferentes no formato/cálculo dos bônus, na forma de medir desempenho dos professores (testes, VA, critérios múltiplos)
Mesmo assim, volume enorme de estudos e nem todos com a mesma qualidade. Problema para as meta-avaliações (por exemplo: Teresa Cozetti Pontual, Remuneração por Mérito, Fundação Lemann, 2008)
© 2011 Fundação Victor Civita. Todos os direitos reservados
FONTE CONFIÁVEL
National Research Council. Committee on Incentives and Test-Based Accountability in Public Education. 2011.
Estudos precisam ter grupo de controle
Precisa de testes low-stakes como medida de ganho real (controlar por distorção/inflação)
Excluir estudos transversais que comparam resultados com e sem programas de incentivos mas sem controlar pelos critérios de inclusão nos programas
Precisa olhar outros países
© 2011 Fundação Victor Civita. Todos os direitos reservados
ESTADOS UNIDOS
Nashville (Springer et al. 2010): experimento de 3 anos; professor de matemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valor agregado), teste estadual; critério 85% na distribuição distrital. Efeitos positivos para anos 5 (só um ano) e 6, negativos para 7 e 8
Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhos teste estadual + observações; até US$12 mil; das 10 combinações matéria/ano, 8 negativos, nenhum significativo; efeito positivo sobre retenção de professores
Texas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500 a US$1000 para alunos com pontuação de 3 ou mais em testes de advancedplacement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% em alunos indo para faculdade
Escolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 mil escolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativos de 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho ou decréscimo. De 18 combinações, ganho médio 0,01 d.p.
© 2011 Fundação Victor Civita. Todos os direitos reservados
OUTROS PAÍSES
Índia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos; ensino fundamental; incentivos individuais e coletivo; 100 escolas cada grupo; ganhos em Matemática e Língua; testes específicos; bônus de 3% salário; ganho médio de 0,19 d.p. (significativo); ganho maior em matemática. (Escolas com incentivos individuais 0,22 d.p., escolas coletivos 0,15 d.p.)
Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$ 1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc. % com diploma; aprox. 62- 1/3 das escolas de ensino médio do pais; proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.; efeitos maiores entre alunos de desempenho mais baixo
Israel (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5 mil para professores de inglês e matemática se turmas superaram expectativas; 49 escolas; número passando e a média nos testes melhoraram; efeitos significativos; principalmente para alunos de desempenho mais baixo
© 2011 Fundação Victor Civita. Todos os direitos reservados
CONCLUSÕES NATIONAL RESEARCH COUNCIL
Estados Unidos; efeito médio -0,02 a 0,06 desvios padrão
Programas de incentivos não têm influenciado níveis de desempenho de forma significativa. Muitos programas próximo de zero quando usa testes low-stakes de controle
Outros países: os efeitos são maiores mas continuam relativamente baixos. Média 0,08 d.p. Efeitos mais pronunciados para Matemática, Ensino Fundamental.
Benefícios pequenos. Porém:
Muitos desenhos ainda não testados (tipos de incentivo, individual versus coletivo, medidas de desempenho, outros tipos de accountability, etc)
Custos altos. Não deve substituir investimento em outras políticas de melhoria
© 2011 Fundação Victor Civita. Todos os direitos reservados
ALGUMAS ESPECULAÇÕES
O ambiente de responsabilização muito mais intenso nos Estados Unidos, por exemplo, Ensino Médio – expectativas dos pais e efeito NCLB.
Nesse contexto de preocupação com os resultados dos alunos, o impacto de incentivos salariais é próximo do zero.
Será que é por esse motivo que os impactos são sempre maiores nos outros países?
Qual o impacto no Brasil, onde os incentivos salariais são a opção escolhida para transmitir a importância associada aos resultados?
© 2011 Fundação Victor Civita. Todos os direitos reservados
CONSIDERAÇÕES FINAIS
Ainda não temos a pesquisa necessária nem para falar dos efeitos negativos nem dos possíveis benefícios
Extrair conclusões da pesquisa norte-americana é extremamente difícil. Além da falta de comparabilidade dos programas, há a questão do contexto de responsabilização
Talvez a ausência de pesquisa e de comprovação dos efeitos colaterais, mesmo no Ceará, seja a indicação que os impactos não seriam tão negativos no Brasil
Os programas de bônus podem ser inócuos em relação à aprendizagem (EUA) ou podem render benefícios parecidos com os de outros países (Índia, Israel)
© 2011 Fundação Victor Civita. Todos os direitos reservados