Avaliação DiagnósticaPrograma Brasil Alfabetizado

Diretoria de Políticas de Educação de Jovens e Adultos

Ministério da Educação do Brasil

Santiago de Chile

Dezembro de 2008

Programa Brasil Alfabetizado

� Criação do Programa;

� Finalidade;

� Funcionamento;

� Características do público atendido;

� Abrangência do Programa.

Plano de Avalia ção do Programa Brasil Alfabetizado

� Sistema de avaliações para o Programa Brasil Alfabetizado instituido em 2004.

� Este sistema objetiva:a) Subsidiar os gestores do Programa; b) Adequar o Programa à realidade de sua execução;c) Melhorar a eficiência e efetividade.

� Inicialmente, foram propostas avaliações: a) Ex-anteb) Ex-post

Plano de Avalia ção do Programa Brasil Alfabetizado

� Foram utilizadas 36 avaliações agregadas em 18 funções. Estas foram distribuídas em quatro macrofunções, a saber:

a) Mobilização de recursos; b) Eficiência no uso dos recursos; c) Eficácia das ações realizadas; d) Seleção adequada dos beneficiários.

� Foi elaborada uma amostra de alfabetizandos, de alfabetizadores e de turmas para aplicação de questionários sócio-econômico, de gestão e o Teste Cognitivo, além do próprio entrevistador responder a um roteiro para observações.

Avalia ção Diagn óstica do Programa Brasil Alfabetizado

A Avaliação Diagnóstica do Programa Brasil Alfabetizado é

composta de quatro eixos de ações:

a) Avaliação Cognitiva Amostral;

b) Avaliação Cognitiva Universal;

c) Aplicação do INAF;

d) Interação com a Provinha Brasil.

Avaliações Cognitivas Amostral e Universal

� As Avaliações Cognitivas têm por finalidade revelar quais as competências e habilidades que os alunos possuem em leitura, escrita e matemática.

� Eixos de avaliação cognitiva integrados:a) Avaliação Amostral; b) Avaliação universal;

� As avaliações possuem a mesma matriz de referência cognitiva e banco de itens comum.Elas se diferenciam nos métodos de aplicação, de correção e

nos objetivos.

Avaliação amostral

A avaliação amostral permite :

� O acompanhamento do processo de alfabetização e aferição de resultados;

� A construção de uma escala de níveis de aprendizagem que traz subsídios para a equipe pedagógica do programa;

� Com custos relativamente baixos, fornecer um retrato da situação da população avaliada.

Avaliação Universal

Avaliação Universal visa:

� Fornecer instrumental de avaliação diagnóstica para as Secretarias Estaduais e Municipais de Educação;

� Permitir que as instituições parceiras encaminhem para a Educação de Jovens e Adultos aqueles alunos que já dominem determinadas competências e habilidades;

� Permitir que os alfabetizadores planejem as atividades de sala de aula de acordo com as especificidades de cada alfabetizando.

Histórico da Avaliação Cognitiva Amostral

Ano 2003� Teste de Aplicação individual;� Pré-teste com 200 alfabetizandos;

Ano 2004� Teste de aplicação coletiva;� Pré-teste com 600 alfabetizandos;

Ano 2005� Teste de aplicação coletiva no âmbito do PBA;� Aplicação de testes de entrada e saída com os mesmos

alfabetizandos;� 1400 aplicações (entrada e saída).

Anos 2006 e 2007

� Teste de aplicação coletiva;

� Aplicação no âmbito do Plano de Avaliação do Programa

Brasil Alfabetizado;

� Aplicação de testes de entrada e saída com os mesmos

alfabetizandos;

� 4.000 aplicações (entrada e saída).

Histórico da Avaliação Cognitiva Amostral

INAF – Índice de Alfabetismo Funcional

� O INAF – Indicador de Alfabetismo Funcional do Instituto Paulo Montenegro, revela os níveis de alfabetismo funcional da população adulta brasileira.

� Principais objetivos :

a) Oferecer informações sobre as habilidades e práticas de

leitura, escrita e matemática de brasileiros entre 15 e 64 anos;

b) Estimular iniciativas da sociedade civil;

c) Subsidiar a formulação de políticas públicas nas áreas de

educação e cultura.

Provinha Brasil

� Provinha Brasil - instrumento de avaliação cognitiva para a alfabetização infantil, do INEP.

� Integração entre Provinha Brasil e Teste Cognitivo do Programa Brasil Alfabetizado:

1) Compatibilização entre as escalas;

2) Inclusão de itens comuns aos dois estes permitindo:

a) Trabalho integrado;

b) Fortalecimento da qualidade e da continuidade da educação.

Definição dos domínios da Aprendizagem

Matrizes de Referência :

� É uma referência de avaliação, não abrange todas as capacidades;

� Descrevem conhecimentos considerados fundamentais em Leitura/Escrita e em Matemática.

� Apresentam um conjunto de capacidades e de conhecimentos passíveis de serem verificados.

� Está fundamentada também nos pressupostos do letramento.

Formato dos instrumentos de Avaliação

� Na Avaliação Cognitiva Amostral :a) 20 cadernos de prova b) Metodologia- Blocos Incompletos Balanceados - B.I.Bc) 10 itens de Leitura/Escrita, 2 itens de Leitura individual, 12

itens de Matemática.

� Na Avaliação Cognitiva Universal :a) 02 cadernos de prova;b) Manual do Aplicador; c) Cadernos do Aplicador; d) Gabaritos Comentados.

� Diagramações adaptadas à realidade do público-alvo.

Metodologia de análise de resultados

Na Avaliação Cognitiva Amostral :� Testes aplicados e corrigidos por uma instituição de

pesquisa;� Teoria de Resposta ao Item (TRI), de 3 parâmetros;

Na Avaliação Cognitiva Universal :� Testes aplicados e corrigidos localmente (equipes

das Secretarias de Educação). � Teoria de Resposta ao Item (TRI) de 1 parâmetro.

Divulgação dos Resultados

Avaliação Cognitiva Amostral� Instituição de pesquisa de campo - aplicação dos testes,

correção, constituição dos bancos de dados e processamento das informações;

� Instituição especialista em medidas educacionais e alfabetização - faz a análise psicométrica e pedagógica.

Avaliação Cognitiva Universal� Aplicada e corrigida pelas equipes das Secretarias Estaduais

e Municipais de Educação; � Resultados são informados via Sistema (on line) para análise

por intermédio da utilização da TRI de 1 parâmetro.

Principais Resultados

Análise dos dados : Modelo Multinível

� No teste de matemática : homens, mais jovens, com necessidade de lentes corretivas, que declararam saber ler e escrever ao final do curso e que já haviam freqüentado a escola se saem melhor no teste.

� No âmbito das turmas, o estudo demonstrou que quanto maior o percentual de alunos com necessidades especiais, pior o desempenho médio da turma.

� Outras variáveis significativas foram: índice de planejamento pedagógico e percentual de alfabetizandos na turma que receberem visitas de agentes de saúde em seus domicílios.

Principais Resultados

� No teste de Leitura/escrita , as variáveis significativas no nível aluno foram: idade, se é portador de necessidades especiais, se sabe ler e escrever e se já freqüentou a escola. O maior efeito foi na variável “saber ler e escrever”.

� Dentre as variáveis da turma, destacaram-se: percentual de alunos portadores de necessidades especiais, número de dias de aula por semana e percentual de alfabetizandos cuja mãe sabia ler e escrever.

� Também no caso agregado, quanto maior o percentual de alunos com necessidades especiais, pior o desempenho médio da turma.

Principais Êxitos

Na Avaliação Cognitiva Amostral:

� Elaboração de instrumentos de avaliação específicos; � Constituição de banco de itens de avaliação;� Construção da escala nacional de proficiência em Leitura/Escrita

e Matemática para o processo de alfabetização;� Avaliação formativa da equipe técnica do Ministério da

Educação; � Subsídios para aperfeiçoamento e redesenho das ações do

Programa Brasil Alfabetizado;� Subsídios para o desenho das estratégias da Avaliação

Cognitiva Universal.

Principais Êxitos

Na Avaliação Cognitiva Universal:

� Adesão das instituições parceiras;� Construção de documentos de apoio; � Construção de estratégias para incentivar a continuidade de

estudos em Educação de Jovens e Adultos; � Atualização dos conhecimentos do professor por meio da

análise dos eventuais erros dos alunos; � Desenvolvimento de atividades pedagógicas específicas para

cada turma.

Principais dificuldades

Avaliação Cogntiva Amostral:

� Temporalidade da consolidação e análise dos resultados;

� Os eventuais atrasos na disponibilização dos resultados;

Atuação em resposta:

O MEC vem trabalhando junto às instituições responsáveis e aos parceiros para traçar uma estratégia conjunta para fazer frente a este desafio.

Principais dificuldades

Avaliação Cognitiva Universal:

� A construção de estratégias adequadas para coleta dos resultados por intermédio de sistema de informação on line;

� Processo paulatino de adesão dos parceiros, internalizando o caráter diagnóstico da avaliação.

Considerações sobre a Avaliação de aprendizagem na Educação de Jovens e Adultos

� A experiência brasileira tem demonstrado a necessidade de um trabalho em duas frentes:a) Rigor na aplicação e análise dos resultados;b) Subsidiar o trabalho pedagógico dentro de sala de aula;

� Estratégia dupla:a) Estruturação de uma pesquisa externa; b) Envolvimento dos professores em um trabalho que garanta

sua autonomia e incentive o respeito e valorização das especificidades e dos saberes dos sujeitos na Educação de Jovens e Adultos.

Considerações sobre a Avaliação de aprendizagem na Educação de Jovens e Adultos

Aspectos relevantes:

� A participação de instituições com especialização em determinadas dimensões da avaliação;

� A integração da avaliação cognitiva com outras avaliações;

� O desenvolvimento de uma rede de aprendizagem e produção de conhecimento que potencializa:

a) elaboração de instrumentos;

b) metodologia, aplicações e interpretação dos resultados.

OBRIGADO

Ministério da Educação do Brasil – MECSecretaria de Educação Continuada, Alfabetização e DiversidadeDiretoria de Políticas de Educação de Jovens e Adultos

Endereço: Esplanada dos Ministérios, Bloco L, Sala 711CEP 70047-900 – Brasília – DF. Brasil.

Telefone: 55-61-21049530

Fax: 55-61-21049423

http://www.mec.gov.br/secad

e-mail: deja@mec.gov.br