oficina de apropriação de resultados – saethe 2014
DESCRIPTION
Oficina de Apropriação de Resultados – Saethe 2014. Módulo II Uso dos resultados. Avaliação interna e Avaliação externa. Avaliação externa. Avaliação interna. Avaliação da aprendizagem. Desempenho dos alunos. Permite retratar como uma população está em relação - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/1.jpg)
Oficina de Apropriação de Resultados – Saethe 2014
Módulo IIUso dos resultados
![Page 2: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/2.jpg)
Avaliação da aprendizagem.Avaliação da aprendizagem.
Permite o acompanhamento da aprendizagem, carência e
necessidade de ajuda de cada estudante em sua formação.
Permite o acompanhamento da aprendizagem, carência e
necessidade de ajuda de cada estudante em sua formação.
Desempenho dos alunos.Desempenho dos alunos.
Permite retratar como uma população está em relaçãoà qualidade do ensino e à efetividade do seu modelo
educacional.
Permite retratar como uma população está em relaçãoà qualidade do ensino e à efetividade do seu modelo
educacional.
Avaliação interna Avaliação externa
Avaliação interna e Avaliação externa
Teoria Clássica dos Testes.Teoria Clássica dos Testes. Teoria de Resposta ao Item.Teoria de Resposta ao Item.
![Page 3: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/3.jpg)
![Page 4: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/4.jpg)
Canais de divulgação
apenas na avaliação de saída, realizada
no final de 2014
![Page 5: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/5.jpg)
Como funciona a avaliação em larga escala?
![Page 6: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/6.jpg)
O que é avaliado?
![Page 7: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/7.jpg)
Matriz de Referência
![Page 8: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/8.jpg)
• O conteúdo de uma avaliação é algo importante a ser definido.
• Isso tem implicações para os instrumentos da avaliação.
• A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.
Matriz de Referência
![Page 9: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/9.jpg)
• A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município).
• Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.
Matriz de Referência
![Page 10: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/10.jpg)
• Então quer dizer que...1. A Matriz é uma parte do Currículo.2. Ela não substitui o Currículo, apenas o resume.3. A Matriz contém apenas competências e habilidades
essenciais que podem ser medidas em testes padronizados.
4. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.
Matriz de Referência
![Page 11: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/11.jpg)
SuporteEnunciado
Comando
Alternativas de reposta
Gabarito
Distratores
O item e suas partes
![Page 12: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/12.jpg)
A Medida de Desempenho
• A produção da medida de desempenho dos estudantes pode ser feita de duas formas:
1) Teoria Clássica dos Testes (TCT).2) Teoria de Resposta ao Item (TRI).
![Page 13: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/13.jpg)
A Medida de Desempenho
1) Teoria Clássica dos Testes.– É calculado de uma forma muito próxima das notas
dadas pelas avaliações realizadas pelo professor.– Consiste, basicamente, no percentual de acertos em
relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.
![Page 14: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/14.jpg)
A Medida de Desempenho
2) Teoria de Resposta ao Item:– Produz uma medida mais robusta do desempenho
dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.
– A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.
![Page 15: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/15.jpg)
Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd
Como os testes são corrigidos?
![Page 16: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/16.jpg)
2 + 22 + 2
2 x 32 x 3
2/7³2/7³
2² x (√3)2² x (√3)
Como os testes são corrigidos? – Ilustrando o parâmetro C
![Page 17: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/17.jpg)
Como são montados os testes
Itens Organizados em blocos Distribuídos em várioscadernos
![Page 18: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/18.jpg)
Como são montados os testes
• Blocos Incompletos Balanceados (BIB)– Itens organizados em blocos.– Cada bloco se combina com todos os outros, formando cadernos.– Conteúdo do caderno deve abranger toda a escala de dificuldade.
Caderno Bloco 1 Bloco 2
001 1 2
002 2 3
003 3 4
004 4 5
005 5 6
![Page 19: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/19.jpg)
Como são montados os testes
![Page 20: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/20.jpg)
200 400 600 800 1000
Como são montados os testes
![Page 21: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/21.jpg)
200 400 600 800 1000
Como são montados os testes
![Page 22: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/22.jpg)
200 400 600 800 1000
Como são montados os testes
![Page 23: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/23.jpg)
200 400 600 800 1000
Como são montados os testes
![Page 24: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/24.jpg)
200 400 600 800 1000
Como são montados os testes
![Page 25: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/25.jpg)
Como são montados os testes
• Então quer dizer que...1) Um Item é mais que uma questão comum: ele precisa
atender aos requisitos estatísticos da TRI.2) Os Itens são independentes das características dos
estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam.
3) Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.
![Page 26: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/26.jpg)
Exemplo hipotético:
Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.
Possíveis questões:Você consegue guardar as malas no bagageiro interno de um ônibus?Quando dorme à noite, seus pés ficam do lado de fora?Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?
Como os valores de proficiência são gerados?
![Page 27: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/27.jpg)
Exemplo de escala para a altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
![Page 28: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/28.jpg)
1,5 1,6 1,7 1,8 1,9
Item 1Item 1 Item 2Item 2 Item 3Item 3
Carolina Priscila Leonardo
Exemplo de escala para a altura de uma pessoa
Como as questões estão associadas à altura da pessoa...podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.
![Page 29: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/29.jpg)
![Page 30: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/30.jpg)
A escala de proficiência:A escala de proficiência:
Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.
Isso permite colocar numa mesma “régua” – escala – todas as habilidades.
Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar essas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.
Como os valores de proficiência são gerados?
![Page 31: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/31.jpg)
• Traduz as medidas em diagnósticos qualitativos do desempenho escolar.
• Régua de ordenamento dos valores dos testes, relacionados simultaneamente com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.
Escala de Proficiência
![Page 32: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/32.jpg)
• Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência.
• Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.
Padrões de Desempenho
![Page 33: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/33.jpg)
![Page 34: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/34.jpg)
Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
![Page 35: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/35.jpg)
Escala de Proficiênciae Padrões de Desempenho
• Então quer dizer que...1) Valores na Escala de Proficiência e Itens estão
diretamente relacionados: cada item tem uma proficiência associada a ele.
2) Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica.
3) Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais, e no planejamento pedagógico.
![Page 36: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/36.jpg)
Quais são os resultados que chegam até a escola?
![Page 37: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/37.jpg)
• participação;• médias de proficiência comparadas;• distribuição por padrões de desempenho.
Tipos de resultados disponíveis nas revistas e no portal da avaliação
![Page 38: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/38.jpg)
Resultados
Resultados da escola
![Page 39: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/39.jpg)
Como interpretar e analisar os resultados que chegam à escola?
![Page 40: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/40.jpg)
Resultados de participação
Município Zona Escola
![Page 41: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/41.jpg)
Médias comparadas
![Page 42: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/42.jpg)
Médias e distribuição por padrão
Proficiências médias Distribuição por Padrões
![Page 43: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/43.jpg)
Resultados comparados
Proficiência média
Resultados de participação Distribuição dos alunos por
Padrões de Desempenho
![Page 44: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/44.jpg)
Resultados da escola por níveisPercentual de alunos em cada nível de desempenho
![Page 45: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/45.jpg)
Canais de divulgação
http://www.portalavaliacao.caedufjf.net/
![Page 46: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/46.jpg)
Canais de divulgação
Selecionar o projeto
![Page 47: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/47.jpg)
Canais de divulgação
Aguardando aprovação pela
equipe da secretaria
![Page 48: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/48.jpg)
Canais de divulgação
![Page 49: Oficina de Apropriação de Resultados – Saethe 2014](https://reader030.vdocuments.mx/reader030/viewer/2022033105/56814245550346895dae6e6e/html5/thumbnails/49.jpg)
Canais de divulgação