métodos estatísticos em avaliação educacional (em larga...
TRANSCRIPT
Métodos Estatísticos em Avaliação
Educacional (em Larga Escala)
Dalton Francisco de AndradeProfessor titular aposentado – INE/UFSC
Professor voluntário – PPGEP/UFSC
Pesquisador associado – Fundação Vunesp
EST/UnB – Brasília, 19/03/2014
Tópicos a serem abordados
1. Introdução
2. Principais Avaliações Educacionais em Larga
Escala: SAEB, ENEM, PISA etc
3. Principais Métodos Estatísticos: Amostragem, TRI
e Modelos Hierárquicos/Multiníveis
4. Outros Métodos / Tópicos de Pesquisa
5. Capacitação
6. O Mercado de Trabalho
Introdução
- Visão geral
- Minha passagem pelo EST/UnB
Principais Avaliações Educacionais
em Larga Escala
1. SAEB
2. ENEM
3. PISA
4. Estaduais: SARESP, SAEPE, SPAECE etc
5. Municipais: Prova São Paulo …
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
INEP: www.inep.gov.br
portal.inep.gov.br/web/saeb/aneb-e-anresc
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Aneb: Avaliação Nacional da Educação Básica – amostral - 5º.
ano do EF, 9º. ano do EF e 3ª. série do EM (nos anos impares)
Anresc: Avaliação Nacional do rendimento Escolar –
“censitária” - escolas públicas de 5º. ano e 9º. ano do EF com
pelo menos 20 alunos no ano estudado. Denominada de Prova
Brasil e implementada em 2005. (nos anos impares)
ANA: Avaliação Nacional da Alfabetização – 3o. ano (annual a
partir de 2013)
Ideb: Indice de desenvolvimento da Educação Básica
SAEB: Sistema (Nacional) de Avaliação da
Educação Básica
Universo(população) de interesse/Universo(população)
de referência
Censo Escolar: Sistema de referência
Depois de 2005(com a Prova Brasil): juntar amostra
com “censo”
Medida de desempenho/proficiência: LP e MAT
(das escolas/Sistema)
“Explicando/Entendendo” desempenho/proficiência
ENEM: Exame Nacional do Ensino Médio
Voluntário
Quatro áreas: CN, CH, LC, MT
Redação
Objetivo: proficiência do candidato
Comparabilidade dos resultados entre exames
Principais Métodos Estatísticos:
1. Amostragem
2. Teoria da Resposta ao Item – TRI
3. Modelos Hierárquicos/Multiníveis
Amostragem
Probabilística: medida do erro
Unidade Primária de Amostragem – UPA
Conglomerado: Escola/Turma
Estratos de Interesse: Região, UF, Dependência
Administrativa ….
Amostragem Complexa
Teoria da Resposta ao Item - TRI
Medir Traço Latente: proficiência, qualidade
de vida, resistência à mudança, satisfação …
Conjunto de modelos que procuram
relacionar a probabilidade de um
indivíduo/respondente apresentar uma certa
resposta a um item/questão, com sua
proficiência e características do item
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
probabilidade de um indivíduo j, com proficiência θj ,
responder corretamente a um item i, de múltipla
escolha com somente uma alternativa correta, com
parâmetros ai , bi e ci ,.
)(1
1)1(),,,|1(
iji baiiiiijjie
cccbaXP
Teoria da Resposta ao Item - TRI
Exemplo: ML3P
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
-3 -2 -1 0 1 2 3
Pro
bab
ilid
ade
de
ace
rto
Proficiência=1,40
c=0,10
a=1,80
Curva Característica do Item (CCI) – Escala (0,1)
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Questionário: Questionário_altura.doc
Dados: altura211.dat
Modelo: ML2P (ML3P com c=0)
Estimação dos parâmetros dos itens: calibração
Teoria da Resposta ao Item - TRI
“Brincando com a medida da altura”: tratando altura
como traço latente
Resultados: Altura211_UnB.xls
Escala: posicionamento dos itens
Estimação das alturas(traço latente)
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
categorias ordinais
)](exp[1
1
)](exp[1
1)|1(
)1(
siji
isji
jjis
ba
baXP
iimii
bbb ...21
Teoria da Resposta ao Item - TRI
Exemplo: Modelo de Resposta Gradual (Samejima):
quatro categorias ordinais
Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)
0,0
0,2
0,4
0,6
0,8
1,0
1,2
-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0
Traço latente
Pro
bab
ilid
ad
e
P0 P1 P2 P3
Teoria da Resposta ao Item - TRI
Outros modelos Cumulativo:
Crédito Parcial: ai = a
Escala Gradual: bis = bi – ds
Multidimensional
Longitudinal
etc
Modelos Não Cumulativo:
Desdobramento (Unfolding)
Teoria da Resposta ao Item - TRI
Modelo de Desdobramento Graduado Generalizado
(GGUM) – Não Cumulativo
H
v
v
k
ikiji
v
k
ikiji
z
k
ikiji
z
k
ikiji
j
bvMabva
bzMabza
zZP
0 00
00
expexp
expexp
|
Teoria da Resposta ao Item - TRI
Modelo GGUM
12. My feelings about abortion are very mixed.
Modelo Hierárquico/Multinível
Entendendo/Explicando a variabilidade: por que
os alunos possuem proficiências diferentes?
Exemplo: 3o. EM
Prova de LP
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “usual”
Profic_LPij = β0 + εij
β0 : proficiência média global em LP
εij : erro/residuo ~ N(0,σ2)
Estimativa de β0 : 284,218(0,172)
Estimativa de σ2 : 2.092,981
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 1: aluno
Profic_LPij = β0j + rij
β0j : proficiência média da escola j em LP
rij : erro/residuo ~ N(0,τ2)
Modelo Hierárquico/Multinível
Modelo nulo:
Regressão “hierárquica/multinivel”
Nível 2: escola
β0j = β00 + u0j
β00 : proficiência média global em LP
u0j : erro/residuo ~ N(0,τ00)
rij e u0j independentes
Modelo Hierárquico/Multinível
Modelo nulo: (combinado)
Regressão “hierárquica/multinivel”
Profic_LPij = β00 + u0j + rij
Correlação intra-classe = τ00 / (τ00 + τ2)
Estimativas: β00 , τ00 e τ2
Modelo Hierárquico/Multinível
Modelo 1:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
Modelo Hierárquico/Multinível
Modelo 1:
Nível 2: escola
β0j = β00 + u0j
β1j = β10 + u1j
β00 : proficiência média dos alunos sem defasagem
β10 : efeito médio da defasagem de idade
u0j : erro/residuo ~ N(0,τ00)
u1j : erro/residuo ~ N(0,τ11)
rij , u0j e u1j independentes
Modelo Hierárquico/Multinível
Modelo 2:
Nível 1: aluno
Profic_LPij = β0j + β1j Defasij + rij
Defasij = 0(sem defasagem de idade), 1, 2 ..
β0j : proficiência média dos alunos sem defasagem de
idade da escola j
β1j : efeito da defasagem de idade na escola j
rij : erro/residuo ~ N(0,τ2)=
Modelo Hierárquico/Multinível
Modelo 2:
Nível 2: escola
β0j = β00 + β01DepAdmj + u0j
β1j = β10 + β11DepAdmj + u1j
DepAdmj : 0 (Pública) e 1(Privada)
β00 : proficiência média dos alunos da escola pública
sem defasagem
β10 : efeito médio da defasagem de idade na escola
pública
Definir β01 e β11 !!!!!
Outros Métodos /
Tópicos de Pesquisa
Funcionamento Diferenciado do Item – DIF
Estimação com “Itens dependentes”
Teste Adaptativo Informatizado (CAT)
Outros Métodos /
Tópicos de Pesquisa
Tratamento para dados incompletos(Missing Data)
Na resposta ao teste (tese da Vera Filgueira)
Na resposta ao questionário de fatores associados
Métodos para Detecção de Fraude
Exemplo do Ceará no Enem 2012
2nd Annual Conference on Statistical Detection of
Potencial Test Fraud
Sessão Temática no 21 SINAPE (Natal, 20 – 25 Julho)
Capacitação
1. Mestrado Profissional em Métodos e Gestão em
Avaliação – MGA: Capes/Inep – UFSC
(www.mga.ufsc.br)
2. PPGEP/UFSC: www.ppgep.ufsc.br
Linha de pesquisa: Teoria da Resposta ao Item
aplicada às organizações
Laboratório: www.custosemedidas.ufsc.br
3. UFPA, Unicamp, UFRJ, UFJF
O Mercado de Trabalho
1. Secretarias de Educação
2. Orgãos de pesquisa: Inep ....
3. Empresas/Fundações/Institutos: Cespe, CAED,
Vunesp, FCC, Cesgranrio, Avalia, Bradesco,
Ayrton Senna, Roberto Marinho, IQE ...
4. Startups:
Geekie (www.geekie.com.br)
Meritt (meritt.com.br)
MSTech (www.mstech.com.br)