1 métodos estatísticos para avaliação educacional e medida dalton f andrade (ine/ufsc -...

1

Métodos Estatísticos para Avaliação Educacional e Medida

Dalton F Andrade (INE/UFSC - [email protected])

39a. Regional da ABE – Belém, 06/12/05

2

Objetivos Apresentar alguns métodos estatísticos

utilizados em avaliações educacionais e medidaPlanejamento de ExperimentoAmostragemModelos Lineares Hierárquicos (ou

Multiníveis) – MLHTeoria da Resposta ao Item – TRI

3

SAEB – Avaliação da Educação Básica

Avaliar o sistema de ensino Anos impares Séries terminais (4a./8a. EF + 3a. EM) Várias disciplinas (Português, Matemática, ...) Amostra de alunos Muitos itens (questões) Medir a proficiência do aluno Estudo de fatores associados

4

Blocos Incompletos Balanceados - BIB

Avaliar uma grande parte de um currículo de uma determinada disciplina e série: necessário apresentar um grande número de itens aos alunos, maior do que eles poderiam responder em 2 horas de prova. Por exemplo, 169 itens de matemática para a 3a. série do EM: 13 conjuntos de 13 itens cada

Provas: Cadernos com 3 conjuntos cada 26 Provas, com conjuntos (itens) comuns Itens de outras séries e anos

5

Blocos Incompletos Balanceados - BIB

6

Amostragem complexa

Selecionar uma amostra de alunos satisfazendo certos critérios (região, dependência administrativa, período, ...) Unidade de interesse: aluno

Não existe lista com todos os alunos

Usar lista de escolas para selecionar escolas (Censo Escolar do INEP/MEC): ano anterior

7

Amostragem complexa

Usar lista de alunos, das escolas selecionadas, para selecionar alunos

Amostragem por conglomerados em dois ou três estágios

Estratificação

Heleno Bolfarine e Wilton O. Bussab (2005). Elementos de Amostragem. São Paulo: Edgard Blücher (ABE-Projeto Fisher)

8

Modelos Lineares Hierárquicos ou Multiníveis

Estudar como fatores de aluno, professor e escola estão associados com o desempenho dos alunos

Modelos de Regressão com estrutura especial de dependência

GOLDSTEIN, H. (1995). Multilevel Statistical Models. 2a ed. London: Edward Arnold.

RAUDENBUSH, S. W. e BRYK, A. S. (2002). Hierarchical Linear Models. 2a ed. Newbury Park: Sage.

9


Modelo de regressão:

Y = f(X1, ..., Xp, W1, ..., Wq) + Erro

X: características de aluno (gênero, idade, escolaridade dos pais, tempo de estudo extra classe,...)

W: características de escola (dependência administrativa, localização, recursos pedagógicos, práticas pedagógicas, capacitação da equipe técnica,...)

Erro: independentes com distribuição normal

10


Modelo multinível

X1: idade (em anos)

W1: dependência administrativa (1=particular, 0=pública)

Nível 1: aluno (8a. série)

proficij =0j + 1j (X1ij –14) + eij

Nível 2: escola

0j = 00 + 01W1j + u0j

1j = 10 + 11W1j + u1j

11

Modelos Lineares Hierárquicos (ou Multiníveis)

Resultados do SAEB 2001

Partição da Variância Disciplina Série Escolar

Entre Estados Entre Escolas Entre Alunos

4ª 9,34% 27,79% 62,87%

8ª 5,65% 32,06% 62,29% Matemática

11ª 6,84% 36,52% 56,64%

4ª 7,60% 23,68% 68,72%

8ª 4,48% 26,02% 69,50% Português

11ª 5,89% 28,83% 65,28%

12

Modelos Lineares Hierárquicos (ou Multiníveis)

Resultados do SAEB 2001: Matemática

Série Escolar

Fatores 4ª 8ª 11ª

Intercepto 172,63 (1,75) 240,31 (1,48) 277,05 (2,07)

Gênero 3,86 (0,32) 14,27 (0,37) 18,93 (0,46)

Raça 1,04 (0,34) 3,16 (0,38) 2,52 (0,48)

Defasagem -4,15 (0,18) -6,72 (0,21) -8,25 (0,23)

NSE 3,63 (0,21) 3,97 (0,25) 1,02 (0,30)

Rede 25,13 (1,10) 24,57 (1,23) 19,57 (1,46)

Média NSE 13,62 (0,62) 14,27 (0,71) 20,77 (1,00)

Média Defasagem -3,70 (0,49) -10,68 (0,49) -13,80 (0,70)

Seleção 3,27 (1,50) 12,89 (1,61) 17,28 (1,70)

13

Teoria da Resposta ao Item - TRI

Medir a proficiência dos alunos Comparar os resultados entre séries (4a., 8a. EF e

3a. EM) Comparar os resultados ao longo dos anos (SAEB

realizado a cada dois anos) para uma mesma série

Realizar diferentes provas entre anos, entre séries e entre alunos de uma mesma série - BIB

14

Teoria da Resposta ao Item - TRI

Teoria Clássica de Medida - TCM: 1. Resultados dependem do particular conjunto de questões que compõem a prova e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos.

2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas ou, pelo menos, ao que se denomina de provas paralelas, quase sempre difíceis de serem construídas.

15

Teoria da Resposta ao Item Teoria da Resposta ao Item – TRI:

1. Muda o foco de análise da prova como um todo para a análise de cada item (questão).

2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item

3. Traço latente: habilidade/proficiência em Matemática, Português, etc ...

16

Teoria da Resposta ao Item4. A partir de respostas dadas por indivíduos a um conjunto de itens (prova) deseja-se :

estimar os parâmetros dos itens (calibração)

estimar a habilidade/proficiência do aluno

estimar a proficiência média de um grupo de alunos

5. A probabilidade de resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens.

17

Teoria da Resposta ao Item

6. Quanto maior a proficiência do aluno, maior a probabilidade de ele acertar o item (modelo acumulativo).

7. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

18

Teoria da Resposta ao ItemModelos: dependem do tipo de item

• Itens corrigidos como certo/errado: múltipla escolha ou abertos

Modelo Logístico (unidimensional) com 1, 2 ou 3 parâmetros

)b(aiijijijie1

1)c1(c)|1U(P

19

Modelo Logístico de 3 parâmetros

Curva característica do item - CCI

0,0

0,2

0,4

0,6

0,8

1,0

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

habilidade (traço latente)

prob

abilid

ade

de re

spos

ta

corr

eta

b

a

c

iiiiiiii

a: discriminação ou inclinação do itemb: dificuldade (medido na mesma métrica do traço latente)c: probabilidade de acerto para indiv. com baixa habilidade

20


im

hihjih

isjis

jijs

ba

baUP

1

)](exp[

)](exp[)|1(

Logístico modelo no como b e a com isis

• Modelo Nominal: considera todas as categorias de resposta

21

Modelo Nominal

a=(-2,-1,1,0) e b=(-2,-1,2,1)

0,00,10,20,30,40,50,60,70,80,91,0

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

Traço latente

Pro

ba

bili

da

de

P1 P2 P3 P4

22


)](exp[1

1

)](exp[1

1)|1(

)1(

siji

isjijijs

ba

baUP

iimiibbb ...

21

• Modelo de Resposta Gradual: categorias ordinais

23

Modelo Resposta Gradual a=1,2 e b=(-2,-1,1)

0,00,20,40,60,81,01,2

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0

Traço latente

Prob

abili

dade

P0 P1 P2 P3

24


• Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a

• Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds

• Modelo de Grupos Múltiplos (várias populações)

25

Teoria da Resposta ao Item Resultados

Banco de Itens: itens calibrados na mesma escala

Estimativa dos rendimentos médios na mesma escala, para cada uma das séries e disciplinas ao longo dos anos

26


Matemática - Brasil

150

200

250

300

1995 1997 1999 2001 2003

anos

ren

dim

en

to m

éd

io

4a. 8a. 3a.

27

Teoria da Resposta ao Item Resultados

Equalização entre avaliações estaduais e o SAEB

Estudo do funcionamento de itens (DIF)

Estudo do desgaste de itens (DRIFT)

28

Referências bibliográficas ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. (2000).

Teoria da Resposta ao Item: conceitos e aplicações. 14o SINAPE, Associação Brasileira de Estatística.

(Disponível em www.inf.ufsc.br/~dandrade/tri)

BAKER, F. B., (1992). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker.

BOCK, R.D. & ZIMOWSKI, M.F. (1996). Multiple Group IRT, in Linden, W.J. van der & Hambleton, R.K. (eds). Handbook of Modern Item Response Theory, Springer.

29

Referências bibliográficas KLEIN, R. (2003). Utilização da Teoria de Resposta ao Item

no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.11, n.40, p.283-296, 2003.

LORD, F.M. (1980). Applications of item response theory to practical testing problems.Hillsdale:Lawrence Erlbaum Associates Inc.

Sistema Nacional de Avaliação da Educação Básica: SAEB 2001, Relatório Técnico. (2002). Consórcio Fundação Cesgranrio/Fundação Carlos Chagas, Rio de Janeiro..

30

Aplicação da TRI em Teste de Progresso

Avaliar o desempenho do aluno de curso de medicina

Prova realizada uma vez por ano por todos os alunos (1a.-6a.)

Comissão de avaliação do curso de medicina da UEL:

Sakai, M., Mashima, D., Ferreira Filho, O.F., Matsuo, T.

31

Aplicações da TRI em outras áreas

Medir o grau de maturidade de uma empresa em relação a Gestão pela Qualidade

- Alexandre, J.W.C., Andrade, D.F., Vasconcelos, A.P. e Araújo, A.M.S.(2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2, p.129-141.

Medir o Nível de Qualidade de Vida Mesbah, M., Cole, B.F. and Lee, M.L.T.(2002). Ed. Statistical

methods for quality of life studies: design, measurements and analysis. Boston:Kluwer Academic Publishers

32


Medir o Grau de Insegurança Alimentar Parke E. Wilde, Gerald J. and Dorothy R. Friedman (2004). Differential

Response Patterns Affect Food-Security Prevalence Estimates for Households with and without Children. J. Nutr.134: 1910–1915.

Med. Prev. Unicamp: profa. Ana Maria Segall Corrêa

Medir a Competência Clínica de Médicos Jishnu Das, Jeffrey Hammer (2005). Which doctor? Combining

vignettes and item response to measure clinical competence. Journal of Development Economics 78, 348-383.

33


Medir o Grau de Depressão Embretson, S. E. and Reise, S. P. (2000). Item response

theory for psychologists. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers.

Coleman, M. J., Matthysse, S., Levy, D. L., Cook, S., Lo, J. B. Y.,Rubin, D. B. and Holzman, P. S. (2002). Spatial and object working memory impairments in schizophrenia patients: a bayesian item-response theory analysis. Journal of Abnormal Psychology, 111, number 3, 425-435.

Dissertação de doutorado em Estatística no IME/USP.

34


Medir o Grau de Satisfação do Consumidor Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao

item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR

Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8-16.

Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC.

35


Medir o Grau de Depressão em Idosos

Yesavage JA, Brink TL Rose TL et al. (1983). Development and validation of a geriatric depression screening scale: a preliminary report. J Psychiat Res, 17:37-49.

UEL – Grupo de pesquisa em psiquiatria: Vargas, H.O., Matsuo, T., Blay, S., Andrade, D.F.

36


Genética: Medir a predisposição de um indivíduo em relação a uma certa doença

Tavares, H. R.; Andrade, D. F.; Pereira, C.A. (2004) Detection of determinant genes and diagnostic via item response theory. Genetics and Molecular Biology, v. 27, n. 4, p. 679-685.

1 métodos estatísticos para avaliação educacional e medida dalton f andrade (ine/ufsc -...

Documents