O quanto estamos aprendendo?
Os avanços na avaliação da aprendizagem nas escolas públicas de Nova York e de São Paulo
19 de maio de 2010
Jesse Margolis
Instituto Braudel
2
• Observações gerais das escolas de São Paulo
– Caracteristicas em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação das escolas no estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
3
Escolas de São Paulo compartilham desafios com Nova York
• Ambos estados matriculam um número grande de alunos nas escolas públicas…– O estado de Nova York tem 2,7 milhões de alunos em 4,6 mil escolas públicas– O estado de São Paulo tem 7,8 milhões de alunos em 11,8 mil escolas públicas
(aprox. 10 Federais, 5,7 mil Estaduais e 6,1 mil Municipais)
Fonte: NYSED, Censo Escolar 2008, SARESP Cuestionário 2008; Nota: exclue eucação infantil para São Paulo. Exclue PK para NYC e inclue K-12.
• …e tem cidades grandes com uma fração importante das matrículas– A cidade de Nova York tem 1,0 milhão de alunos matriculados em 1,5 mil escolas
públicas– A cidade de São Paulo tem 2,0 milhões de alunos matriculados em 1,6 mil escolas
públicas (aprox. 2 Federais, 1,1 mil Estaduais e 500 Municipais)
• Em ambas, uma parte importante dos jovens estão matriculados em escolas privadas– Na cidade de Nova York, 19% dos alunos estão matriculados em escolas
particulares, comparado com 10% no resto do estado e 10% nos EUA– Na cidade de São Paulo, 18% dos alunos estão matriculados em escolas
particulares, comparado com 14% no resto do estado e 12% no Brasil
• …deixando o sistema público principalmente para famílias de baixa renda– Na cidade de Nova York, 66% dos alunos nas escolas públicas recebem almoço de
graça porque sua renda familiar é baixa– Em São Paulo, 68% dos pais de alunos nas escolas do Estado, dizem ter uma
renda de R$1.275 ou menos por mês
4
• Observações gerais das escolas de São Paulo
– Caracteristicas em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação de escolas no estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
5
• Estado: supervisão e regulação• Estabelecer padrões• Certificar professores• Avaliar alunos, escolas, e distritos• Definir distritos escolares e sua
governança• Equilibrar financiamento entre distritos
ricos e pobres
• Cidade: gerir escolas• Construir escolas• Contratar e estabelecer salário e
carreira de diretores, professores e outros profissionais
• Desenvolver um sistema de matrícula para alunos
• Estabelecer o curriculo e capacitar professores
• Pagar os profissionais e outros gastos
Responsabilidades para governança escolar são dividas diferentemente em São Paulo e Nova York
0%
20%
40%
60%
80%
100%
EnsinoFundamental
- Ciclo I
EnsinoFundamental
- Ciclo II
Ensino Médio
Por
cent
agem
de
alun
os
São Paulo: O governo Estadual e os municipios regulam e gerem escolas
Escolas estaduias
Escolas municipais
Nova York: Estado regula e Município gere escolas
2.5MM 2.5MM 1.5MM
Fonte: Censo Escolar 2008
6
0
50,000
100,000
150,000
200,000
Acc
ounta
nts
Regi
ster
ed
nurs
es
Sale
s(m
anufa
cturi
ng)
ES
,M
S&
HS
Teach
ers
Polic
eof
fice
rsO
ffic
esu
per
vis
ors
Car
pente
rs
Exe
cse
creta
ry
Tru
ckdr
ivers
Main
tenance
work
ers
Acc
ounting
cler
ks
Cust
omer
serv
ice
reps
Sec
reta
ries
Nurs
ing
aid
es
Secu
rity
guar
ds
Janitors
and
clean
ers
Off
ice
clerk
s,gen
era
l
Reta
ilsa
lesp
ers
ons
Tea
cher
ass
ista
nts
Wai
ters
Hom
ehea
lth
aid
es
Sto
ckcl
erks
Cash
iers
Chief executivesPhysicians
LawyersFinancialmanagers
Operationsmgr.
Nota: inclui categorias 25-2031, 25-2022 e 25-2021 para professores de ensino médio, fundamental II, e fundamental I. Não inclui professores de educação infantil ou educação especialFonte: Occupational Employment Statistics (OES) Survey, May 2008. Bureau of Labor Statistics and Department of Labor
Méd
ia S
alar
ial (
$US
/ an
o)Professores no estado de Nova York ganham acima da média salarial, porém menos do que as outras profissões que requerem educação superior
US$ 65.899 / ano
7
0
2,000
4,000
6,000
8,000Pro
f(e
nsi
no
super
ior)
Advo
gad
os
Ger
ente
soper
açõ
es
Gere
ntes
de
apoio
Sec
retá
rias
exe
cutiva
sEnfe
rmeiros
Pro
fess
ore
sEF
&EM
Con
duto
res
(dis
trib
)Pol
icia
is
Aux.enfe
rmag
em
Esc
ritu
rári
osem
gera
l
Vend
edor
es
em
loja
s
Alv
enaria
Guar
das
evi
gia
s
Gar
çons
ebar
men
Em
bel
ezam
ent
o
Rece
pci
onis
tas
Tele
mark
eting
Cozi
nheiros
Tra
balh
adore
sagríco
las
Manute
nçã
ode
edi
fíci
os
Cost
ura
de
roupa
s
Ser
viç
os
dom
éstico
s
Ate
nd.
de
crech
e/id
osos
MédicosDiretoresgerais
EngenheiroscivisDirigentesde empresas
Rep
sco
mer
ciai
s
Nota: inclui professores de escolas federais, estaduais, municipais, e particulares.Fonte: PNAD 2008
Méd
ia S
alar
ial (
$R /
mês
)O estado de São Paulo mostra uma tendencia similar apesar dos salários em geral, serem menores
R$ 1.706 / mês
0
2,000
4,000
6,000
8,000
10,000
Médic
os
Engenhei
ros
civi
s
Cir
urg
iões
-dentist
as
Engen
hei
ros
mec
ânic
os
Pro
f(e
nsi
no
super
ior)
Pes
q.
Eco
nôm
ica
Conta
dor
es
Journ
alis
tas
Advo
gad
os
Direto
res
de
pro
duçã
o
Psic
ólog
os
Enfe
rmeiros
Far
macê
utico
s
Fis
iote
rapeu
tas
eaf
ins
Pro
fess
ore
sEF
&EM
8
Dentro das profissões com alto indice de estudo superior, professores de ensino fundamental e medio representam o maior grupo e com menor salário
Nota: inclui só as profissões onde 80% ou mais dos respondentes indicaram que o “curso mais elevado que frequentou anteriormente” foi “Superior –graduação” ou “Mestrado ou doutorado”.Fonte: PNAD 2008
Méd
ia S
alar
ial
(R$
/ mês
)
R$ 1.706 / mês
9
Professores de tempo integral em São Paulo passam mais horas em aula durante uma semana
0
5
10
15
20
25
30
35
40
45
NYC (Alta Pobreza) NYC (Baixa Pobreza) Estado de São Paulo
Hor
as-a
ula
(50
min
utos
)
Aula(22 horas-aula)
Preparação(8 horas-aula)
Atividades profissionais
(5 horas-aula)
Almoço / transicões / outro (6 horas-aula)
Aprox. 41 horas-aula(34hr 10min / semana)
Aula(25 horas-aula)
Preparação(5 horas-aula)
Aprox. 41 horas-aula(34hr 10min / semana)
Aula(33 horas-aula)
HTPC (3 horas-aula)
Prep. (4 horas-aula)
40 horas-aula(33hr 20min / semana)
Dentro ou fora da escola (sem aula)Dentro da escola (sem aula)Dentro da escola (em aula)
Fonte: NYC DOE teachers contract (2007-2009); DECRETO Nº 55.078, DE 25 DE NOVEMBRO DE 2009
Atividades profissionais
(5 horas-aula)
Almoço / transicões / outro (6 horas-aula)
10
46% de professores nas escolas públicas do Estado de São Paulo relatam que trabalham em duas ou mais escolas
0%10%
20%30%
40%50%60%
70%80%
90%100%
EF1 (4a seríe) EF2 & EM (LinguaPortuguesa)
EF2 & EM(Matemática e
Física)
EF2 & EM(Ciências,
Química, Biologia)
Respondentes: 7,102 15,874 17,542 11,763
Por
cent
agem
de
Pro
fess
ores
Fonte: Questionário SARESP 2008
Uma escola
Duas escolas
Tres ou mais
11
Em todas as séries, o número médio de alunos por sala em São Paulo é maior que em Nova York
Nota: Alunos por sala em São Paulo para educação regular em escolas urbanas estaduais. Alunos por sala em Nova York e para “General Education” e “Gifted & Talented”Fonte: Censo Escolar 2008 para São Paulo; 2009/10 Class Size Report para Nova York
31 32 31 3235 35 35 36
3736 35
22 2325 25
26 27 28 27 27 27 27
0
5
10
15
20
25
30
35
40
1 2 3 4 5 6 7 8 9 10 11
Núm
ero
de a
luno
s po
r sal
a (m
édia
)
Estado de São Paulo (Média = 34.7)(escolas urbanas)
Série
Cidade de Nova York (Média = 26.1)
12
Ausência de professores é duas vezes e meia maior em São Paulo que em Nova York
15%
6%
0%
2%
4%
6%
8%
10%
12%
14%
16%
Estado de SãoPaulo (2008)
New York City(2006)
Por
cent
agem
de
dias
letiv
os
Taxa Média de ausência
Fonte: taxa para São Paulo baseada numa entrevista na revistaVeja com Paulo Renato Souza no 24/10/09. Taxa para Nova York baseada no artigo de Chicago Tribune “Teachers miss days; poor kids miss out; Educators at some struggling schools take most time off, analysis shows”, 25/09/06. Comentário de um professor em, “Paralisação dos professores em SP tem baixa adesão”, Estado de São Paulo, 09/03/10
Póliticas públicas nos últimos anos dão enfoque às faltas de professores
• Bônus por resultado (2008): bônus por resultado de até 22% do salário anual do professor e proporcional a sua taxa de frequência (mínimo de 67% de presença)
• Valorização pelo mérito (2010):professores precisam ter um mínimo de frequência para se qualificarem a receber um aumento salarial de 25%
• “Não penso em fazer greve porque, se faltar, perco a única chance de ter um aumento de verdade”
– Professor do Estado de São Paulo, 9 de março de 2010.
13
Em São Paulo, mais alunos de ensino médio estudam a noite
43,6%
5,7% 5,5%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
Escolas públicasestaduais de São Paulo
Escolas particulares deSão Paulo
Escolas públicas dacidade de Nova York
Matrículados (EM): 981,767 132,593 331,437
Por
cent
agem
de
alun
os d
e en
isno
méd
io
Fonte: Censo Escolar 2009 (Sinopse Tabela 2.16); NYCDOE ATS System as of 4/02/10
14
• Os alunos em São Paulo passam menos horas na escola
– O ano escolar é mais longo (200 dias em São Paulo vs. 185 dias em Nova York)
– O dia escolar para o aluno é mais curto (4 horas a 5 horas e 20 minutos em São Paulo vs. 6 a 7 horas em Nova York)
Outras observações sobre os alunos
• Os alunos de ensino médio em São Paulo tem mais matérias
– São Paulo: os alunos normalmente estão matriculados em 10 a 13 matérias.
– Nova York: alunos matriculados em 5 a 7 matérias.
15
• Os professores em São Paulo
– Lecionam por mais horas durante a semana
– Tem mais alunos por aula
– E apresentam maior probabilidade de dar aula em mais de uma escola
Professores de Ensino Fundamental II e Medio em São Paulo são responsáveis por mais alunos do que os professores de Nova York
Professores de São Paulo são responsáveis por muito mais alunos
Professores precisam conhecer os nomes, avaliar, e seguir o progresso de muito mais alunos
• Os alunos em São Paulo
– Estudam menos horas por semana
– E mais matérias ao mesmo tempo
16
• Observações gerais das escolas de São Paulo
– Caracteristicas em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação das escolas no estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
17
Nova York: Monitoramento e Responsabilização por Resultados
O Q
UÊ AVALIAR IMPOR
CONSEQUÊNCIAS HABILITAR
CO
MO
Boletim de ProgressoNotas de “A” a “F” baseadas no rendimentoe progresso dos alunos.
Avaliações QualitativasAvaliação da organização e da prática escolar.
Questionário escolarQuestionários para pais, alunos e professores.
DemandaMedimos a demanda de matrícula na escola.
PrêmiosBônus monetários aosdiretores e professores.
ConsequênciasCaso tenham resultados ruins e não haja melhora, substituem o diretor. Nos casos mais sérios, háo fechamento da escola
AutonomíaAutonomia aos diretorespara tomar decisõessobre: orçamento, contratação de professores e capacitação
Sistema de Rendimentoe Inovação (ARIS)
Avaliações diagnosticas
Equipes de InvestigaçãoEquipes de educadores em cada escola que utilizam os dados para eleger um problema sobre o qual possam trabalhar.
18
Princípios do Boletim de Progresso
O boletim de progresso está desenhado levando em conta vários princípios:
• Baseado em Resultados: Focar a conversa nos resultados dos alunos, e não nos insumos (ex. gasto por aluno, espaço físico da escola) do processo educacional
• O Rendimento e o Progresso: Medir ambos, o rendimento atuale o progresso individual dos alunos.
• Comparar Escolas Parecidas e a Cidade: Comparar uma escola a outra que trabalha com alunos semelhantes e também compará-las a uma escola que seja padrão para toda a cidade.
• Simples, Válido, e Possível de Verificar: Assegurar que os profissionais das escolas entendam o que está sendo avaliado e que possam verificar os resultados, para que assim saibam como melhorar seu rendimento.
19
As diferentes medidas do Boletim de Progresso
Ambiente Escolar15 pontos
Rendimento dos Alunos
25 pontos
Progresso dos Alunos60 pontos
Crédito AdicionalAté 15 pontos
• Questionário aos pais, alunos e professores
• Presença dos alunos
• Resultados nas provas de Língua Inglesa e Matemática
• Progresso individual dos alunos nas provas de Língua Inglesa e Matemática
• Taxa de graduação (4 e 6 anos)
• Adicional para alunos com melhor desempenho
• Progresso impressionante com alunos de baixo rendimento
• Progresso impressionante com alunos de baixo rendimento
• Questionário aos pais, alunos e professores
• Presença dos alunos
• Resultados nas provas finais por áreas
• Aprovação em cursos
Escolas de ensino fundamental
Escolas de ensino médio
20
• Observações gerais das escolas de São Paulo
– Caracteristicas em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação das escolas no estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
21
O SARESP é um bom instrumento para medir a aprendizagem dos alunos
• Escala de Desempenho: Utiliza a Teoria de Resposta aoItem (TRI) para assinalar um ponto a cada aluno em cadamatéria baseado numa escala de 0 a 500, com a maioriados alunos entre 125 e 400
• Níveis de Proficiência: Em cada disciplina e série, a escala se divide em quatro categorias
• Avançado
• Adequado
• Básico
• Abaixo do Básico
22
IDESP combina dois objetivos de uma maneira simples: melhora do desempenho com melhora da taxa de aprovação
• O IDESP baseia-se em dois indicadores:
• Indicador de Desempenho: Baseado nos níveis de proficiência dos alunos nas provas do SARESP de Língua Portuguesa e Matemática
• Indicador de Fluxo: Taxa de Aprovação dos alunos
IDESP = Indicador de Desempenho X Indicador
de Fluxo
23
IDESP tem um sistema bem pensado de metas de curto e longo prazo
Fonte: Nota técnica de IDESP, Secretaria Estuadual de Educação do Estado de São Paulo
• Metas de Longo Prazo (2030): A Secretaria de Educação do Estado de São Paulo (SEE-SP) estabeleceu metas de longo prazo baseado nos resultados dos países desenvolvidos da OCDE.
• Metas para cada escola: A SEE-SP estabeleceu metas intermediárias para cada escola, baseado na distância entre seu resultado atual e a meta de longo prazo
24
O cálculo do IDESP é relativamente simples, mas a explicação fornecida pelo Estado poderia ser melhor
O cálculo de Indicador de Desempenho (ID) se baseia nos níveis de proficiência• Av = porcentagem de alunos no nível avançado• Ad = porcentagem de alunos no nível adequado• B = porcentagem de alunos no nível básico• AB = porcentagem de alunos no nível abaixo de básico
IDjs = (10 x Av) + (6,66 x Ad) + (3,33 x B) + (0 x AB)
A. Fórmula de dois passos descrita na Nota Técnica do IDESP
Passo 1: Calcular Desfasagem Passo 2: Calcular Indicador de Desempenho
B. Formula equivalente de um passo
Nota: outra formula para “B” sería IDjs = (10 x Av) + (20/3 x Ad) + (10/3 x B) + (0 x AB)
25
IDESP é reforçado pelo programa de bônus por resultado
22.3%
4.6%
0%
5%
10%
15%
20%
25%
Estado de São Paulo Cidade de Nova York
Por
cent
agem
de
salá
rio m
édio
anu
al
Bônus máximo com porcentagem de salário médio do professor
Nota: Bônus de Nova York é US$3,000 por professor dado as 200 escolas no projeto piloto que alcancam suas metas do Progress Report. Bônus de São Paulo é até 2,9 salarios mensais adicionais aos professores cuja escola melhora no IDESP.Fonte: salarios de professores baseado no PNAD 2008 para São Paulo e o Bureau of Labor Statistics May 2008 Occupational Employment Statistics survey para Nova York
26
• Observações gerais das escolas de São Paulo
– Características em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação das escolas no Estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
27
Mudança do IDESP de 2007 a 2008
0
1
2
3
4
5
6
7
8
9
10
0 1 2 3 4 5 6 7 8 9 10
IDESP 2007
IDES
P 20
08
Nota: inclui cada nível de uma escola como um ponto separado Fonte: Boletim IDESP
0
1
2
3
4
5
6
7
8
9
10
0 1 2 3 4 5 6 7 8 9 10
IDESP 2008
IDES
P 20
09
28
Mudança do IDESP de 2008 a 2009
Nota: inclui cada nível de uma escola como um ponto separado Fonte: Boletim IDESP
Recomendação: Entrevistar pessoal da escola para identificar melhores práticas e revisar microdados para identificar debilidades potenciais na confiabilidade dos indicadores
29
Recomendação: incorporar a porcentagem de alunos que fazem o SARESP no cálculo do IDESP, potencialmente multiplicando o IDESP por esta porcentagem
Não existe incentivo para que os alunos fracos façam a prova
Fonte: Boletim SARESP 2008; Censo Escolar 2008; Entrevista com pesquisador
0
50
100
150
200
250
40% 50% 60% 70% 80% 90% 100%
93%85%
78%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
5th Grade 9th Grade 12th Grade
Porcentagem de alunos que fazem a prova(SARESP 2008)
Porcentagem de alunos que fazema prova por escola
(SARESP 2008, 8a série)
“Tinha muita escola que mandavam só os bons, e se só mandam os bons, o IDESP é melhor. O grande falha do IDESP é que não considera o número de alunos que faz a prova”
-- Diretora de Escola, Estado de São Paulo (Abril, 2010)
4a série 8a série 3o ano (EM)
30
“O SARESP não é ferramenta para melhorar a educação...Nós não temos acesso aos resultados dos alunos”
- Professor de Ensino Médio, Estado de São Paulo
Os resultados dos alunos no SARESP não são entregues as escolas, limitando seu uso na melhoria da educação
Recomendação: fazer um plano para entregar os resultados individuais do SARESP para as escolas e pais
“Quais são os alunos que estão abaixo do básico; nós não sabemos. Que erraram; nós não sabemos...Como é que vou trabalhar com os alunos este ano se eu não sei o que erraram”
- Coordenadora Pedagógica, Estado de São Paulo
31
Pais: Leia as frases abaixo e diga se concorda ou não com as afirmações:
Comunicação com os pais• 2.1. Eu recebo informação da escola sobre o progresso de meu filho.• 2.11. A escola sempre faz reuniões com os pais para informar sobre os filhos.
Envolvimento dos pais• 2.17. Quando há algum problema, sou rapidamente chamado na escola.• 2.19. A escola dá importância para a opinião dos pais.
Segurança dos alunos• 2.3. Meu filho está seguro na escola.• 2.16. Meu filho se sente seguro na escola.• 2.23. Esta escola tem muitos problemas de comportamento dos alunos.
Opinião sobre os professores• 2.4. Os professores da escola têm respeito pelos alunos.• 2.12. Eu considero que os professores são muito capazes.
Opinião sobre a escola• 2.15. Eu gostaria que meu filho estudasse em outra escola.• 2.24. Se eu pudesse pagar, meu filho iria para uma escola particular.
O questionário do SARESP dirigido aos pais, faz muitas perguntas que poderiam esclarecer muito sobre o ambiente escolar
Fonte: SARESP 2008 Questionário dos pais
32
O questionário poderia fornecer informações valiosas para avaliar o trabalho do sistema escolar
Fonte: SARESP 2008 Questionário dos pais
48%40%
57%
30%
36%41%
38%
23%
17% 19%5%
48%
58%
32%
10%
0%10%20%30%40%50%60%70%80%90%
100%
2.1. Eu receboinformação daescola sobre oprogresso de
meu filho.
2.19. A escoladá importânciapara a opinião
dos pais.
2.3. Meu filhoestá seguro na
escola.
2.12. Euconsidero queos professores
são muitocapazes.
2.15. Eugostaria que
meu filhoestudasse emoutra escola.
Por
cent
agem
de
Res
pond
ente
s
Concordo plenamente
Concordo em parte
Discordo
1,174,660 1,119,737 1,130,132 1,195,661 1,136,501
33
O questionário poderia fornecer aos pais, professores e alunos uma perspectiva interna da qualidade das escolas
Fonte: SARESP 2008 Questionario dos pais
58%
48%
40%
57%
30%
77%
61%
69% 71%
9%
27% 29%
22%
37%43%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
2.1. Eu receboinformação daescola sobre oprogresso de
meu filho.
2.19. A escoladá importânciapara a opinião
dos pais.
2.3. Meu filhoestá seguro na
escola.
2.12. Euconsidero que osprofessores sãomuito capazes.
2.15. Eu gostariaque meu filhoestudasse emoutra escola.
Por
cent
agem
que
Con
cord
am P
lena
men
te
Est
ado
de S
ão P
aulo
Esc
ola
A
Esc
ola
B
Recomendação: publicar resultados do questionário de pais, professores, e alunos, agregando ao nível da escola para manter a confidencialidade
34
IDESP Simulação para NYC: Na média, escolas com melhores notas no Boletim de Progresso apresentariam maiores resultados no IDESP simulado em 2009
4.5
5.25.7
6.1
0
1
2
3
4
5
6
7
D C B A
N* = 2 11 138 886
IDE
SP
Sím
ulad
o (2
009)
* inclui Ensino Fundamental I (4ª série) e Ensino Fundamental II (8ª série) separadamente, então escolas com ambas as séries podem aparecer duas vezes no gráfico.
IDESP Simulação para NYC: Entretanto, existiu muita variação sobre essas tendências
* inclui Ensino Fundamental I (4ª série) e Ensino Fundamental II (8ª série) saparadamente, então escolas com ambas as séries podem aparecer duas vezes no gráfico.
R = 0.20
0
20
40
60
80
100
120
140
2 3 4 5 6 7 8 9 10
IDESP Simulado (2009)
Res
ulta
do n
o B
olet
im d
e Pr
ogre
sso
(200
9)
36
1. Os dois instrumentos medem coisas diferentes
• O Boletim de Progresso inclui o questionário de pais como 15% da nota
• O IDESP inclui a taxa de promoção dos alunos
2. O Boletim de Progresso inclui mais alunos
• IDESP só inclui a série final de um ciclo (ex. 4a para ensino fundamental e 8a para ensino fundamental II)
• O Boletim de Progresso inclui todos os alunos que fazem a prova (anos 3 a 5 para ensino fundamental I e anos 6 a 8 para ensino fundamental II)
3. 75% do Boletim de Progresso é baseado numa comparação com escolas similares; o IDESP está calculado igual para todas as escolas do Estado
4. O Boletim de Progresso mede o progresso individual dos alunos; a mudança no IDESP compara o rendimento de um grupo de alunos com outro grupo na mesma série no ano seguinte
Hipóteses para explicar a diferença entre o Boletim de Progresso e o IDESP
Recomendações: Considerar um “Adicional de Qualidade” para:• Rendimento comparado entre escolas semelhantes• Progresso individual dos alunos
37
Continuar desenvolvendo ferramentas para ajudar diretores, professores, e outros profissionais das escolas a fazerem melhor seu trabalho
• Ferrementa em Excel que permite que a escola simule o desempenho na prova do SARESP e na promoção do alunos, observando o impacto destes no alcance das metas do IDESP.
IDESP Modelo
Escola:
Lingua Portuguesa 2009 Atual* 2010 Proj. 2009 Atual* 2010 Proj. 2009 Atual* 2010 Proj. EF1 EF2 EMAvançado (AV) 4% 4% 1% 1% 0% 0% IDESP 2009 2.93 2.08 0.79Adequado (AD) 21% 21% 11% 11% 17% 17% Meta 2010 3.09 2.21 0.88
Básico (B) 48% 48% 56% 56% 31% 31% Proj 2010 2.88 2.06 0.79Abaixo do Básico (AB) 26% 27% 32% 32% 52% 52%
Total 99% 100% 100% 100% 100% 100%
Indicador de Desempenho (LP) 3.4615 3.400 2.7451 2.700 2.1839 2.167
MatimáticasAvançado (AV) 2% 2% 1% 1% 0% 0%Adequado (AD) 14% 14% 4% 4% 2% 2%
Básico (B) 48% 48% 58% 58% 19% 19%Abaixo do Básico (AB) 36% 36% 37% 37% 79% 79%
Total 100% 100% 100% 100% 100% 100%
Indicador de Desempenho (Mat) 2.7677 2.733 2.3039 2.300 0.7471 0.767
Taixa de Promoção 94.0% 94.0% 82.4% 82.4% 54.0% 54.0%
IDESP 2.93 2.88 2.08 2.06 0.79 0.79
Meta para 2010 3.09 2.21 0.88
% de meta alcançada 0% 0% 2%
* No cálculo atual de 2009, os porcentagems em cada nível estão com uma grau de precisão maior de o que esta disponivél aqui Isso resulta que as sumas das porcentagems pode não igualar 100% por causa de "rounding"
Ensino Fundamental I Ensino Fundamental II Ensino Médio
2.93
2.08
0.79
3.09
2.21
0.88
2.88
2.06
0.79
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
EF1 EF2 EM
IDES
P
IDESP 2009Meta 2010Proj 2010
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Entendo como o IDESP estárelacionado ao bônus por
resultado
Por
cent
agem
de
Res
pond
ente
s
n = 37
Concordo plenamente
Concordo
Discordo
Discordo plenamente
Pesquisa com Professores Coordenadores (Abril, 2010) IDESP Modelo
38
• Observações gerais das escolas de São Paulo
– Caracteristicas em comum com Nova York
– Diferenças notáveis
• Breve apresentação do sistema de “accountability” de Nova York
• Análises da avaliação das escolas no estado de São Paulo
– Melhores práticas
– Oportunidades para melhorar
– Recomendações
O quanto estamos aprendendo?
39
• Curto prazo
• Simplificar a explicação do IDESP e implementar um programa ativo de capacitação para que o pessoal das escolas entendam o cálculo
• Estudar os grandes saltos no IDESP para identificar melhores práticas e/ou debilidades potenciais na confiabilidade dos indicadores
• Incorporar a porcentagem de alunos que fazem o SARESP no cálculo do IDESP
• Publicar resultados do questionário de pais, professores e alunos, agregando resultados a nivel de escola para manter a confidencialidade
• Longo prazo
• Fazer um plano para entregar os resultados individuais do SARESP para as escolas e pais
• Considerar um “Adicional de Qualidade” para rendimento comparado entre escolas semelhantes e progresso individual dos alunos
• Continuar desenvolvendo ferramentas para ajudar diretores, professores coordenadores, professores, e outros profissionais a realizarem melhor seu trabalho
Recomendações