7-modelos multinivel

15
Psicologia e Educação 63 Vol. V, nº 2, Dez. 2006 Modelo Multinível do Desempenho Escolar de Alunos Socialmente Desfavorecidos em Escolas Públicas/Privadas – Aplicação aos Dados Portugueses do PISA 2000* Vera Marisa Dias** Maria Eugénia Ferrão*** Resumo: O objectivo deste artigo é testar as hipóteses colocadas por Coleman e Hoffer (1987) e por Corten e Dronkers (2004), que foram testadas tanto nos Estados Unidos como na Europa, respectivamente. As hipóteses são as seguintes: (i) alunos de estratos sociais desfavorecidos têm melhor desempenho escolar em escolas privadas com financiamento público do que em escolas públicas; (ii) alunos de estratos sociais desfavorecidos têm melhor desempenho escolar em escolas públicas do que em escolas privadas sem financiamento público. Modelos de regressão multinível foram aplicados aos dados portugueses do PISA 2000. Os resultados sugerem que no contexto português, quando o clima da sala de aula e as condições de ensino aprendizagem são controladas, o efeito de escola privada vs. pública no desempenho não é estatisticamente significativo e, assim, as hipóteses (i) e (ii) não foram verificadas. Os resultados mostram que se as condições de ensino- aprendizagem pudessem ser replicadas em escolas públicas, então não existiria efeito privado vs. público nos resultados dos alunos, tal como apresentado em Coleman (1982). Palavras chave: Modelo multinível, efeito escola, escola pública/privada, PISA Abstract: The aim oh this paper is to test hypotheses of Coleman and Hoffer (1987) and Corten and Dronkers (2004), which have been tested in the United States and Europe, respectively. The hypotheses are: (i) pupils from the lower social strata perform better in private government-dependent schools than in public ones; (ii) pupils from the lower social strata perform relatively better in public schools than in private government-independent ones. We applied multilevel models to the Portuguese sample data collected under the PISA 2000 survey. The results suggest that within the Portuguese context, when the classroom climate and the teaching and learning conditions are controlled, the private vs. public effect on academic achievement is not statistically significant and, hence, hypotheses (i) and (ii) are not verified. Our results show that if the private teaching and learning conditions could be replicated on the public ones, then there would be no private vs. public effect on academic achievement, as stated by Coleman at al. (1982). Keywords: Multilevel model, school effect, public / private school, PISA. _______________ * Trabalho desenvolvido no âmbito do contrato programa MCES-UBI; com o apoio do Centro de Emprego da Covilhã. Comunicação oral apresentada nas XII Jornadas de Classificação e Análise de dados. Açores, Abril 2005. ** Laboratório de Estatística Aplicada e Computacional do Departamento de Matemática da Universidade da Beira Interior. *** Departamento de Matemática da Universidade da Beira Interior.

Upload: manuela-baptista

Post on 05-Jul-2015

197 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 7-Modelos multinivel

Psicologia e Educação 63

Vol. V, nº 2, Dez. 2006

Modelo Multinível do Desempenho Escolar de Alunos SocialmenteDesfavorecidos em Escolas Públicas/Privadas – Aplicação aos DadosPortugueses do PISA 2000*Vera Marisa Dias**Maria Eugénia Ferrão***

Resumo: O objectivo deste artigo é testar as hipóteses colocadas por Coleman e Hoffer(1987) e por Corten e Dronkers (2004), que foram testadas tanto nos Estados Unidoscomo na Europa, respectivamente.As hipóteses são as seguintes: (i) alunos de estratos sociais desfavorecidos têm melhordesempenho escolar em escolas privadas com financiamento público do que em escolaspúblicas; (ii) alunos de estratos sociais desfavorecidos têm melhor desempenho escolarem escolas públicas do que em escolas privadas sem financiamento público.Modelos de regressão multinível foram aplicados aos dados portugueses do PISA 2000.Os resultados sugerem que no contexto português, quando o clima da sala de aulae as condições de ensino aprendizagem são controladas, o efeito de escola privadavs. pública no desempenho não é estatisticamente significativo e, assim, as hipóteses(i) e (ii) não foram verificadas. Os resultados mostram que se as condições de ensino-aprendizagem pudessem ser replicadas em escolas públicas, então não existiria efeitoprivado vs. público nos resultados dos alunos, tal como apresentado em Coleman (1982).Palavras chave: Modelo multinível, efeito escola, escola pública/privada, PISA

Abstract: The aim oh this paper is to test hypotheses of Coleman and Hoffer (1987)and Corten and Dronkers (2004), which have been tested in the United States andEurope, respectively.The hypotheses are: (i) pupils from the lower social strata perform better in privategovernment-dependent schools than in public ones; (ii) pupils from the lower socialstrata perform relatively better in public schools than in private government-independentones.We applied multilevel models to the Portuguese sample data collected under the PISA2000 survey. The results suggest that within the Portuguese context, when the classroomclimate and the teaching and learning conditions are controlled, the private vs. publiceffect on academic achievement is not statistically significant and, hence, hypotheses(i) and (ii) are not verified. Our results show that if the private teaching and learningconditions could be replicated on the public ones, then there would be no privatevs. public effect on academic achievement, as stated by Coleman at al. (1982).Keywords: Multilevel model, school effect, public / private school, PISA.

_______________* Trabalho desenvolvido no âmbito do contrato programa MCES-UBI; com o apoio do Centro de Emprego

da Covilhã. Comunicação oral apresentada nas XII Jornadas de Classificação e Análise de dados. Açores,Abril 2005.

** Laboratório de Estatística Aplicada e Computacional do Departamento de Matemática da Universidadeda Beira Interior.

*** Departamento de Matemática da Universidade da Beira Interior.

Page 2: 7-Modelos multinivel

Psicologia e Educação64

Vol. V, nº 2, Dez. 2006

1. Introdução

O Estado garante a todos os portugueses,através da Lei de Bases do SistemaEducativo, o respeito pelo princípio daliberdade de aprender e de ensinar, o direitoda família a orientar a educação dos fi-lhos, com tolerância para com as escolhaspossíveis e sendo garantido o direito decriação de escolas particulares e coopera-tivas. Apesar do ensino privado e coope-rativo se reger por uma legislação e es-tatutos próprios, cabe ao Estado intervirna sua fiscalização, no apoio pedagógico,técnico e financeiro. Deste modo, é daespecial responsabilidade do Estado pro-mover a democratização do ensino, garan-tindo o direito a uma justa e efectivaigualdade de oportunidades no acesso esucesso escolares.Estudos empíricos realizados, em diversospaíses, com o enquadramento metodológicode eficácia e melhoria escolar1 mostramque tal desígnio pode alcançar-se(Mortimore e Whitty, 1997; p.5; Sammonset al. 1995; p.4). Por outro lado, a pros-secução da garantia pelo Estado do direitoda família a orientar a educação dos filhosatravés da aplicação de leis de quasi-mercado, no que diz respeito à escolha daescola pelas famílias, poderá ter efeitosperversos do ponto de vista das políticaspúblicas. A este respeito, ver por exemplo,as evidências empíricas relativas ao com-portamento do ensino secundário emEngland e Wales (Goldstein e Noden,2003).Dronkers e Robert (2003) verificaram, comos dados do PISA 2000, para 19 paísesOCDE2 (alguns deles não europeus), que

os resultados escolares dos alunos emescolas privadas dependentes do governosão melhores do que em escolas públicascomparáveis, quando controladas as carac-terísticas dos alunos e dos pais e pelacomposição social das escolas. A principalexplicação pareceu ser a existência de ummelhor clima escolar nas escolas privadas.Os resultados escolares obtidos em esco-las privadas independentes foram pioresquando comparados com escolas públicas,controlando pela composição social daescola. Como consequência, Corten eDronkers (2004), num estudo posterior,analisaram se aquele efeito associado àsescolas privadas dependentes do governodiferia entre alunos de diferentes estratossociais.Estes autores testaram hipóteses semelhan-tes às que Coleman e colegas tinhamexplorado, na década de 80, nos EstadosUnidos da América. Coleman, Hoffer eKilgore (1982) usaram os dados longitu-dinais provenientes do estudo “High schooland beyond”3 para verificar se nas escolasprivadas os alunos (em condições compa-ráveis) alcançam resultados mais elevadosdo que nas escolas públicas. Segundo osautores, as análises desenvolvidas forne-cem fortes evidências de que, tanto emvocabulário como em matemática, seconfirma a hipótese acima, apesar dosresultados serem menos consistentes no quese refere à leitura. Nesse trabalho, osautores mostram ainda alguns dos factoresde funcionamento e organização escolarque podem explicar tais diferenças. Assim,mostram que os resultados no sectorpúblico são tão elevados quanto os doprivado quando o mesmo tipo de política

_______________1 School effectiveness and school improvement.2 Alemanha, Áustria, Bélgica, Dinamarca, Espanha,

E. U. A., Finlândia, França, Holanda, Hungria, Irlanda,Itália, Nova Zelândia, Polónia, Portugal, Reino Unido,República Checa, Suécia e Suiça.

_______________3 Estudo conduzido pelo National Opinion

Research Center da University of Chicago para oNational Center for Education Statistics. Os dadosforam recolhidos em 1980.

Page 3: 7-Modelos multinivel

Psicologia e Educação 65

Vol. V, nº 2, Dez. 2006

organizacional e comportamental é adop-tada pela Escola. Entre as característicasestudadas, as que constituem os principaisfactores de diferenciação são a disciplinae o comportamento dos alunos4. Estesfactores foram quantificados através devariáveis tais como o número de horassemanal dedicado à execução de trabalhosde casa, o absentismo dos alunos, o in-teresse dos professores, a relação entrealunos, a relação entre alunos e professo-res.Coleman e Hoffer (1987) seguiram, comohipótese de trabalho, a ideia de que se acomunidade educativa puder ser vista comouma comunidade funcional os seus elemen-tos beneficiam do capital social5 gerado,pois existe interacção entre os pais dentroe fora da escola, pais e alunos partilhamas mesmas normas que proporcionam umclima escolar positivo e estável. Talambiente influencia positivamente os re-sultados escolares atingidos. Nesta linha,as crianças provenientes de famílias des-favorecidas beneficiam mais do capitalsocial disponível em escolas constituídascomo comunidades funcionais, e desenvol-vem formas de comportamento que aspreparam para fazer as escolhas certas.Estas crianças pertencem, na sua maioria,a estratos sociais baixos. Assim, aquelesautores associam as comunidades funcio-nais às escolas confessionais, na suamaioria Católicas, privadas. Pelo que, porhipótese, crianças provenientes de estratossociais baixos atingem melhores resulta-

dos em escolas privadas do que em outras.O estudo de Vandenberghe e Robin (2003),também com os dados internacionais doPISA 2000, mostraram que o efeito daeducação privada varia entre países: noprimeiro grupo de países, do qual fazemparte o Brasil, a Irlanda e a Bélgica, osalunos provenientes de escolas privadastinham um melhor desempenho escolar; nosegundo grupo (Espanha, França, Méxicoe Dinamarca) não foi encontrado efeitodistinto de educação pública/privada; fi-nalmente, no terceiro grupo, constituídosomente pela Áustria e Holanda, os alunosdas escolas públicas parecem ter umdesempenho melhor do que os alunos dasprivadas.Estes autores avançam duas alternativas deinterpretação para explicar o efeito deescola pública vs privada, quando osresultados apontam, por um lado, para umasupremacia das escolas privadas em algunspaíses, enquanto que noutros países essavantagem é entregue às escolas públicas.Uma primeira interpretação que seriaprivilegiada por economistas, é aquela quesustenta que estes resultados revelamdiferenças na regulamentação, ou seja,diferenças organizacionais. A segundainterpretação mais cultural, apontada pe-los autores, citando McEwan (2000), é queem vez de efeito associado à escola pri-vada, fará mais sentido, para alguns pa-íses, falar do efeito associado às escolasreligiosas. De acordo com esta interpre-tação, a melhor instrução recebida emescolas privadas poderia ser explicada porvalores religiosos. Esta explicação vai aoencontro da já proposta por Coleman eHoffer.Assim, Corten e Dronkers (2004), partin-do da tese de Coleman e Hoffer, quiseramtestar duas hipóteses:(1) O resultado escolar dos alunos de

classes socialmente desfavorecidas é

_______________4 Apesar de terem decorrido mais de 20 anos

e de novas e mais avançadas metodologias de análiseterem sido desenvolvidas e adoptadas, aquelesfactores continuam a figurar entre os factores-chavede eficácia escolar.

5 Difere do capital social da família, estandoeste relacionado com a atitude pró-educativa dafamília no que se refere ao apoio dado às criançasna sua trajectória educativa).

Page 4: 7-Modelos multinivel

Psicologia e Educação66

Vol. V, nº 2, Dez. 2006

melhor em escolas privadas dependen-tes do governo do que em escolaspúblicas.

(2) O resultado escolar dos alunos declasses socialmente desfavorecidas érelativamente melhor em escolas pú-blicas do que privadas independentes.

Os autores testaram as hipóteses (1) e (2)modelando, simultaneamente, os dados doPISA 2000 referentes aos 19 países mem-bros anteriormente listados, nos quaisPortugal se inclui.Os resultados obtidos sustentam modera-damente a primeira hipótese e sugerem arefutação da segunda hipótese.Da análise daquele artigo ficam algumasdúvidas sobre se os resultados e conclu-sões ali registados espelham as diversasrealidades educativas e sociais, mormenteas que se referem ao nosso país:• A assumpção de que as escolas privadas

dependentes são escolas confessionais,maioritariamente católicas. Aqueles au-tores dizem “We expect that the thesisof Coleman & Hoffer does hold forprivate government-dependent schools,because in these 19 OECD countries theyare mostly religious schools, which havemore opportunities to form functionalcommunities and create social capital”(Corten e Dronkers, 2004, p.A2/43).

• Os dados amostrais portugueses inclu-em apenas 11 escolas privadas querepresentam 7,2% da população emestudo. A tabela 1 mostra a distribuiçãodos alunos por tipo de escola segundoos 19 países estudados. Os países ondese verifica maior participação das esco-las privadas dependentes são: Bélgica,Dinamarca, Espanha, França, Holanda eIrlanda. Assim, as estimativas reporta-das por aqueles autores reflectem asituação de outros países que não aportuguesa. Adicionalmente, os autoresnão incorporaram o plano amostral namodelação.

Em Portugal é crescente aconsciencialização dos pais e encarrega-dos de educação para o exercício efectivodo direito, consagrado na lei, à garantiada igualdade de oportunidades no acessoà educação de qualidade. Mostra disso éo razoável sucesso que a publicação daslistas ordenadas de escolas têm tido. Adefesa do direito à informação dos paise da sociedade em geral tem servido deargumento à sua publicação, pesem em-bora as controvérsias associadas, nomea-damente as de cariz metodológico (Pes-tana, 2003). Não obstante a actualidade dotema, são escassos os artigos científicosque tratem a realidade portuguesa. Porconseguinte, é objectivo deste artigo pro-curar evidências empíricas que elucidemsobre as hipóteses (1) e (2) no contextoportuguês. Apesar de serem apenas 7,1%dos alunos a frequentar escolas privadasdependentes, a evidência empírica de queeste sub-sistema de ensino produz melho-res resultados é, talvez, a apologia pos-sível para a eventual aplicação das leis dequasi-mercado na Educação.Decidimos manter as variáveis de controloe de interesse tal como foram definidase usadas por Corten e Dronkers. Istopermitirá a comparação de resultados.Reconhece-se, no entanto, que algumas dasescolhas podem ser alvo de crítica.O modelo conceptual subjacente à discus-são é representado através do diagrama 1,tendo sido inspirado nos modelos desen-volvidos no âmbito do quadro teórico deeficácia escolar.

2. Escolas públicas / privadas: conceitos

Para evitar qualquer confusão no leitorsobre os critérios de classificação deescolas, será útil passar a definir e, con-sequentemente, adoptar as categorias pú-blica/privada segundo a designação da

Page 5: 7-Modelos multinivel

Psicologia e Educação 67

Vol. V, nº 2, Dez. 2006

sesíapsoodnuges,alocseedopitropsonulasodoãçiubirtsiD-1alebaT

edocOSItigid-eerhtyrtnuoCnihtiw%

loohcsfoepyT

latoT,etavirPtnemmrevogtednepedni

,etavirPtnemmrevog

tednepedtnemmrevoG

yrtnuoCtigid-eerhtedocOSI

AIRTSUA %1,5 %3,6 %6,88 %0,001

MUIGLEB %4, %5,47 %2,52 %0,001

CILBUPERHCEZC %3, %7,5 %1,49 %0,001

KRAMNED %7,42 %3,57 %0,001

DNALNIF %9,2 %1,79 %0,001

ECNARF %9,7 %3,41 %9,77 %0,001

YNAMREG %3,4 %7,59 %0,001

YRAGNUH %3, 55,4 %2,59 %0,001

DNALERI %8,2 %0,85 %1,93 %0,001

YLATI %1,5 %7, %2,49 %0,001

SDNALREHTEN %0,37 %0,72 %0,001

DNALEZWEN %7,4 %1, %3,59 %0,001

DNALOP %0,3 %0,79 %0,001

LAGUTROP %5,1 %7,5 %8,29 %0,001

NIAPS %0,9 %8,82 %2,26 %0,001

DNALREZTIWS %8,4 %1,1 %1,49 %0,001

MODGNIKDETINU %9,8 %1,19 %0,001

SETATSDETINU %1,4 %1,1 %8,49 %0,001

Page 6: 7-Modelos multinivel

Psicologia e Educação68

Vol. V, nº 2, Dez. 2006

OCDE. Assim, uma escola é classificadacomo pública se é controlada e geridadirecta ou indirectamente por uma auto-ridade pública de educação, entidadegovernamental ou por um corpo do go-verno, onde a maioria dos seus membrosé indicado por uma entidade pública oueleita por um público. Em contraste umainstituição é denominada privada se écontrolada e gerida por uma organizaçãonão governamental (por exemplo, a Igreja,empresas ou outras instituições privadas)ou se é do quadro governamental, ondea maioria dos membros não é selecciona-do por uma autoridade pública. Osrestritivos específicos “dependente” e “in-dependente” referem-se apenas ao grau dedependência de recursos do governo. Assimas escolas privadas dependentes são aque-las que recebem mais de 50% dos seusfundos do governo, enquanto que as es-colas privadas independentes recebemmenos de 50% das suas verbas de agên-cias governamentais. Por fundos ou ver-bas entende-se todo o financiamento deapoio aos serviços básicos de educação dasescolas, excluindo-se, por isso, fundosprovenientes de projectos de investigação,pagamento de serviços prestados a orga-nizações privadas, propinas ou subsídios,tais como alojamento e refeição.Em resumo, o critério de classificação aquisubjacente não é o da origem dos recursosfinanceiros, mas o status legal do quadroda escola, isto é, o tipo de entidade quetem o poder último de tomar decisões noque diz respeito aos assuntos da institui-ção.

3. Dados

O PISA é um estudo, realizado a cada trêsanos, sobre os conhecimentos e as com-petências de alunos de 15 anos dos princi-

pais países industrializados, visando res-ponder a perguntas tais como: “Os alunosestão bem preparados para enfrentar osdesafios do futuro?”, “São capazes deanalisar, raciocinar ou comunicar as suasideias?”. Adicionalmente, o estudo permi-te a comparação internacional dos resul-tados nos diferentes contextos sociais eeducativos. A recolha de informação desteestudo teve lugar no ano 2000 e envolveucerca de 265 000 alunos de 32 países, 28dos quais membros da OCDE.Os estudantes para além de responderema testes para a avaliação, responderam aquestionários acerca de si próprios e dasua escola. Os responsáveis dos ConselhosExecutivos das escolas seleccionadas res-ponderam a um questionário de caracte-rização da escola.O PISA avalia o desempenho dos alunosem literacia em leitura, matemática eciências, no que se refere à compreensãode conceitos fundamentais, ao domínio decertos processos e à capacidade dos jo-vens usarem os seus conhecimentos e assuas competências na resolução de proble-mas da vida real.Foram aplicados nove tipos diferentes detestes: os testes 8 e 9 contêm questões sobreLeitura, Matemática e Ciências; os testes1, 3 e 5 contêm questões sobre Leiturae Matemática; os testes 2, 4 e 6 contêmquestões sobre Leitura e Ciências; o teste7 contém questões sobre leitura. Os testesforam distribuídos aleatoriamente entre osalunos (OECD, 2000; p.8).A escala utilizada em cada uma dasliteracias foi construída, por aplicação demodelos estatísticos de Teoria de Respostaao Item (Warm, 1985) para que, no con-junto dos países da OCDE, a média dosscores (literacia na Leitura, Matemática eCiências) fosse de 500 pontos e em quedois terços dos alunos se situassem entre400 e 600 pontos.

Page 7: 7-Modelos multinivel

Psicologia e Educação 69

Vol. V, nº 2, Dez. 2006

Em Portugal foram seleccionadas aleato-riamente 156 escolas, das quais 3 serecusaram a participar no estudo e outras4 não tinham já alunos com 15 anos. Osalunos, em cada escola, foram tambémaleatoriamente seleccionados. Emconsequência da aplicação destes critérios,o PISA envolveu 149 escolas, 138 públi-cas e 11 privadas, abrangendo um total de4604 alunos6. Foram incluídos na popu-lação alvo todos os alunos de 15 anos afrequentarem a escola desde o 5ºano ao11ºano de escolaridade (Ramalho, 2001).O ficheiro de dados intstud_math.savcontém 2545 casos relativos aos alunosportugueses que foram submetidos aostestes de Matemática.Alguns resultados nacionais do desempe-nho médio dos alunos portugueses emliteracia a Leitura, a Matemática e aCiências (segundo NUTs, género e ano deescolaridade) já foram divulgados noprimeiro e segundo relatórios referentes aosdados do estudo internacional do PISA.Nos três domínios de literacia em estudoos alunos portugueses tiveram um desem-penho médio modesto (a Matemática – 459pontos), uma vez comparado com osvalores médios dos países do estudo daOCDE (média da OCDE a Matemática -500 pontos).Os resultados mostraram a existência deheterogeneidade nos desempenhos médi-os, nos três domínios, quando se tomavaem consideração a região (NUT7 II). Osalunos da região de Lisboa e do Vale doTejo tiveram, em média, um desempenhomelhor do que o dos alunos de outrasregiões, por sua vez díspares entre si.Quando se compararam os desempenhos

dos rapazes com o das raparigas, verifi-cou-se também resultados díspares – osrapazes tiveram em média melhores resul-tados do que as raparigas no que se refereà literacia em Matemática. Em leitura,porém, os resultados foram inversos. EmCiências, a diferença entre os dois gruposde alunos não foi sentida. Por último, oano de escolaridade que os alunos frequen-tavam esteve, também, fortemente associ-ado aos resultados obtidos. Nos três do-mínios, os desempenhos médios dos alu-nos nos 10º e 11º anos de escolaridadesuperaram a média correspondente, noespaço da OCDE. O contrário, porém,sucedeu entre o 9º e o 5º anos de esco-laridade, onde o decréscimo dos resulta-dos foi evidente, acentuando-se à medidaque nos aproximavamos do 5º ano(Ramalho, 2001).Uma vez que a maioria dos alunos queconstituíram a amostra frequentavam os 9ºe 10º anos de escolaridade (nível adequa-do à idade de 15 anos), avançou-se nesterelatório com uma conclusão preocupante– a repetição de ano não vem acompanha-da de ganhos cognitivos para alunos emcausa. A heterogeneidade regional encon-trada é outra situação problemática paraa qual urge encontrar soluções (Ramalho,2002, p.15).Inúmeras medidas do PISA reflectemíndices que sumariam respostas dadas aonível dos alunos ou da escola para umasérie de questões relacionadas. Estasquestões foram seleccionadas deconstructos amplos na base de uma con-sideração teórica e pesquisas anteriores.Informações destes índices podem serencontradas em fontes de informaçãoadicionais sobre o PISA disponíveis napágina web da OCDE: o Manual for PISA2000 Database e o PISA 2000 TechnicalReport.

_______________6 O ficheiro de dados contém 4585 casos não

tendo encontrado explicação para a diferença.7 Nomenclatura das Unidades Territoriais.

Page 8: 7-Modelos multinivel

Psicologia e Educação70

Vol. V, nº 2, Dez. 2006

4. Descrição das variáveis

A maioria das variáveis independentesusadas para explicar o resultado dos alu-nos são índices combinados, desenvolvi-dos pelo PISA (Manual for PISA 2000Database, p. 29-41), outras derivam dacombinação directa das respostas aosquestionários.Os indicadores mais importantes usadoscomo variáveis na análise das diferençasde eficácia entre diferentes tipos de esco-las descrevem-se a seguir, para cada umadas variáveis explicativas.

Variáveis do aluno

• Sexo: variável nominal binária, “1”representa as meninas e “0” representaos meninos; os meninos constituem ogrupo de referência.Segundo a expansão da amostra, 52,4%da população são meninas.

• Nível de ensino que frequenta: variávelque representa o nível de ensino que osalunos da amostra frequentam (do 5ºanoao 11ºano). Considerando os casosválidos e a expansão da amostra, 55,2%da população frequentam o 10ºano ouo 11ºano de escolaridade, 25,2% frequen-tam o 9ºano de escolaridade e os res-tantes alunos distribuem-se entre os 5ºe o 8ºanos.

• Idade: medida em meses, a média é187,58 com desvio padrão 3,37; o valorda mediana é 188 meses, valor mínimo182 e máximo 193 meses.

• Nível socio-económico: aferido peloíndice internacional socio-económico(ISEI) da situação ocupacional do paiou da mãe do aluno (Ganzeboom et al.,1992). Usou-se o valor máximo dos dois,com média 49,1 e desvio padrão 15,6.

• Nível educacional dos pais: aferido peloíndice internacional de classificação da

educação ISCED (OECD 1999), dasituação educacional dos pais do aluno.O nível educacional da mãe represen-tado pelo acrónimo MISCED e o níveleducacional do pai pelo FISCED.

• Composição familiar: medido pelasvariáveis número de irmãos e estruturafamiliar; esta última, uma variávelordinal que representa, em termos donúmero de pessoas, a quantidade depessoas que vive com o aluno em casa.As quatro categorias que representam asrespostas dos alunos são as seguintes:codificada como “1” uma estruturafamiliar simples (11,7%), formada porum único parente; “2” representa umafamília nuclear (79,5%), formada pelospais; “3” família mista (5%), que indicaque o aluno vive com o pai e a madrastaou a mãe e o padrasto ou que vive compais adoptivos; e, outras estruturas fa-miliares foi codificada com o código “4”(2%). A variável foi recodificada, atra-vés de variáveis mudas, considerando-se como grupo de referência a famílianuclear.

• Nível cultural e financeiro da família:aferido pelos índice de bem estar (tra-duzindo a disponibilidade de recursos emcasa, como por exemplo, a existência dealguns electrodomésticos, software edu-cacional, presença de televisão, númerode assoalhadas da casa, número detelemóveis e a posse de automóvel), decomunicação cultural dos pais (exprimea frequência com que os pais se com-prometem com a discussão de assuntospolíticos e sociais em casa, a troca deideias sobre livros, filmes ou programastelevisivos e com a audição de músicaclássica) e, as posses culturais da famí-lia (deriva da existência em casa de itenscomo a literatura clássica, livros depoesia e trabalhos de arte).

Page 9: 7-Modelos multinivel

Psicologia e Educação 71

Vol. V, nº 2, Dez. 2006

Variáveis da escola

• Nível socio-económico e cultural médioda escola: medido pela média do statusocupacional dos pais dos alunos daescola, a média do bem estar familiardos alunos da escola e a média deinteresse académico dos pais dos alunosda escola.

• Percentagem de raparigas: aferido peloracio entre o número de raparigas daescola e o número total de alunos (dadopelo número de rapazes mais o númerode raparigas).

• Localização da escola: variável nominalque representa, em termos do númerode habitantes, a dimensão da vila/cidadeonde a escola se localiza. Visando amodelação, a variável foi recodificada,através de variáveis mudas, e conside-rou-se como grupo de referência a lo-calização da escola numa cidade commais de 1000000 de habitantes (7,9%).As outras categorias referem-se, numcaso, a uma dimensão populacionalinferior a 15000 habitantes (37,4%) enoutro a uma população entre os 15000e os 1000000 (52,6%).

• Condições de ensino e aprendizagem naescola: são aferidas pelo número totalde horas de ensino a Matemática porano; o tamanho da escola, medido pelanúmero total de alunos inscritos naescola, isto é, pela soma do número derapazes com o número de raparigasmatriculados na escola; o rácio aluno/professor, índice que resulta da divisãoda variável tamanho da escola pelonúmero total de professores (os profes-sores com horário completo contribuemcom um peso 1.0 e os professores comhorário incompleto com um peso 0.5 paracálculo do número total de professores);e, o índice desenvolvido pelo PISA(Manual for PISA 2000 Database, p. 40-

41) da qualidade dos recursos educa-cionais da escola é aferido pela quan-tidade de material de ensino, pelosrecursos multi-média existentes, pelaqualidade do equipamento do laborató-rio de ciências e de belas artes.

• Clima de escola: os indicadores relaci-onados com factores que afectam o climade escola centram-se na percepção dosdirectores da escola quanto aos índicesdo comportamento dos professores (re-flecte as expectativas dos professores, asrelações aluno/professor, o conhecimen-to dos professores das necessidadesindividuais dos alunos, o absentismo dosprofessores, a resistência à mudança eo encorajamento para o rendimento), docomportamento dos alunos (dado peloabsentismo dos alunos, a perturbação efalta às aulas, a falta de respeito, o usode alcóol ou drogas e a intimidação eprovocação de outros alunos), e docomprometimento e da moral dos pro-fessores (reflecte o grau de entusiasmoe orgulho dos professores no seu traba-lho e na própria escola, e a valorizaçãodos resultados académicos atingidos).

Apresentam-se na tabela 2 as estatísticasdescritivas referentes às variáveis acimadiscriminadas.

5. Modelação Estatística

Considerando a totalidade dos casos, 2545alunos em 149 escolas, o coeficiente departição da variância, estimado com baseno modelo nulo, é de 0,34. Este valorjustifica que se proceda à análise dos dadosusando os modelos de regressão multinível(Goldstein, 2003) e a componentecomputacional foi desenvolvida no Mlwin1.1 (Rabash et al.2000). Usaram-se mo-delos de dois níveis onde a unidade es-

Page 10: 7-Modelos multinivel

Psicologia e Educação72

Vol. V, nº 2, Dez. 2006

tatística de nível 1 é “aluno” e a unidadeestatística do nível 2 é “escola”. Destemodo, a estrutura hierárquica ou de agru-pamento reflecte a organização do sistemade ensino, em que os alunos são agrupa-dos por escolas8. A variável resposta é scoreem Matemática9.

O procedimento de estimação usado foi oIGLS (Goldstein, 1986) e o plano amostralconsiderado através de weighted scalingmethod 2 (Pfeffermann et al. 1998).As estimativas dos diversos modelos ajus-tados são apresentadas nas tabelas 3 e 4.Em anexo apresentam-se resultados com-plementares que mostram a consistênciadas evidências encontradas.As variáveis explicativas incluídas em cadaum dos modelos são as seguintes:Modelo 1: Características individuais dosalunos e dos pais, assim como o tipo deescola;

_______________8 Corten e Dronkers (2004) usaram a mesma classe

de modelos mas com um nível adicional. A unidadede nível 3 é “país”. A variância entre países foi captadaao nível do intercepto. Os coeficientes de inclinaçãosão considerados constantes entre países.

9 Corten e Dronkers consideraram adicionalmenteo score em leitura.

setnednepedniesetnednepedsieváiravsadoãrdapsoivsedesaidéM:2alebaTalocseedopitropsetnatropmisiam

opiTed

alocsE

adavirPetnednepednI

adavirPetnednepeD

onrevoGacilbúP siatoT

aidéM ES aidéM ES aidéM ES aidéM ES

acitámetaM 9,905 0,68 7,074 1,57 6,754 5,58 3,954 3,58

lanoicanretnIecidnÍodocimónocE-oicoSodlanoicapucOsutatS

)IESI(eãMuoiaP

1,45 9,91 7,83 8,31 0,24 4,51 1,94 6,51

DECSIoãçacifilauQiaPod

3,4 5,1 0,3 5,1 4,3 6,1 4,3 6,1

DECSIoãçacifilauQeãMad

3,4 6,1 9,2 2,1 3,3 5,1 3,3 5,1

soãmrIedoremúN 92,1 31,1 92,1 10,1 84,1 52,1 74,1 42,1

ocimédacAesseretnIsiaPsod

93,0 28,0 80,0- 00,1 00,0 89,0 10,0 89,0

siarutluCsessoPailímaFad

53,0 79,0 21,0- 79,0 80,0- 99,0 80,0- 99,0

railimafratse-meB 14,0 59,0 90,0- 60,1 11,0- 89,0 01,0- 89,0

alocsEadohnamaT 147 342 6541 1111 979 915 999 175

edlatoToremúNroponisnEedsaroH

onA7,167 7,731 9,359 9,78 1,598 3,511 5,598 8,611

adohnamaToremúN/alocsEserosseforPed

4,41 7,1 4,41 3,2 4,8 1,3 9,8 4,3

sosruceRsianoicacudE

22,0- 94,0 71,1- 67,0 70,0- 00,1 31,0- 10,1

otnematropmoCserosseforPsod

35,0- 82,0 04,0- 66,0 13,0 48,0 62,0 58,0

otnematropmoCsonulAsod

45,0- 33,0 30,1- 28,0 04,0 67,0 13,0 38,0

rosseforPodlaroM 43,0 04,0 61,0 10,1 36,0- 48,0 75,0- 78,0

Page 11: 7-Modelos multinivel

Psicologia e Educação 73

Vol. V, nº 2, Dez. 2006

acitámetaMmeerocsomoclevínitlumsoledomocnicsodsavitamitsE:3alebaTetnednepedleváiravomoc

oledoM1 2 3 4 5

PE PE PE PE PE

etnatsnoC 97,124 07,56 22,024 27,56 66,863 09,76 32,753 91,07 02,273 81,17

etnednepednIadavirP 09,4 97,01 14,71- 72,22 41,01- 79,22 96,9 08,42 26,0 59,42

etnednepeDadavirP 81,31 35,7 01,24 93,71 12,34 51,71 54,24 07,71 39,53 18,71

acilbúP feR feR feR feR feR

edadI 44,2- 63,0 44,2- 63,0 94,2- 63,0 55,2- 73,0 06,2- 83,0

edadiralocseedlevíN 99,94 24,1 40,05 24,1 66,84 84,1 04,94 45,1 63,94 65,1

onineM 56,03 24,2 95,03 24,2 22,13 44,2 24,92 05,2 41,92 35,2

IESI 54,0 11,0 74,0 11,0 63,0 11,0 63,0 21,0 63,0 21,0

eãMadoãçacudE 82,0 31,1 92,0 41,1 61,0- 51,1 86,0- 81,1 06,0- 91,1

iapodoãçacudE 11,0 11,1 70,0 11,1 90,0 11,1 70,0 41,1 21,0 51,1

soãmrIedoremúN 06,4- 99,0 46,4- 99,0 45,4- 99,0 88,4- 40,1 29,4- 40,1

ratse-mebedecidnÍ 82,3 25,1 64,3 25,1 67,2 65,1 76,2 66,1 20,3 76,1

ocimédacAesseretnIsiaPsod

97,5 13,1 86,5 13,1 27,5 23,1 58,6 63,1 51,7 73,1

adsiarutluCsessoPailimaF

08,5 24,1 09,5 74,1 40,6 15,1 02,6 55,1 51,6 65,1

ralugnisailímaF 66,2 72,4 85,2 72,4 47,0 03,4 97,1 64,4 92,2 35,4

atsiMailímaF 45,6 52,5 04,6 42,5 37,4 52,5 52,6 47,5 52,6 27,5

saruturtsEsartuOserailimaF

82,22 03,8 31,22 92,8 95,12 82,8 26,12 64,8 38,92 40,9

raelcuNailímaF feR feR feR feR feR

adavirPiesi*etnednepednI

74,0 24,0 43,0 24,0 91,0 24,0 22,0 24,0

iesi*etnednepeDadavirP 08,0- 24,0 37,0- 24,0 56,0- 24,0 36,0- 24,0

adavirPsessoP*etnednepednI

siarutluc56,2- 98,8 14,1 60,9 72,01- 09,9 52,21- 88,9

adavirPsessoP*etnednepeD

siarutluc25,0 85,5 93,0 75,5 67,0- 26,5 47,0- 16,5

IESI_alocse_aidéM 91,1 34,0 91,1 24,0 72,1 24,0

ratsemeB_alocse_aidéM 68,0 10,7 44,0 86,6 99,3- 30,7

sessoP_alocse_aidéMsiarutluc

42,4- 45,6 26,4- 15,6 81,0 56,6

00051<bah 46,51 33,7 40,11 10,7 55,9 39,6

0000001<bah 00,0 00,0 00,0 00,0 00,0 00,0

0000001<bah feR feR feR

sagiraparedmegatnecreP 45,06 80,72 25,66 59,62 67,65 67,62

edopmeTtaMamegazidnerpa

01,0 30,0 01,0 30,0

alocsEadohnamaT 400,0 500,0 300,0 500,0

rosseforp/onulaoicaR 73,0- 18,0 33,0- 08,0

sianoicacudEsosruceR 56,2 87,1 36,2 29,1

otnematropmocuaMrosseforpod

31,3 22,2

otnematropmocuaMonulaod

24,3- 22,2

elaroMotnemitemorpmoc

rosseforPod72,3 39,1

laudividniaicnâiraV 60,1592 52,19 91,6492 01,19 47,4492 20,29 64,7782 36,39 33,0092 88,49

alocseaicnâiraV 25,352 42,05 96,742 25,94 01,561 11,04 25,421 32,63 42,011 31,53

)SLGI(doohilekilgol*2- 89,73342 48,63342 31,87732 97,37912 88,53712

sodasusosacedºN 6322 6322 8812 6202 4002

Page 12: 7-Modelos multinivel

Psicologia e Educação74

Vol. V, nº 2, Dez. 2006

Modelo 2: variáveis do modelo 1, con-siderando os efeitos principais e deinteracção;Modelo 3: variáveis do modelo 2, vari-áveis ao nível da escola relacionadas coma composição social e localização;Modelo 4: variáveis do modelo 3, ascondições de ensino e aprendizagem;Modelo 5: variáveis do modelo 4, climade escola.As estimativas dos parâmetros fixos obtidasatravés do modelo 1 mostram que, se apenasas características individuais dos alunos sãocontempladas no modelo explicativo dosresultados escolares, o efeito marginal davariável privada-dependente é estatisticamen-te significativo ao nível de significância de10%, mas não ao nível de 5%. No que serefere ao efeito marginal da variável priva-da-independente, não há qualquer evidênciaestatística de que os resultados escolares dosalunos que frequentam este sector de ensinose diferenciem dos que frequentam o sectorpúblico. Esta evidência mantém-se para todosos modelos.As interacções entre características socio-económicas e culturais do aluno e o sectorde ensino, incluídas no modelo 2, sugeremque, ao nível de significância de 10%,alunos com status social baixo beneficiamao estudar em escolas privadas-dependen-tes. O mesmo sucede ao controlar pelacomposição da população escolar e pelocontexto, resultados do modelo 3.Ao levar em consideração as condições deensino aprendizagem e clima de aulaverifica-se que o efeito de interacção deixade ser estatisticamente significativo, man-tendo-se, no entanto, o efeito principalassociado a escola privada-dependente.Reajustou-se o modelo 5 excluindo asvariáveis cujos coeficientes não eramestatisticamente significativos ao nível de5%, com excepção das que se referem aoconstructo clima de aula (variáveis com-

portamento dos professores, comportamen-to dos alunos e moral dos professores). Osresultados são apresentados na tabela 4.

6. Conclusões

Ao longo deste trabalho procuraram-seevidências empíricas para testar as hipó-teses estabelecidas com base no argumen-to de Coleman e Hoffer (1987): (1) Oresultado escolar dos alunos de classessociais mais baixas é melhor em escolasprivadas dependentes do governo do queem escolas públicas; (2) O resultado escolardos alunos de classes sociais mais baixasé relativamente melhor em escolas públi-cas do que privadas independentes.Foram aplicados modelos de regressãomultinível aos dados portugueses do PISA2000 (Matemática). As estimativas obtidassugerem que, ao nível de significância de5%, aquelas hipóteses são rejeitadas quan-do se leva em consideração as condiçõesde ensino aprendizagem e clima de aula.Adicionalmente, o modelo final indica tam-bém que os efeitos principais associadosaos resultados escolares atingidos nossectores de ensino privado dependente ouindependente não são estatisticamente di-ferentes dos obtidos no ensino público.Estes resultados vão ao encontro do ra-ciocínio desenvolvido por Coleman etal.(1982) – em condições semelhantes noprocesso ensino-aprendizagem não hádiferença, estatisticamente significativa,nos resultados escolares dos alunos quepudesse ser atribuível ao tipo de escola.No entanto, o resultado associado ao com-portamento dos professores é difícil deinterpretar. A análise exploratória realiza-da em torno da criação do índice sugereque pode haver alguma subjectividade nasvariáveis primárias usadas. Note-se quetodas as perguntas relacionadas a este

Page 13: 7-Modelos multinivel

Psicologia e Educação 75

Vol. V, nº 2, Dez. 2006

índice foram respondidas pelo director daescola. É necessário trabalho adicional paraesclarecer este assunto.

ReferênciasbibliográficasColeman, J. S., Hoffer, T. (1987). Public and

private high schools. The impact ofcommunities. New York: Basic Books.

Corten, R. e Dronkers, J. (2004). SchoolAchievement of Students from the LowerStrata in Public, Private Government-Dependent and Private Government-Independent Schools: a Cross-NationalTest of the Coleman-Hoffer Thesis. San

Domenico Badia Fiesolana (Fi):European University Institute. EUIworking paper SPS 2004/12 (http://www.iue.it/PUB/sps2004-12.pdf).

Dronkers, J. & Robert, P. (2003). Theeffectiveness of public and privateschools from a comparative perspective.San Domenico di Fiesole (Fi):European University Institute. EUIworking paper SPS 2003/13 (http://www.iue.it/PUB/sps2003-13.pdf).

Ferrão, M.E. (2005). Estatística e os rankings.Gazeta de Matemática. Submetido.

Ganzeboom, H. B. G., Graaf, P. De,Treiman, D. J., De Leeuw, J. (1992). Astandard international socio-economic

odatsujaer-5oledomodsavitamitsE-4alebaT 5oledomodsodatlusersO

meodnavel,euqmeregusodatsujaer

ossecorpodserotcafoãçaredisnoc

omocsiatmegazidnerpa-onisne

edmegazidnerpaedopmet

odotnematropmoc,acitámetaM

avitamitsea,onulaoderosseforp

etnedneped-adavirpaadaicossa

etnemacitsitatseresedaxied

.avitacifingis

oledoM 5

ES

etnatsnoC 08,573 67,96

etnednepednIadavirP 27,3 31,11

etnednepeDadavirP 53,9 90,7

acilbúP feR

edadI 16,2- 83,0

edadiralocseedlevíN 59,84 25,1

onineM 19,82 25,2

IESI 33,0 11,0

soãmriedoremúN 94,4- 20,1

railimafratse-meB 45,2 16,1

siaPsodocimédacAesseretnI 12,7 63,1

ailímaFadsiarutluCsessoP 37,5 74,1

serailimaFsaruturtsEsartuO 38,82 00,9

raelcuNailímaFfeR

IESI_alocse_aidéM 72,1 82,0

sagiraparedmegatnecreP 56,16 86,52

taMamegazidnerpaedopmeT 01,0 30,0

rosseforpodotnematropmocuaM 50,4 41,2

onulaodotnematropmocuaM 10,4- 51,2

rosseforPodotnemitemorpmocelaroM 73,2 38,1

laudividniaicnâiraV 18,5092 90,59

alocseaicnâiraV 69,621 21,73

)SLGI(doohilekilgol*2- 59,14712

Page 14: 7-Modelos multinivel

Psicologia e Educação76

Vol. V, nº 2, Dez. 2006

index of occupational status. SocialScience Research, 21, 1-56.

Goldstein, H. (2003). Multilevel StatisticalModels. Kendall’s Library of Statistics3, Edward Arnold, 3rd edition. London.

Goldstein, H., Noden, P. (2003). Modellingsocial segregation. Working paper.

Mortimore, P., Whitty, G. (1997). Can schoolimprovement overcome the effects ofdisadvantage? Institute of Education,University of London. London.

OECD (1999). Classifying educationalprogrammes. Manual for ISCED97implementation for OECD countries.Paris: OECD.

OECD (2000). Manual for PISA. Paris:OECD Publications.

OECD (2001). Knowledge and Skills forlife: First Results from PISA 2000. Pa-ris: OECD Publications.

Pestana, Dinis Duarte (2003), Apologia daEstatística (a pretexto da seriação dasescolas secundárias). Gazeta de Mate-mática, nº144, p.20-33.

Pfeffermann, D., Skinner, C.J., Holmes, D.J.,Goldstein, H., Rasbash, J. (1998). Weightingfor unequal selection probabilities inmultilevel models. Journal of the RoyalStatistical Society, B, 60, p.23-40.

Ramalho, G. (Coord.) (2001). Gabinete de Avali-ação Educacional. Resultados do Estudo In-ternacional do PISA 2000. Primeiro RelatótrioNacional. Ministério da Educação.

Ramalho, G. (Coord.) (2002). Gabinete de Ava-liação Educacional. PISA 2000 – ConceitosFundamentais em Jogo na Avaliação deLiteracia Matemática e Competências dosAlunos Portugueses. Segundo Relatótrio Na-cional. Ministério da Educação.

Rasbash, J., Browne, W., Goldstein, H.,Yang, M., Plewis, I., Healy, M.,Woodhouse, G., Draper, D., Langford,I. & Lewis, T. (2000). A user’s guideto MlwiN 1.1. London: Institute ofEducation, University of London.

Sammons, P., Hillman, J., Mortimore, P.(1995). Key characteristics of effectiveschools: a review of schooleffectiveness research. London: Officefor Standards in Education.

Vandenberghe, V., Robin, S. (2003). Does(Private) Education Matter? Recentevidence from international OECD data.

Warm, T. A. (1985). Weighted maximumlikelihood estimation of ability in ItemResponse Theory using tests of finitelength. Technical Report CGI-TR-85-08.U. S. Cost Guard Institute, Oklahoma City.

sacitsiretcaracedsaicnâiravsaussaesoirótaelasetneicifeoC:AalebaT1oledomonetnemadarapessadamitsesaicnâiraV;laicosmegiroed

etnednepedleváiravomocacitámetaMaohnepmesedomoc

leváiraVsoxifsetneicifeoC soirótaelasetneicifeoC

savitamitsE ES savitamitsE ES

IESI 04,0 11,0 90,0 01,0

eãMadoãçacudE 80,0 61,1 75,5 21,01

iaPodoãçacudE 62,0 21,1 47,5 12,9

soãmrIedoremúN 46,4- 02,1 83,14 76,91

railimaFratse-meB 82,3 25,1 00,0 00,0

siaPsodocimédacAesseretnI 47,5 24,1 33,63 21,62

ailimaFadsiarutluCsessoP 77,5 84,1 06,32 01,52

ralugnisailímaF 66,2 72,4 00,0 00,0

atsiMailímaF 67,5 52,4 67,847 49,934

serailimaFsaruturtsEsartuO 27,91 04,8 22,012 56,936

ANEXOS

Page 15: 7-Modelos multinivel

Psicologia e Educação 77

Vol. V, nº 2, Dez. 2006

edopitomoclaicosmegiroedsacitsíretcaracsadoãçcaretniedsotiefE:BalebaTaohnepmesedomoc1oledomonlaicosmegiroedleváiravalepodamitsealocse

saicnâiravesotiefesiapicnirpsomoc,etnednepedleváiravomocacitámetaM

leváiraVsetneicifeoC

ES

etnednepedniadavirP 42,11- 17,12

etnednepedadavirP 00,14 26,51

IESI 34,0 11,0

IESI*.pedniadavirP 13,0 34,0

IESI*.pedadavirP 97,0- 14,0

leváiraV setneicifeoC

ES

etnednepedniadavirP 65,91- 14,32

etnednepedadavirP 81,82 77,31

iapodoãçacudE 35,0 41,1

iapodoãçacudE*.pedniadavirP 30,7 20,5

iapodoãçacudE*.pedadavirP 83,5- 15,3

leváiraV setneicifeoC saicnâiraV

ES ES

etnednepedniadavirP 86,8 28,41

etnednepedadavirP 13,1 92,01

soãmrioremúN 69,4- 42,1 29,83 52,91

soãmrioremúN*.pedniadavirP 03,2- 60,6

soãmrioremúN*.pedadavirP 16,8 83,5

leváiraV setneicifeoC

ES

etnednepedniadavirP 80,5 38,01

etnednepedadavirP 44,9 08,7

railimaFratse-meB 80,4 65,1

railimaFratse-meB*.pedniadavirP 76,6- 98,8

railimaFratse-meB*.pedadavirP 97,9- 00,5

leváiraV setneicifeoC

ES

etnednepedniadavirP 54,5 58,01

etnednepedadavirP 79,21 95,7

ailimaFadsiarutluCsessoP 49,5 35,1

ailimaFadsiarutluCsessoP*.pedniadavirP 73,0 48,8

ailimaFadsiarutluCsessoP*.pedadavirP 40,3- 94,5

leváiraV setneicifeoC

ES

etnednepedniadavirP 30,5 58,01

etnednepedadavirP 44,31 95,7

serailimaFsaruturtsEsartuO 68,02 54,8

serailimaFsaruturtsEsartuO*.pedniadavirP 55,21- 50,76

serailimaFsaruturtsEsartuO*.pedadavirP 98,55- 49,86