school and teacher characteristics vs. student progress€¦ · school and teacher characteristics...
TRANSCRIPT
School and teacher characteristics vs. student progress
Sandra Sousa, Miguel Portela and Carla Sá
September 2017
Stata UGM 2017, PortugalUniversidade do Porto
1 / 37
School characteristicsMotivation
• The decision to invest in education is taken jointly by the family and the student, whocompare the benefits and costs of such investment
• Educational externalities• Education is one of the main services provided by governments• School assessment has been an instrument of a guarantee of productivity and efficiency ofthe education systems, and used to improve the quality of education
2 / 37
School characteristicsMotivation
• School performance can be evaluated by its value-added• Using data at the student level, for the period 2010–2012, we analyse possible factors thatinfluence students’ achievement gains on Portuguese and Mathematics national exams
• One concludes that achievement gains, both in Portuguese and in Mathematics, are mainlydetermined by student’s characteristics
• While peers’ characteristics seem not to influence students’ performance, class size doesplay a role
Research question:
What are the factors that determine students’ performance?
3 / 37
School characteristicsLiterature
Internacional
• In the economics of education literature, one of the most common conceptual frameworksemployed takes the form of a production function, also referred to as “input–output”analysis:
I The output corresponds to the results achieved by the students at the end of a cycle of studiesI Education outcomes: test scores, in particular, the maths, reading and science scores, students’
success rates, attendance rates, repetition rates and dropout ratesI 3 groups of inputs: student, family e school characteristics
• Parametric estimators: OLS, multilevel, fixed-effects• Non-parametric: DEA
4 / 37
School characteristicsLiterature
Internacional
Leading results in the literature:• Lee e Barro (2001) – family background and socio–economic factors are the most importantdeterminants of student performance as compared to school resources
• Hanushek et al. (2003) and Kirjavainen (2012) – the higher the prior achievement scores,the higher the final achievement scores
• Hanushek (1986) and Lee e Barro (2001) – growing up in a low–income family has anegative impact on educational outcomes
5 / 37
School characteristicsLiterature
Internacional
• Hanushek (1986), Lee and Barro (2001), Woessman (2003) and Kirjavainen (2012) –parents’ education level influences positively student’s performance
• Hanushek (1997), Krueger (2003) and Lee and Barro (2001) – the results suggest onlyweak relationships between school expenditures and student performance, once one controlsfor family characteristics
• Lee e Barro (2001) and Akerhielm (1995), for example - smaller classes have a positiveeffect on student achievement
6 / 37
School characteristicsLiterature
Internacional
• Empirical evidence on peer effects is rather mixed• However, the average peer group achievement (Hanushek, 2003), the average education ofmothers of other students in the same class (McEwan, 2003), and a high proportion of girls,(Kirjavainen2012, have a highly significant effect on student performance
• Brunello and Rocco (2013) – the higher the share of immigrant pupils in schools, the lowerthe performance of native students, especially those with a disadvantaged parentalbackground
7 / 37
School characteristicsLiterature
Portugal
• Carneiro (2008) –I The observable factor that contributes the most to the inequality in student performance is the
family backgroundI The school resources have a limited role on student results
• Pereira (2010) –I Male students perform better in mathematics and female students have better reading
performance;I Socio–economic background has a strong effect on test scoresI Parents’ education (secondary and university education) has a positive impact on student
achievement;
8 / 37
School characteristicsLiterature
Portugal
• Ferrão (2012): the relationship between prior achievement and student performance isstronger than the relationship between socio–economic status and student performance
• Oliveira and Santos (2005): school environment characteristics (e.g., unemployment rate,access to health care services, adult education and living infrastructures) are determinantsof school efficiency
• Several authors, e.g., Oliveira and Santos (2005), Pereira e Reis (2012) and Portela et al.argue that coastline schools have better performance when compared too the inland ones
9 / 37
School characteristicsMethodology
Education production function
logAijk = λ logAi9 + βXijk + δCjk + θSk + εijk (1)
Aijk: student’s achievement in Portuguese or Mathematics, measured by the 12th grade nationalexam score, for student i in class j in school k;A9
i : student’s achievement in the 9th grade exam in the same subject;Xijk : observable student and family characteristics;Cjk: measurable class j, in school k, characteristics;Sk: measurable school characteristics;εijk: error term
10 / 37
School characteristicsMethodology
Estimation methods
• OLS• Fixed – effects (school level)• A multilevel model with 3 levels – student, class and school• Non–parametric approach: Data Envelopment Analysis (DEA)
11 / 37
School characteristicsData
The dataset was built from two distinct databases managed by the Portuguese Ministry ofEducation:
• MISI (Sistema de Informação do Ministério da Educação): it is a very detailedadministrative database that contains information on pre–school education, as well as basicand secondary education, in public schools, overseen by the Ministry of Education. Itcontains information at student–level, such as gender, nationality, academic outcome,grade, social support eligibility, type of student, type of education, residence, availability ofcomputer and internet at home, kinship of legal–guardians, legal–guardians’/parents’employment situation and legal–guardians’/parents’ education, class and school.Information at school–level includes location, school resources
12 / 37
School characteristicsData
• JNE (Statistics published by Júri Nacional de Exames – Direção Geral deEducação) : information on scores in national exams on all disciplines of basic andsecondary education subjected to examination.
• Time interval: 2010 – 2012
• Estimations are performed, separately, for national exams on Mathematics and Portuguese• About 36,000 students performed the exam of Mathematics type A and/or Portuguese atupper secondary education (“12o ano”)
• Only internal students and students who enrolled in the national exam but who attendedthe discipline throughout the school year are included
13 / 37
School characteristicsData
• ≈ 25% – benefits from social support• ≈ 26% – without internet at home• ≈ 71% – the mother is the legal–guardian• ≈ 53% – with parents/legal–guardians with at least the high school diploma• 351 public schools (Portugal mainland)
• 4,817 teachers in Mathematics and PortugueseI ≈ 35% of teachers work outside their countyI ≈ 92% have an undergraduate degreeI ≈ 75% are women
14 / 37
School characteristicsDescriptive statistics
Table 1: Descriptive statistics on studentsVariable Mean Std. Dev. Mean Std. Dev. Mean Std. Dev.
2010 2011 2012
Mathematics 125.34 46.164 108.33 47.256 106.833 44.743Portuguese 116.95 29.499 105.93 31.347 112.418 30.261Maths 9th 95.00 43.401 124.28 47.051 133.712 38.589Portuguese 9th 138.37 24.046 138.60 25.401 129.029 26.927Female 0.596 0.588 0.579Age 18.11 0.401 18.280 0.551 18.27 0.528Portuguese student 0.991 0.995 0.995Internet 0.587 0.806 0.832Beneficiary s.s. 0.267 0.249 0.221
Parent/legal–guardianFather 0.219 0.203 0.195Mother 0.712 0.700 0.709
Own 0.045 0.076 0.073Other 0.025 0.021 0.023
Parent/legal–guardian educationTertiary 0.249 0.227 0.241
Secondary 0.221 0.237 0.2443rd cycle 0.209 0.239 0.2352nd cycle 0.174 0.165 0.157
1st cycle or less 0.147 0.133 0.122
Parent/guardian employment statusWorker for others 0.640 0.636 0.633
Self–employed 0.114 0.101 0.104Unemployed 0.049 0.053 0.061
Student 0.048 0.079 0.075Domestic/retired 0.140 0.125 0.119
Other 0.009 0.006 0.008Source: Computations of the author based on MISI and JNE Statistics, 2010–2012.Note: The number of observations in all variables, except Mathematics and Portuguese variables, is12,782, 9,984 and 13,131 in 2010, 2011 and 2012, respectively. The corresponding values for Mathe-matics variable are 7,800, 6,109 and 8,454, and for Portuguese variable are 12,773, 9,550 and 12,583,respectively.
15 / 37
School characteristicsDescriptive statistics
Table 2: Descriptive statistics on classes and schools
Variable Mean Std. Dev. Mean Std. Dev. Mean Std. Dev.
2010 2011 2012
Class level variables
Class size 23.80 4.961 25.11 5.194 25.57 5.453% economically disadvan-taged
24.46 17.31 23.96 16.74 21.67 15.45
% of girls 57.05 17.91 56.55 17.55 55.98 17.74% of immigrants 3.608 5.876 3.667 5.666 3.335 5.166% more educated par-ent/guardian
83.06 14.88 82.94 14.50 82.49 14.25
School level variables
School size 969.7 315.9 1,056 325.3 1,030 342.0% economically disadvan-taged
31.87 14.67 29.67 14.24 28.90 14.03
% of girls 51.51 3.755 50.59 3.878 50.05 3.655% of immigrants 4.496 4.844 4.890 5.413 4.590 4.941% more educated par-ent/guardian
86.40 9.389 86.53 9.869 86.37 9.460
Expenditure–student ratio 567.1 229.1 518.1 204.5 477.6 165.2Source: Computations of the author based on MISI and JNE Statistics, 2010–2012.Note: The number of classes observed is 1,817, 1,928 and 2,115 in 2010, 2011 and 2012, respectively; thenumber of schools is 284, 283 and 322 in 2010, 2011 and 2012, respectively.
16 / 37
School characteristicsDescriptive statistics
05
10
15
20
boy girl
excludes outside values
Mathematics Portuguese
Source: Created by the author based on MISI and JNE Statistics, 2010–2012
Figure 1: Mean national exams scores by discipline and by gender
17 / 37
School characteristicsEmpirical analysis: Multilevel
Table 3: Multilevel model results (Year of examination: 2012)(1) (2) (3) (4) (5) (6) (7) (8)
VARIABLES Dependent variable: Log of Mathematics scores Dependent variable: Log of Portuguese scores
Fixed–effects Parameters
Log Maths 9th 1.0110*** 1.0000*** 1.0006***(0.0246) (0.0246) (0.0246)
Log Portuguese 9th 0.5869*** 0.5873*** 0.5874***(0.0098) (0.0099) (0.0099)
Female 0.0742*** 0.0773*** 0.0785*** 0.0488*** 0.0484*** 0.0483***(0.0106) (0.0106) (0.0106) (0.0043) (0.0044) (0.0044)
Age -0.1037*** -0.1039*** -0.1026*** -0.1025*** -0.1018*** -0.1019***(0.0128) (0.0128) (0.0128) (0.0045) (0.0045) (0.0045)
Beneficiary S.S. -0.0571*** -0.0533*** -0.0534*** -0.0062 -0.0080 -0.0080(0.0142) (0.0144) (0.0144) (0.0054) (0.0055) (0.0055)
Internet 0.0217 0.0166 0.0190 -0.0009 -0.0003 -0.0004(0.0158) (0.0158) (0.0158) (0.0063) (0.0063) (0.0064)
Portuguese student -0.0120 -0.0161 -0.0152 -0.0418 -0.0482 -0.0483(0.0726) (0.0727) (0.0726) (0.0283) (0.0284) (0.0284)
Class size 0.0281** 0.0303** 0.0123*** 0.0122***(0.0106) (0.0106) (0.0034) (0.0034)
Class size sq -0.0006** -0.0006** -0.0002*** -0.0002***(0.0002) (0.0002) (0.0001) (0.0001)
% of economically disadvantaged (class) -0.0004 -0.0007 0.0003 0.0003(0.0006) (0.0006) (0.0002) (0.0002)
% of female (class) -0.0009 -0.0008 -0.0015* -0.0015*(0.0017) (0.0017) (0.0006) (0.0006)
% more educated parents/guardians (class) -0.0029*** -0.0040*** 0.0004 0.0004(0.0006) (0.0007) (0.0002) (0.0003)
% more educated parents/guardians (school) 0.0031** -0.0002(0.0011) (0.0005)
Continued on next page
18 / 37
School characteristicsEmpirical analysis: Multilevel
Table 5.4.3 – continued from previous page
Random–effects Parameters
Level–three variance:σ2
r0 Intercept variance 0.0130*** 0.0067*** 0.0075*** 0.0073*** 0.0036*** 0.0021*** 0.0020*** 0.0020***(0.0028) (0.0017) (0.0018) (0.0017) (0.0006) (0.0004) (0.0003) (0.0003)
Level–two variance:σ2
u0 Intercept variance 0.0361*** 0.0174*** 0.0148*** 0.0147*** 0.0079*** 0.0034*** 0.0033*** 0.0033***(0.0040) (0.0025) (0.0023) (0.0023) (0.0007) (0.0004) (0.0004) (0.0004)
Level–one variance:σ2
e Residual variance 0.2714*** 0.2101*** 0.2101*** 0.2101*** 0.0727*** 0.0506*** 0.0507*** 0.0507***(0.0046) (0.0035) (0.0035) (0.0035) (0.0010) (0.0007) (0.0007) (0.0007)
Deviance 13877.12 11463.36 11414.94 11406.04 3910.46 -935.15 -959.05 -959.18Observations 8454 8454 8454 8454 12583 12583 12583 12583LR test (χ2) 430.80 217.47 196.72 192.84 598.56 384.73 351.22 349.85Prob > chi2 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000Source: Computations of the author based on MISI and JNE Statistics, 2010–2012.Note: Standard errors in parentheses. Significance levels: *** p<0.01, ** p<0.05, * p<0.1. All regressions include a set of dummies for the parents’/legal–guardians’ education, except in the null model.
19 / 37
School characteristicsEmpirical analysis: Multilevel
141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777779999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999991111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717172222222222222222222222222221818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818184444444444444444444444444444444444444444444444444444444444444444444444444444444445555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555551212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121233333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616166666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666
−.0
60
.06
Pre
dict
ion
of r
ando
m e
ffect
s
181716151413121110987654321Rank
Mathematics: 2012
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111
151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515151515
77777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777
12121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121212121210101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888888
55555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555555
2222222222222222222222222222222222222222222222244444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666666141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414141414
13131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313131313
3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333
171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717171717
16161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818181818
−.0
60
.06
Pre
dict
ion
of r
ando
m e
ffect
s
181716151413121110987654321Rank
Portuguese: 2012
Source: Created by the author based on MISI and JNE Statistics, 2010–2012.Note: Each number represents a district: 1 – Aveiro; 2 – Beja; 3 – Braga; 4 – Bragança; 5 – Castelo Branco; 6 –Coimbra; 7 – Évora; 8 – Faro; 9 – Guarda; 10 – Leiria; 11 – Lisboa; 12 – Portalegre; 13 – Porto; 14 – Santarém;15 – Setúbal; 16 – Viana do Castelo; 17 – Vila Real; 18 – Viseu.
Figure 2: District effects and approximate 95% confidence intervals versus ranking of districts inMathematics and Portuguese achievement gains (district identifiers are shown on the top of the error bar)
20 / 37
School characteristicsEmpirical analysis: Multilevel
241
241
241
241
241
241
241
241
241
241
241
535353535353535353535353536464646464646464646464646464646464646464183
183
183
183
183
183
183
183
183
183
183
183
183
183
183
47474747474747474747474747474747474747474747474747474747474747474747273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
273
767676767676767676767676767676767676767676767676767676203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
20310
510
510
510
510
510
510
510
510
510
5575757575757575757575757
717171717171717171717171717171717171717171404040404040404040404040404040404040220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
220
949494949494949494949494949494949494949494949494949494196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
85858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858516
816
816
816
816
816
816
816
816
816
816
816
816
816
816
825
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
325
326
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
726
727
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
527
59191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191919191
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
3030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
530
523
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
723
712121212121212121212121212121212121212121212
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
612
621
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
921
925
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
425
427
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
027
032
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
831
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
230
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
630
68383838383838383838383838383838377777777777777777777777777777777585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858
33333333333333333337878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
146
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
180
1804848484848484848484848484848484848484848484848484848484848484848484848484848484848484823
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
423
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
4145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
145
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
242
60606060606060606060606060606060606060606060606060606060606060606060606060606060606060606012
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
912
95454545454545454545454545454545454545454
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
263
888888888888888822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
822
8
−.1
0.2
5P
redi
ctio
n of
ran
dom
effe
cts
50454035302520151051Rank
Mathematics: 2012
404040404040404040404040404040404040404040404040404040404040404020
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
120
1139
139
139
139
139
139
139
139
139
139
139
139
139
139
139
139
139
139
156
156
156
156
156
156
156
156
156
156
156
156
156
156
156
156
156
156
156
244
244
244
244
244
244
244
244
244
244
244
244
244
244
244
244
244
244
244
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
203
20319
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
419
431
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
231
25858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858585858
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
247
24720
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
920
916
816
816
816
816
816
816
816
816
816
816
816
816
816
816
816
816
815
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
015
027
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
127
114
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
514
512
512
512
512
512
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
522
513
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
813
8332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
332
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
122
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
173
12121212121212121212121212121212121212121919191919191919191919191919191919191919191919192626262626262626262626262626262626262619
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
519
525
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
225
249494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494917
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
717
72222222222222222222222222222228787878787878787878787878787878787878787878787878787878787878787878787878719
319
319
319
319
319
319
319
39393939393939393939393939393939393939393939393939393939393
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
255
75757575757575757575757575757575757575757575757575757575757575757575757575757575757575752525252525252525252525252525252525252525
9696969696969696969696969696969696969696969696969696969696969696969613131313131313131313131313131313131313131313131313131313131313131313131326
126
126
126
126
126
126
126
126
126
126
126
126
126
127
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
827
815
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
515
529
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
829
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
832
829
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
429
4224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
22444444444444444444444444444444444444
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
321
303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303030303050505050505050505050505050505050505050505050505011
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
133
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
533
5236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
236
−.1
0.2
5P
redi
ctio
n of
ran
dom
effe
cts
50454035302520151051Rank
Portuguese: 2012
Source: Created by the author based on MISI and JNE Statistics, 2010–2012
Figure 3: School effects and approximate 95% confidence intervals versus ranking of 50 best schools inMathematics and Portuguese achievement gains (school identifiers are shown on the top of the error bar)
21 / 37
School characteristicsEmpirical analysis: Multilevel
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
114
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
147
338
338
338
338
338
338
338
338
338
338
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
298
266
266
266
266
266
266
266
266
266
266
266
266
266
266
266
266
266
35353535353535353535353535353535353535353535353535707070707070707070707070707070707070707070252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
252
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
319
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
152
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
111
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
143
1438080808080808080808080808080808080808080808080808080808080808080808080808080808080
235
235
235
235
235
235
235
235
235
235
235
56565656565656565656565656565656565656565656565656565656565656565656565656565656565656565656565656565656565656565656565618
818
818
818
830
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
330
317
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
117
149494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949494949
123
123
123
123
123
123
123
123
123
123
123
123
123
123
123
123
7777777777777777777777777777777777777777777777777777777777777777777777329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
230
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
21121
521
521
521
521
521
521
521
521
521
552525252525252525252525252525252525252525252525252525252525252525252525252525252525252525252525252525252
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
200
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
142
179
179
179
179
179
179
179
179
179
179
179
179
179
179
179
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
282
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
149
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337
337989898989898989898989898989898989898989898989898989814
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
417
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
817
8206
206
206
206
206
206
206
206
206
206
206
206
20669696969696969
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
154
15411
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
229
2265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
265
26535
235
235
235
235
235
235
235
235
235
235
235
235
235
235
228
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
828
8347
347
347
347
347
327
327
327
327
327
327
327
327
327
327
327
327
327
327
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
277
281
281
281
281
281
281
281
281
281
281
281
281
281
281
281
281
281
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
197
−.3
0.1
5P
redi
ctio
n of
ran
dom
effe
cts
270 275 280 285 290 295 300 305 310 315 320Rank
Mathematics: 2012
226
226
226
226
226
226
226
226
226
226
226
226
226
226
226
226
226
606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060606060182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
182
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211
211888888888888888888888
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
245
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
233
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
348
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
210
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
171
17128
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
528
544444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444444410
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
710
72323232323232323232323232323232323232323232323232323232323232335
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
035
015
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
415
46262626262626262626262626262626262626262626262626262626262626262777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777777186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
186
797979797979797979797979797979797979797979797979797979797979797979797979797979797979797979797929
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
329
3214
214
214
214
214
214
214
214
214
214
214
214
214
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
103
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
248
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
116
63636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363636363638282828282828282828282828282828282828282828282828282828282828282828282828282828282828282828282828282828282828282
222
222
222
222
222
222
222
222
222
222
222
222
222
222
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
205
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292
292323232323232323232323232323232323232323232323232323232323232323232323232323232323232323232323235
235
235
235
235
235
235
235
235
235
235
235
235
235
235
235
235
235
212
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
012
014
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
814
831
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
631
614
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
714
7196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
196
61616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
133
13334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
334
311111111111111111114
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
414
413
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
213
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
224
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
624
6113
113
113
113
113
113
113
113
113
113
113
113
113
113
113
113
113
113
113
113818181
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
254
280
280
280
280
280
280
158
158
158
158
158
158
158
158
158
158
158
−.3
0.1
5P
redi
ctio
n of
ran
dom
effe
cts
272 277 282 287 292 297 302 307 312 317 322Rank
Portuguese: 2012
Source: Created by the author based on MISI and JNE Statistics, 2010–2012.
Figure 4: School effects and approximate 95% confidence intervals versus ranking of 50 worst schools inMathematics and Portuguese achievement gains (school identifiers are shown on the top of the error bar)
22 / 37
School characteristicsDiscussion
• Student prior achievement is the strongest predictor of current performance in bothsubjects, Mathematics and Portuguese (the effect is stronger for Math)
• Female students perform better than males students in both fields; results for 2012 showthat on average girls perform better than boys in about 8% for Mathematics and 5% forPortuguese
• Age has a negative and significant influence on student achievement gains, which probablyreflects a grade repetition effect
• Low income students perform worse than the higher income ones, mainly in Mathematics(-5% in 2012)
23 / 37
School characteristicsDiscussion
• Student background characteristics, in particular, the parent/guardian education has animportant, positive influence on student achievement gains
• School resources, measured by the teaching expenditure–student ratio, have no effect onstudent achievement gains
• At the school level, the class size gets the highest weight in students’ performance, mainlyin Mathematics: by adding 5 students to a class of size 20 increases student’s performanceby about 1,7%; an increase of 10% reduces the effect to 0,3% (estimates for 2012))
• In most cases the school–effect is null
24 / 37
Teacher characteristics
How do teacher characteristics impact on student’s performance?
25 / 37
Teacher characteristicsMethodology
Production function
logAijt = λ logAi9 + βXit + δTjt + γt + εijt (2)
Aijt: is the student outcome in the 12th grade national exams Portuguese or Mathematics A,measured by the national exam score;Ai
9: score of the ith student in the national exam of 9th grade;Xit : vector of student and family background characteristics;Tjt: measurable teacher characteristics and includes the class size;γt: time fixed-effects;εijt: error term.
26 / 37
Teacher characteristicsMethodology
Estimation methods
• Ordinary Least Squares (OLS);• Fixed-effects (FE)
logAijt = λ logAi9 + βXit + δTjt + τj + εijt (3)
where τj is a teacher fixed–effect.
27 / 37
Teacher characteristicsData
• A matched student–teacher dataset including the national test scores of students inMathematics and Portuguese, student background information, and teacher information;
• Information at the student–level: gender, date of birth, nationality, academic outcomes, yearof schooling, social support eligibility, residence, availability of computer and internet athome, parents’ employment situation and parents’ education, class and school, amongothers;
• Information at the teacher–level: gender, date of birth, education, teaching experience,disciplinary group, salary, county and district of residence, among others;
• Period: 2010 – 2012;
28 / 37
Teacher characteristicsData
The sample contains:• 21,549 student observations:
I attended the scientific–humanistic courses of secondary education;I performed the 12th grade national exams of Mathematics and Portuguese;I aged between 17 and 20 years (91% of students are 18 years old);I 23% of the students benefit from social support;I 73% of the students have internet access at home.
• 4,817 unique teachers:I working in 446 Portuguese public secondary schools;I about 35.1% are working outside their county of residence;I 91.8% of the teachers have a bacharelato or bachelor degree as the highest level of education;I 75% are female;I 50% of the teachers have at least 25 years of experience;
29 / 37
Teacher characteristicsEmpirical results: OLS
Table 4: OLS estimates
(1) (2) (3) (4) (5) (6) (7) (8) (9)All students Mathematics Portuguese
Log of 9th exam scores 0.7110*** 0.7101*** 0.7101*** 0.9534*** 0.9503*** 0.9505*** 0.6972*** 0.6959*** 0.6959***(0.0129) (0.0129) (0.0129) (0.0242) (0.0241) (0.0241) (0.0133) (0.0133) (0.0133)
Female student 0.0598*** 0.0597*** 0.0598*** 0.0594*** 0.0589*** 0.0589*** 0.0602*** 0.0604*** 0.0604***(0.0050) (0.0050) (0.0050) (0.0103) (0.0103) (0.0103) (0.0044) (0.0044) (0.0044)
Age -0.1211*** -0.1210*** -0.1210*** -0.1865*** -0.1845*** -0.1841*** -0.0974*** -0.0968*** -0.0968***(0.0077) (0.0077) (0.0077) (0.0234) (0.0232) (0.0232) (0.0066) (0.0066) (0.0066)
Beneficiary S.S. -0.0494*** -0.0489*** -0.0488*** -0.0853*** -0.0842*** -0.0844*** -0.0301*** -0.0295*** -0.0296***(0.0062) (0.0062) (0.0062) (0.0141) (0.0141) (0.0141) (0.0053) (0.0053) (0.0053)
Internet 0.0196*** 0.0195*** 0.0196*** 0.0175 0.0177 0.0179 0.0157*** 0.0157*** 0.0157***(0.0057) (0.0057) (0.0057) (0.0126) (0.0126) (0.0126) (0.0049) (0.0049) (0.0049)
Continued on next page
30 / 37
Teacher characteristicsEmpirical results: OLS
Continued from previous page
Female teacher 0.0219*** 0.0219*** 0.0222*** 0.0288** 0.0278** 0.0281** 0.0120** 0.0120** 0.0120**(0.0060) (0.0060) (0.0060) (0.0117) (0.0117) (0.0117) (0.0053) (0.0053) (0.0053)
Advanced degree 0.0157* 0.0161* 0.0165* -0.0082 -0.0089 -0.0080 0.0254*** 0.0253*** 0.0252***(0.0089) (0.0089) (0.0089) (0.0198) (0.0198) (0.0197) (0.0071) (0.0071) (0.0071)
Experience 0.0013*** 0.0013*** -0.0010 0.0012 0.0012 -0.0061 0.0007** 0.0007** 0.0011(0.0004) (0.0004) (0.0022) (0.0008) (0.0008) (0.0046) (0.0003) (0.0003) (0.0018)
Experience sq 0.0000 0.0002 -0.0000(0.0000) (0.0001) (0.0000)
Commuting -0.0081 -0.0078 -0.0081 -0.0162 -0.0152 -0.0163 -0.0084* -0.0080* -0.0079*(0.0053) (0.0053) (0.0053) (0.0114) (0.0113) (0.0114) (0.0046) (0.0046) (0.0046)
Class size 0.0156*** 0.0156*** 0.0355*** 0.0356*** 0.0064** 0.0065**(0.0035) (0.0035) (0.0087) (0.0087) (0.0028) (0.0028)
Class size sq -0.0003*** -0.0003*** -0.0007*** -0.0007*** -0.0001** -0.0001**(0.0001) (0.0001) (0.0002) (0.0002) (0.0001) (0.0001)
Observations 21,549 21,549 21,549 8,100 8,100 8,100 13,449 13,449 13,449R-squared 0.251 0.252 0.252 0.298 0.300 0.300 0.329 0.329 0.329RMSE 0.245 0.245 0.245 0.245 0.245 0.245 0.245 0.245 0.245Source: Computations of the author based on MISI and JNE Statistics, 2010–2012.Note: Robust standard errors in parentheses. Significance levels: *** p<0.01, ** p<0.05, * p<0.1. The dependent variable is log 12th
grade national exam score. All regressions include a set of dummies to control for district/region and year.
31 / 37
Teacher characteristicsEmpirical results: FE
Table 5: FE estimates
(1) (2) (3) (4) (5) (6)All students Mathematics Portuguese
Log of 9th exam scores 0.7067*** 0.7066*** 0.8347*** 0.8341*** 0.6466*** 0.6463***(0.0149) (0.0148) (0.0297) (0.0296) (0.0151) (0.0151)
Female student 0.0544*** 0.0544*** 0.0661*** 0.0661*** 0.0607*** 0.0607***(0.0055) (0.0055) (0.0126) (0.0126) (0.0054) (0.0054)
Age -0.1112*** -0.1105*** -0.1983*** -0.1963*** -0.0932*** -0.0925***(0.0087) (0.0088) (0.0289) (0.0289) (0.0078) (0.0078)
Beneficiary S.S. -0.0443*** -0.0442*** -0.0706*** -0.0714*** -0.0327*** -0.0325***(0.0072) (0.0072) (0.0188) (0.0187) (0.0064) (0.0064)
Internet 0.0141* 0.0142* 0.0017 0.0024 0.0226*** 0.0225***(0.0080) (0.0080) (0.0191) (0.0190) (0.0073) (0.0073)
Continued on next page
32 / 37
Teacher characteristicsEmpirical results: FE
Continued from previous page
Advanced degree -0.0223 -0.0218 -0.0957 -0.0913 0.0505 0.0501(0.0507) (0.0505) (0.1136) (0.1107) (0.0411) (0.0411)
Experience 0.0565*** 0.0567*** 0.2238*** 0.2195*** 0.0076 0.0084(0.0211) (0.0209) (0.0492) (0.0486) (0.0179) (0.0179)
Experience sq -0.0018*** -0.0018*** -0.0065*** -0.0063*** -0.0003 -0.0003(0.0004) (0.0004) (0.0010) (0.0010) (0.0004) (0.0004)
Commuting -0.0216** -0.0215** -0.0136 -0.0136 -0.0214** -0.0212**(0.0100) (0.0100) (0.0255) (0.0254) (0.0090) (0.0090)
Class size 0.0142** 0.0315* 0.0103**(0.0060) (0.0169) (0.0051)
Class size sq -0.0003** -0.0007** -0.0002*(0.0001) (0.0003) (0.0001)
Observations 21,549 21,549 8,100 8,100 13,449 13,449No. of teachers 4,817 4,817 2,868 2,868 3,828 3,828Source: Computations of the author based on MISI and JNE Statistics.Note: Robust standard errors in parentheses. Significance levels: *** p<0.01, ** p<0.05, * p<0.1. The dependent variable islog 12th grade national exam score. All regressions include a set of dummies to control for district/region.
33 / 37
Teacher characteristicsNotes
• Results show that female teachers have a positive effect on students’ achievement gains• Teachers working away from home have negative and significant effects on student results• Teachers with more qualifications (postgraduate, masters or PhDs) do not show betterperformance than those with a bacharelato or licentiate diploma
• Teachers with more experience are more effective in increasing students’ performance thanthose with less experience
34 / 37
Teacher characteristicsMultiple fixed-effects
Table 6: Teacher & School fixed-effects: mathematics
No FE Teacher FE School FE T. and S. FE
Math9 0.6551*** 0.6279*** 0.6324*** 0.6284***(0.0129) (0.0142) (0.0131) (0.0143)
Female 0.0868*** 0.0845*** 0.0853*** 0.0847***(0.0086) (0.0092) (0.0086) (0.0092)
R2-adjusted 0.30 0.33 0.32 0.33RMSE 0.42 0.41 0.42 0.41Source: Computations of the author based on MISI and JNE Statistics,2010–2012.Note: The number of observations 11,407. 2018 teachers & 286 schools.52% girls. Math9: mean = 135, median = 140, 10th percentile = 74, sd= 40.
35 / 37
Teacher characteristicsMultiple fixed-effects
44.5
55.5
Lin
ear
Pre
dic
tion
0 50 100 150School ID
Predictive Margins of eeid with 95% CIs
Source: Created by the author based on MISI and JNE Statistics, 2010–2012
Figure 5: Marginal effects by School
36 / 37
Teacher characteristicsMultiple fixed-effects
3.5
44.5
55.5
6Lin
ear
Pre
dic
tion
0 200 400 600 800 1000Teacher ID
Predictive Margins of eeid with 95% CIs
Source: Created by the author based on MISI and JNE Statistics, 2010–2012
Figure 6: Marginal effects by Teacher
37 / 37