1

2

What is the problem?

Nationwide, standardized test scores decline in the middle grades, particularly in math. Students come into middle school with gaps in their math knowledge, skills, and understandings, yet math is a subject that continues to build on itself, requiring a strong foundation. As math gets harder in middle school, student achievement scores fall with each passing grade. This leads to a lack of preparedness for Algebra 1 and high school math. Students who fail Algebra in middle school are far more likely to fail it subsequent times in high school. Algebra 1 is seen as the gateway to high school success, and failure in Algebra 1 highly correlates to high school dropout rates. Therefore, there is a necessity for high‐quality intervention models that boost student achievement in middle school math, reverse the declining trend, and prepare students for success in Algebra 1 and high school math.

3

The DARTS Model: Diagnostic, Data, and Rescue Assignment

This study tracks the effectiveness of the DARTS model, a comprehensive intervention model created by Heather Karuza. DARTS is an acronym that stands for: (D) diagnostic, (A) assessment, (R) rescue assignment, (T) translations, and (S) story problems. These are the components of the model. The diagnostic is a 10‐question multiple‐choice (a‐d) quiz given once every week in the math class. Data from the diagnostic are collected via Google Spreadsheets and disaggregated. Teachers are able to use the data to target common misconceptions, student mistakes, and areas in need or re‐teaching. Assessment in the DARTS model differs from the diagnostic in that it is a quarterly static benchmark test used to measure student knowledge of the core course content. The rescue assignment is differentiated intervention for students based on what each student needs to practice. For each of the ten questions on the diagnostic, there are 3‐4 free‐response questions on the rescue. Each student does the corresponding problems for each problem that s/he missed on the diagnostic. 

4

The DARTS Model: Translations & Story Problems

Translations are math phrases completely written out in English words, which students translate into math symbols. Students do at least 10 of these per week, and they provide opportunities to engage in rich mathematical discussions utilizing proper vocabulary. A story problem is a mathematical word problem. Story Problems are done at least once per week and completed using the common graphic organizer and rubric (used school‐wide).

5

The purpose of this study is to understand how the implementation of the DARTS math intervention model affected math achievement scores in 6th grade math, 7th grade math, and 8th grade Algebra 1 in a large urban middle school between the years of 2009 to 2012. This study analyzed how students did over time from 2007 to 2012 in the treatment school, while also comparing students at the treatment school to students at similar schools who did not implement the model.

This study is significant because there is a lack of cohesive intervention models that are both affordable and feasible for schools to use that increase student achievement. There is a lack of formative data available to teachers in order to make decisions about instruction. Additionally, there is a need for comprehensive research‐based curriculum for math intervention classes that are scheduled throughout the district. This study aims to provide evidence of the effectiveness of the DARTS model when implemented with fidelity.

6

The literature review was divided into four sections focusing on research in the following areas: formative assessment, feedback, academic vocabulary, and problem solving. These four areas are matched to the four main components of the DARTS model, and therefore support the reasoning behind each element’s incorporation into the model. There were a total of 69 references in the complete literature review of this study.

7

8

9

The first research question of this study is aimed at finding out if the students who participated in the DARTS math intervention model did better than students from the same school in years prior to the model’s implementation.  This question is only looking at students within the treatment school. To do this, percentage change in band levels were compared and changes in math CST mean scaled scores were analyzed using t‐tests.

10

The changes in math CST mean scaled scores were analyzed between 2007 and 2008, 2008 and 2009 in 6th, 7th, and 8th grade to look for differences before DARTS was implemented. The DARTS model began at the treatment school during the 2009‐2010 school year. Between the school years ending in 2009 and 2010, the increases in CST mean scaled scores were statistically significant for all three grade levels in math. That was the first time that had happened at the treatment school. 

The comparison of 2010 and 2011 only used 7th and 8th grades since the treatment school no longer had 6th graders at that time. Both grade levels showed statistically significant increases in mean scaled scores from 2010 to 2011 also. However, it must be noted that beginning in 2011, the treatment school increased the amount of minutes students received in math instruction. Both grade levels increased in their math mean scaled scores from 2011 to 2012, but the increases were not statistically significant.

11

This graph shows the percentage of students at the treatment school scoring in the Proficient and Advanced bands on the math CST by year. Scores in 6th grade were on an upward trend. Before the DARTS model, 7th grade waivered up and down, and 8th grade was on a downward trend (from 2007 through 2009) plummeting down to barely 4% proficient or advanced. All grade levels rose significantly after the first year of DARTS in 2010. After only two years, 8th grade proficiency rose from 4% to over 40%.

12

In summary, the DARTS math intervention model had a significantly positive effect on math achievement scores for students in grades 6 to 8 in the treatment school. There were statistically significant increases in math in 2010 and 2011 for all grade levels, and this had never happened prior to using the DARTS model. The percentage of students scoring in the proficient and advanced band levels increased for all grade levels after the implementation of DARTS and remained at a high level. Although these findings are excellent, it must be noted that the treatment school changed to include more minutes in math in 2011, so the increase in scores cannot yet be definitively attributed to the DARTS model. The following research questions will help make this finding more definitive.

13

Since this is not a randomly assigned experimental study, this research question mainly supports the validity of this study’s findings. In order to help determine whether or not the DARTS model positively impacted student achievement, other outside factors must be accounted for as much as possible. For example, the treatment school was under the Quality Education Investment Act (QEIA) grant, which lowered class sizes in core content areas (including math), ensured highly qualified teachers in all content areas, and held the school accountable for other compliance factors.

By gathering the CST data from other content areas (English, Science, and History‐Social Studies) at the same school during the same years, changes in mean scaled scores, score distributions, and percentage proficient can be analyzed in comparison to math. School‐wide initiatives would theoretically impact all content areas similarly, so this data can help answer whether or not changes in math achievement scores were directly due to the DARTS model. 

14

The Academic Growth over Time (AGT) data from each school year (beginning in 2010 when AGT first became available) is a value‐added measure on a scale from 1 to 5. As stated in the instrumentation section, if the students achieve what was expected according to district averages, the AGT score would be 3.0. Therefore, if district reform expected all students to achieve at a higher level, then the 3.0 would represent that increase. Since AGT compares each school to the district average, higher scores in the treatment school can eliminate district‐level reforms/influences on student achievement. 

15

The first three years show the treatment school’s percentage of 7th grade student scoring in the proficient or advanced band levels before DARTS was implemented. The percentage of students scoring proficient or advanced was higher in ELA than in math for all three of those years. Starting the year that DARTS began in 2010, the percentage of students scoring proficient or advanced was higher in math than in ELA (significantly so in 2011 and 2012).

When the treatment school changed to a block schedule in 2010‐2011, the number of minutes per day in ELA was reduced to only 90 (same as math). Despite this decrease in instructional minutes, the 7th grade mean scaled score increased 14.3 points and the 8th grade score increased 8.9 points, and both increases were statistically significant for the first time in three years. This was also the year that the ELA department began implementing a model similar to DARTS. The ELA model (termed DREAM) had a weekly diagnostic (formative assessment) and data collection, re‐teaching mini lessons, editing (students fix grammar and punctuation), academic vocabulary, and model writing (a common writing prompt per grade level that the teachers would model). This means that extra time does not equate to a dramatic increase in scores, nor would a decrease in time equate to a decrease in scores. Additionally, the increase in ELA scores when they implemented DREAM, similar to that of math the year before, provide further support for the argument that formative assessments paired with feedback loops significantly impact student achievement scores. 

16

The first three years show the treatment school’s percentage of 8th grade students scoring in the proficient or advanced band levels before DARTS was implemented. Math was at the low end of those percentages through 2010. In 2011 and 2012, the percentage of 8th

graders scoring proficient or advanced jumped to nearly 45%. This graph also shows the trends in the other content areas over the 6‐year span.

17

The treatment school CST scaled scores for content areas other than math were analyzed using independent sample (two‐tailed) t‐tests between each year for 6th grade, 7th grade, and 8th grade ELA, 8th grade Science, and 8th grade History. The only year that all levels showed statistically significant increases was in 2012. Ironically, this was the only year after DARTS started that math increased, though not significantly. This is attributed to the already high scores in math and the theory that the high achievement of students and formative assessment practices by math teachers began to permeate the rest of the school culture and have impacts in other content areas.

18

Math outscored all other content areas in AGT scores all three years, which were the years that the DARTS model was implemented. The scale is from 1 to 5, but several math scores were so far above the predicted growth, the AGT score exceeded the “highest possible” score of 5. So even though the other content areas had statistically significant growth in 2012, their AGT scores were all below predicted growth, while math still achieved far above predicted.

19

In summary, school‐wide initiatives did not account for the increases in math achievement, since no other content area had similar growth. Indeed, math did better than any other content area, but only after the implementation of the DARTS model. ELA showed similar increases to math after starting the DREAM model, which was very similar to DARTS. It can be concluded that more instructional time in a content class does not equal higher achievement scores as with the example of the English classes losing minutes per day, but increasing scores significantly. Finally, math had the highest AGT scores in comparison to any other content area, showing far above predicted growth.

The findings from this research question further validate the results of the other research questions, demonstrating that the DARTS math model was effective in raising student achievement in math for students in an urban middle school. 

20

Research question #3 aims to see if there was a difference between the math achievement at the treatment school versus similar schools who did not implement the DARTS model. The above demographic table shows the breakdown of each school in 2009. The treatment school had to be compared to a school not only similar in demographics but also in the number of instructional minutes in math. Similar school #1 had the same number of math instructional minutes as the treatment school did between 2007 and 2010. Similar school #2 had the same schedule as the treatment school changed to in 2011 and 2012.

21

For research question #3, CST math scores were collected for both the treatment school and the other two similar schools. This data analysis was primarily done using two‐tailed t‐tests. The treatment school was compared to a non‐treatment school with the same schedule (same amount of time in math instruction per day), and this will vary depending on the year. In addition, similar data analyses was done on the two non‐treatment schools as was mentioned in the first two research questions to show the difference between mean CST scaled scores and Algebra EOC scores, score distributions for both CST and Algebra EOC, percentage of students reaching proficiency on the CST or passing the Algebra EOC, changes in math scores in comparison to other content areas, and differences in AGT scores. 

22

23

This table shows the treatment school in comparison to the corresponding similar school in the percentage of students scoring proficient or advanced in math on the CST. In 2007 through 2009, the two schools were very close in comparison. However, beginning in 2010 (when DARTS began), the treatment school showed a much higher percentage. In 2011 and 2012, the treatment school also had a significantly higher percentage of students achieving proficiency than similar school #2.

24

25

Independent sample t‐tests were run for 6th grade, 7th grade, and 8th grade Algebra CST scaled scores in the similar schools between the following years: 2007 to 2008, 2008 to 2009, 2009 to 2010, 2010 to 2011, and 2011 to 2012. These data did not show any trends of improvement for either of the similar schools. There was no year when all grade levels improved in math. At both schools, there were times of statistically significant decreases in 7th grade math scores. 

26

In order to compare the treatment school with the corresponding similar school, an independent two‐tailed t‐test was run for each grade level each year. When DARTS was implemented school‐wide in 2010, the comparison of all three grade levels of the treatment school to similar school #1 yielded statistically significant results, with the treatment school’s mean being higher. The year that the treatment school switched schedules to match that of similar school #2 (2011), the comparison of all three grade levels yielded statistically significant results, with the treatment school’s mean being higher. The same results occurred the next school year (2012). The treatment school had a higher percentage of 8th graders passing the Algebra End‐of‐Course Exam than tither of the other two similar schools in 2011 and 2012.

27

The overall math AGT score for the treatment school was higher than either of the similar schools all three years, which were the years DARTS was implemented. 

28

The overall ELA AGT scores were lower for the treatment school compared to both similar schools in 2010, above both similar schools in 2011, and in between the similar school scores in 2012. For both years available, the treatment school’s AGT score was below both of the other similar schools in 8th grade Science. The treatment school scored slightly above similar school #2 in 8th grade History in 2011, but slightly below in 2012. 

29

In summary, both similar schools started out higher than the treatment school before the DARTS model started, but the treatment school surpassed both similar schools beginning in 2010. Seven out of seven t‐tests showed the treatment school significantly out‐performed the respective similar school from 2010 to 2012. AGT scores were higher for the treatment school than the similar schools in 8 out of 10 comparisons for math, but only in 3 out of 14 for other content area comparisons. 

30

In order to answer this research question, analysis was done on three groups of students: low (scoring Far Below Basic or Below Basic), middle (scoring Basic), and high (scoring Proficient or Advanced) ranges. AGT scores for the treatment school from 2010 through 2012 will be analyzed for the three groups to see if there are any differences. In addition, pivot tables (which count the number of students meeting two criteria at once) were set up to analyze the change in CST band level (Advanced, Proficient, Basic, Below Basic, Far Below Basic) for one cohort of students moving from 6th grade in 2010 through 8th grade in 2012. This cohort was divided into the three groups and the percentage change in scaled score was analyzed through ANOVA. Additionally, a one‐sample t‐test helped determine if there were significant changes in mean scaled score within the groups from one year to the next. 

31

Based on the scores from the AGT results, it appears that the DARTS model impacts all levels, but has a greater impact on students in the high range (Proficient and Advanced) of the math CST. Since the AGT scores take into account student prior year scores, it compares students to themselves, rather than what this study has done for the previous three research questions, which was to compare different groups of students. The scores of all three levels were fairly close, but in each of the three years from 2010 to 2012, the high group had the highest expected growth (AGT score) out of the three levels. 

32

It is unclear whether the DARTS model had a greater impact on the middle or lower levels in comparison to each other. According to the AGT scores, in 2010 the low group appeared to do better, but it was the high group who did the best the next year, and there was insufficient data to tell in 2012, but the high group did better than the low group. Looking at the changes in band level and percentages in each band level each year, it looks like students in the high group gained the most benefit from the DARTS model. However, it is important to note that the tests each year are not the same, and judging a student’s score on the 7th grade CST compared to the Algebra CST is not perfectly calibrated. Clearly, all three groups showed marked improvement, and in 2011 and 2012 had above predicted growth. It is hard to say definitively whether the DARTS model was more beneficial to one level of students over another; this is an area in need of further research. 

33

Key limitations to this study include selection bias, limited demographics of the sample, the validity for other types of standardized tests, data from previous school years, and the fact that the model was developed and implemented by the researcher. 

34

35

36