Welcome everyone to the Child Outcomes Data Analysis webinar.  My name is Pam Miller and I will be co‐presenting with Amy Nicholas for the webinar today.  We hope this format will be an effective and efficient way to share information about new child outcomes reports being released as part of the Online IFSP in July 2014, as well as to review essential questions that can be used to drive child outcomes data analysis at both the individual child level and local program level. We thank you for joining us.  

This webinar is being recorded and will be available on Maryland Learning Links.  At the end of the presentation there will be an opportunity for questions.  

1

So that we are able to accurately capture attendance for the webinar, we are asking for your assistance if you are participating as a group. If this is the case, please send me an email (pmiller@msde.state.md.us) with the names of all individuals present.

2

To start our discussion on child outcomes data, I’d like to provide some background information for you. This past February, the Division convened a Child Outcomes Analysis Workgroup consisting of local Directors and other leadership staff in response to numerous requests we were receiving for technical assistance with program‐level data analysis, including engaging providers in child‐level analyses. The Workgroup developed an extensive list of suggested reporting enhancements to the Maryland Online IFSP and related recommendations for how to promote data literacy across the state.

3

The term “data literacy” refers to the ability to continuously, effectively, and ethically access, interpret, act on, and communicate multiple types of data from state, local, site, and other sources to improve outcomes for children and families in a manner appropriate to professional roles and responsibilities. The Division of Special Education/Early Intervention Services is committed to providing the tools and the professional learning support needed to enhance local early intervention staff capacity to operate as data literate professionals.

4

When engaging local staff in data analysis activities, there are several important considerations to keep in mind. First, it’s critical that staff understand the U.S. Office of Special Education Programs’, or OSEP’s, progress at exit categories and summary statements. The Early Childhood Technical Assistance Center offers some wonderful self‐learning resources on their website, including a narrated overview of child and family outcomes measurement for new staff. 

In addition to an understanding of child outcomes reporting components, it’s important to relay to staff that data are only useful for informing current professional practice if they are timely and valid. The term “data validity” refers to the correctness of the data. The Division of Special Education/Early Intervention Services promotes doing COS ratings at least annually using the integrated COS/IFSP process. This ensures the IFSP team is engaging in on‐going conversations about the child’s functioning across the three child outcome areas –positive social‐emotional skills, acquiring knowledge and skills, and using appropriate behaviors to meet needs.

Keeping these considerations in mind, I’m going to now turn it over to Amy to discuss the existing child outcomes‐related reports that are available to staff in the Online IFSP, as well as new reports that will be available as of July 1st. 

5

Thank you, Pam. As mentioned, I’m going to spend the next portion of the webinar reviewing the current child outcomes reporting capabilities that staff have using the Online IFSP, as well as introduce you to some new reports being released this summer. When reviewing each report, I’m going to provide examples of essential questions that can be answered with the data in them. The goal is for you to walk away from today’s webinar with a toolkit of sorts to use with your staff for data analyses activities. 

Keep in mind that currently, only Service Coordinators and County‐level users have access to running child outcomes reports. However, with the July 1st release of new enhancements this summer, providers will also be able to run reports that will include data for the children on their current caseloads.

First, let’s take a look at the audit reports related to child outcomes. Currently, users are able to run a predefined COS Exit Needed audit report for children birth to 3 or 3 to kindergarten entry. With these reports, staff are able to answer the questions: (read questions on slide).

6

This summer, a new Exit COS Not Completed by Reason Not Completed audit report will be released. This report will pull the names of the children with reported Exit COS ratings not completed and display the recorded reasons why those ratings were not completed. With this report, users will be able to answer the question: (read question on slide).

7

Let’s move on to the Progress at Exit reports. Currently, users are able to run Predefined Progress at Exit reports at the child and summary levels. Running a child level report, either birth to 3 or 3 to kindergarten, generates an Excel spreadsheet with numerous fields, including the child’s initial referral and IFSP dates, age at referral, time in program, Medical Assistance (yes/no), entry and exit COS ratings, and progress at exit categories. These child level Progress at Exit reports are great tools for individual providers to monitor the progress of children on their caseloads. Some essential questions that one would be able to answer with the child level progress at exit reports are: (read questions on slide). 

8

Similarly, the current summary level progress at exit reports enable users to examine data to answer questions about the outcomes achieved by the local program as a whole.  The summary level reports generate data on the number of children in the program during a particular date range falling into the five OSEP progress categories (A‐E), as well as distributions of children by summary statements. Examining these data can help users answers questions such as: (read questions on slide).

9

This summer, the Child Level COS Excel output reports will include five new fields or columns in addition to what is already presented. For each child, the report will also include reason for inactive, the name of the child’s Service Coordinator, the family’s zip code, the child’s home school, and the child’s Race 7 classification.

10

When providers examine the data they have available to them using these child level Progress at Exit reports, they are able to answers questions such as: (read questions on slide).

11

The major change to the summary level Progress at Exit report coming this summer is the addition of new filters for disaggregating data. These filters will enable users to look at the number of children in the local program during a particular date range by the five OSEP progress categories (A‐E) as well as the two summary statements and disaggregated by particular child and program characteristics, namely Medical Assistance status, eligibility, Race 7, reason for inactive, and program site (if applicable to the local jurisdiction). The user can run a series of disaggregated reports and compare data across subgroups of children. For example, you could compare outcomes for children with 25% delay eligibility to outcomes for children with high probability conditions.

12

Examining disaggregated summary level program data enables users to answers questions such as: (read questions on slide).

13

A crosstab report is a data table where each column refers to a specific sub‐group in a 

population. The values at the intersection points of rows and columns show summarized information for a sub‐group. In this instance, the intersections on a Entry/Exit COS crosstab report provide summaries of the children who entered and exited the program with particular COS ratings. This type of table is useful for identifying outliers, or unusual patterns of performance related to COS trajectory during time in a program, such as in the case of these two children who entered with a rating of 7 and exited with a 

rating of 1 (refer to green circle)—not something we would expect to see. Instead, we would expect most cases to be on the diagonal and clustered on one side of the diagonal.

14

When analyzing the data presented in an Entry/Exit COS crosstab report, it’s important to understand the overarching assumption we have about the trajectories children demonstrate related to child outcomes during their time in early intervention programs. We expect that functioning at entry within an outcome area will be related to functioning at exit. In other words, those children who enter higher functioning, and thus have higher COS ratings, are expected to exit the program demonstrating higher functioning. When you don’t see this represented on a crosstab report, this should raise a red flag and prompt you investigate in more detail why that might not be the case. Some essential questions that can be asked when reviewing a Entry/Exit COS crosstab report are: (read questions on slide).

15

Another new child outcomes reporting feature coming this summer is the addition of the most recent COS ratings to the caseload report (available on the Cases page). The addition of these data help to emphasize the importance of completing the COS more frequently, at least annually, so that providers have current information about outcomes for the children on their caseloads. Having this information available to providers allows them to answer questions such as: (read questions on slide).

Now I would like to turn the presentation back over to Pam to share some additional resources and next steps.

16

Additional resources for analyzing and utilizing data for program improvement are available on the Early Childhood Technical Assistance (ECTA) Center website.  Once on the ECTA site you need to go to Outcomes Measurement, then to Using Data and then Resources and Tools.  We have provided the direct web link in the PowerPoint but feel free to explore the Outcomes Measurement area of their website as there are many useful resources.  

I would like to highlight several specific resources that you may find helpful.  First, the Analyzing Child Outcomes Data for Program Improvement: A Guidance Table is a tool that outlines a series of steps related to defining analysis questions, clarifying expectations, analyzing data, testing inferences, and conducting data‐based program improvement planning. This tool also provides additional related resources that you may find helpful as well as general suggestions or tips to consider in analyzing and reviewing child outcomes data.  

The next resource I would like to highlight is the Local Contributing Factor Tools for both the early intervention child outcomes Indicator C‐3 and the preschool child outcomes indicator B‐7.  This tools assists early intervention programs to collect and utilize valid and reliable data to determine underlying factors impacting local performance in order to develop meaningful improvement plans.  This tool may look familiar because we have provided a similar tool that examines local contributing factors for the other performance indicators ‐ serving children in natural environments, family outcomes and child find.  You may find the local contributing factor tool particularly helpful if you need to develop child outcome improvement plans based on your local child outcomes data.

The remainder of the data analysis resources and tools on this webpage consist of PowerPoint presentations, data activities, and specific state‐developed resources for using data for program improvement.  I encourage you to look through these to consider how you may want to utilize any of these resources for further analysis of child‐level and local program level data.

17

Hopefully this webinar has stimulated your thinking on possible ways for you to analyze your child outcomes data at both the individual child level and the local program level.  Our goal is to continue to enhance child outcomes reporting so we all have the necessary tools to identify “what is working” and improve results for young children with disabilities and their families.  While we were able to include a handful of new child outcomes reports with the July 1st release, we already know based on the stakeholder feedback we received in February, that we will want to continue to enhance child outcomes reporting.  Several enhancements we will be considering will be to place a stronger focus on comparing Entry COS ratings with current COS ratings and to add critical filters to better examine characteristics of children and programs that are expected to provide meaningful differences in child outcomes results. Our hope is that we can begin to identify those specific evidence‐based instructional practices and family capacity‐building strategies that improve child outcome results. 

Please know there are many ways for local staff to continue to provide valuable input to enhance child outcomes reporting.  If you are interested in participating in the Online IFSP User’s Group – please send an e‐mail to Dan Szczepaniak, if you have specific ideas for new child outcome reports that would be helpful, please call me or send me an e‐mail.  Finally, please share your experiences with analyzing and using data.  We need to know what reports you are using to answer essential questions and where the data is taking you with regard to individual child‐level improvement and overall local program improvement.  

18

Now we’ll take some time to answer questions about the information we’ve shared today. Please type your questions in the Chat Pod and we’ll answer as many questions as we can in the remaining time. If you feel you need individualized assistance, please don’t hesitate to contact me with any questions specific to your needs. 

19

Thank you for spending this time with us this afternoon. We ask that you please take just a couple of moments to complete a brief survey for us. We’ll be directing you right to the survey website in just a moment, but as a reminder, the recording of this webinar will be posted on Maryland Learning Links, along with the PowerPoint presentation, in case you’d like to review it again at a later time.

Thanks again for joining us, and have a great evening.

20