Evidence‐based PracticesLeveraging Best Practices for School ImprovementAug. 25, 2017 

2

• Define evidence‐based practices

• Provide a brief overview of evidence‐based practices (EBPs) as outlined in ESSA

• Outline the process for identifying EBPs to improve current practices

• Identify key resources for identifying EBPs aligned to school context and need

• Consider how to best implement and evaluate the effectiveness of EBPs

Objectives

Section IEvidence‐Based Practices Defined

4

The Elementary and Secondary Education Act of 1965 (ESEA), as amended by the Every Student Succeeds Act (ESSA), lists over 50 instances in which the use of evidence‐

based practice is required. 

But what does evidence‐based mean? 

Defining Practices

• Based on rigorous research designs• Demonstrate a record of success for improving student outcomes

• Have undergone systematic review process using quality indicators to evaluate level of evidence

Evidence‐Based 

Practices

• Based on rigorous research designs• Demonstrate a record of success for improving student outcomes

Research‐Based 

Practices

• Not based on rigorous research• Limited data to support effectiveness• Based on anecdotal evidence and/or professional judgment

Best Practices

5

According to Section 8101 (21) of Every Student SucceedsAct, an EBP:

• (ii)(I) demonstrates a rationale based on high‐qualityresearch findings or positive evaluation that suchactivity, strategy, or intervention is likely to improvestudent outcomes or other relevant outcomes; and

• (II) includes ongoing efforts to examine the effects ofsuch activity, strategy, or intervention.

ESSA Definition of EBP

6

According to Section 8101 (21) of Every Student Succeeds Act, an EBP is apractice that:• (i) demonstrates a statistically significant effect on improving student

outcomes or other relevant outcomes based on—

Sound Research

• Evidence from at least 1 well‐designed and well implemented experimental study (randomly assigned control group)

(I) Strong

• Evidence from at least 1 well‐designed and well‐implemented quasi‐experimental study (control group exists, but not randomly assigned)

(II) Moderate

• Evidence from at least 1 well‐designed and well‐implemented correlational study (relationship between two variables) with statistical controls for selection bias

(III)Promising

7

SECTION II Implementing Evidence‐Based Practices in Education

8

The U.S. Department of Education has released new guidance, ”Using Evidence to Strengthen Education Investments,” to support evidence‐based decision‐making by states, districts, schools, educators and partners. 

ESSA Guidance on EBPs

Department of Education, 2016

This non‐regulatory guidance includes a five part plan to help stakeholders make more effective education investments by leveraging rigorous, relevant evidence to improve outcomes for students. The five‐part plan is discussed in the subsequent slides.

9

• DC Stars High School has identified a persistently low graduation rate for students with disabilities over the past several years.

• A new principal has been appointed who has been charged with tackling this challenge and producing results.

• The principal wants to use EBPs to address this issue.

• Together, we will consider what the five part process might look like at DC stars.

Case Study: DC Stars High School 

10

Part IIdentify School Needs 

11

To identify school needs, LEAs and schools should look at quantitative and qualitative data.

Critical questions at this stage include the following:

Part I: Identify School Needs 

What data are necessary to understand school needs and/or root causes of these needs?

How do our LEA’s and schools’ outcomes compare to the goals established?

How should the needs that we identify be prioritized?

12

Identifying Needs: DC Stars High School • The principal forms a work group to consider how to improve 

graduation rates for students with disabilities.• The group consists of the special education coordinator, ELA and 

math specialists, the data manager, the attendance liaison, and a guidance counselor.

• School staff review data and determine that:– 60 percent of their incoming students with disabilities repeat ninth grade– 10th grade PARCC scores reveal an extremely low rate of 3+ scores in ELA 

and math for students with disabilities– 30 percent of repeating 9th graders drop out before 11th grade

• The attendance liaison and guidance counselor meet with 3‐5 repeating 9th grade students with disabilities and their parents.  

• They learn that these students had real challenges transitioning from 8th to 9th grade, and that they had trouble connecting to their new school.  They also had trouble asking for, and receiving help.13

Part IISelect Relevant, Evidence‐Based Practices

14

When selecting relevant and rigorous EBPs, determine which would address your school’s needs and assess the capacity for full implementation.

Part II: Select Relevant EBPs

Do the variables measured in the studies align closely to the context of your school?

What is the setting?

• Urban• Suburban• Rural

What are demographics of the participants?• General Education• Socioeconomic status• English Learners• Students with Disabilities

15

The next step is to determine if the intervention meets the evidence‐based criteria.

Critical questions at this stage include:

Part II ‐ Select Relevant EBPs

What qualifies as evidence‐based and how is that determined?

What resources are available to help schools select EBPs?

Were studies conducted in settings and with populations relevant to the context of our school?

16

ESSA’s definition of “evidence‐based” includes three levels: strong, moderate, and promising. 

Part II ‐ Select Relevant EBPs

Strong

• Strong evidence is based on at least one study that is a well‐designed and well‐implemented experimental study. 

Moderate

• Moderate evidence is based on at least one study that is a well‐designed and well‐implemented quasi‐experimental 

study. 

Promising

• Promising evidence is based on at least one study that is a well‐designed and well‐implemented correlational study with 

statistical controls for selection bias

The Department of Education’s guidance states that interventions that have little to no evidence should demonstrate a rationale for how they will achieve 

intended goals.Department of Education, 201617

These include:• Clearinghouses

– Provide reviews of existing research and provide educators with information to make evidence‐based decisions

• Article databases– An online digital library of education research 

and information• Resource collections

– Similar to clearinghouses, apply rigorous criteria for screening research with specific subject focus.

Part II ‐ Select Relevant EBPsThere are several types of online resources that can be incredibly beneficial as you are planning your interventions.

18

Examples of ClearinghousesWhat Works 

Clearing House (WWC)

• Includes hundreds of trained and certified reviewers that determine whether studies meet standards

• Summarizes the results of the studies that meet those standards

Regional Educational 

Laboratories (REL)

• Conduct applied research and trainings in order to contribute to a more evidence‐based education system

Results First Clearing House 

• Consolidates information from eight clearinghouses that use rigorous evaluations to identify what works in a variety of areas including education

Campbell Collaboration

• Promotes positive social and economic change through the production and use of systematic reviews and other evidence synthesis for evidence‐based policy and practice

19

JSTOR

• Older articles are available without subscription but it is worthwhile to look for a specific practice/ strategy

Educational Resources Information Center 

(ERIC)

• Similar to WWC, ERIC is sponsored by Institute of Education Sciences. The search engine has the option to narrow results to full‐text articles

Google Scholar

• A repository of scholarly articles. As Google Scholar does not comment on the quality of the research article, as a reader you will have to apply the evidence‐based  criteria for selecting research

Examples of Article Databases

20

Blueprints for Healthy Youth Development

• Provides a registry of evidence‐based,  positive youth development programs designed to promote the health and well‐being of children and teens

The Best Evidence Encyclopedia

• It is intended to give educators and researchers fair and useful information about the strength of the evidence supporting a variety of programs available for students in grades K‐12.

Turnaround Practices Research and 

Evaluation Reports

• A resource created by the Massachusetts government based on the 2014 and 2016 Turnaround Practices reports and highlights the strategies that successful schools describe as “essential” to the school’s turnaround efforts.

Examples of Resource Collections

21

If you are interested in completing independent research or locating interventions that have not passed through a comprehensive analysis (through a clearinghouse or a similar initiative), the following resource may be beneficial in determining the quality of chosen studies, resources, and interventions.

https://www.wested.org/wp‐content/uploads/2016/12/Evidence‐Based‐Improvement‐Guide‐FINAL‐122116.pdf

Independent Review of Resources

22

• The team decides that it will have the greatest impact on graduation rates by selecting an EBP for use with incoming 9thgrade students, to help them connect to high school and make a successful transition.

• In reviewing EBPs that may be relevant, the team learns about Check and Connect, an evidence‐based mentoring model.

• Check and Connect is a mentoring program focused on increasing student engagement in school, and in learning, to improve outcomes.

• The team learns from central office that this model is being supported by OSSE, at no cost to participating schools. 

• The team decides to move forward with this EBP.

Selecting an EBP: DC Stars High School 

23

Part IIIPlan for Implementation

24

Develop a comprehensive plan to implement EBPs that will be most impactful.Questions to consider during this phase include:

Part III: Plan for Implementation

What are the specific goals, strategies, and accountability and progress monitoring metrics we will employ? 

Who will implement the interventions and when will they take place?

What resources and supports are necessary for full implementation of our strategy? 

25

Additional guidance and resources on OSSE School Improvement Plans: https://osse.dc.gov/service/school‐improvement‐plans. 

• The planning team reviews its data to identify the number of incoming 9thgrade students with disabilities, and based on this review, identifies a sufficient number of staff to serve as mentors in accordance with the programs recommended caseload specifications.

• Participating staff are briefed on the project, including key activities and time commitments and the principal shares how this added work will be supported (e.g. stipend, release time, coaching support).  The staff are also briefed on requirements related to Staff questions are addressed.

• The principal and planning team also identify what student data will need to be collected to track effectiveness, and how that data will be collected.

• The principal and planning team review the school schedule to ensure that Check and Connect activities can be accommodated.

• The principal appoints his assistant principal as coordinator of project implementation. The AP secures slots at an upcoming Check and Connect training for all identified staff.

Planning for the EBP: DC Stars High School 

26

Part IVImplement EBP

27

Schools should establish routines for implementation and have methods for collecting information for course correction.

• Questions to consider during this phase include:

Part IV: Implement the EBP

What is the most relevant information that can be collected to monitor the quality of implementation? 

Is the implementation plan being followed with fidelity? Why or why not?

Are there any unforeseen barriers to successful implementation? Are there any additional resources that are required?

Additional guidance and resources on OSSE School Improvement Plans: https://osse.dc.gov/service/school‐improvement‐plans. 

28

• After the summer Check and Connect training, the AP convenes the team to plan launch of the model, which includes an embedding overview of the model in communications and start of school activities with participating students and families.

• The plan includes monthly check ins with participating mentors, families, and students to identify what is working well, what the challenges are and what course corrections are needed.

• The monthly check ins are also used to review attendance, behavior, and other relevant performance data for participating students.

• The principal ensures that the team can participate in Check and Connect booster trainings to ensure fidelity with implementing the model.

Implementing the EBP: DC Stars High School

29

Part VExamine and Reflect

30

Reflect on the impact of the intervention on relevant outcomes.

• Questions to consider during this phase include:

Part V: Examine and Reflect

What are interim progress and performance milestones that can be tracked?

Is there a need and capacity to evaluate the effectiveness of an intervention that could produce strong or moderate evidence?

Based on information gathered, should this intervention continue as is, be modified, or be discontinued?

31

Strong leaders will use this as an opportunity to:• Plan and scale a successful intervention, • Modify a moderately successful intervention to try to 

reach targeted outcomes, and• Think and research in order to find a strategy to replace 

an unsuccessful intervention.

Part V: Examine and Reflect

How closely does the outcome data match with what the evidence predicts?

How can the outcomes of this intervention be beneficial to my LEA or SEA network?

32

• At the first three monthly meetings, the AP actively solicits feedback from staff mentors on what is working well as well as identify operational challenges early. Course corrections are made based on this feedback. 

• For example, data collection is not happening consistently; mentors indicate they cannot fit it into to their routines easily. 

• The AP decides to designate a front office staff person to support collection of data and asks the data manager to train the individual.

• After the first quarter of the school year, the AP and principal meet with the mentors to review implementation of the model, examine impact using student data, and interview select participating students and families to get feedback. 

• The quantitative data and interviews reveal that the model is having an impact.

• The team discusses expanding the model to include repeating ninth graders, with and without disabilities.

Examine and Reflect on EBP: DC Stars High School

33

Keys to Effective Implementation

Collect “early slice” data from multiple sources early on in implementing the model, to allow for course correction. Make sure to create enough key touch points and tracking systems to measure how well you are implementing the EBP, not just the EBP itself.To really find out what is working, you need to ask the right questions and ask the right people (including students themselves).  Document lessons learned from the implementation process as you go, to inform program design and help share learnings throughout the organization. Acknowledge effort  frequently and celebrate successes – they’re hard to come by!

34

The information for this presentation has been compiled from the following resources:

• Every Student Succeeds Act (ESSA) https://www2.ed.gov/documents/essa‐act‐of‐1965.pdf

• US Department of Education: Using Evidence‐based practices to strengthen Educational Investments https://www2.ed.gov/policy/elsec/leg/essa/guidanceuseseinvestment.pdf

• US Department of Education: Identifying and Implementing Educational Practices Supported by Rigorous Evidence: A User Friendly Guide  https://www2.ed.gov/rschstat/research/pubs/rigorousevid/rigorousevid.pdf

Sources

35

Thank you!

For additional questions, please reach out to LaShawndra.Scroggins@dc.gov