MarshallElementarySchoolandMarshallEarlyChildhoodCenterMarshallSchoolDistrict

WisconsinRtICenterDemonstration Site

Elementary Reading

(Fall2011–Spring2013)

 

   

2  

TableofContentsIntroduction .................................................................................................................................................. 3 

Goal of the Demonstration Sites Project ......................................................................................... 3 

Purpose ............................................................................................................................................ 3 

Methods and Self‐Assessment Tools ............................................................................................................ 4 

School‐wide Implementation Review .............................................................................................. 4 

RtI Essential Components Integrity Rubric ...................................................................................... 4 

Additional Data ................................................................................................................................ 4 

Results Summary ........................................................................................................................................... 5 

What was the status of RtI implementation when the partnership began? ................................... 5 

What have we learned from the implementation assessment tools? ............................................ 6 

What are the lessons learned and what have we accomplished so far? ......................................... 9 

Where are we going in the future? ................................................................................................ 10 

Conclusion ................................................................................................................................................... 10 

Contributors ................................................................................................................................................ 10 

Wisconsin RtI Center ...................................................................................................................... 10 

Wisconsin Department of Public Instruction ................................................................................. 10 

National Center on Response to Intervention ............................................................................... 10 

School Leadership Teams ............................................................................................................... 11 

Appendix A: Wisconsin RtI framework for reading for Marshall demonstration sites ............................... 12 

Appendix B: RtI trainings and professional development activities 2011–13 ............................................ 14 

 

   

3  

IntroductionThe Wisconsin Response to Intervention (RtI) Center demonstration sites project joins schools in 

partnership with the Wisconsin RtI Center, the Wisconsin Department of Public Instruction (DPI), and 

the National Center on Response to Intervention (NCRtI) to highlight the implementation of the 

Wisconsin RtI framework. The schools chosen were already implementing RtI; this project aligns their RtI 

implementation specifically with the Wisconsin RtI framework and evaluates the outcomes. The first 

year of this project included six elementary schools focusing their current RtI implementation efforts on 

reading. Through this partnership, the demonstration schools received individualized support and 

technical assistance (training, coaching, and tools) to encourage better alignment to the Wisconsin RtI 

framework and to evaluate their individual implementation practices.  

GoaloftheDemonstrationSitesProjectThe goal of the demonstration sites project is to provide an example of how the Wisconsin RtI 

framework works within a local context and to provide a snapshot of a collaborative implementation 

process. Specifically, project goals include the following:  

Alignment to Wisconsin RtI framework:  The demonstration sites exemplify alignment of 

current RtI implementation to the Wisconsin RtI framework.  

Demonstration of Wisconsin RtI implementation and outcomes: Schools demonstrate practices 

and outcomes as a result of implementing the Wisconsin RtI framework.  

Gather results of the Wisconsin RtI Center’s technical assistance: The public aspect of the 

project allows observers to monitor the hands‐on guidance provided by the Wisconsin RtI 

Center (e.g., training sessions, resources, tools).  

Recognition of successful schools: This project provides statewide and regional recognition to 

the demonstration schools as implementers of the Wisconsin RtI framework.  

PurposeThe purpose of this report is to provide a summary of each demonstration school using qualitative and 

quantitative data sources that were systematically collected fall 2011 through spring 2013. This report 

provides a snapshot of RtI implementation and collaboration efforts of the demonstration schools and 

answers the following questions:  

What was the status of RtI implementation at each of the schools when the partnership began?  

What have we learned from the implementation assessment tools?  

What are the lessons learned and what have we accomplished so far? 

Where are we going in the future?  

This report tells the story of the complexities and the rewards of implementation of the Wisconsin RtI 

framework for reading at each level of support (universal, selected, and intensive). Additionally, the 

report provides a resource for those schools throughout Wisconsin seeking examples of descriptors for 

multi‐level systems of support for reading. The Wisconsin RtI Center staff will use this report and the 

lessons learned throughout the partnership to improve technical assistance and trainings to all schools 

in Wisconsin in order to continue to provide all students with the support they need to succeed. 

4  

MethodsandSelf‐AssessmentToolsThrough this partnership, each demonstration school completed two implementation assessments—the 

School‐wide Implementation Review (SIR) and the RtI Essential Components Integrity Rubric—in order 

to determine current strengths and areas of need. The completion of both assessments were facilitated 

and supported by staff of the Wisconsin RtI Center.  

School‐wideImplementationReviewThe SIR is a self‐assessment built around the Wisconsin RtI framework. Wisconsin RtI Center staff 

developed the SIR to operationalize essential elements of the Wisconsin RtI framework into actionable 

items, to help school teams localize Wisconsin RtI, and to provide schools with an instrument to monitor 

annual progress toward full RtI implementation. The SIR includes assessment questions for each level of 

support (universal, selected, and intensive) on the following domains: high quality instruction, balanced 

assessment, collaboration, and leadership and organizational structure. The SIR is designed to be 

completed at least once a year during the school’s annual planning process.   

RtIEssentialComponentsIntegrityRubricBecause of the collaboration with NCRtI, the demonstration sites project also required the use of the RtI 

Essential Components Integrity Rubric, developed and piloted by NCRtI. This rubric aligns with the 

essential components of RtI from a national lens. Representatives from NCRtI, the Wisconsin RtI Center, 

and DPI collected information about school‐level implementation through interviews with school 

personnel, observations, and document review. Unlike the self‐assessment system of the SIR, ratings on 

each domain of the rubric were determined by the interviewers based on demonstrable evidence for 

each item; in other words, ratings were achieved not through consensus of the school team as with the 

SIR, but by evaluating information gathered via the interview process. Because of this, schools may 

receive different ratings for similar items on the SIR and on the rubric.  

The rubric included the following domains: screening, multi‐level prevention/intervention systems, 

progress monitoring, data‐based decision making, and overarching factors.  

AdditionalDataAdditional data was obtained from several other activities/events.  

OnsitesessionsThe Wisconsin RtI Center’s regional technical assistant coordinators (regional TAC) provided increased 

individualized trainings and/or onsite support to each of the demonstration sites. Refer to appendix B 

for a specific listing of demonstration site technical assistance and professional development.  

NetworkingeventsCenter staff facilitated two structured RtI mapping sessions. The mapping process allowed each 

demonstration site team to articulate and define those practices and resources in place at each level of 

support (universal, selective, and intensive). The mapping template allows for consistent 

communications regarding a school’s practices and resources and assists in determining those RtI 

components that are established and those still needing implementation. The demonstration site teams 

5  

also participated in a facilitated session that included roundtable discussions regarding topics of high 

interest such as coaching, culture, and screening.  

Table 1. Marshall demonstration sites RtI mapping session dates 

Universal level  February 6, 2012 

Selective and intensive levels  February 22, 2012 

Roundtable networking by topic  September 17, 2012

LocalassessmentdataandinterviewsEach demonstration site was asked to share three key pieces of data with the Wisconsin RtI Center: local 

report card data, screening process data, and intervention participation data. Although this data was 

gathered, it is not presented in this report. The process of data collection and student‐level outcome 

data was an area of increasing need for all demonstration site, and further discussion around how to 

increase their capacities is needed before formal analysis of data can be completed. 

InterviewswithregionalTACSRegional TACS were interviewed in February 2013 to summarize their experience with the 

demonstration site project. Questions were tailored around the four purpose questions. The interviews 

were recorded, and excerpts are included in this report to augment other data sources. 

ResultsSummary

WhatwasthestatusofRtIimplementationwhenthepartnershipbegan?The Marshall Elementary School and Marshall Early Childhood Center began implementing RtI just over 

10 years ago, one of the longest times of RtI implementation among the sites in the project. According 

to Heidi Erstad, Wisconsin RtI Center regional TAC, these Marshall schools have a reputation for RtI and 

have hosted monthly school visits, including presentations by the superintendent, principal, and 

classroom visits during which schools can see Marshall’s RtI implementation first hand.  

The Marshall sites have been sharing their successes 

during presentations at statewide conferences for years. 

“They had a number of practices and collaborative pieces 

already in place before this partnership began,” Erstad 

said.  

SchoolDemographics

The Marshall demonstration sites include the Marshall 

Early Childhood Center (four‐year‐old kindergarten 

through second grade) and Marshall Elementary School 

“Throughout the demonstration site 

partnership the Marshall schools have 

been wonderful about sharing pieces, 

being open about questions that they 

have, exploring pieces together, and 

speaking candidly about what they 

have and what they don’t have in 

place.”—Heidi Erstad, Regional TAC 

6  

(third through sixth grade) located in the Marshall School District, a rural community in CESA 2 in the 

southern part of the state.  

  Table 2. 2011–12 Marshall Early Childhood Center and Marshall Elementary School demographics combined compared to Wisconsin1 

  Total elementary enrollment   

Female  Students race 

(white) 

Students with disabilities 

Economically disadvantaged 

English proficient 

Marshall EC‐EL  684  45%  75%  10%  36%  84% 

Wisconsin (elementary) 

436,917  48%  71%  14%  45%  93% 

12011–12 WINSS data  

Whathavewelearnedfromtheimplementationassessmenttools?Both Marshall Elementary and Marshall Early Childhood Center completed baseline SIRs on December 

22, 2011. It is recommended that the SIR be completed once a year during the annual planning session;  

Marshall Elementary and Marshall Early Childhood Center are due to retake the SIR in early 2013. 

Both Marshall Early Childhood Center (average: 2.92) and Marshall Elementary (average: 3.00) had 

higher overall average scores on the SIR as compared to the state overall (average: 2.13). Leadership and 

organizational structure, balanced assessment at the universal level, and high quality instruction at the 

universal level were the three highest scored domains for both schools. Family engagement and 

culturally responsive practices were the lowest scored domains.   

7  

Figure 1.Baseline  Marshall Early Childhood Center SIR (reading) implementation compared to state averages for all schools completing the SIR in 2012 (N = 482) 

 

Figure 2. Baseline Marshall Elementary SIR (reading) implementation compared to state averages for all schools completing the SIR in 2012 (N = 482) 

  

8  

Table 3. Marshall Elementary and Marshall Early Childhood Center baseline SIR results 

  Marshall Elementary    Marshall Early Childhood Center 

Wisconsin 

Date last completed 

December 22, 2011    December 22, 2011  2012 average (N=482) 

 Essential element – current level of implementation 

Overall  Initial implementation  Initial implementation  Infrastructure 

High quality instruction 

Initial implementation  Initial implementation  Infrastructure 

Balanced assessment 

Full implementation  Full implementation  Initial implementation 

Collaboration  Initial implementation  Initial implementation  Infrastructure 

Leadership and organizational structures 

Full implementation  Initial implementation  Infrastructure 

 Further analysis – current level of implementation 

Universal level of support 

Full implementation  Initial implementation  Infrastructure 

Selected and intensive levels of support 

Initial implementation  Full implementation  Infrastructure 

Culturally responsive practices 

Not in place  Purpose building  Infrastructure 

Family engagement 

Initial implementation  Full implementation  Infrastructure 

  In addition to the Wisconsin RtI Center’s SIR, schools were also evaluated on RtI implementation with 

the NCRtI’s pilot RtI Essential Components Integrity Rubric. Schools received a rating based on 

demonstrable evidence for several items shared during the interview process. The Marshall 

demonstration sites had evidence of medium implementation on all five domain categories with an 

overall score of 3.68. The lowest assessed domain was overarching factors (average=3.00) and the 

highest assessed domains were screening (average=4.50) and progress monitoring (average=4.50). 

   

9  

Table 4. RtI Essential Components Integrity Rubric scores for Marshall Elementary1 

RtI Essential Components Integrity Rubric domain  Limited evidence (1.00‐2.99) 

Medium evidence (3.00‐4.99) 

Strong evidence(5.00) 

Screening  The RtI framework accurately identifies students who are at risk of poor learning outcomes or challenging behaviors 

  4.50   

Multi‐level prevention/intervention systems The framework includes a school‐wide, multi‐level system for preventing school failure 

  3.63   

Progress monitoring Ongoing and frequent monitoring of progress quantifies rates of improvement and informs instructional practice and the development of individualized programs.  

  4.50   

Data‐based decision making Data‐based decision making processes are used to inform instruction, movement within the multi‐level system, and disability identification.  

  4.00   

Overarching factors Factors that relate to the entire RtI framework 

  3.00   

Overall score    3.68   1 Rubric is based out of a total score of five points.  

Whatarethelessonslearnedandwhathaveweaccomplishedsofar?According to Johnson, the Marshall demonstration sites “recognized that the universal level of support 

needed to be strong in order to continue to support all students.” They have a “very impressive system 

of support in place for kids who are struggling and are 

continually working on how they are structuring their support 

system for kids who are above benchmark.” 

More specifically the Marshall schools completed the 

following activities to further implement their multi‐level 

system of supports for reading:  

focused on continuous improvement across all levels 

of support 

understood and used multiple academic screening 

tools throughout the year 

attended professional development opportunities to strengthen culturally responsive practices 

Additional training and professional development undertaken as part of the demonstration sites project 

are included in appendix B.   

“[The Marshall sites are] a small 

district and they are very resourceful, 

despite the fact that they do not have 

bountiful resources coming to them. 

They are able to beautifully integrate 

the whole Wisconsin RtI framework 

and make it work for them.”— Lynn 

Johnson, Regional TAC  

10  

The Marshall demonstration sites identified the following as 

good practices that they currently have in place: 

effectively allocating resources in a small district  

maintaining a system of collaborative schedules that 

allow focused conversations between administrators 

and each teacher every week about reading 

arranging intervention blocks with flexible scheduling  

involving the regional TAC in school‐level discussion 

with the leadership team to provide better, more useful resources 

Wherearewegoinginthefuture?Marshall demonstration sites identified the following as future/continued areas of need:  

completing the SIR during the annual action planning process in 2012–13  

increasing awareness, knowledge, and accessibility of culturally responsive practices  

providing more intensive levels of high quality instruction and intervention 

continuing discussions around the use of data‐based decision making to collect student‐level 

data for use with grade‐level teams and building‐level problem‐solving teams 

ConclusionOverall, the Marshall demonstration sites have shown a high level of success with the integration of the 

Wisconsin RtI framework. Their desire for continuous improvement, learning, and sustained 

partnerships will encourage continued success in the future. 

Contributors

WisconsinRtICenterJennifer Evertsen, Research and Evaluation Coordinator Melissa Marks, Evaluation and Research Assistant Kathy Ryder, Director Alan Schnebly, Research and Evaluation Coordinator  Dan Seaman, Regional Technical Assistance Coordinator Heidi Thuli, Academic Coordinator Katie Venit, Communication Coordinator 

WisconsinDepartmentofPublicInstructionJulia Hartwig, School Administration Consultant  

NationalCenteronResponsetoInterventionWinsome Waite, Senior Technical Assistance Provider 

 

“The thoroughness and thoughtfulness 

of the way they approached the 

implementation of the Wisconsin RtI 

framework highlighted the fact that 

they have the best interest of the kids 

in mind in everything that they do.”—

Lynn Johnson, Regional TAC 

11  

SchoolLeadershipTeams

MarshallElementarySchoolandMarshallEarlyLearningCenterMary Jo Ziegler, Director of Instruction Barb Johnson, Principal Chris Sadler, Principal  TJ Hansen, School Social Worker Laura Landers, TAG Coordinator/Instructional Coach Marci Olson, Bilingual Teacher Sara Kerwin, Intervention Specialist Jackie Motl, Title I Karan Bliske, First Grade Becky McKenney, Kindergarten Julie Schmitz, Elementary Reading Jamie Orval, Intervention Specialist Amy Boyd, Intervention Specialist Laura Buhr, Bilingual Teacher Ruth Schaap, Second Grade Darlene Crombie, Ffith Grade Karen Murphree, Third Grade Teacher Amanda Price, Fourth Grade     

12  

AppendixA:WisconsinRtIframeworkforreadingforMarshalldemonstrationsites3General school information  

Early childhood center/elementary school 

Grade levels: 4K–2/3–6 

Student population: 684 

Minority students: 25% 

Students with disabilities: 10% 

Economically disadvantaged: 36% 

Limited English proficient: 16% 

Location (description): CESA 2 (rural‐fringe) 

Purpose and scope of framework 

 

Reading: 4K‐6

Length of implementation  Over 10 years (reading)

 

Screening tools within a comprehensive process  

Screening three times per year: 

K–6: Fountas‐Pinnell Benchmark 

3–6: Measures of Academic Progress (MAP) 

3–6: MAZE 

K–2: DIBELS 

2– : MAP (twice per year) 

4K– : Individual Growth and Development Indicators  

Use grade‐level teams, assessment‐provided norms 

Universal instruction  

K‐2 Fountas‐Pinnell 

Daily 5 & Café  

Jolly Phonics 

3–6: guided reading  

Strategies that Work (comprehension toolkit) 

 Selected/intensive interventions  

Selected:

Grade K: Phonemic Awareness in Young Children 

K: Jolly Phonics  

1–2: Leveled Literacy Intervention   

1–2: Daily Café strategies   

1–2: Primary Comprehension Toolkit   

1–2: Sound Partners      2: Fluency First: Daily Routines to Develop 

Reading Fluency   

2: Six‐Minute Solution   

3–5: Corrective Reading 

13  

3–5: Reciprocal teaching   

30 min/day (Cardinal time)  

Diagnostic assessments 

K–6: Running Records  

K–6: Fountas & Pinnell Benchmark Assessment 

K–1: Concepts of Print  

K–2: Jolly Phonics assessment  

1–6: Developmental Spelling, Words their Way assessment  

High Frequency Sight Word List 

K–2: Phonemic Awareness Skills Screening  

Letter Recognition assessment 

MAP data (Descartes) 

Intensive: 

Interventions above with increased frequency, duration and focus 

1–5: Reading Mastery (phonics, comprehension) 

1–5: Barton Reading System (Dyslexia and LD phonics, spelling) 

Progress monitoring tools with the process  

DIBELS (K–2):Letter of Fluency (LNF),Initial Sounds Fluency (ISF), Phonemic Segmentation Fluency (PSF), Nonsense Word Fluency (NWF), Oral Reading Fluency (ORF), Retelling 

MAZE (3–6) 

Sight word progress monitoring 

Reading A to Z fluency passages 

Corrective Reading and Reading Mastery: mastery assessments 

Level Literacy Intervention: running records 

Data‐based decision making tools and teams  

Decision rules flowchart

Grade‐level collaborative team meetings 

Building consultation team  

Data walls 

Scheduling practices for intervening  Elementary: Cardinal time (30 minute extension beyond the universal instruction)  

Early Childhood Center: scheduling time of intervention is determined by a team problem solving process 

Culturally responsive practices  Not in place/purpose building according to the SIR

Family engagement  Initial implementation/full implementation according to the SIR 

3Data was obtained from the RtI mapping sessions and interviews with the regional TACs.    

14  

AppendixB:RtItrainingsandprofessionaldevelopmentactivities2011–13

Training Name  Date of Training 

Beyond Diversity  September 25–26, 2012 

Reviewing K–5 Universal Reading Instruction  April 16 & 17, May 7, 2013 

Systems Coaching in an RtI Framework  January 5, 2012 February 3, 2012 March 1, 2012 March 27, 2012 April 26, 2012 May 24, 2012  Additional Staff Trained:  October 3, 2012 November 7, 2012 December 5, 2012 

Wisconsin RtI Foundational Overview  December 22, 2011 

Wisconsin RtI Summit  March 7–8, 2012 March 6–7, 2013