Dr. J. Joseph HoeyVP of Institutional Effectiveness and AssessmentBridgepoint Education

Dr. Kristina  M. CraggAVP of Institutional ResearchBridgepoint Education

Dr.  Michael ReillyExecutive Dean, Business Ashford University 

Ms. Amanda FluhartyInstitutional Research Reporting ManagerBridgepoint Education

“A systematic review of academic programs, to address the quality, viability, and productivity of efforts in teaching and learning, scholarship, and service as appropriate to the institution’s mission”  (RACIE Committee, Board of Regents, University System of Georgia, 

n.d.)

Decision‐making model Goal‐based model Responsive model Connoisseurship model

Formative program improvement, especially of student learning  reputation enhancement

Summative Resource allocation/re‐allocation program  continuation, consolidation or elimination

Internal Program itself Other programs in college or university

External Peer programs  Specialized accreditors State system Employers of graduates

As an integral element of systematic improvement processes

When resource reallocation must take place Baseline measurement for new leader Overriding political or public relations concerns

Leadership (chair) review of a department Accreditation requirements Federal requirements

Within college or division Within institution Within state system By specialized accreditor Federal program review

Faculty senate or curriculum committees Dean’s office for a large college Institutional effectiveness office  Provost/Academic affairs office  State system office of planning and accountability

Federal funding or review body

Annual (desktop audit)  3‐year review (community colleges)  5‐year review (most typical)  10‐year review (graduate schools)

Student learning outcomes  Use of resources  Quality, productivity, viability  Duplication (state system level)

Kickoff and scheduling External reviewer selection Provision of data packets Self‐study creation and vetting External reviewer site visit Recommendations Action plan Integration into budget and planning Follow‐up and monitoring

Alignment with mission Student numbers, quality and flow  Student learning outcomes Faculty quality, sufficiency and productivity  Physical and learning resources Curriculum currency  Impact of curriculum on students  Direct and indirect costs Reputation relative to peers

Common centrally‐mandated themes (e.g., retention)

Best in class evaluation perspective

Depends on purpose of review Usually includes recommendations and program continuation

Increasingly includes selective discontinuation of programs to rationalize resources 

Model created through literature review and distillation of previous experiences

Five‐year cycle Student learning outcomes emphasized Internal self‐study and external review 17‐month review completion timeline Data packets from institutional research and assessment

Collaborative selection of external reviewers through peer‐driven process

Communicate with committee  Beginning▪ Obtain requirements

Middle▪ Discuss any data challenges/definitions

▪ Progress update

End▪ Review the data

End – Part 2▪ There will likely be revisions to meet about

Understand the elements and definitions from subject matter experts Very helpful when the committee creates a “white paper” of rules/guidelines But still need to ask questions

Start early Especially if this is a new or changed activity for IR Unanticipated data challenges may occur Which definition of a variable to use?▪ Need to talk with the SMEs

Review the materials with the committee Review definitions Changes in definitions/ data collection protocol that may impact interpretation of results Welcome feedback

If needed, meet to review the materials again

Keep the lines of communication open for additional adjustments

May find that different programs have different nuances that need IR to help explain

Class Profile (HS or college GPA, SAT/ACT, HS class rank, transfer credits, demographics)  

Enrollment (Total, by program, and three year trends)

Average Class Size

Student/Faculty Ratio by modality

Faculty Composition by modality (number, % doctorate degree, years teaching experience, teaching load, scholarship activity, % faculty by rank)

Library Assets (physical holdings, e‐database holdings, library visits, special holdings)

Assessment results of learning by program  (Freshmen and Seniors)

Average GPA by Major

Graduation Rates by Major (total, 100% rate, 150% rates) 

Student Honors Recipients by modality

Student Satisfaction

UG Degree Holders Decision to Attend Graduate School (% total, %  by program) 

Alumni Employment (% employed in field, salary increase 1 year post graduation, % professional certification)

Which modality offers the program being reviewed?

Have there been any changes to the program over review period?

Have there been name changes? CIP code changes?

Have there been any policy changes that would impact the results? Admissions Program Graduation

08‐09 09‐10 10‐11 08‐09 09‐10 10‐11Program 1Program 2Program 3

ADD MORE ROWS AS NEEDED

TOTAL

Table XX. Student Gender for Modality

Program

GenderFemale MaleN(%) N(%)

….