Qualitätsentwicklung als partizipativer Prozess

Dr. Sandra MittagReferat Qualitätsmanagement, TU Darmstadt

CHE-Forum: QM-Systeme: Qualität als Gemeinschaftsleistung von Hochschulleitung, Wissenschaft und VerwaltungKassel, 28. April 2009

Inhalt

Rolle und Aufgaben verschiedener Akteure an Hochschulen: Hochschulleitung, wissenschaftliches und nicht-wissenschaftliches Personal, StudierendeBest Practice Beispiel: Institutionelle Evaluationen an der Universität ZürichQualitätskultur

Quality Culture Project (2002-2006): Zentrale Ergebnisse (1)

Relationship between leadership and staff capacity of the institutional leadership to provide room for a grass-roots approach to quality (wide consultation and discussion) and to avoid the risk of over-bureaucratisation integration of all relevant members of the institution in the decision-making process, including academic and administrative staff and students introducing transparent rules and procedures which are discussed and then clearly documented and communicated to the institutional community

Quelle: European University Association (2006)

Quality Culture Project (2002-2006): Zentrale Ergebnisse (2)

a follow-up to the results of internally organised reviews and a positive “can do” and proactive approach to problem solving rather than a punitive or merely reactive one a balanced mix of top-down and bottom-up elements self-empowerment of staff

Quelle: European University Association (2006)

European Standards and Guidelines (ENQA, 2009)

Hochschulen sollten sich zur Entwicklung einer Qualitätskultur verpflichten. Sie sollten eine Strategie für die kontinuierliche

Qualitätsentwicklung erarbeiten und umsetzen. Die Strategie sowie die Qualitätssicherungsprozesse

sollten auch die Studierenden mit einbeziehen. Die Strategie sowie die Qualitätssicherungsprozesse

sollten öffentlich zugänglich sein. Über die Ergebnisse (externer) Qualitätssicherung

sollte es eine transparente Berichterstattung geben.

European Association for Quality Assurance in Higher Education (2009, 3. Auflage)

Voraussetzungen für eine erfolgreiche Qualitätsentwicklung

Instrumente der Qualitätsentwicklung sind erfolgreicher, wenn ... sie diskursiv und auf Vertrauen angelegt sind und nicht auf

Macht und Kontrolle zielen (Harvey & Newton, 2004; Huisman & Currie, 2004; Massy, 1999; de Weert, 1990) ... Qualitätsentwicklung als ein permanenter reflexiver Prozess

verstanden wird, in den die Betroffenen eingebunden sind (Preskill, 2004) ... wenn keine negativen finanziellen Konsequenzen als

unmittelbare Folge gezogen, sondern verstärkt Anreize eingesetzt werden (Daxner, 1999; Jaeger, 2005; van Bruggen, Scheele und Westerheijden, 1998) ... wenn die Ergebnisse konsequent umgesetzt werden und die

Instrumente auf Vertrauen und Verlässlichkeit basieren (VolkswagenStiftung, 2005)

Gründe für die ausbleibende Umsetzung von Evaluationsergebnissen

Erschwerender oder verhindernder Umstand absolut in Prozent

Es gab keine ausreichende finanzielle und strukturelle Unterstützung bei der Umsetzung der Empfehlungen. 54 62

Die Professorinnen und Professoren waren überwiegend der Auffassung, dass der Aufwand für die Evaluation nicht dem Nutzen entspricht. 41 47

Es bestand keine oder kaum die Möglichkeit, mit der Gutachterkommission über das Gutachten zu diskutieren. 39 45

Die Professorinnen und Professoren haben sich zu wenig / nicht mehr um die Umsetzung der Ergebnisse der Evaluation gekümmert. 36 41

Es hat von außerhalb des Faches niemand nach der Umsetzung gefragt. 36 41

Die Professorinnen und Professoren kooperierten / kooperieren nicht (ausreichend) miteinander. 34 39

Die Professorinnen und Professoren waren überwiegend der Auffassung, dass die Evaluation keine bedeutenden Ergebnisse erzielt. 34 39

Im gesamten Evaluationsverfahren wurden die strukturellen Rahmenbedin-gungen des Faches bzw. der Hochschule (zur Verfügung stehende Mittel, Stellenbesetzung u. ä.) nicht oder zu wenig berücksichtigt.

32 37

Umstände, die in den Verfahren (n = 87) nach Ansicht der Fachangehörigen (n=135) am häufigsten dazu beitrugen, dass Aktivitäten mit dem Ziel der Qualitätssicherung und -verbesserung in Studium und Lehre erschwert oder verhindert wurden (in absoluten und relativen Häufigkeiten)

Quelle: Mittag, S. (2006)

Veränderungen der Kommunikation durch das Evaluationsverfahren

Veränderungen der Kommunikation durch das Evaluationsverfahren 1) innerhalb der Professorenschaft und 2) zwischen Fach und Hochschulleitung (n = 55 Evaluationsverfah- ren; in absoluten und relativen Häufigkeiten)

Veränderungen der Kommunikation absolut in Prozent

1) Innerhalb der Professorenschaft

verbessert 33 60 gleich geblieben 21 38 verschlechtert 1 2

Gesamt 55 100

2) Zwischen Fach und Hochschulleitung

verbessert 27 49 gleich geblieben 25 46 verschlechtert 3 5

Gesamt 55 100

Quelle: Mittag, S. (2006)

Best Practice Beispiel

Zwecke:

Erhebung, Sicherung und Verbesserung der Qualität der wissenschaftlichen Arbeit in Forschung, Lehre und Dienstleistung sowie der Qualität der Arbeit in der Leitung und der Verwaltung Erarbeitung von Entscheidungshilfen bei der mittel- und langfristigen strategischen Planung Rechenschaftslegung gegenüber der Öffentlichkeit

Institutionelle Evaluationen an der Universität Zürich

Quelle: Evaluationsstelle der Universität Zürich

Organisations- und Leitungsstruktur der Universität Zürich

Quelle: Evaluationsstelle der Universität Zürich

Zuständigkeiten und Kompetenzen (1)

Universitätsrat Erlass des EvaluationsreglementsWahl der Leitung der Evaluationsstelle Auftraggeber aller EvaluationenGenehmigung des Evaluationsplans (rollender 3-Jahresplan) Information der Öffentlichkeit

UniversitätsleitungAusarbeitung des Evaluationsplans (mit der Evaluationsstelle) Festlegen von Zielvereinbarungen / Maßnahmenprogrammen (mit der evaluierten Einheit)Umsetzung von Maßnahmen

Quelle: Evaluationsstelle der Universität Zürich

Zuständigkeiten und Kompetenzen (2)

Evaluationsstelle Organisation der Evaluationen Bestimmung der Expertinnen und Experten

(mit Fachdekan / Universitätsleitung) Gesamtevaluationsbericht mit Befunden und Empfehlungen Monitoring der Umsetzung der Zielvereinbarungen Entwicklung und Optimierung der Evaluationsverfahren Antragsrecht auf Evaluationen

Evaluierte Einheit Mitarbeit bei der Konzipierung und Durchführung der

Evaluation Vorschläge für die Zusammensetzung der Expertenkommission Stellungnahmen zum Expertenbericht und

Gesamtevaluationsbericht Einbezug bei Zielvereinbarungen und Maßnahmen Antragsrecht auf Evaluationen

Quelle: Evaluationsstelle der Universität Zürich

Re-Evaluation (ca. 6-8 Jahre nach Abschluss Zielvereinbarung)

Ablauf der Evaluation (1)

Informed Peer-review-

Verfahren

Evaluationsstelle

Monitoring derUmsetzung von

Zielvereinbarung / Maßnahmen

Evaluationsstelle

Follow-up

Memorandum of understanding /

Zielvereinbarung

Universitätsleitung

Quelle: Evaluationsstelle der Universität Zürich

BefragungenStudierendeAlumniMittelbauMitarbeitende«Kunden»

Selbstevaluations-bericht

Stellung-nahmen

Evaluierte Einheit

Follow-up

Universitätsrat,Universitäts-leitung

Memorandum ofunderstanding / Zielvereinbarung / Maßnahmen-programm

Evaluationsstelle

Gesamt-evaluations-

bericht

Stellung-nahmen

Lehrveranstaltungs-beurteilung

1. Semester 2. Semester 4. Semester

Bibliometr. Analysen

Ablauf der Evaluation (2)

Experten(Peers)

Experten-BerichtSite-Visit

3. Semester

Quelle: Evaluationsstelle der Universität Zürich

Transparenzgebot

§ 13

Die Evaluationsstelle trifft Vorkehren für die Transparenz der Evaluationsvorgänge und ihrer Verarbeitung in Zusammenarbeit mit allen Beteiligten.Sie informiert alle Beteiligten rechtzeitig über Arbeitsschritte und Ergebnisse.

(Auszug aus dem Evaluationsreglement vom 5. Mai 2000)

Quelle: Evaluationsreglement der Universität Zürich: http://www.evaluation.uzh.ch/regulations.html

Follow-up-Verfahren, Ablauf (1)

Provisorischer Maßnahmenkatalog der Universitätsleitung Follow-up-Gespräch mit der evaluierten Einheit Zielvereinbarung Ausarbeitung von Konzepten durch die evaluierte Einheit Genehmigung der Konzepte durch die Universitäts-

leitung Umsetzung Monitoring durch die Evaluationsstelle nach 2 Jahren

Quelle: Evaluationsstelle der Universität Zürich

Follow-up-Verfahren, Ablauf (2)

Weitere involvierte Stellen:

Universitätsrat diskutiert Evaluationsergebnisse und gibt Hinweise auf

gewünschte Maßnahmen wird über Follow-up-Gespräch und Zielvereinbarung

informiert

Fakultät

nimmt vor dem Follow-up-Gespräch Stellung zur Frage, welche Ressourcen zur Umsetzung der Maßnahmen verfügbar sind Dekan nimmt am Follow-up-Gespräch teil

Quelle: Evaluationsstelle der Universität Zürich

Das Zürcher Modell

Institutionelle Evaluationen nach dem Zürcher Modell erlauben

eine holistische Sicht auf alle relevanten Bereiche und Themen unter Berücksichtigung der Vielfalt universitärer Kernaufgaben und der verschiedenen Perspektiven von Universitätsangehörigen (und Studierenden); die integrative Wertung von Befunden (Aggregation von Erkenntnissen interner Qualitätssicherung, Verknüpfung mit externen - nationalen und internationalen - Ergebnissen, Akkreditierung, Benchmarking); eine formative Komponente durch situationsadäquate, handlungsleitende Empfehlungen an alle Beteiligten; ein unabhängiges Feedback an die Einheiten und an die Leitungsorgane zur mittel- und langfristigen Entscheidungs-findung / Steuerung und zur Rechenschaftslegung

Quelle: Evaluationsstelle der Universität Zürich

Assessment des Evaluationsverfahrens

Befragung von Koordinationsgruppenmitgliedern (n=49): 70% stimmen zu, dass die verschiedenen

Statusgruppen insgesamt ausreichend in die Evaluation einbezogen wurden 60% sind der Auffassung, dass die Evaluation in der

Einheit eine Diskussion über Stärken, Schwächen und Entwicklungsoptionen ausgelöst hat 67% lehnen es ab, dass bestimmte Teile des

Expertenberichts nicht allen Angehörigen der evaluierten Einheit zugestellt werden 85% sind mit der Information über das Evaluations-

verfahren durch die Evaluationsstelle zufrieden

Quelle: Evaluationsstelle der Universität Zürich

Risiken

Qualitäts«bürokratie» vs. Qualitätskultur «Evaluitis»

Inhalte vs. Prozesse «Qualität, die überzeugt»

Profilierung vs. Standardisierung Gewichtung von Lehre, Forschung, Dienstleistung

Handlungsfähigkeit Freier Zugang zur UniversitätRessourcen, Zeithorizonte

Quality Culture: Definition

„Quality culture refers to an organisational culture that intends to enhance quality permanently and is characterised by two distinct elements: on the one hand, a cultural / psychological element of shared values, beliefs, expectations and commitment towards quality and, on the other hand, a structural / managerial element with defined processes that enhance quality and aim at coordinating individual efforts. Thus, the cultural / psychological element refers back to individual staff members while the structural / managerial refers back to the institution.“

European University Association (2006, S. 10)

Quality Culture: Modell

Quelle: European University Association (2006)

Literatur

Bruggen, J. C. van, Scheele, J. P. & Westerheijden, D. F. (1998). To be continued. Syntheses and trends in follow-up of quality assurance in West European higher education. European Journal for Education Law and Policy, 2 (2), 155-163. Daxner, M. (1999). Evaluation, Indikatoren und Akkreditierung. Auf dem

Weg in die Rechtfertigungsgesellschaft. In Hochschulrektorenkonferenz (Hrsg.), „Viel Lärm um nichts?“ Evaluation von Studium und Lehre und ihre Folgen. Tagung an der Universität Rostock, 1998 (Beiträge zur Hochschulpolitik, 4, Projekt Qualitätssicherung) (S. 41-49). Bonn: Hochschulrektorenkonferenz. European Association for Quality Assurance in Higher Education (2009,

3. Auflage). Standards and Guidelines for Quality Assurance in the European Higher Education Area. [Online]. URL: http://www.enqa.eu/ files/ESG_3edition%20(2).pdf (Zugriff: April 2009). European University Association (2006). Quality Culture in European

Universities: A Bottom-Up Approach. Report on the Three Rounds of the Quality Culture Project 2002-2006. Brüssel: European University Association. Harvey, L. & Newton, J. (2004). Transforming quality evaluation. Quality

in Higher Education, 10 (2), 149-165. Huisman, J. & Currie, J. (2004). Accountability in higher education.

Bridge over troubled water? Higher Education, 48 (4), 529-551.

Literatur

Jaeger, M., Leszczensky, M., Orr, D. & Schwarzenberger, A. (2005). Formelgebundene Mittelvergabe und Zielvereinbarungen als Instrumente der Budgetierung an deutschen Universitäten: Ergebnisse einer bundesweiten Befragung (HIS Kurzinformation, A 13). Hannover: Hochschul-Informations-System. Massy, W. F. (1999, May). Energizing quality work. Higher education

quality evaluation in Sweden and Denmark (Technical report, 6-06). Mittag, S. (2006). Qualitätssicherung an Hochschulen. Eine

Untersuchung zu den Folgen der Evaluation von Studium und Lehre. Münster: Waxmann. Preskill, H. (2004). The transformational power of evaluation. Passion,

purpose, and practice. In M. Alkin (Hrsg.), Evaluation roots. Tracing theorists' views and influences (S. 343-355). Thousand Oaks: Sage. VolkswagenStiftung (2005). Eckpunkte eines zukunftsfähigen deutschen

Wissenschaftssystems. Zwölf Empfehlungen. Hannover: VolkswagenStiftung. Weert, E. de (1990). A macro-analysis of quality assessment in higher

education. Higher Education, 19 (1), 57-72.

Vielen Dank für Ihre Aufmerksamkeit!

Dr. Sandra MittagReferat Qualitätsmanagement, TU Darmstadt mittag@pvw.tu-darmstadt.de