Was macht die Professionalität von Schulinspektoren aus? … · empirische und theoretische...
Transcript of Was macht die Professionalität von Schulinspektoren aus? … · empirische und theoretische...
Deutsche Gesellschaft fürBildungsverwaltung
Professionalisierung von Schulinspektion und SchulaufsichtTagung der AG QualitätssicherungBad Kreuznach, 2.-3. März 2012
Was macht die Professionalität von Schulinspektoren aus?Hans Anand PantHumboldt-Universität zu Berlin Institut zur Qualitätsentwicklung im Bildungswesen (IQB)
2 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
1. Forschungsstand zur Professionalität und Professionalisierung von Schulinspektion?
2. Die Güte von Inspektionsurteilen als Indikator professionellen Handelns
3. Transfer von Modellen der Lehrerkompetenz auf die Schulinspektion?
4. Fazit
Übersicht
3 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Evaluation als Kontrolle vs. Evaluation als Entwicklung
„Während die Kontrollfunktion der Schulevaluation darauf abzielt, Lernergebnisse und die Ergebnisse schulischer Entwicklungsprozesse zu messen und zum Zwecke der Soll-Sicherung Soll-Ist-Vergleiche anzustellen, dient die „Evaluation als Entwicklung“ dazu, konkrete Verbesserungen in der schulischen Praxis einzuleiten und Schulentwicklungsprozesse im Sinne einer formativen Evaluation zu begleiten.“
Zielfunktionen von Schulinspektion
Oder nach Hopkins 1989:
evaluation of vs.
evaluation for vs.
evaluation as school improvement
Quelle: Kotthoff & Böttcher 2009
4 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Typisierung von Evaluationsformen(van Ackeren & Klemm, 2009, S. 160)
5 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Quelle: Ehren & Visscher 2006, S. 66
Wirkmodell von Schulinspektion
6 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Quelle: Ehren & Visscher 2006, S. 55
Kommunikationsstile von Schulinspektor/innen
7 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Desiderata für diagnostische Professionalität
Komplexe diagnostische Aufgaben:Diagnostische Kompetenz für Unterrichtsbeobachtungen (Diagnostisches Handeln der Lehrkraft nachvollziehend erkennen können)Diagnostische “Meta”-Kompetenz, um die Angemessenheit des diagnostischen Lehrkrafthandelns kriterienorientiert beurteilen zu können.Organisationsbezogene Diagnosekompetenz: Beurteilung, inwieweit (un-) angemessenes diagnostisches Handeln an einer Schule systemisch verankert ist und welche Akteure/ Prozesse dafür entscheidend sind. (“Multi-Level-Kompetenz”)Idealerweise sollten Inspektoren nicht nur das diagnostische Verhalten an einer Schule beurteilen können, sondern ebenso die daraus (nicht) abgeleiteten Interventionen
8 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Handlungsrahmen Schulqualität in Berlin (SenBWF, 2007)
Diejenigen Aspekte des Handlungsrahmens, die im Zuge der Schulinspektion betrachtet werden, sind farblich unterlegt
9 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Kernelemente von Qualitätsrahmen der Länder
Unterrichtsqualität (Lehrangebote, Lernklima) Professionalität der Lehrkräfte (didaktische und
Fachkompetenz, Kooperation) Schulführung und Schulmanagement (Kommunikation,
Verwaltungsablaufe) Innerschulische und außerschulische Partnerschaften
(Kooperation mit Vereinen) Qualitätssicherung und -entwicklung (Schulprofil,
Selbstevaluation)
10 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Klassische AuffassungValidität als Inhalts- Konstrukt- und Kriteriumsvalidität
Samuel Messick (1995, American Psychologist)Validität als Argument, nicht als Koeffizient (APA, AERA, NCME)
• Validität ist für Messick (1995) die allgemeine Bewertung des Grades, in demempirische und theoretische Evidenz für die Angemessenheit von Interpretationenund Handlungen, die auf diagnostischen Messungen beruhen, vorliegen.
• Dies bedeutet, dass alles drei, die Bedeutung, die Interpretation und die darausabgeleiteten Handlungen von Messungen valide sein müssen.
• Validierung bedeutet demnach die kontinuierliche, empirische Evaluation vonMesswertinterpretationen sowie der Konsequenzen, die sich aus diesenInterpretationen ergeben.
Definition von Validität nach Messick
11 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Definition von Validität nach Messick
Validierung bedeutet die kontinuierliche, empirische Evaluation von Messwertinterpretationen und diagnostischen Urteilen sowie der Konsequenzen, die sich aus diesen Interpretationen ergeben.
“Alles ist Konstruktvalidität”
Valid
itäts
teila
spek
t
Inha
lt
Subs
tanz
Stru
ktur
Gene
ralis
ierb
arke
it
Exte
rnal
Wirk
unge
n
12 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Die Evaluation des substanziellen Aspekts von diagnostischen Instrumenten erfordert, dass nicht nur die Inhalte eines diagnostischen Verfahrens repräsentativ sind, sondern auch die Prozesse, die zur Erzielung guter Messergebnisse benötigt werden.
Werden die Prozesse, welche innerschulisch die Basis für Schul- und Unterrichtsqualität bilden, im Rahmen der Schulinspektion ausreichend repräsentiert?
Gibt es überhaupt prozesssensitive Messungen? (Snapshots vs. Movies)
Der Kern des substanziellen Aspektes von Validität besteht im Bereich der Schulinspektion sicher aus der Unterrichtsbeobachtung und betrifft hier im speziellen die Frage, ob diese Beobachtung geeignet ist, die Unterrichtsprozesse abzubilden, welche Lernprozesse tatsächlich beeinflussen (Oberflächen- vs. Tiefenmerkmale).
Substanzaspekt der Validität
13 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Empirische Validierungsstrategie der Strukturüberprüfung
ReliabilitätsanalyseBeziehen sich die jeweiligen Indikatoren eines Qualitätsmerkmals im Sinne einer internen Konsistenz auf EIN Konstrukt.
FaktorenanalyseSpiegelt sich die in den Qualitätsrahmen definierte Struktur in den empirisch ermittelbaren Zusammenhängen wieder?
Strukturaspekt der Validität
14 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Strukturaspekt der Validität
15 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Strukturaspekt der Validität
16 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
16
Transparenz der Indikatoren („Macht des Faktischen“):
Das Betonen (oder Weglassen) bestimmter Qualitätsaspekte wird als normative Botschaft verstanden, worauf es im Unterricht ankommt.
Beispiel Sachsen
Strukturaspekt der Validität
17 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
17
Transparenz der Indikatoren („Macht des Faktischen“):
Das Betonen (oder Weglassen) bestimmter Qualitätsaspekte wird als normative Botschaft verstanden, worauf es im Unterricht ankommt.
Beispiel Hamburg: 1-seitiger Bogen
+ Appendix
Strukturaspekt der Validität
18 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
DA FB UB INT SR
Inf. Inf. Inf. Inf. Inf.
IND IND IND IND IND
PM PM
Ergebnisse Reliabilitätsanalyse
α n Profilmerkmal (PM),54 6 PM 3: Zufriedenheit
,45 7 PM 4: Schuleigene Lehrpläne,43 3 PM 5: Classroom Management,59 4 PM 6: Aktiver Lernprozess,56 6 PM 7: Zielgerichteter Lernprozess,42 5 PM 8: Klassen- und Arbeitsklima,18 4 PM 9: Transparente
Leistungsanforderungen,51 4 PM 10: Diagnostik und individuelle
Förderung,57 5 PM 11: Aktive Beteiligung am
Schulleben,19 4 PM 12: Schulkooperationen,79 5 PM 13: Führungsverantwortung,75 6 PM 14: Qualitätsmanagement,30 3 PM 15: Unterrichtsorganisation,49 5 PM 16: Personalentwicklung,59 4 PM 17: Schulprogramm
,59 5 PM 18: Qualitätsentwicklung
Strukturaspekt der Validität
19 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
19
Zweckmäßige Organisation des Unterrichts α = .645.1 Die Unterrichtszeit wird effektiv genutzt5.2 Umgang mit Normen, Regeln, Störungen5.3 Klasseneinrichtung und Lernumgebung unterstützen den Lernprozess (geringe Trennschärfe)Aktives und selbstständiges Lernen α = .796.1 Anregungen zu aktiver Teilnahme6.2 Anregungen zur Zusammenarbeit und gegenseitigen Unterstützung6.3 Schüler/innen planen bzw. verwirklichen selbstständig den Lernprozess6.4 Schüler/innen legen eigene Lösungen dar bzw. reflektieren darüberUnterrichtliches Vorgehen α = .807.1 Deutlich strukturierter Unterricht7.2 Deutliches Erklärverhalten, Aufgabenverständlichkeit7.3 Regelmäßige Überprüfung des Verstehens7.4 Niveauunterschiede berücksichtigt (geringe Trennschärfe)7.5 Wechselnde Arbeitsformen7.6 Der Lebenswelt der Schülerinnen/Schüler entsprechend (geringe Trennschärfe)Pädagogisches Verhalten α = .858.1 Entspannte und anregende Lernatmosphäre8.2 Förderung positiven Umgangs untereinander8.3 Fairer, respektvoller Umgang mit Schülerinnen/Schülern8.4 Positive Erwartungen an Schülerinnen/Schüler8.5 Realistische Ansprüche an Einsatz und Leistung (geringe Trennschärfe)
Strukturaspekt der Validität
20 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
20
Klassenmanagement α = .645.1 Die Unterrichtszeit wird effektiv genutzt5.2 Umgang mit Normen, Regeln, StörungenUnterricht strukturieren, Methoden variieren α = .807.1 Deutlich strukturierter Unterricht7.2 Deutliches Erklärverhalten, Aufgabenverständlichkeit7.3 Regelmäßige Überprüfung des Verstehens7.5 Wechselnde Arbeitsformen7.6 Der Lebenswelt der Schülerinnen/Schüler entsprechendAktives und selbstständiges Lernen α = .826.1 Anregungen zu aktiver Teilnahme6.2 Anregungen zur Zusammenarbeit und gegenseitigen Unterstützung6.3 Schüler/innen planen bzw. verwirklichen selbstständig den Lernprozess6.4 Schüler/innen legen eigene Lösungen dar bzw. reflektieren darüber7.4 Niveauunterschiede berücksichtigtKlassenklima α = .858.1 Entspannte und anregende Lernatmosphäre8.2 Förderung positiven Umgangs untereinander8.3 Fairer, respektvoller Umgang mit Schülerinnen/Schülern8.4 Positive Erwartungen an Schülerinnen/Schüler8.5 Realistische Ansprüche an Einsatz und Leistung
Strukturaspekt der Validität
21 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
21
Interview schwächste Methode der Datenerhebung
Datenverlust • Daten werden nicht oder falsch erfasst (unabsichtlich)• Thema wurde bereits erwähnt / als unwichtig eingeschätzt (absichtlich) • These: Datenverlust zwischen 20 und 60%
Falsche / interpretative Aussagen• falsche Zahlen • unzulässige Verallgemeinerungen• ungenaue Verwendung der Protokollformulare• Interviewkrisen werden nicht protokolliert• Interpretationen (selten): Meinungen werden als Handlungen ausgelegt,
Planungen als realisierte Umsetzungen, Unsicherheit als Nichtwissen.• Fixierung auf Defizite oder eigene Hypothesen
Strukturaspekt der Validität
22 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
22
Strukturaspekt der Validität
23 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
23
Strukturaspekt der Validität
Eine Faktorenanalyse deutet auf hohe Zusammenhänge zwischen allen Bewertungen des Unterrichtsbeobachtungsbogens. Dies kann zweierlei bedeuten
die bewerteten Qualitätskriterien hängen in der Realität ebenfalls hoch zusammenes liegt ein Beurteilungsfehler im Sinne eines Globaleindrucks vor
Einzig ein Faktor Aktivierung lässt sich von den übrigen Bewertungen trennen.
24 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Transformation von Inspektorenurteilen in ein kriteriales Niveaumodell:
Ein empirisches Stufenmodell der Unterrichtsqualität
25 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Quelle: Jahresbericht der Schulinspektion Hamburg 2009-2010 (2011, S. 67)
Das Hamburger Modell der Stufen von Unterrichtsqualität
26 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Die Suche nach dem „guten Lehrer“ – ein Modell für die Suche nach dem „guten Inspektor“?
Frühe Lehrerforschung (1960-70er Jahre)
Welche Persönlichkeitsmerkmale sind wichtig für Lehrer? Wenig Erkenntnisse, die konstruktiv nutzbar waren (vgl. Bromme, 1997; Bromme &
Haag, 2004)
Prozess-Produkt-Paradigma (ab 1970er Jahre)
Verlagerung des Fokus: Betrachtung von Unterrichtsprozessen (z. B. Brophy & Good, 1986)
Expertise-Forschung (ab 1990er; z. B. Ericson & Smith, 1991)
Domänenspezifisches Wissen als erklärungsmächtiger Faktor für erfolgreiches Handeln in vielen Bereichen
Übertragung auf Lehrerkräfte: Diskussion um die Rolle von fachspezifischem Wissen (Shulman, 1986, 1987; Bromme, 1992)
27 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Kompetenzmodell von COACTIV
Professionelle Kompetenz von Lehrkräften
reichhaltiges Repertoire an Handlungsmöglichkeiten Professionswissen, Überzeugungen, motivationale
Orientierungen und selbstregulative Fähigkeiten Domänenspezifische und allgemeine Kompetenzaspekte
Unterrichten als Kernaufgabe
Klassenführung (effektive Zeitnutzung) Kognitive Aktivierung (durch Aufgabenselektion und
Implementation) Konstruktive Unterstützung (Aufmerksamkeit, Geduld,
individuelle Anpassung)(Baumert & Kunter, 2006; Kunter et al., 2011)
28 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Aspekte professioneller Kompetenz von Lehrkräften
Überzeugungen/Werthaltungen/
Ziele
MotivationaleOrientierungen
Professions-wissen
Beratungs-wissen
Pädagogisches Wissen
Organisations-wissenFachwissen
Fach-didaktisches
Wissen
Kom
pete
nzbe
reic
heK
ompe
tenz
face
tten
Wis
sen
über
das
m
athe
mat
isch
e D
enke
n vo
n S
chül
er(in
nen)
Tief
es V
erst
ändn
is d
er
Sch
ulm
athe
mat
ik
Wis
sen
über
mat
hem
atis
che
Auf
gabe
n
Erk
läru
ngsw
isse
n
Wis
sen
über
effe
ktiv
e K
lass
enfü
hrun
g
Wis
sen
über
Met
hode
n
Wis
sen
über
Lern
proz
esse
Selbstregulation
29 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
29
1. Weiterentwicklung der Instrumente der Unterrichtsbeobachtung hinsichtlich Transparenz / Inhalt / Struktur
2. Starker Ausbau der Vorabbefragungen, insbesondere in Bezug auf die Erfassung der Wahrnehmung des Unterrichts durch SuS
3. Abschwächung der Bedeutung der InterviewsInterview weniger als eigenständige Methode der Datengewinnung, sondern vielmehr als offene Methode (Beispiel Sachsen: Rückmeldung von Stärken / Schwächen der Schule aus Sicht von LK, SuS und Eltern)
Fazit Weiterentwicklung Instrumentarium
30 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
Fragen bezüglich der Festsetzung von Schwellenwerten (insbesondere: ab wann gilt eine Schule als unter Standard)
Kriteriale oder soziale NormenSchwellenwert aufgrund der Unterschreitung eines Kriteriums oder anhand der Gesamtbewertung, nicht-kompensatorisch, kompensatorisch oder gemischtSchwellenwert nur für Schulen unter Standard oder für mehrere Kategorien (gute Schule, exzellente Schule, …)Beteiligte Gruppen am Prozess der FestlegungTrennung zwischen Diagnose und anschließender Entscheidung
Vorschlag: da einzelne Kriterien zu unreliabel sind, sollte die Entscheidung „unter Standard“ stets auf einer Art Gesamtbewertung fallen.
Fazit: Professionelle Urteilsprozesse verbessern
31 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
31
Fazit: Weiterentwicklung zu einem dialogischen Instrumentarium aller Akteure
32 | DGBV: Professionalisierung von Schulinspektion und Schulaufsicht
32
34 | plietsch! Bildungsstandards als Qualitätsmonitor
Wirkannahmen nach dem Modell von Gärtner
Schulinspektion als Rückmeldesystem mit Fokus auf schulischen Prozessen
SchuleSchule
Reak-tionen
der Schule
auf Ankündi-
gung Insp
ektio
nser
gebn
is
Rezep-tion
Reflex-ion
Aktion Evalua-tion
Individuelle Bedingungen SL / LK
Organisationale Bedingungen
Intendierte Wirkungen
Veränderung der Schüler-
leistung
Nebeneffekte
Vor der Inspektion Nach der Inspektion
Insp
ektio
n
Externe Bedingungen