Prof. Dr. Olaf Köller Humboldt-Universität zu Berlin [email protected]
description
Transcript of Prof. Dr. Olaf Köller Humboldt-Universität zu Berlin [email protected]
Prof. Dr. Olaf KöllerHumboldt-Universität zu [email protected]
Institute forEducational Progress
Leistungsdiagnose und Leistungsüberprüfung
in der Schule
Klett-Symposium, Essen, 25.04.2009
Überblick
Institute forEducational Progress
Warum ein Fokus auf Schulleistungen und Lernen? Ein Plädoyer für Assessment in der Schule Formatives und summatives Assessment Bildungsstandards als Basis für summatives Assessment Bildungsstandards und Kompetenzstufenmodelle Bildungsstandards, Kompetenzstufenmodelle,
Ländervergleiche und Vergleichsarbeiten
Warum ein Fokus auf Leistung?
Individuum Höheres Einkommen über die Lebensspanne Höhere psychische und physische Gesundheit Höhere Lebenserwartung
Gesellschaft Geringere Kosten im Justizsystem Geringere Kosten im Gesundheitssystem Höheres Wirtschaftswachstum
Effekte hoher Leistungsstände
Erfolgreicher Durchlauf
Abbruch
.50
.33
.41
.35/.21
.20
.15
.06Lernstrategien
Interesse der Eltern an Schule
Finanzielle Absicherung
Zukunftsoptimismus (Schule / Ausbildungsplatz)
Fähigkeit zum schlussfolgernden Denken
(weibliches) Geschlecht
Allgemeine Fachleistung
Relevanz von Fachleistungen imberufsbildenden Bereich: Befunde aus ULME II (Lehmann et al., 2006)
Ein Plädoyer für die Vermessung der Welt/Schule
Wiliam (2008)
Teachers do not create learning
Learners create learning
Teaching is the engineering of
effective learning environments
Assessment bridges the gap between
instruction and learning
Zur Notwendigkeit von Schulleistungsmessungen
Lehrkräfte bieten ihren Schülerinnen und Schülern im Unterricht Lerngelegenheiten
Folgt man moderat konstruktivistischen Lerntheorien, so ist Lernen ein aktiver Prozess -> Schülerinnen und Schüler bestimmen selbst, was sie lernen
Folge: Formatives und summatives Assessment zur Überprüfung, was auf Seiten der Schülerinnen und Schüler tatsächlich gelernt wurde
Messung also als Verbindung zwischen Unterricht und Lernerfolg
Formatives Assessment(Black & Wiliam, 1998)
Aktivitäten der Lehrkräfte und der Schüler, aus denen Informationen gewonnen werden können, um die Lehr- und Lernkultur im Unterricht zu verbessern.
Assessment in diesem Sinne umfasst die Beobachtung des Lerners, des Unterrichtsgespräches und die Analyse von Schülerarbeiten, wie Hausaufgaben und Tests.
Formatives Assessment ist dann die Nutzung dieser gewonnenen Informationen, um den Lehr- und Lernvorgang im Unterricht an die Lernstände der Schüler anzupassen (Mikro-Adaptivität).
Formatives Assessment
Assessment is not an add-on to teaching
and learning, it can be integral.
Richard Shavelson (Stanford University)
Varianten Formativen Assessments
Längerfristig• Über längere Unterrichtseinheiten hinweg• Zeitraum: Vier Wochen und länger• Absicht: Schüler-Monitoring; Erreichung curricularer Vorgaben
Mittelfristig• Innerhalb von Unterrichtseinheiten• Zeitraum: Eine bis vier Wochen• Absicht: Zeitnahe Rückmeldung über Lernfortschritte, Adaptation des
weiteren Vorgehens
Kurzfristig• Innerhalb von Unterrichtsstunden• Zeitraum: Meistens wenige Sekunden/Minuten• Absicht: Verständnisvolles Lernen anbahnen
Summatives Assessment
(standardisierte) Messung von Lernergebnissen, die über einen langen Zeitraum aufgebaut wurden
Individuelle Schülerleistungen oft nicht im Fokus der Messung
Ergebnisse werden eher auf Systemebene genutzt, um im Bildungssystem zu optimieren (Bildungsmonitoring)
Beispiele: PISA, IGLU, Ländervergleiche
Summatives Assessment auf der Basis von Bildungsstandards
Idee der Bildungsstandards
Bildungsstandards …
sind fachspezifische Leistungsstandards
beschreiben leistungsthematisches Handeln, das Schülerinnen und Schüler bis zu einem bestimmten Zeitpunkt ihres Bildungsganges erfolgreich zeigen sollten
sollen helfen „den Einzelnen zur Bewältigung von Lebens-situationen auszustatten“ (Robinsohn, 1973)
„Can do Statements“ in Englisch (MSA; Hör- und Hör-/Sehverstehen)
Die Schülerinnen und Schüler können... im Allgemeinen den Hauptpunkten von längeren Gesprächen folgen,
die in ihrer Gegenwart geführt werden,
Vorträge verstehen, wenn die Thematik vertraut und die Darstellung unkompliziert und klar strukturiert ist,
Ankündigungen und Mitteilungen zu konkreten Themen verstehen, die in normaler Geschwindigkeit in Standardsprache gesprochen werden,
vielen Filmen folgen, deren Handlung im Wesentlichen durch Bild und Aktion getragen wird,
den Informationsgehalt der meisten Rundfunksendungen und Tonaufnahmen über Themen von persönlichem Interesse verstehen,
das Wesentliche in vielen Fernsehsendungen zu Themen von persönlichem Interesse, z.B. Interviews, kurze Vorträge oder Nachrichtensendungen verstehen.
8 Schritte von den Standards zum summativen Assessment
1. Fachdidaktische und lernpsychologische Präzisierung der Standards; Entwürfe von Kompetenzmodellen
2. Erarbeitung von Richtlinien zur Entwicklung von Testaufgaben
3. Aufgabenentwicklung durch geschulte Lehrkräfte
4. Begutachtung der Aufgaben durch Fachdidaktiker und Psychometriker
5. Pilotstudien zu den psychometrischen Eigenschaften der Aufgaben
6. Normierung der Aufgaben auf der Basis national repräsentativer Stichproben
7. Erarbeitung von Kompetenzstufenmodellen und Definition von Mindest-, Regel- und Optimalstandards
8. Stichprobenbasierte Ländervergleiche (Summatives Assessment)
Von Kompetenzskalen zu Kompetenzstufen
Kontinuierliche Kompetenzskala
300 400 500 600 700Skalenwert
SD = 2SD = 2 SD = 1SD = 1
Nationaler Mittelwert
2,3% 15,9% 84,1% 97,7% Prozentrang50,0%
Definition von KompetenzstufenStandard-setting
Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale
Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten
Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein
Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden
Wichtige Voraussetzung: Aufgaben und Personen liegen auf dem selben Maßstab
Illustration des Standard-settings
ST 5
ST 4
ST 3
ST 2
ST 1
xxx
xxx
xxx
xxx
AufgabenLeistungs-SkalaM = 500SD = 100
Schritte im Standard-setting Prozess
1. Auswahl von Experten
2. Training von Experten (sofern nötig)
3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen
4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen
5. Bestimmung von Schwellenwerten in mehreren Runden
(a) ohne Feedback und Diskussionsmöglichkeit
(b) mit Feedback und Diskussionsmöglichkeit
(c) mit « Impact Data » und Diskussionsmöglichkeit
6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger
7. Evaluation der Effektivität des Standard-setting Prozesses
8. Dokumentation des Standard-setting Prozesses
Mindest-, Regel- und Maximal-standards
Mindeststandards beschreiben Kompetenzniveaus, bei denen die standardbasierten Vorgaben noch nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen der erfolgreiche Übergang in die Sekundarstufe I/in die berufliche Erstausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen.
Regelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind.
Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten
Optimal- bzw. Maximalstandards beschreiben Kompetenz-niveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.
Beispiel: Grundschule Mathematik
Stufe Werte-bereich
Beschreibung Anteil im 4. Jg.
I < 390 Routineprozeduren auf Grundlage ein-fachen begrifflichen Wissens
10%
II 390 - 459 Einfache Anwendungen von Grundlagen-wissen
21%
III 460 - 529 Erkennen und Nutzen von Zusammen-hängen in einem vertrauten (mathe-matischen und sachbezogenen) Kontext
33%
IV 530 - 599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang
21%
V ≥ 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien
15%
Kompetenzstufe I
Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten oder gut geübten Kontext korrekt reproduziert werden.
Insbesondere werden grundlegende Begriffe der ebenen Geometrie und gängige Repräsentanten standardisierter Einheiten richtig verwendet.
Zahldarstellungen in Stellentafeln werden sicher gelesen. Die Grundaufgaben des kleinen Einspluseins und Einmaleins
werden beherrscht und bei halbschriftlichen und schriftlichen Rechenverfahren genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen.
Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden.
Kompetenzstufe V
Mathematische Problemstellungen werden auch in einem unbekannten Kontext angemessen, sicher und flexibel bearbeitet.
Dabei werden geeignete Strategien, sinnvolle Bewertungen oder Verallgemeinerungen auf hohem Niveau geleistet.
Umfangreiches curricular verankertes Wissen wird in ungewohnten Situationen flexibel genutzt.
Das Vorgehen kann sicher und nachvollziehbar kommuniziert und begründet werden.
Komplexe Sachsituationen werden modelliert und bearbeitet, wobei besondere Schwierigkeiten wie die Verwendung von Tabellen, der Umgang mit zusammengesetzten Größen oder das Rechnen mit Zahlen in Kommaschreibweise auftreten können.
Es können auch ungewohnte funktionale Zusammenhänge analysiert und genutzt werden.
Die Lösung von Aufgaben kann ein hohes Maß an räumlichem Denken oder entsprechende analytische Fähigkeiten voraussetzen.
Beispielaufgaben: Zahlen und Operationen
V
IV
III
II
I
600
530
460
390
M = 500;SD = 100
Rechne schriftlich.
348 + 87 + 609 = _____________
Beispielaufgaben: Zahlen und Operationen
V
IV
III
II
I
600
530
460
390
M = 500;SD = 100
Beispielaufgaben: Zahlen und Operationen
V
IV
III
II
I
600
530
460
390
M = 500;SD = 100
Welche Zahl ist um 4 größer als das Produkt aus 9 und 3?10
16
31
39
63
Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther.Wie viele Bilder hat Esther?7 9
16
18
Nutzen von Kompetenzstufen-modellen in Ländervergleichen (KMK-Gesamtstrategie)
Regelmäßige stichprobenbasierte Ländervergleiche in der 3. und 9. Jahrgangsstufe auf der Basis der Standards
9. Jahrgangsstufe Grundlage: Standards für den Mittleren Schulabschluss und
Hauptschulabschluss
Alle sechs Jahre Deutsch/Englisch/Französisch (2009, 2015, ...)
Alle sechs Jahre Mathematik/Naturwissenschaften (2012, 2018, ...)
Länderrepräsentative Stichproben (ca. 2.500 Schülerinnen und Schüler pro Land)
3. Jahrgangsstufe Alle 5 Jahre (2011, 2016,...)
Deutsch und Mathematik
Nutzen von Kompetenzstufen-modellen in Vergleichsarbeiten (KMK-Gesamtstrategie)
VERA-3: Vergleichsarbeiten in Deutsch und Mathematik in der dritten Jahrgangsstufe
VERA-8:Vergleichsarbeiten in Deutsch, Mathematik und 1. Fremdsprache in der 8. Jahrgangsstufe
Flankiert durch didaktische Materialien
Schulen bekommen widergespiegelt, welche Kompetenzstände ihre Schülerinnen und Schüler im Hinblick auf die Standards bereits erreicht haben.
Telefon +49[30]2093-5335
Telefax +49[30]2093-5336
www.IQB.hu-berlin.de
PostadresseHumboldt-Universität zu BerlinUnter den Linden 610099 Berlin
SitzLuisenstraße 5610117 Berlin
Vielen Dank für Ihre Aufmerksamkeit!
Institute forEducational Progress