Post on 04-Jul-2015
Zielorientiert und fair prüfen MIB-Talk, 25.11.2013 Christoph Meier
Das Team "Hochschulentwicklung" am IWP-HSG
Unsere Themen und Arbeitsfelder 1. Studienprogrammentwicklung
– z.B. Weiterentwicklung des Bachelor BWL zum Themenfeld "nachhaltige Entwicklung"
2. Faculty development – z.B. Weiterentwicklung des Ausbildungsprogramm Hochschuldidaktik
3. Forschung – z.B. Entwicklung der Einstellungen von Studierenden zum BWL-Studium
Dr. Christoph Meier
Taiga Brahm Tobias Jenert Patrizia Kühner Marion Lehner Christoph Meier
22.11.2013 2
Übersicht
Fragen an euch
Grundfragen - Wozu prüfen? - Was prüfen? - Wie prüfen? - Wie auswerten? - Wie gut prüfen?
Some food for thought
Fragen von euch
22.11.2013 Dr. Christoph Meier 3
Prüfungen im Kontext
22.11.2013 Dr. Christoph Meier 4
"Was nicht geprüft wird, wird auch nicht gelernt."
Didaktisches Design
Mediale Lernressourcen
Betreuung
Wozu prüfen? Formativ vs. summativ
22.11.2013 Dr. Christoph Meier 5
Was prüfen? Passung Lernziele & Prüfung
22.11.2013 Dr. Christoph Meier 6
Was prüfen? Kompetenzbereiche & Handlungsdimensionen
22.11.2013 Dr. Christoph Meier 7
Was prüfen? Lernziele in verschiedenen Detaillierungen
22.11.2013 Dr. Christoph Meier 8
Was prüfen? Anspruchsniveau von Lernzielen
22.11.2013 Dr. Christoph Meier 9
Formulierung Lernziel
(Beispiele)
Anspruchsniveau Formulierung Prüfungsaufgabe (Beispiele)
"kennt", "nennt",
"zählt auf" 1) Erinnern nicht
empfohlen "nennen Sie …",
"welche … kennen Sie?"
"erläutert", "findet Beispiele für",
"subsumiert", "generalisiert"
2 ) Verstehen "Verstehens-Aufgaben"
"gruppieren Sie folgende Aussagen nach …" "was sind die Hauptgründe für …"
"beschreiben Sie anhand von Beispielen …", "erläutern Sie in eigenen Worten …"
"nutzt Modell / Vorgehen XYZ,
um ein Problem zu lösen"
3) Anwenden "Anwendungs- /
Transfer-aufgaben"
"wenden Sie das Modell / Vorgehen XYZ auf den folgenden Fall an: …"
"beschreiben Sie, wie Sie die folgende Problemsituation lösen würden: …"
"differenziert", "unterscheidet",
"findet Analogien" 4) Analysieren "Problem-bearbeitungs-
aufgaben"
(neue Probleme,
keine Transfer-probleme)
"unterscheiden Sie …", "beschreiben Sie den Denkfehler
im folgenden Abschnitt: …" "finden Sie ähnlich gelagerte Fälle für …"
"überprüft", "beurteilt",
"entscheidet" 5) Evaluieren "beurteilen Sie …",
"entscheiden und begründen Sie …", "was sind aus Ihrer Sicht Herausforderungen bei der
folgenden Vorgehensweise: …" "plant",
"erstellt", "entwickelt"
6) Gestalten "planen Sie …",
"erstellen Sie einen Plan für …", "entwickeln Sie ein Grobkonzept für …"
Was prüfen? Bewusste Auswahl
22.11.2013 Dr. Christoph Meier 10
Lehrveranstaltung Prüfung
Auswahl
• Ziel / Thema a
• Ziel / Thema b
• Aufgabe 1
• Aufgabe 2
• Aufgabe 3
• … • Ziel / Thema c
Konzentration auf wichtige Lernziele / schwerpunktmässig
behandelte Themen & Inhalte
10
• Ziel / Thema …
Wie prüfen? Bearbeitungsformen & Anspruchsniveaus
22.11.2013 Dr. Christoph Meier 11
wenige viele Freiheitsgrade für Prüflinge
Grad der Objektivierung
Üblicherweise erreichtes
Anspruchs-niveau
hoch gering
Bearbeitungs- form
Auswahlaufgaben (Antwort / Lösung auswählen)
Bearbeitungsaufgaben (Antwort / Lösung erstellen)
Richtig/ Falsch-
Aufgaben
Mehrfach-wahl-
aufgaben
Zuordnungs-aufgaben
Vervoll-ständigungs-
aufgaben
Kurz- antwort-
aufgaben
eingeschränkte Bearbeitung
Entscheidung, ob Aussage richtig oder
falsch
Auswahl der richtigen
Aussage aus mehreren Antwort-
möglichkeiten
Zuordnung von Aussagen
aus zwei verschiedenen
Spalten
Teilweise vorgegebene Antwort mit Wort / Zahl / Satz vervoll-
ständigen
ausführliche Bearbeitung
Antwort mit einem Wort / einer Zahl / einem Satz
z.B. Kurzfall, Ausführung auf max. 1
Seite
z.B. umfangreicher
Fall, Literaturbericht,
Hausarbeit
Erinnern, Verstehen
Erinnern, Verstehen
Verstehen, Anwenden, Analysieren, Evaluieren
Anwenden, Analysieren, Evaluieren,
Kreieren
Ausführliche Fall-
bearbeitung
"Welche … kennen Sie?" "Wählen Sie die richtige
Antwort aus."
"Beschreiben Sie anhand eines selbst gewählten
Beispiels das …-Modell"
Auswahlaufgaben
Faktenwissen reproduzieren
Sachverhalte verstehen
Begriffe / Konzepte / Modelle auf neuartige Problemstellungen
anwenden
Sachverhalte analysieren
Sachverhalte beurteilen
Problemlösungen / Konzepte entwickeln
Multiple Choice
Aufgaben
"Lösen Sie die folgende Aufgabenstellung, indem Sie auf das Modell … zurück greifen."
"Welche problematischen Annahmen enthält der vorliegende
Lösungsvorschlag zum Problem …?"
"Führen Sie eine SWOT-Analyse zur dargestellten Lösung durch."
"Entwickeln Sie ein …-Konzept für einen Praxispartner"
Richtig/ Falsch-
Aufgaben
Hausarbeit oder
Projektarbeit
Kurzantwort mit 1 Satz / mit 1 Zahl
Bearbeitung Kurzfall (max. 1 Seite)
Anforderungsniveau Beispielformulierungen
Musterlösung
Beurteilungs- schema
Wie Prüfen? Anforderungsniveaus und Bearbeitungsformen
22.11.2013 Dr. Christoph Meier 12
Bearbeitungsaufgaben
Wie auswerten? Beurteilung, Bewertung, Bezugsnorm
22.11.2013 Dr. Christoph Meier 13
1) Beurteilung von Aufgabenlösungen
global (1 Beurteilungskriterium: z.B. "richtig / falsch")
analytisch (mehrere, gewichtete Beurteilungskriterien; "rubrics")
aufgabenübergreifend (keine Musterlösung möglich; unterschiedliche
Themenstellungen, z.B. bei Hausarbeiten)
aufgabenspezifisch (Musterlösung möglich)
2) Bewertung von Leistungen
quantitativ (z.B. Punkte / Note)
qualitativ (z.B. differenzierte Wortbewertung)
3) Bezugsnormen / Bewertungsmassstab
aufgabenbezogen (absolut) gruppenbezogen (sozial) individuumsbezogen
Wie auswerten? Musterlösung + Bewertungsschema
• verschiedene mögliche Antwortelemente sind aufgeführt • Punkteverteilung pro Lösungsaspekt ist definiert • maximale Punktzahl ist definiert
22.11.2013 Dr. Christoph Meier 14
Elemente der Lösung / Aussagen Punkte
Keine Aussage über "Gesundheit" möglich 1
Deckung des Anlagevermögens mit Eigenkapital ½
Je höher das Risiko, desto höher der Eigenfinanzierungsaufwand ½
Deckung der Investitionen durch Cash Flow ½
Leverage-Effekt ½
Imagegründe ½
Insgesamt maximal 2 Punkte für diese Aufgabe
Wie auswerten? Beurteilungsschema / Rubric
22.11.2013 Dr. Christoph Meier 15
Beurteilungs-kriterium
Stufe 1 (schwache Leistung)
Stufe 2 (ungenügende Leistung)
Stufe 3 (genügende Leistung)
Stufe 4 (gute Leistung)
Stufe 5 (sehr gute Leistung)
Problem-erfassung
1-2 Kann Problemfeld nur vage, oberflächlich beschreiben. Berücksichtigt Fallkontext nicht / kaum.
3-4 Umschreibt Einzelprobleme andeutungsweise, ohne genaue Eingrenzung. Berücksichtigt Fallkontext teilweise.
5-6 Kann etwa die Hälfte der wesentlichen Probleme sinngemäss umschreiben ohne dabei präzise Fachbegriffe zu verwenden oder den Fallkontext detailliert auszuwerten.
7-8 Beschreibt die Mehrheit der wesentlichen Probleme recht genau und ansatzweise mit passenden Fachbegriffen. Berücksichtigt die wesentlichen Problemhinweise aus dem Fallkontext.
9-10 Beschreibt alle wesentlichen Probleme präzise & unter Verwendung passender Fachbegriffe. Strukturiert die Probleme (z.B. nach Wichtigkeit, Dringlichkeit, etc.). Berücksichtigt den Fallkontext in umfassender Weise.
Lösungs-möglichkeiten
… … … … …
Kriterienwahl & Vergleich
… … … … …
Entscheid … … … … …
Wie auswerten? Bezugsnorm / Bewertungsmasstab
22.11.2013 Dr. Christoph Meier 16
1. aufgabenorientierte Norm
2. gruppenorientierte Norm/ Sozialnorm
3. Individualnorm
DB
DA > DB
Lerner A Lerner B
DA
Noten
Anzahl
Lerner A Lerner B obj. Kriterien Leistung A < Leistung B
Wie auswerten? Von Punkten zu Noten
22.11.2013 Dr. Christoph Meier 17
Note
Punkte
50
6,0 5,5 5,0 4,5 4,0 3,5 3,0 2,5 2,0
1,5 1,0
0 4,5 9
13,5 18
22,5 27,5
32,5 37
41,5 46
minimal mögliche Leistung
maximal mögliche Leistung
Wie gut prüfen?
22.11.2013 Dr. Christoph Meier 18
Qualitäts-kriterium
Nähere Bestimmung
Erläuterung
Gültigkeit (Validität)
Inhaltsgültigkeit Die Prüfungsaufgaben überprüfen die Kompetenzen, die die Studierenden gemäss den für die Lehrveranstaltung definierten Lernzielen erwerben sollen. Die Prüfungsaufgaben a) streuen angemessen über die Sachgebiete / Themen, b) passen zu den Lernzielen (Komplexität und geforderte Denkprozesse).
Zuverlässigkeit & Objektivität
Durchführungs-objektivität
Die Durchführungsbedingungen sind standardisiert. Es gibt beispielsweise keine Unterschiede bezüglich der verfügbaren Zeit oder der verfügbaren Hilfestellungen.
Auswertungs-objektivität
Die Auswertung der Prüfung erfolgt anhand von klaren Regeln und Kriterien. Beispielsweise beurteilen unterschiedliche Korrektoren schriftliche Arbeiten anhand des gleichen Korrekturschemas und legen dabei gleich strenge Auslegungen an.
Chancen-gerechtigkeit
Berücksichtigung von Lehr-/ Lernbedingungen
Alle Studierenden erhalten zum Beispiel die gleichen, geeigneten Hinweise zur Prüfungsvorbereitung (z. B. Literatur). Prüfungsfragen, zum Beispiel, sind so gestaltet, dass auch ausländische Studierende ohne detaillierte Kenntnisse schweizerischer Verhältnisse diese erfolgreich bearbeiten können.
Prüfungs-ökonomie
Aufwand bei der Erstellung, bei der Durchführung und bei der Auswertung
Aufwand für die Lehrpersonen / Prüfungsverantwortlichen bei der Erstellung einer Prüfung. Zeitaufwand für Prüflinge, Lehrpersonen und Beanspruchung räumlicher Ressourcen (z. B. geeignete Computerlabors für E-Assessments). Aufwand für Lehrpersonen oder Korrigierende bei der Ermittlung und Bewertung der Prüfungsergebnisse.
Arbeitshilfe zur Analyse & Planung einer Prüfung
22.11.2013 Dr. Christoph Meier 19
Verschiedene Prüfungsformen – gleiche Grundfragen
Grundfragen
Prüfungsformen
Wozu prüfen?
Schriftliche Klausur (Papier-basiert)
Was prüfen?
E-Assessment / E-Test (online)
Wie prüfen?
Schriftliche Hausarbeit
Wie auswerten?
Mündliche Prüfung
Wie gut prüfen? Portfolio-basierte Prüfung
22.11.2013 Dr. Christoph Meier 20
Some food for thought… Prüfungen als Arbeitsmaterialien
– Besprechung von Prüfungen / Lernerfolgskontrollen im Kurs
• Ziele der Prüfung, Herausforderungen bei der Umsetzung, Ergebnisse; Analyse von guten / nicht so guten Prüfungsleistungen & Bezug zu Kurszielen)
– Selbst-Bewertung von Prüfungsleistungen (NACH Bewertung durch LP)
• Annotierte Arbeit OHNE Note als Grundlage für Selbstbewertung
– Peer feedback zu Prüfungen • Analyse & Bewertung der
Prüfungsarbeit eines Kollegen / einer Kollegin
Prüfungsformen – Fokus mündliche
Kommunikationskompetenz • Posterpräsentation
– Fokus Schreibkompetenz • Buch-Review • Weblog als Lerntagebuch &
Portfolio • Gutachten zu (fiktiver)
Problemstellung – Fokus Medienkompetenz
• Kommentierte Ressourcensammlung im WWW
• Kurzvideo – Fokus Teamkompetenz
• Rollenspiel planen & durchführen • Gruppenausstellung planen &
durchführen 22.11.2013 Dr. Christoph Meier 21
Eure Fragen
Dr. Christoph Meier 22 22.11.2013
Vielen Dank & viel Erfolg! Christoph Meier IWP-HSG Webseite des Teams Hochschulentwicklung