Anette Hiemisch
Institut für Psychologie
Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen
„Teaching is Touching the Future –
Emphasis on skills.”
Die Validität selbsteingeschätzter Kompetenzen
Shift from teaching to learning:Shift from teaching to learning:
→ → Ökonomische und valide Ermittlung erworbener
Kompetenzen
Spezifische methodische ProblemeSpezifische methodische Probleme::
Validität der Instrumente
Angemessene Evaluationseinheit
Geeignete Validierungskriterien
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Die Validität selbsteingeschätzter Kompetenzen
Selbsteingeschätzte Kompetenzen:Selbsteingeschätzte Kompetenzen:
Ökonomische Möglichkeit der Bewertung im Studium
erworbener Kompetenzen
Mit einer Reihe von Problemen verbunden:Mit einer Reihe von Problemen verbunden:
BTA-Heuristik
Wahrgenommene Schwierigkeit der Kompetenz
„Unskilled but unaware“
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Unskilled but Unaware
Mangelnde „Meta-kognitive“ SkillsMangelnde „Meta-kognitive“ Skills
wenn Menschen eine Kompetenz nicht im
hinreichenden Umfang besitzen,
fehlen die meta-kognitiven Fertigkeiten zur
Einschätzung eben dieser Kompetenzen
Neigung, sich dann zu gut einzuschätzen
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Unskilled but Unaware
(Krueger & Dunnig, 1999)
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Die Validität selbsteingeschätzter Kompetenzen
Konsequenzen für die Evaluation:
Systematische Verzerrung der Messungen in
Abhängigkeit von dem zu messenden Merkmal
Mittelwerte ungeeignet zum Vergleich von
Lehreinheiten
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Evaluationseinheit & Validierungskriterium
EvaluationseinheitEvaluationseinheit
Lehr/Lerneinheiten, in denen bestimmte
Kompetenzen vermittelt werden:
z.B. Rhetorikkurs
ModulModul
ValidierungskriterienValidierungskriterien
Kompetenzmessung
Modulnote?Modulnote?
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Methode
Modul „Methodenlehre“
3 Semester
4 Vorlesungen
3 Tutorien
1 Seminar
1 Praktikum
Validierungskriterium
ModulnoteModulnote
Seminar „Einführung in die Allgemeine Psychologie“
Einführungskurs 1. Semester
Validierungskriterium
KlausurergebnisKlausurergebnis
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Methode
Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen (Braun, Gusy, Leidner, & Hannover, 2008)
Fachkompetenz (6 Items)
Methodenkompetenz (3 Items)
Präsentationskompetenz (2 Items)
Kommunikationskompetenz (5 Items)
Kooperationskompetenz (5 Items)
Personalkompetenz (5 Items)
Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Methode
Stichprobe Modul:Stichprobe Modul:
Kohorte 2010: Kohorte 2010: 56 Studierende im Alter von 20 bis 37 (M = 22.8, w = 50). 52 Prüfungs- anmeldungen, 41 Teilnehmende.
Kohorte 2011: Kohorte 2011: 59 Studierende im Alter von 19 bis 42 (M = 22.3, w = 54). 53 Prüfungs- anmeldungen, 25 Teilnehmende.
Stichprobe Seminar: Stichprobe Seminar: 15 Studierende
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Methode
Ablauf Modulevaluation:
Evaluation Modul „Methodenlehre“ Modul „Methodenlehre“ eine bzw. drei Wochen vor der Prüfung (Code)
Aushändigung eines Bogens mit Code- und Notenabfrage nach Abschluss der Prüfung
Mögliche Noten: 1.0, 1.3, 1.7, 2.0 bis 4.0, 5.0
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Methoden
Ablauf Seminarevaluation:
Evaluation vier Wochen vor Semesterende
Freiwillige Klausur in der letzten Seminarsitzung
15 Multiple-Choice Fragen zu Konzepten und Grundlagen der Allgemeinen Psychologie
3 Fragen zu Techniken wissenschaftlichen Arbeitens
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Hypothesen
H1: Konvergente und divergente Korrelationen ModulnoteH1: Konvergente und divergente Korrelationen Modulnote
Konvergent: Konvergent: Fachkompetenz, Methodenkompetenz, Kommunikationskompetenz, Personalkompetenz
Divergent: Divergent: Präsentationskompetenz, Teamkompetenz
H2: „Unskilled but unaware“:H2: „Unskilled but unaware“:
Die konvergenten Korrelationen sind höher, wenn weniger kompetente Studierende aus der Berechnung ausgeschlossen werden.
H3: Vergleich Modul und Seminar bezüglich Fach-und H3: Vergleich Modul und Seminar bezüglich Fach-und MethodenkompetenzMethodenkompetenzDie konvergenten Korrelationen fallen im Seminar kleiner aus.
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Ergebnisse
Abbildung 1: Verteilung Noten
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Ergebnisse
Kompetenzenr (N = 66)
sample123
r(N = 51)
sample12
r(N = 39)
sample23
Fachkompetenz-.37** -.41** -.01
Methodenkompetenz-.10 -.26* .20
Kommunikationskompetenz -.10 -.23(*) .01
Personalkompetenz-.30* -.27* -.25*
Präsentationskompetenz.05 -.10 .05
Teamkompetenz.01 -.01 .02
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Ergebnisse
M SD Test Wissen
Test Methode
Fachkompetenz 1.79 .57 -.24 -.58*
Methodenkompetenz 2.11 .73 -.29 .02
Personalkompetenz 1.62 .54 -.20 .56*
Test Wissen 25.33 6.59
Test Methode 9.93 3.63
Tabelle 3: Validierung Seminar
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Diskussion
ModulModulValide Erhebung der Skalen Fach- und Personalkompetenz
ABERABERKompetenzniveau beeinflusst Validität
→ → Ergebnisse sprechen für „unskilled-unaware“-Hypothese
→ → Selbsteingeschätzte Kompetenzen nicht geeignet für Evaluation
SeminarSeminarKeine sinnvollen Zusammenhänge zwischen selbst-eingeschätzten Kompetenzen und Klausurergebnissen
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Diskussion
AusblickAusblick
Ökonomische Methode der Kompetenzmessung
Modelle des Kompetenzerwerbes und der Kompetenzmessung
Aus Modellen des Kompetenzerwerbes Merkmale von Lehrveranstaltungen und Modulen ableiten, die Kompetenzerwerb fördern
diese Merkmale ermitteln
→ → Kompetenzorientierte ModularisierungKompetenzorientierte Modularisierung
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Diskussion
KritikKritik
Note geeignetes Validierungskriterium?
Keine Kontrolle von möglichen Moderatorvariablen (Interesse, Motivation, usw.)
Kleine Stichprobe
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
Anette Hiemisch
Institut für Psychologie
Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen
Vielen Dank für Ihre
Aufmerksamkeit
Ergebnisse
Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten
Ergebnisse
Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten
Ergebnisse
KompetenzenM SD α
Fachkompetenz2.56 .68 .85
Methodenkompetenz2.35 .92 .83
Kommunikationskompetenz1.74 .94 .90
Personalkompetenz2.37 .89 .87
Präsentationskompetenz1.48 1.11 .90
Teamkompetenz3.07 .82 .89
Tabelle 1: Deskriptive Statistik
Top Related