Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.

Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.PROF. DR. JOHANNES MOSKALIUK 24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE

WORKSHOP

Johannes Moskaliuk | Workshop Evaluation

2In diesem Workshop lernen Sie ...

- worauf es bei einer Evaluation ankommt, - welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene

Kompetenzen zu messen, - welche typischen Fehler bei der Formulierung von Fragen es gibt, - welche methodischen Schwierigkeiten auftreten können, - was bei der computerbasierten Testung zu beachten ist, - und was bei der Interpretation der Ergebnisse berücksichtigt werden muss.

3Inhalt

- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis

4Happy Sheet

Zufriedenheit der Teilnehmenden

geht soin Ordnunghervorragendsehr hervorragendäußerst hervorragend

Die Location für das Seminar war ... Der Trainer, die Trainerin war mir sympathisch. Das Seminar war anstrengend für mich. Ich möchte gerne mehr zu diesem Thema lernen. Das Seminar hat mit gut gefallen.

Wichtige Fragen, aber ... Johannes Moskaliuk | Workshop Evaluation

Zu Beginn müssen deshalb die Ziele des Projekts definiert werden und dann die Frage geklärt werden, was in der Evaluation gemessen werden soll.

... viele Evaluationsprojekte scheitern*, weil zu Beginn nicht klar ist, was gemessen werden soll.

*gemeint ist: Die Ergebnisse können nicht genutzt werden.

Ihre Beispiele aus der Praxis

- In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?

- Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt erfolgreich war.

- Wer hat Interesse an den Ergebnissen der Evaluation?- Welche Konsequenzen haben die Ergebnisse der Evaluation für

das Projekt?

und Fragen

7Was ist eine Evaluation?

Welche Ziele und welche Erfolgskriterien werden verwendet?

Wurde das intendierte Ziel erreicht? War eine Maßnahme wirksam? Haben die Teilnehmenden etwas gelernt?

Soll Ist

Bewertung der Ergebnisse von Projekten oder Prozessen

summativ formativ

8Was sind die Kriterien für Erfolg?

Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation

9Inhalt

10Welche Methoden gibt es?Wissenstest ............................. Längsschnittstudie

festgelegter Zielwert

vorher / nachher

Womit wird verglichen?

vorhandene Kennwerte

langfristig

kurzfristig

11Welche Messmethoden gibt es?Ein Fragebogen ist nur eine von vielen Möglichkeiten!

12Was ist eine gute Messung?

Objektivität

Validität

Reliabilität

Die Ergebnisse sind unabhängig von der durchführenden, auswertenden und interpretierenden Person.

Der Test misst, was er messen soll.

Der Test misst genau, d.h. mit geringem Messfehler.

13Projektive Verfahren

Rorschach - Test

Thematischer Apperzeptionstest (TAT)OMT (Operanter Motiv-Test)

14Apparative TestsDrahtbiegeprobeWiener Testsystem

15Fragebogen | Befragungenpapierbasiertcomputerbasiert

online

ond Spekking via Wikim

edia Comm

16Inhalt

17Aufgaben mit freiem Format

Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. _________________________________

Kurzsatzaufgaben

Vorteile NachteileReproduktion von Wisseneigene Antwort

mehr Aufwand für den Probanden

zufällig richtige Antworten sind ausgeschlossen

Mehr Aufwand für die Auswertung

gut zur Erfassung von Motiven und Gründen

Auswertungsobjektivität eingeschränkt

bei projektiven Verfahren

Sehr abhängig von sprachlicher Kompetenz des Probanden Johannes Moskaliuk | Workshop Evaluation

18Aufgaben mit freiem Format

Atheist verhält sich zu Religion wie Pazifist zu ____________ Specht und Ente sind ____________Die Hauptstadt von Deutschland ist ____________2 4 8 16 ____________

Ergänzungsaufgaben

Vorteile NachteileReproduktion von Wissenstatt nur Wieder-erkennung

meist nur Faktenwissen prüfbar

zufällig richtige Antworten sind ausgeschlossen

Abhängig von Lesefähigkeit und Intelligenz

Wenn Auswerteschema: Objektivität hoch

Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation

Aufgaben mit gebundenem Antwortformat

Zuordnungsaufgaben

Umordnungsaufgaben

ZuordnungsaufgabenUmordnungsaufgaben

Vorteile Nachteileeinfach, ökonomisch, objektiv

Keine Reproduktion von Wissen

Zufällig richtige Antwort im Prinzip ausgeschlossen

Antwortalternativen nicht unabhängig. Freiheitsgrade sinken mit jeder richtigen Zuordnung

Gut für Wissenstests / Kenntnistests geeignet

Mehr Zeitaufwand für Durchführung und Auswertung

Auswahlaufgaben

Dichotome AufgabenVorteile Nachteileeinfach, ökonomisch, objektiv

Kurze Lösungszeit Hohe Ratewahrscheinlichkeit

Angela Merkel ist ...

☐ Bundeskanzlerin der BRD.☐ Ministerpräsidentin von

Berlin. Ich würde gerne mehr über das Thema wissen.

☐ Stimmt.☐ Stimmt nicht.

Mehrfachwahl-Aufgaben

Multiple-Choice Aufgabeneine vs. mehrere korrekte Antwortalternativen

Vorteile Nachteileeinfach, ökonomisch, objektiv

Ratewahrscheinlichkeit verringert, da mehr Antwortalternativen

Nicht immer sinnvoll, z.B. nicht für Kreativität

Verzerrungen, wenn Distraktoren nicht gut gewählt oder Hinweis auf richtige Antwort enthalten

Welche Personen sind Mitglied des aktuellen Bundeskabinetts?

☐ Angela Merkel☐ Barack Obama ☐ Sigmar Gabriel☐ Winfried Kretschmann

- Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem Evaluationsprojekt einsetzen möchten.

- Machen Sie sich Notizen!

Diskutieren Sie: - Welche Problem könnten sich bei der Frage ergeben? - Welche Lösungsmöglichkeiten sehen Sie?

und Fragen

25Inhalt

Problem: Nicht disjunkte Antwortalternativen

Problem: Nicht exhaustive Antwortalternativen

Vollständigkeit der Antwortalternativen

Antwortalternativen schließen sich gegenseitig aus

Exhaustivität bei Persönlichkeitstest wichtig

Alternative: Forced Choice

Wie groß ist 1/5 von 10?

a.) kleiner als 1,5 b.) 1,5 bis 2 c.) 2,0 bis 2,5 d.) größer als 2,5

Wählen Sie die Antwort aus, die auf Sie am besten zutrifft. a.) Ich bevorzuge harte, realistische Action-Thrillerb.) Ich bevorzuge gefühlvoll, feinsinnig Filme. Johannes Moskaliuk | Workshop Evaluation

Konstruktion von Beurteilungsaufgaben

Skalenstufen visuelle Analogskaladiskret gestufte Ratingskala

Polarität unipolar vs. bipolar

28Konstruktion von Beurteilungsaufgaben

SkalenpunkteNumerische Skala IntervallskalaVerbale RatingskalaOptische Skalen

29Konstruktion von Beurteilungsaufgaben

Mittelkategorie

Weiß nicht Kategorie

gerade / ungerade Anzahl Skalenpunkte

asymmetrische Skalen Boden- / Deckeneffekte

30Welche Probleme sehen Sie bei folgenden Items?

o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes?o Ich finde nicht, dass ich häufig nicht hungrig bin!o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich

mich, falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen.o Ich neige zur Prokrastination. o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren.o Ich gehe gerne auf Parties und trinke gerne Alkohol.o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der

alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges Forschungsergebnis.

o In letzter Zeit war ich häufig in der Oper.

31Itemformulierung

direktSind Sie ängstlich?

indirektFühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind?

hypothetisch biografiebezogenStellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeiternin ihrer Abteilung.

Wie haben Sie sich bei der letztenAuseinandersetzung mit einem Kollegen verhalten?

Exkurs

32Itemformulierung

konkret abstraktWie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen?

Wie belastend schätzen Sie dieArbeit in einem konfliktreichen Arbeitsumfeld ein

personalisiert depersonalisiertTreiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig

Sport zu treiben?

Exkurs

33ItemformulierungQualität / Intensität

Halten Sie sich für einen ängstlichen Menschen?Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt?

SelbstbeschreibungIch bin ein fröhlicher Mensch.

FremdbeschreibungAndere halten mich für einen fröhlichen Menschen.

TraitzuschreibungIch lache oft und gern.

Wünsche Interesse

Ich interessiere mich für Psychologie.

EinstellungenMeinungen

Es gibt wichtigeres als beruflichen Erfolg

BiografieIch war schon oft im Ausland.

Exkurs

34Regeln für die Formulierung von Items

positiv formuliertKeine Verneinung

klare Konstruktion

keine Abkürzungen

keine Fachbegriffe

Angaben zur Intensität oder Häufigkeit können problematisch sein.

Ich trinke häufig Wein.trifft zu trifft nicht zu

Ich entspanne mich gern mit einem alkoholischen Getränk.

besser:

Verständlichkeit

35Regeln für die Formulierung von ItemsEindeutigkeit

keine Universalausdrücke immer, nie, alle ...

Schwieriges definieren

keine Mehrdeutigkeit

eine Aussage pro Item

Vorwissen beachten

Bezugsgrößen definieren

Zeitspannen klar angeben

36Was ist eine gute Aufgabe?- Leichte Verständlichkeit- einfache Durchführbarkeit- kurze Lösungszeit- Geringer Material und Papierverbrauch- Leichte Auswertbarkeit- Geringe Häufigkeit von Zufallslösungen

- Prüfen Sie die Items, die Sie notiert haben. - Sind alle Regeln für die Formulierung von Items berücksichtigt?

- Finden Sie alternative Formulierungen.

und Fragen

38Inhalt

39FehlerquellenSoziale

ErwünschtheitSelfdeceptive EnhancementImpression Management

Kontrollskalen / LügenskalenAnonymität

Gründe

LösungAkquieszenz

Ja-Sage-Tendenz

LösungInventierung von Items

Tendenz zur Mitte

-2 -1 0 1 2010203040

Tendenz zur Mitte

-2 -1 0 1 2010203040

Tendenz zu extremen

Urteil

Antwortkategorie

äufig

Antwortkategorie

Lösungkeine Mittelkategorie

40Konstruktvalidität

Konstruktlatente Variable | Trait

Kriteriumbeobachtbares Verhalten

z.B. Item ankreuzen

Nomologisches NetzwerkFaktorenanalyse

konvergente divergentediskriminante

Exkurs

41Kriteriumsvalidität

Kriteriumbeobachtbares Verhalten

z.B. Item ankreuzen

konkurrente prognostisch

Übereinstimmung Vorhersagezeitgleich zukünftig

Verhalten

Exkurs

42Inhalt

43TestartenLeistungstests

Intelligenz Konzentration

Speed vs. Power

Persönlichkeitstests

Trait vs. StateInteresse

Selbstauskunftverhaltensnahe Testsprojektive Verfahren

Fragebogen objektive Tests apparativ Computer

Exkurs

44Testökonomie

Ist der finanzielle und zeitliche Aufwand dem diagnostischen Erkenntnisgewinn angemessen?

TestmaterialHard-/SoftwareLizenzgebühren

Finanzieller Aufwandzeitlicher Aufwand

BearbeitungszeitVorbereitungAuswertung

Ausblick: Internetgestütztes TestenAdaptives Testen

45ItemschwierigkeitZiel: Items eines Fragebogen sollen individuelle Unterschiede abbilden.

zu leichte und zu schwere AufgabenIch halte Umweltverschmutzung für schädlich.

Sonderfallsehr seltene Merkmalez.B. in der klinischen Psychologie

Problem

Itemvarianz

Itemschwierigkeit

Statistische Kenngrößen

Exkurs

46Weitere AspekteAktualität

Wertungen

Wie heißt der Ministerpräsident von Baden-Württemberg?

Warum ist es besser, Geld einerWohltätigkeitsorganisation zu spenden als einem Bettler?

SuggestionSie stimmen doch zu, dass der Nichtraucherschutz in Deutschland sehr wichtig ist?

GendergerechtigkeitIch ärgere mich oft über meinen Chef.

47Inhalt

48Computerbasiertes Testen

Volljährigkeit der TeilnehmerInnen

Ethische Aspekte

Einverständnis-erklärung

Anonymisierung

verdeckte Datenerhebung?

Kontrollierbarkeit

Identität der TNAngaben korrekt?

VerhaltenAblenkung?

AbsichtlichesFehlverhalten

Mehrfachteilnahme

meistens höhereStichprobe notwendig

Definition von Ausreißern

verzerrte Stichprobe

Dropouts

49Inhalt

- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Häufige Fehler- Computerbasiertes Testen- Beispiele aus der Praxis

50Beispiel aus der Praxis

Virtuelle Polizei

51Feldstudie | Warum ist virtuelles Training erfolgreich?

Standard-Training Virtuelles TrainingVerhaltensempfehlung

Wissenstest

Subjektive MaßeWissenstestTransfertest

52Feldstudie | Methode

Ich würde meinen KollegInnen den Besuch dieses Trainings empfehlen.

Akzeptanz

Ich bin mit dem virtuellen Training zufrieden.

Zufriedenheit

LernerfolgIch habe in dem Training sehr viel Neues gelernt.

Subjektive Maße Wissenstest mit 20 Items

Wie wird die Person genannt, die vom Hubschrauber hauptsächlich angesprochen wird?

A LeiterB LenkerC FührerD Identifizierungsbeamter

53Feldstudie | WissenWissenstest*

121416

VE Reales Training VirtuellesTraining

WissenVorher

WissenNachher

Standard Virtuellkein Training

54Feldstudie | TransferVideotest*

VE Reales Training Virtuelles Training

Standard Virtuellkein Training

Patongo

Fokus - Gruppe

Plattform zum Austausch von Best-Practices

Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch?

Logfile-Analyse

Befragung

Generation Ypersönliche SicherheitLeistung

Mitgefühl

Verantwortung

Wertschätzung

Konformität

Das Gesicht wahren

Genuss/HedonismusBescheidenheitFührung übernehmen

Selbstbestimmung (Handeln)

Selbstbestimmung (Denken)

gesellschaftliche Sicherheit

Stimulation

Tradition

Universalismus

57Vielen Dank für Ihr Interesse.

Johannes Moskaliukpost@moskaliuk.com

Folien und weiterführende Links unter: http://www.moskaliuk.com/evaluatio

twitter.com/moskaliuk

slideshare.net/moskaliuk

facebook.com/moskaliuk

Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.

Education

Transcript of Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.

Virtuelle messen 2015

Leistungsbeurteilung für Seminar und Bildungsstandards · überprüfen ihn regelmäßig. • Sie wissen über Haltungen der Kinder Bescheid und ... eigene Arbeit evaluieren und sich

Intelligent Messen & Prüfen

Evaluieren in der Kultur - warum, was, wann und wie?

Sprachkompetenzen messen in Schule und Wissenschaft ... · die Zeit (mit der Stoppuhr) messen, das Fieber (mit dem Thermometer) messen oder den Luftdruck (mit dem Barometer)2 messen.

Messen mit Elspec

Reverse Card Sorting - Informationsarchitekturen frühzeitig evaluieren

Protokollieren – Überprüfen – Freigeben – Archivieren Dokumentation.pdf · Dokumentation Protokollieren – Überprüfen – Freigeben – Archivieren MELAﬂash · MELAnet

Messen und Skalieren

KEUKEN / MESSEN Hygiplas kleurcode messen

Messen im Labor

Blutdruck richtig messen - rehazentrum-bb.de · Title: Blutdruck richtig messen Author: Rehazentrum Bad Bocklet Subject: Blutdruck richtig messen - 9 Tipps zum Blutdruck messen Keywords:

Schreibkompetenz entwickeln und evaluieren : eine Studie ...

Geschäftsideen evaluieren und testen

Was ist FUZZY! ? Und wie kann man damit evaluieren? · ENUM Tag Frankfurt, 28.09.2004 Was ist FUZZY! ? Und wie kann man damit evaluieren? Eberhard Franke eberhard.franke@fazi.de Marcus

Prüfen, Testen, Evaluieren · Prüfen, Testen, Evaluieren 7 Klett-Langenscheidt München Rüdiger Grotjahn Karin Kleppin 606970_Dll_Bd7_001_176.indd 1 24.03.15 16:45 Schnupperkapitel

Accu-Chek Compact Plus Bedienungsanleitung - PDF …€¦ · 2 Erste Schritte vor dem Messen ... 6 Accu-Chek Compact Plus überprüfen ... können sich an bis zu drei verschiedenen

Schätzen und Messen

Messen & Ausstellungen

So messen Sie richtig - strickfabrik.com · So messen Sie richtig Allgemein ist beim Messen zu beachten: * nicht unter Spannung messen, * beim Messen ein T-Shirt oder Unterwäsche