Grundlagen der klassischen Testtheorie

Seminar: Testtheorie und Testkonstruktion

Referentin: Matislava Karačić

03. Mai 2006

Gliederung

Einführung:

• Zielsetzung

• Arten von Tests und Testdefinition

Hauptteil:

• Die klassische Testtheorie

• Gütekriterien von Tests

• Testkonstruktion

Abschluss

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Ziel des Ganzen?

wissen, was hinter der klassischen Testtheorie steht

Gütekriterien kennen und anhand dessen Tests beurteilen und auswählen können

Vorgehensweise bei der Konstruktion von Tests kennen lernen zur späteren Anwendung

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Welche Arten von Tests gibt es?

Brähler et al. (2002)

Leistungstests

• Schnelligkeit/Speedtests (z.B. d2-Test)

• Niveau/Powertests (z.B. IST-2000)

Psychometrische Persönlichkeitstests (z.B. NEO-FFI)

Persönlichkeits-Entfaltungs-Verfahren (z.B. TAT, Rorschach-Test)

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Definition: psychometrische Tests

Lienert u Raatz (1998)

Wissenschaftliches Routineverfahren zur Untersuchung empirisch abgrenzbarer Persönlichkeitsmerkmale

mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung.

Es sollte ein theoretischer Rahmen für qualitative Aussagen existieren, die kategoriale Aussagen über die individuelle Ausprägung eines Merkmals geben.

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Klassische Testtheorie

Grundlage der meisten psychologischen Testverfahren (95%)

Macht Aussagen darüber, aus was für Komponenten Messwerte bestehen

Ausgangshaltung:

Testergebnisse variieren zwischen verschiedenen Messzeitpunkten Grund: un-/systematische Einflüsse

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Voraussetzungen

Novick (1966)

• Getestete Person zufällig aus Population entnommen

• Testergebnis variiert zufallsabhängig

• Testung zu unterschiedlichen Zeitpunkten unterschiedliche Werte

• endliche Varianzen

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Grundannahmen

X = T + E

X: beobachteter Wert einer Person

T: wahrer Wert – Mittelwert über unendlich viele beobachtete Testergebnisse einerPerson

E: Messfehler – repräsentiert alle unkontrollierten und unsystematischen Störeinflüsse

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Folgerungen I

(1) M(E)I=0; M(E)P=0

(2) r(E,T)=0

Mittelwert des Messfehlers über unendlich viele Messungen einer Person I ist Null;

ebenso Null bei einer Messung einer Teil-/Population

kein Zusammenhang zwischen Messfehler und wahren Wert einer Person

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Folgerungen II

(4) r(EA,TB)=0

(3) r(EA,EB)=0 Messfehler eines Tests A weist keinen Zusammenhang mit dem Messfehler eines Tests B auf

Messfehler eines Test A weisen keinen Zusammenhang mit tatsächlichem Wert aus einem Test B auf

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Anmerkungen

• Kernkonzept der kT: Reliabilität

• kT gilt nur für intervallskalierte Daten

• Kritik:

reine Messfehlertheorie

einige Annahmen nicht überprüfbar oder widerlegbar

keine Annahme über Zustandekommen einer Leistung

Testwerte der kT stichprobenabhängig

rtt=ST2/SX

2

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Hauptgütekriterien

Objektivität Reliabilität Validität

Durchführung

Auswertung

Interpretation

innere Konsistenz

Stabilität

Inhaltsvalidität

Konstruktvalidität

KriteriumsvaliditätParallel- test - R.

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Objektivität

Durchführung Auswertung Interpretation

Durchführung darf von Test zu Test nicht variieren

Jeder Auswerter ermittelt gleiche Punktwerte

Jeder Auswerter gibt gleiche Interpretation

• genaue Instruktion

Wie/unter welchen Bedingungen soll Test durchgeführt werden?

Zeitbegrenzung?

Hilfestellung?

• genaue Auswert- ungsvorschrift

Schablonen? Auswertungsblätter?

Genaue Definition, was richtig ist (bei offenen Fragen)?

• Standardisierte Interpretation

• Normstichprobe und geprüfte Gütekriterien

Wird jede Person mit dem gleichen Maßstab beurteilt?

Unabhängigkeit der Ergebnisse vom Untersucher

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Reliabilität

Innere Konsistenz

Retest-Reliabilität

Paralleltest-Reliabilität

Test in gleich große Teile unterteilen und miteinander korrelieren

Split-Half: Testhälftenkorrelieren

Innere Konsistenz: jedes einzelne Item ist eigenständiges Testteil

Korrekturfaktor: Testlänge

Korrelation zwischen Testleistungen des selben Tests zu versch. Zeitpunkten

Korrelation zw. 2 Tests mit inhaltlich ähnlichen Items

Messgenauigkeit

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Validität Test misst das, was er zu messen vorgibt

Inhaltsvalidität Test/-item erfasst das zu messende Merkmal wirklich

Wird nicht numerisch anhand Kennwert bestimmt, sondern aufgrund logischer und fachlicher Überlegungen

Vorgehen (Repräsentationsausschluss):

(1) Beschreibung der Inhaltsebene des Konstruktes

(2) Festlegung, welcher Inhaltsbereich durch welches Item erfasst wird

(3) Vergleich der Teststruktur mit der Struktur der Inhaltsebene des Konstruktes

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Kriteriumsvalidität Zusammenhang der Testleistung mit einem/mehreren Kriterien

Vorgehensweise: Korrelationsausschluss

• Vorhersagevalidität/prognostische/prädiktive V. IQ vor Lehre korreliert mit Abschlussnote der Ausbildung

• Übereinstimmungsvalidität/konkurrente V Konzentrationsleistung vor Klausur korreliert mit Klausurnote

• Retrospektive Validität IQ während Studiums korreliert mit Schulnoten des Abiturs

•Inkrementelle Validität IQ-Test sagt gut Berufserfolg vorher – strukturiertes

Interview leistet zusätzlichen Anteil an Vorhersage

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Hauptgütekriterien

Konstrutkvalidität Test misst Eigenschaft/Fähigkeit, die er messen soll

• konkurrente/konvergente Validität Korrelation mit Tests gleicher/ähnlicher

Gültigkeitsbereiche

• Diskriminative/divergente Validität Korrelation mit Tests anderer Gültigkeitsbereiche

Methode zur Bestimmung:

- Korrelationen

- Faktorenanalyse

- Multitrait-Multimethoden-Ansatz

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Multitrait-Multimethoden-Ansatz

Bildung von 4 Korrelationsmatrizen:

A. Monotrait-Monomethoden Matrix Kennwerte für Intelligenz mit gleicher Methode erfasst (Test) – korrelieren am höchsten miteinander

B. Monotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten einer Fähigkeit (Intelligenz) niedriger, wenn diese mit unterschiedlichen Methoden (Test, Verhaltenbeob.) erfasst werden

C. Heterotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten (Intelligenz, Konzentration) niedriger, wenn diese mit gleicher Methode erfasst

D. Heterotrait-Heteromethoden Matrix niedrigste Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten, wenn mit unterschiedlichen Methoden erfasst

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Nebengütekriterien

Nebengütekriterien

Normierung

Ökonomie

Vergleichbarkeit

Nützlichkeit

Bezugssystem individueller Testergebnisse im Vgl. zur Norm

Vergleichbarer Test, wenn Parallelform/en vorhanden

kurze Durchführzeit wenig Material einfache Handhabung Gruppentest schnell und bequem auswertbar

Testung von Merkmalen, die in Praxis gebraucht werden

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

10 Stufen der Testentwicklung

1. Anforderungsanalyse und Problemstellung

• erfahrungsgeleitete-intuitive Methode

• analytisch-empirische Methode

• personenbezogene-empirische Methode

2. Planung und Literatursuche

• Wichtig: Genau überlegen, was man testen möchte

• Lehrbücher, Literaturdatenbanken, Befragung von Laien/Experten

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

10 Stufen der Testentwicklung

3. Eingrenzung des Merkmals, Arbeitsdefinition

• rationale Fragebogenkonstruktion

• deduktive Fragebogenkonstruktion

• induktive Fragebogenkonstruktion

4. Testentwurf

• Vorüberlegung: welche Zielgruppe? Welche Art von Info? Welcher Zweck?

• Testauswahl, Itemauswahl

• Testung der Verständlichkeit der Items

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

10 Stufen der Testentwicklung

5. Überprüfung des Testentwurfs

• geeignete und große Stichprobe rekrutieren

• Mendoza et al. (2000): N>100

6. Verteilungsanalyse

• Itemverteilung der Testdaten beobachten

Decken-/Bodeneffekte?

zweigipflige Verteilung?

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

10 Stufen der Testentwicklung

7. Itemanalyse/-selektion

• Itemschwierigkeit und -trennschärfe berechnen

6. Kriterienkontrolle

• Reliabilität und Validität bestimmen

• sinnvoll: mind. 1. Konstruktkonvergentes Verfahren; 1-2 Kriterien erheben

9. Revision des Tests

10. Eichung (Normierung)/ Cut-Off-Werte

• Norm erheben an repräsentativer, geschichteter Population

Einführung

Klassische Testtheorie

Gütekriterien

Testkonstruktion

Abschluss

Abschluss

FRAGEN?

...ansonsten Danke!

Literatur:

Bühner, M. (2004). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium.