College 3 Meten. •Methode van meten –Interview •Vragenlijst –Test –Observatie •Kwaliteit...
-
Upload
robert-wouters -
Category
Documents
-
view
223 -
download
0
Transcript of College 3 Meten. •Methode van meten –Interview •Vragenlijst –Test –Observatie •Kwaliteit...
College 3
Meten
Meten• Methode van meten
– Interview• Vragenlijst
– Test
– Observatie
• Kwaliteit van de meting– Validiteit
• Inhouds -• Criterium -• Construct -
– Betrouwbaarheid• Test-hertest -• Interne consistentie -• Inter-beoordelaars -
Vragenlijsten
• Rare factoren die de antwoorden beïnvloeden
Methode van vragen
• Vraag: “Voel je je wel eens eenzaam?”
• Interview: 80% ja
• Vragenlijst: 43% ja
Volgorde van vragen
• Vraag A: Geef een rapportcijfer voor de colleges
• Vraag B: Geef een rapportcijfer voor de syllabus
• Helft van de studenten versie AB
• Helft van de studenten versie BA
Richting van de vraag
• Positief: “Dit boek is goed gestructureerd”
• Negatief: “Dit boek is niet goed gestructureerd”
• Op een 7-puntsschaal (1 = zeer oneens, …, 7 = zeer eens)
• Positieve versie, gespiegeld: m = 2.55• Negatieve versie: m = 4.09
Antwoord-categorieën
• Vraag: Was u tevreden met de blokvorm?
Versie A Versie B
Ja 52,6% 26,5%
Nee 26,3% 73,5%
Geen mening
21,1%
Antwoordtendenties• Neiging om een bepaal antwoord te
geven, ongeacht de inhoud van de vraag.
Item Alternatieven %
I ja
onzeker
nee
60
16
24
II 1
2
3
4
11
27
48
14
Item Alternatieven %
III zeer tevreden
tevreden
Ontevreden
zeer ontevreden
24
45
16
15
IV eerste
tweede
derde
41
36
23
Instructie
“Probeer zo snel en nauwkeurig mogelijk te antwoorden”
Conclusie•We weten niet hoe mensen vragen beantwoorden.
•Rare factoren die meespelen:–Methode–Volgorde–Richting–Antwoordalternatieven–Antwoordtendenties–Instructie
Observatie
Problemen:
•Wat moet je observeren?
•Hoe moet je observeren?
•Hoe moet je beschrijven?
•Hoe moet je interpreteren?
Voorbeeld: Ekman & Friesen, 1978
•Een mens kan ± 5000 verschillende gelaatsexpressies maken.
•Video, slow-motion
•Nummers
•Betekenis opmaken uit de context.
A B C
D E F
Emotie
Walging =
Boosheid =
Vreugde =
Angst =
Bedroefdheid =
Verbazing =
C
E
F
A
D
B
Foto nr.
Observatoren natuurlijk - toegewezen
getraind - ongetraind
menselijk - automatisch
passief - participerend
verborgen - waarneembaar
een – meerdere
Methode direct – retrospectief Time sampling - event sampling
Responsies frequentie - duur - intensiteit
ratings - exacte categorieën
dichotoom - polytoom – open
neutrale categorie - geen neutrale
unipolair – bipolair
Gedrags-eenheden
stimulus & response - response only
structureel - functioneel - causaal
moleculair - molair
geobserveerd – geïnfereerd
exploratief - gededuceerd
eenvoudig - complex
natuurlijk - reductionistisch
positief – negatief
Combinaties representatief - niet representatief
veel – weinig items
één - meer dimensies
CRITERIUM VALIDITEIT
• Hoe goed kan de test de scores op een gekozen criterium variabele voorspellen?
• Belangrijkste ondervorm: Predictieve validiteit, het criterium ligt in de toekomst.
• De criterium-variabele moet al goed gemeten zijn
Voorbeeld criterium validiteit
Diagnosis
Predicted
Total
Schizophrenia Depression
Schizophrenia 11 4 15
Depression 4 12 16
74,2% correct voorspeld
• Test = SPQ
• Criterium = diagnose (schizofreen / depressief)
• correct "voorspeld" = 74.2%
• (zonder kennis kun je al 50% correct voorspellen)
• Is de SPQ hierom een goede of een slechte test?
• Zijn de diagnoses zelf wel valide?
INHOUDS VALIDITEIT
• Zijn de items een evenwichtige afspiegeling van het soort items dat de test zou mogen bevatten?
• Om de inhouds validiteit te bepalen hoeft de test niet te worden afgenomen bij proefpersonen. Je hoeft alleen te weten hoe hij geconstrueerd is.
• Leunstoel validiteit. Vergelijk: Het kopen van een auto omdat hij er op de tekentafel zo goed uit ziet.
Voorbeeld inhoudsvaliditeit
• Test = statistiek tentamen– standaard- vs. inzichts-vragen– kennis- vs. redeneer-vragen– reken- vs. visualiseer-vragen– theorie- vs. praktijk-vragen– makkelijke vs. moeilijke vragen
CONSTRUCT VALIDITEIT
• In hoeverre begrijp je– door welke variabelen de testscores
worden beïnvloed– op welke variabelen de testscores invloed
hebben?
• APA: Daar moet je een theorie (nomologisch netwerk) voor hebben. De theorie moet zijn getoetst.
• Nomologisch netwerk: Geeft aan welke wetmatige relaties de diverse constructen met elkaar hebben.
• De meeste constructen (begrippen) die men wil meten zijn theoretische constructen (niet-waarneembaar). Zo'n construct kun je definiëren door middel van een nomologisch netwerk.
Voorbeeld construct validiteit
Piekeren
Prozac, Fevarin
Winter
Emotionele stabiliteit
Piekeren
Zwart-wit denken
Cognitieve psychotherapie
Automatische negatieve gedachten
Scheiding
X
Belangstelling
Besluiteloosheid
Huilen
Slapeloosheid
Eetlust
Suïcide
X
Voorbeeld construct validiteit
• Bij construct validiteit wordt de betekenis van het construct niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen.
• Hoe meer verbanden je kent, hoe beter je begrijpt wat er gemeten wordt.
• Criterium validiteit• één correlatie• moet zo hoog mogelijk
zijn• geen theorie nodig• gericht op voorspellen• hoge betrouwbaarheid
nodig• keuze van het criterium
is moeilijk
• Construct validiteit• meerdere verbanden• moeten sterk of juist
zwak zijn• gebaseerd op theorie• gericht op begrijpen• geen hoge
betrouwbaarheid nodig• formuleren van de
theorie is moeilijk