Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)
description
Transcript of Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)
1
W E E T
W A T
O N D E R W IJ S
W A A R D
I S
Onderwijscentrum VUKennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)
Kennistoets - Verbeteren van de toetskwaliteit door Sylvester Draaijer (UVA)
Silvester DraaijerVUA
Silvester DraaijerVUA
2
Onderwijscentrum VUOnderwijscentrum VU VU: 20.000 studenten Onderwijscentrum VU
1e graads lerarenopleiding Scholing en Advisering
o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en
tentamenschrapkaarten service) Communities of Learners als centraal thema
Assessment is één van de aandachtspunten• Pre-master assessment VU• Taaltoets VU• Portfolio• Peer-Review (SURF project met UU en TUD)• Digitaal Toetsen
VU: 20.000 studenten Onderwijscentrum VU
1e graads lerarenopleiding Scholing en Advisering
o.a. ICTO Kwaliteitszorg (o.a. onderwijsevaluaties en
tentamenschrapkaarten service) Communities of Learners als centraal thema
Assessment is één van de aandachtspunten• Pre-master assessment VU• Taaltoets VU• Portfolio• Peer-Review (SURF project met UU en TUD)• Digitaal Toetsen
5
Kennis: wat is het?Kennis: wat is het?
6
Kennis: wat is het?Kennis: wat is het?
7
Nadenken over kennisNadenken over kennis
Nonaka & TakeuchiNonaka & Takeuchi
To tacit knowledge To explicit knowledge
From tacit knowledge Socialization Externalization
From explicit knowledge
Internalization Combination
8
Kennis in HBO-contextKennis in HBO-context
Hernieuwde aandacht voor ‘kennis’: waarom?
Tegen Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat
probleemgestuurd onderwijs’ Tegen al die groepsopdrachten?
Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken
neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk
voor het oplossen van (complexere) problemen
Hernieuwde aandacht voor ‘kennis’: waarom?
Tegen Tegen edutainment? Tegen constructivisme? Tegen nieuwlichterij? Tegen ‘al dat projectonderwijs’ en ‘al dat
probleemgestuurd onderwijs’ Tegen al die groepsopdrachten?
Voor ‘Experts’ hebben hun kennis in prachtige (studie)boeken
neergelegd. Dat moeten we gebruiken. Kennis bezitten en kunnen toepassen is voorwaardelijk
voor het oplossen van (complexere) problemen
9
Kennis in HBO-contextKennis in HBO-context
Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.
Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.
Kennis van feiten, concepten, processen, procedures en theoriën gericht op een specifieke beroepscontext.
Het vermogen om deze kennis toe te passen om beroepsspecifieke problemen op te lossen.
10
Wat is toetsen?Wat is toetsen?
Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing
Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief
Een ‘meting doen’ met een bijbehorende uitspraak over de mate van beheersing van kennis en vaardigheid, vaak met een zak/slaag beslissing
Centrale begrippen Validiteit Betrouwbaarheid Formatief, Summatief
11
Nadenken over toetsenNadenken over toetsen
Simpele toets met één vraag (meting)
Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen
Doel: vaststellen wat we vanochtend en vanmiddag gaan doen
Vraag Wie heeft een cursus Toetsen en
Beoordelen gevolgd?
Simpele toets met één vraag (meting)
Doel: vaststellen of de zaal voldoende kennis heeft van Toetsen en Beoordelen
Doel: vaststellen wat we vanochtend en vanmiddag gaan doen
Vraag Wie heeft een cursus Toetsen en
Beoordelen gevolgd?
12
Nadenken over toetsenNadenken over toetsen
Inhoudsvaliditeit? Construct validiteit? Criterium validiteit? Predictieve validiteit?
Inhoudsvaliditeit? Construct validiteit? Criterium validiteit? Predictieve validiteit?
13
Validiteit: toetsmatrijsValiditeit: toetsmatrijs
De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.
Onderwerpen uit de stofCognitief niveau
Let op: Cognitief niveau ≠ Moeilijkheidsgraad
De vragen in de toets leveren een goede afspiegeling op van de stof in combinatie met het beoogde beheersingsniveau.
Onderwerpen uit de stofCognitief niveau
Let op: Cognitief niveau ≠ Moeilijkheidsgraad
Onder-werpen
Reproductie
Toepassing
Inzicht Totaal
1 2 1 1 4
2 2 1 0 3
3 4 2 1 7
Enz. .. .. .. ..
Totaal .. .. .. 50
14
Validiteit: toetsmatrijsValiditeit: toetsmatrijs
Werk met startzinnenWerk met startzinnen
Weten en Begrijpen:nagaan of de student kennis heeft van onderwerpen
Wat is de beste definitie voor ....?Wat is (niet) karakteristiek voor ....? Uit welke onderdelen bestaat het probleem?Wat is de geschiedenis van het probleem?Welke verschillende categorieën zijn er in het probleem?
Kritisch denken (evalueren): nagaan of de student de eigenschappen van feiten, procedures, principes of theoriën kan gebruiken.
Wat is het meest effectief (gepast) voor ....?Wat is beter (slechter) ....?Wat is het meest effectief voor ....?Wat is de meest kritieke stap in aan procedure?Als je weet dat X waar is, wat is dan tevens waar over Y?Wat is (niet) nodig in een procedure?Wat is het belang van het probleem ? So what ?
Kritisch denken (voorspellen): nagaan of de student op basis van feiten, procedures, principes of theoriën kan aangeven wat gevolgen, consequenties e.d. zijn.
Wat zou er gebeuren als ....?Als dit gebeurt, wat zou je doen?Op basis van wat ...., wat zou je doen?Gegeven ... wat is belangrijkste reden dat ....
Probleem oplossen (gegeven een scenario): nagaan of de student op basis van gegeven problemen oplossingen kan geven of oplossingen kan beoordelen.
Wat is de aard van het probleem?Wat heb je nodig om dit probleem op te lossen?Wat is een mogelijke oplossing?Wat is de meeste effectieve (efficiente) oplossing?Waarom is .... de meest effectieve (efficiënte) oplossing?
15
Nadenken over toetsenNadenken over toetsen
Betrouwbaarheid?Betrouwbaarheid?
p, a, Rit, Rir, Rar, Cronbach α / KR20, 1-2-3-PL IRT ….
Terecht Onterecht
Gezakt
Geslaagd
16
BetrouwbaarheidBetrouwbaarheid
Hoe meer vragen hoe betrouwbaarder
Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets
Hoe meer vragen hoe betrouwbaarder
Hoe groter de spreiding van kennis onder studentenpopulatie, hoe betrouwbaarder de toets Soort Antwoordtijd Aantal vragen normaal
gesproken nodig voor een betrouwbare toets
Juist/Onjuistvraag of twee alternatieven
50 seconden 80
Drie alternatieven
60 seconden 60
Vier alternatieven
75 seconden 40
17
BetrouwbaarheidBetrouwbaarheid
Goede toetsvragen maken Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend
Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren
Doe proefafnames
… maar dit alles is geen garantie – proof of the pudding is in the eating
Doe de oefening vraagconstructie
Goede toetsvragen maken Meten op het bedoelde cognitieve niveau Scheiden competente van niet-competente studente Zijn niet te gemakkelijk of te moeilijk Zijn relevant/motiverend
Vooraf Loop alle checklists af Laat collega’s de vragen controleren Laat toetsdeskundigen de vragen controleren
Doe proefafnames
… maar dit alles is geen garantie – proof of the pudding is in the eating
Doe de oefening vraagconstructie
18
BetrouwbaarheidBetrouwbaarheid
Consistent beoordelen Gesloten vragen – easy Open vragen –
antwoordmodel/nakijkschema Doe de oefening
‘interbeoordelaarsbetrouwbaarheid’
Consistent beoordelen Gesloten vragen – easy Open vragen –
antwoordmodel/nakijkschema Doe de oefening
‘interbeoordelaarsbetrouwbaarheid’
19
raadscore
cijfer
1
5,5
10
maximale score cesuurscore
Proportie studenten die slaagt.
Over cijfers gevenOver cijfers geven
20
Toets en itemanalyseToets en itemanalyse
We gaan de oefening doen Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak
worden gekozen Betrouwbaarheid (KR20) – wanneer
voldoende?
We gaan de oefening doen Vragen niet te moeilijke of gemakkelijk (P) Vragen moeten positief correleren (Rir) Correct antwoord moet positief correleren Incorrect antwoord moet niet te vaak
worden gekozen Betrouwbaarheid (KR20) – wanneer
voldoende?
21
voorbeeld TENTAMEN : DOCENT : ***** **-**-2001FACULTEIT: *** AFDELING : *** _______________________________________________________________MEERKEUZE VRAGEN FORMULIER 1 P - WAARDENVRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28KR-20 : 0.82Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---
22
Wat willen studenten met toetsing?Wat willen studenten met toetsing?
Should be for learning Should be reliable, valid, fair and
consistent Should consist of effective and
constructive feedback Should be innovative and have the
capacity to inspire and motivate Should measure understanding and
application, rather than recall
Should be for learning Should be reliable, valid, fair and
consistent Should consist of effective and
constructive feedback Should be innovative and have the
capacity to inspire and motivate Should measure understanding and
application, rather than recall
23
Wat willen studenten met toetsing?Wat willen studenten met toetsing?
Should be conducted throughout the course, rather than being positioned as a final event
Should develop key skills such as peer and reflective assessment
Should be central to staff development and teaching strategies, and frequently reviewed
Should be of a manageable amount for both tutors and students
Should encourage dialogue between students and their tutors and students and their peers
Should be conducted throughout the course, rather than being positioned as a final event
Should develop key skills such as peer and reflective assessment
Should be central to staff development and teaching strategies, and frequently reviewed
Should be of a manageable amount for both tutors and students
Should encourage dialogue between students and their tutors and students and their peers
24
25
ICT: MC, MR, drag-and-drop,mathICT: MC, MR, drag-and-drop,math
26
ICT: Lineair questionICT: Lineair question
27
ICT: Animation, Simulation, VideoICT: Animation, Simulation, Video
28
IRT (Item Response Theory, Latent Trait AnalysisIRT (Item Response Theory, Latent Trait Analysis
29
ItembankingItembanking
30
Quizzing – studentgericht formatief toetsenQuizzing – studentgericht formatief toetsen
Toets met diagnostische functie tbv tentamen
Toets om te leren/oefenen
Toets met diagnostische functie tbv tentamen
Toets om te leren/oefenen
31
Voorbeeld 1: Peer instructionVoorbeeld 1: Peer instruction
ConceptTest Ontwikkeld door Eric Mazur,
Harvard University
ConceptTest Ontwikkeld door Eric Mazur,
Harvard University
32
Voorbeeld 2a: opfrissen van voorkennisVoorbeeld 2a: opfrissen van voorkennis
Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie
Faculteit Aard- en Levenswetenschappen VU, cursus Plantenfysiologie
33
Voorbeeld 2b: Aanjagen van een PracticumVoorbeeld 2b: Aanjagen van een Practicum
Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis
Faculteit Aard- en Levenswetenschappen VU, cursus Basin Analysis
34
Voorbeeld 3a: Actieve verwerking van collegestof
Voorbeeld 3a: Actieve verwerking van collegestof Faculteit Pedagogiek en
Psychologie VU, cursussen Algemene Methodologie en Functieleer
Faculteit Pedagogiek en Psychologie VU, cursussen Algemene Methodologie en Functieleer
35
Voorbeeld 4a: CollegeverbeteraarVoorbeeld 4a: Collegeverbeteraar
Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie
Faculteit Pedagogiek en Psychologie VU, cursus Historische Pedagogie
36
Voorbeeld 4b: CollegeverbeteraarVoorbeeld 4b: Collegeverbeteraar Faculteit Rechten VU, cursus
Beginselen Strafrecht Faculteit Rechten VU, cursus
Beginselen Strafrecht
InleidingVoorbeeldenConclusie
37
ConclusieConclusie
Meerdere varianten mogelijk van online Quizzing
Zorg dat de toetsen zijn ‘ingebed’ in de cursus.
Zorg er zo mogelijk voor dat studenten kunnen overleggen!
Meerdere varianten mogelijk van online Quizzing
Zorg dat de toetsen zijn ‘ingebed’ in de cursus.
Zorg er zo mogelijk voor dat studenten kunnen overleggen!