“ Digitaal toetsen en toets gestuurd leren ” Voorstellen Toetsen (soorten)
Digitaal toetsen in het AMC: stand van zaken
description
Transcript of Digitaal toetsen in het AMC: stand van zaken
![Page 1: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/1.jpg)
Digitaal toetsen in het AMC
Nynke Bos
Roel Sijstermans
Onderwijs & Studentenzaken – ICT & Onderwijs
Academisch Medisch Centrum – Universiteit van Amsterdam
![Page 2: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/2.jpg)
Wensen in het AMC
Geneeskunde Casusgerichte toetsing co-schappen
Bredere toepassing in curriculum
Medische Informatiekunde Aanvullend toetspakket noodzakelijk
Graduate school Ontwikkeling toetsbeleid
OMSO Vanuit beroepsverenigingen
Bij- & Nascholing verpleegkunde Nu nog papierIC zelf ontwikkeld
Divisies Interesse, maar afwachtende houding
![Page 3: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/3.jpg)
Eisen in het AMC
• Duidelijke organisatie• Lead bij ICT en Onderwijs• Digitaal toetsen alleen bij evidente
meerwaarde• Functioneel beheer toestsysteem
![Page 4: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/4.jpg)
Probleem in het AMC
• Essay vragen• Niet automatisch na te kijken
• Inzet op grote schaal is alleen zinvol als er sprake is van gestandaardiseerde toetsvormen en procedures.
![Page 5: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/5.jpg)
Tijd!
• Maken van interactieve toetsvragen kost tijd.• Dus alleen de moeite waard bij:
• Stabiel vakgebied• Groot aantal studenten• Duidelijke noodzaak voor kwaliteitsverbetering van
de het onderwijs of toetsen
![Page 6: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/6.jpg)
Opbouw
• Waarom digitaal toetsen?• Situatie in het AMC• - Organisatie• - Voorbeelden• Digitaal toetsen vs. papieren toetsen• Conclusies
![Page 7: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/7.jpg)
Casus Bachelor student (er zijn 18.000 bachelor studenten)Summatief10 tentamens per jaar; 1 tentamen is digitaal (10 %)•
UvA breed zijn dit 18.000 tentamens (volledig digitaal)tijdwinst voor het verwerkingsproces is 30 min
besparing in uren : 9000 ( +/- 6 fte)
• Formatief• 20 tussen toetsen per jaar ; 10 digitaal ( 50%)
• UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)tijdwinst voor het verwerkingsproces is 10 min
besparing in uren : 30.000 (+/- 20 fte)
![Page 8: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/8.jpg)
AMC open vragen
![Page 9: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/9.jpg)
Waarom digitaal toetsen?
• “Ik ga digitaal toetsen omdat ik niet achter wil blijven”• “Snel klaar met nakijken”• “Geen papier”• “Ik hoef alleen maar vragen te maken, de rest wordt
voor me geregeld”• “Ik hoef geen handschriften meer te ontcijferen”• “Ik wil studenten de toetsresultaten kunnen mailen”
Waarom niet digitaal toetsen?
![Page 10: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/10.jpg)
Hoe wil je toetsen?
SUMMATIEF:Gericht op de som van het geleerde
• Selecteren• Certificeren • Beveiligde omgeving• Beperkt aantal kansen
FORMATIEF:Gericht op de ontwikkeling van het leren
• Zelfstudie• Plaats & tijdonafhankelijk• Directe feedback• Inzicht in niveau
EindtoetsBonuspuntentoets
Zelftoets(E-learning)
Ingangstoetsen
![Page 11: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/11.jpg)
Wat levert digitaal toetsen op?
• Flexibele toetsing (plaats, tijd & vorm)• Gebruik van multimedia• Gebruik van verschillende vraagtypen
• (Directe) feedback• Gestructureerde vragenbank• Automatische analyse & verwerking
![Page 12: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/12.jpg)
Randvoorwaarden digitale toetsing
• Toetssysteem• Docenten opleiden !• Ondersteuning (logistiek & techniek) !• Studenten voorbereiden
![Page 13: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/13.jpg)
Vragen
makenTrainen
secretariaat
Vragen
invoeren
Samenstellen
toets
Inroosteren
toets
Organisatie digitale toetsing AMC
Advisering
docenten
Toets afnameToets
analyse
ICTO ondersteuning
docent
secretariaat
Feedback
studentEinduitslag
![Page 14: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/14.jpg)
Organisatie rondom digitale toetsing• 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):
• Adviseren docent over gebruik vraagtypen & opbouw toets• Trainen secretariaten voor vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen• Analyse toetsresultaten & einduitslag
• 1 systeembeheerder:• Standby tijdens toets voor technische problemen
• Docent:• Vragen bedenken• Aanwezig tijdens afname voor inhoudelijke vragen• Besluitvorming cesuur op basis van toetsanalyse & uitslag
• Secretariaat docent:• Vragen invoeren
![Page 15: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/15.jpg)
Ideale bezetting
• 1 ICT & Onderwijs adviseur:• Adviseren docent(en) over gebruik vraagtypen & opbouw toets• Benadrukken voordelen digitale toetsing
• 1 Functioneel beheerder toetssysteem• (Trainen secretariaten voor) vraaginvoer• Samenstellen toets• Roosteren toets & beschikbaar stellen via ELO• Standby tijdens toets voor vragen/problemen
• 1 Medewerker Toetsing• Analyse toetsresultaten & einduitslag
• 1 Systeembeheerder:• Standby tijdens toets voor technische problemen
• Docent:• Vragen bedenken & coördinatie overige docenten• Aanwezig tijdens afname voor inhoudelijke vragen (examenregeling)• Besluitvorming cesuur op basis van toetsanalyse & uitslag
• (Secretariaat docent:)• (Vragen invoeren)
![Page 16: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/16.jpg)
![Page 17: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/17.jpg)
Meerwaarde in het AMC
• Multimediale toetsing• Korte nakijk termijn• Betere feedback naar studenten en docent
→Grote zaal niet per se noodzakelijk!
![Page 18: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/18.jpg)
Problemen digitaal toetsen AMC
• Gebrek centrale toetsruimte• Toetsen in shifts is tijdrovend • Verplicht gebruik van open vragen• OER• Geen beleid• Dyslexie/RSI?• Computervaardigheden student?
![Page 19: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/19.jpg)
Proeve: KlETs
• Effect toetsing computer• Scoren studenten beter/ slechter?• Gebruiken studenten meer/ minder woorden?• Zijn er andere effecten meetbaar?
![Page 20: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/20.jpg)
KlETs – de uitvoering
• Helft digitaal – helft op papier (n=360)• Digitale toets: deel A papier, deel B digitaal en v.v.
• Conclusies:• Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9)• Geen significante verschillen m.b.t. moeilijkheidsgraad• Studenten willen vaker digitale toetsen• Getik is irritant
![Page 21: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/21.jpg)
Meer onderzoek
• In 2004: behoorlijke verschillen (Bennett, 2004)
• Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)
• Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen
• Frequent computergebruik heeft positieve invloed op toetsprestatie
• Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
![Page 22: Digitaal toetsen in het AMC: stand van zaken](https://reader033.fdocuments.net/reader033/viewer/2022051617/5591f4ff1a28ab570b8b45e1/html5/thumbnails/22.jpg)
Conclusies
• Meerwaarde vaststellen • Beleid over inzet digitaal toetsen• Grote groepen heeft impact op afname• Opschaling: ruimte• Toetsen in shifts bewerkelijk• Goede ICTO ondersteuning