Keuzeproces summatievedigitale toetsomgeving
Leen van Kaam, Teamleider functioneel beheer ICT&O
Alwin Wullink, Functioneel beheerder toetsen ICT&O
Inhoudsopgave
• Huidige organisatie digitaal toetsen
• Shortlist
• Werkwijze keuzeproces
• Testscenario’s
• Uitvoering
• Rapportage
• Wie toets er digitaal?
• Summatief en/of formatief
• Welke applicaties– Blackboard
– Question Mark Perception
– Maple T.A.
– Anders
Saxion
• TestVision
• Summatief
• Ongeveer 20.000 toetsafnames per jaar– Toetsafname is 1 student maakt 1 toets op 1 moment
– Verspreid over 500 toetsen per jaar
Rollen digitaal toetsenRollen Taak
Toetsverantwoordelijke Aanspreekpunt voor validiteit, betrouwbaarheid en acceptatie van de toets: toetsmatrijsToetsanalyse en vaststelling resultaten
Docent Verantwoordelijk voor (deel van) de toetsvragen, review
Examencommissie Borging van kwaliteit van de toets
Toetsdesk Toetsmatrijs digitaliseren en genereren van de toetsen vanuit de toetsmatrijs
Roostering en planning Roostering van toets en locatie
Centraal toetsbureau Coördinatie van uitvoering van de toetsen en inschrijving van deelnemers
Surveillant Afname van de toets
Onderwijskundige Uitleg van de analyse van de toets en toetsvragen
Informatiseringscentrum Technisch beheer en ondersteuning infrastructuur
Functioneel beheer ICT&O Beheer en ondersteuning van de applicatie
Toetsvragen maken en reviewen
Docenten
Toetsmatrijsdigitaliseren
Toetsdesk
RoosteringP & R
Toets genereren uit toetsmatrijs
Toetsdesk
Toetsmatrijs vaststellenToetsverantwoordelijke en
examencommissie
==>
Kode
Lehr-
einheit
Aantal aan-
wezige itemsAantal items in toets Auteur
BDABEA
B 19 10
BDBMEE
N 10 5
BDCKLM
E 30 15
59 30
Kode
Lehr-
einheit
Aantal aan-
wezige itemsAantal items in toets Auteur
DAABMA
H 20 10
DABANM
Z 19 10
DACBEH
A 20 10
DADINSA 11 5
70 35
Kode
Lehr-
einheit
Aantal aan-
wezige itemsAantal items in toets Auteur
EABEDR 32 15
EBRGDS 15 5
ECBIDS 24 5
EDRPFL 20 10
91 35
220 100
Aanwezige items in onderdeel en in toetsonderdeel
Totalen aanwezige items en items in toets
Aanwezige items in onderdeel en in toetsonderdeel
Name Lehreinheit: Recht
Begrifflichkeiten des deutschen Rechtssystems
DSC04Rechtliche Grundlagen des deutschen Sozialwesens
Beteiligte Institutionen am deutschen Sozialwesen
Rechtspflege
Aanwezige items in onderdeel en in toetsonderdeel
Name Lehreinheit: Musisch-agogische Methoden und Techniken
Begrifflichkeiten des musisch agogischen Handelns
DJO03Anwendung des methodischen Zyklusses
Berufliche Haltung
Integration musisch-agogischer Techniken in die Methoden der
sozialen Arbeit
Methode: Begrifflichkeiten und Abgrenzung
JWE04Methodenentwicklung (historisch) systematische Rekonstruktion
3 klassische Methoden
Meth. der SA, Mus.-ag. Meth., Recht
15972Position der Fragen im Datei:
Social Work deutsch
AMM-SP
==> BMethodischer Zyklus (BDMethoden der Soziale Arbeit)
==> DMusisch-agogische Methoden und Techniken
==> ERecht
Name Lehreinheit: Methoden der Soziale Arbeit
Toetsvragen maken en reviewen
Docenten
Toetsmatrijsdigitaliseren
Toetsdesk
ToetsplanningToetsbureau
RoosteringP & R
ToetsafnameToetsbureau en
surveillanten
Toets genereren uit toetsmatrijs
Toetsdesk
ToetsanalysemakenToetsdesk
Toetsmatrijs vaststellenToetsverantwoordelijke en
examencommissie
ToetsanalyseToetsverantwoordelijke en
onderwijskundige
Shortlist
• Summatief toetsen
• Proven Knowledge
• Surf
• Wat al in gebruik bij Saxion?
Werkwijze
• Ontwikkelen van 15 – 25 testscenario’s
• Beschrijving kern van de testscenario’s
• Prioriteiten – Prio 1: Must Have
– Prio 2: Should have
– Prio 3: Nice to have
– ‘Showstoppers’
1,
showstopper
Gebruik van een toetsmatrijs
3 Beschikbare vragen die voldoen aan de voorwaarden, zichtbaar in de toetsmatrijs
1 Gebruik metadata voor samenstellen toets vanuit toetsmatrijs
1 Gebruik mappenstructuur/leerboom voor samenstellen toets vanuit toetsmatrijs
1 3 manieren van randomiseren mogelijk in toetsen
1 Geschikt voor formatieve toetsen
2 Summatieve en formatieve toetsvragen afdoende kunnen scheiden
3 Geschikt voor adaptieve toetsen
Scenario’s
• Wat is een scenario?
• Een scenario beschrijft – Waar de toetsapplicatie aan moet voldoen
– Wat dus belangrijk is voor digitaal toetsen binnen Saxion
– Niet te zeer vanuit het beeld hoe het met TestVision gaat
– Niet op detailniveau maar in algemene termen
Stoplichtrapportage
• Elk scenario voor alle 3 applicaties testen
• Kwalitatieve beschrijving per applicatie
• Stoplichtrapportage:– zonder voorbehoud implementeren op basis van dit
scenario
– Biedt voldoende perspectief om door te gaan, maar er zijn risico’s aan verbonden
– Nee, geconstateerde risico’s zijn groot.
Waarom testscenario’s?
• Hoofd- en bijzaken scheiden
• Niet vanuit oogpunt leverancier
• Wat past binnen proces/workflow Saxion
Testscenario’s
• Kostenanalyse
• Technische infrastructuur
• Continuïteit
• Ondersteuning en helpfunctie
• Inrichten domeinen binnen de applicatie
• Rollen per academie en workflow
Testscenario’s
• Beveiliging
• Gebruikersbeheer
• Converteren van toetsvragen
• Nieuwe toetsvragen ontwikkelen
• Toetsmatrijs
• Toetsafname klaarzetten
Testscenario’s
• Grootschalig toetsen
• Toetsafname begeleiden
• Toetsvoorzieningen
• Meertaligheid
• Toetsinzage
• Rapportage op toetsen, toetsvragen en toetsafnames
Testscenario’s
• Analyse
• Cesuurbepaling, scoren, toetsresultaten
• Archivering
• Mogelijkheid tot beveiligde vaardigheidstoetsen
Uitvoering
• Werkzaamheden van het testen– Niet iedereen kan 3 toetsapplicaties leren
– Vaststellen: Hoe voeren we de test voor elk scenario uit?
– Verdeling van het werk: Welke academies werken mee aan welke scenario’s?
Uitvoering
• Kwalitatieve beschrijving
• Stoplichtrapportage per scenario
• Externe review
Maple T.A. QMP Surpass
1
SS
Gebruik van een toetsmatrijs
3 Beschikbare vragen zichtbaar in de
toetsmatrijs
1 Gebruik metadata voor
samenstellen toets vanuit
toetsmatrijs
1 Gebruik
mappenstructuur/leerboom voor
samenstellen toets vanuit
toetsmatrijs
1 3 manieren van randomiseren
mogelijk in toetsen
1 Geschikt voor formatieve toetsen
2 Summatieve en formatieve
toetsvragen afdoende kunnen
scheiden
3 Geschikt voor adaptieve toetsen
Vra
gen
Prio
rite
it
Map
le T
A
QM
P
Surp
ass
2 Technische infrastructuur Serverinsta l latie binnen Saxion 1 Nee
Serverinsta l latie SAAS 1 Ja mits…
Werkstationinsta l latie Ja
Afname via MacOS 2
Beheer via MacOS 2
Mobi le 2
3 Continuïteit Proven technology 1
4 Ondersteuning en
helpfunctie Helpfunctie 2
Ti jd- en plaatsonafhankel i jk ondersteuning 2
Ondersteuning leverancier 1
5 Inrichten van domeinen
binnen de applicatie Elke academie een eigen domein 1
Binnen een domein bepaalde containers 2
Samenwerkingsverbanden tussen academies 1
Ingang voor toetsbureau en FB ICTO per academie 2
Bl i jft de appl icatie één geheel 1
6 Rollen per academie
en workflowRol len voldoende fi jnmazig 1
Capabi l i ties toekennen of afschermen per rol 2
Workflow ontwikkelen van toets i tems en toetsen 2
Workflow adminis tratieve ondersteuning 2
Top Related