Post on 09-Dec-2014
description
Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen: Van kennistoetsing naar assessment van competentiegroei
SURF Onderwijsdagen 2008
Faculty of Health, Medicine and Life Sciences
Voortgangstoetsing in geneeskunde onderwijs
• Achtergrond– 1976 Geneeskunde Maastricht– PGO– Zelfstandig leren en ontwikkelen van eigen
leerdoelen
Voortgangstoetsing
Faculty of Health, Medicine and Life Sciences
Wat is voortgangstoetsing
• totale kennisdomein basisartseindtermen (vgl. eindexamen)
• 4x per jaar afgenomen bij alle studenten
• beklijvende, functionele kennis
Faculty of Health, Medicine and Life Sciences
Voordelen VT• voorkomt toetsgestuurd studeren• beloont elke individuele studieactiviteit • meet functionele, beklijvende kennis• herhaalde meting van dezelfde kennis• aparte herkansing niet nodig• vroeg ontdekken uitblinkers• feedback aan studenten en docenten• veel onderzoeksmogelijkheden
- cross-sectioneel en longitudinaal design- sub-test vergelijkingen- curriculumonafhankelijk
Faculty of Health, Medicine and Life Sciences
Toepassingen VT
• Geneeskundefaculteiten:- Maastricht, Nijmegen, Groningen, Leiden
- VU- Gent, Berlijn, Tampere-Finland, Manchester- Pretoria- Missouri Kansas City, McMaster Hamilton
• Specialistenopleiding:- Huisarts- Kindergeneeskunde
Faculty of Health, Medicine and Life Sciences
Interuniversitaire voortgangstoets geneeskunde
• 200 meerkeuze vragen
– 17 Categorieën (ICD)– 19 Disciplines
• 4 maal per jaar• Alle geneeskunde studenten (jaar 1-6)
Faculty of Health, Medicine and Life Sciences
VOSYS systeem
• Itembanking unit • Itemtypes: goed/fout/? • Test constructie volgens Blauwdruk• Berekenen/Beheren
Item AnalyseScores en UitkomstenLongitudinale resultaten
Faculty of Health, Medicine and Life Sciences
VOSYS functionaliteit
Case admin (CAD)• Vraag admin
• classificaties• Auteurs• Literatuur
• Blueprint admin• Test admin
Result admin (RED)• Sessie admin• Import Student Data
(antwoorden)• Norm admin• Berekenen Scores
• Item Analyse• Resultaten berekenen• Aanpassen van
normen• Export Resultaten
Faculty of Health, Medicine and Life Sciences
Huidige feedback
• Papieren formulier• Alleen huidige toets• Tekst• Geen grafische weergave
Faculty of Health, Medicine and Life Sciences
Universiteit Maastricht ID-nummer: ******************************* * Gegevens verwerkt door de * Jaargroep: 4 * * * TAAKGROEP TOETSING * Voortgangstoets (M19901): September 1999 *******************************
________________________________________________________________________________________________________________________________ | | | RESULTATEN PER CATEGORIE (Procentueel) | |______________________________________________________________________________________________________________________________| | | | individueel | studiejaargroep (n=201) | | | aantal |----------------------------|--------------------------------------------------------| | Omschrijving | vragen | Goed Fout ? G-F | Goed std Fout std ? std G-F std | |------------------------------|---------|----------------------------|--------------------------------------------------------| | 1 Ademhalingsstelsel | 17 | 41 6- 53+ 35 | 45 14 14 10 41 17 31 16 | | 2 Bloed en lymfstelsel | 10 | 50+ 0-- 50 50++| 41 15 18 13 41 19 24 21 | | 3 Spier- en skeletst | 20 | 30 20+ 50 10- | 33 14 15 9 53 17 18 15 | | 4 Geestelijke gez zorg | 13 | 31-- 15 54+ 15- | 49 16 14 10 36 19 35 20 | | 5 Voortplantingsstelsel | 12 | 17-- 25+ 58+ -8--| 35 14 18 13 46 17 17 21 | | 6 Hart en vaatstelsel | 22 | 41 18 41 23 | 39 13 22 11 39 17 17 17 | | 7 Hormonen en metabol | 11 | 18- 9- 73++ 9 | 31 16 18 11 51 19 13 20 | | 8 Huid en bindweefsel | 14 | 0-- 7 93++ -7--| 29 16 11 11 60 21 18 18 | | 9 Pers en mtsch aspecten | 12 | 33- 8- 58++ 25 | 47 15 16 11 36 20 31 19 | | 10 Spijsverteringsstelsel | 17 | 12- 0-- 88++ 12 | 27 15 11 10 62 21 16 15 | | 11 Nieren en urinewegen | 15 | 0-- 7- 93++ -7--| 24 13 14 11 62 20 9 15 | | 12 Zenuwst en zintuigen | 24 | 25- 4- 71++ 21 | 37 13 15 11 49 19 22 16 | | 13 Mol en cellulaire asp | 8 | 13- 0-- 88++ 13+ | 26 16 26 17 48 21 0 24 | | 14 Wetenschapsl en method | 10 | 30-- 10- 60++ 20- | 52 20 19 13 29 22 33 25 | | 15 Levensfasen | 8 | 0-- 0- 100++ 0--| 37 21 12 13 51 25 25 24 | | 16 Kennis over vaardigh | 20 | 25-- 5- 70++ 20- | 42 13 11 8 47 16 31 15 | | 17 Prev gezondheidszorg | 9 | 33 0- 67+ 33 | 41 17 10 12 49 20 31 21 | |______________________________|_________|____________________________|________________________________________________________| ________________________________________________________________________________________________________________________________ | Totaal | 242 | 24-- 9- 67++ 16- | 37 9 15 7 48 14 22 8 | |______________________________|_________|____________________________|________________________________________________________|
- / -- / + / ++ / laag resp. hoog in vergelijking tot totale groep
De norm voor deze toets is: 14.46 Uw procentuele GOED - FOUT score is: 15.70 (Absoluut: 38) Dit resultaat is: VOLDOENDE
Niet opgenomen vragen: 1,8,9,53,130,133,138 en 201 Sleutelwijzigingen : 17,87,117,125,188,190 en 220
De gebruikte normen liggen ter inzage bij de onderwijsbalie.
Maastricht, 12 oktober 1999
Tegen deze uitslag kunt u, binnen 4 weken na dagtekening, beroep aantekenen bij het College van Beroep voor de Examens van de UM, Postbus 616, 6200 MD Maastricht
Faculty of Health, Medicine and Life Sciences
SURF-project Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen
• Feedback over toetsresultaten, geen items• Web georiënteerd• Vraaggestuurd / Student georiënteerd• Longitudinale / predictieve feedback
Faculty of Health, Medicine and Life Sciences
• Deelnemende universiteiten– Universiteit Maastricht– Universiteit Groningen– Universiteit Nijmegen– Universiteit Leiden
September 2007 - Augustus 2009
Faculty of Health, Medicine and Life Sciences
VerkenningZoekmethode• Er is naar literatuur over dit onderwerp gezocht
met behulp van Pubmed, Web of science (SSCI & SCI) en Eric. Trefwoorden:
– Progress test, Quarterly Profile Examination, Feedback, Assessment, Test Results, Test Scores, Progress review system, Formative, summative, Medical education
• Informatie over feedback van de VT bij verschillende universiteiten via Internet
• Contact met de universiteiten voor informatie over rapporteren van de VT resultaten.
Faculty of Health, Medicine and Life Sciences
Resultaten• Er is tot op heden weinig beschreven met betrekking
tot feedback van de voortgangstoets. • Verschillende media om de toetsresultaten aan hun
studenten te verstrekken.
• In de meeste gevallen feedback als tekstbestand
• Weinig aandacht voor grafische representatie van de (longitudinale) resultaten
Faculty of Health, Medicine and Life Sciences
Behoefte onderzoek
• Twee doelgroepen:– Studenten
>Uitgevoerd in Groningen en Leiden (Harro Medema)
– Onderwijsorganisatie>Uitgevoerd in Groningen, Nijmegen, Maastricht (Ilske
Timmermans)
Faculty of Health, Medicine and Life Sciences
Behoefteonderzoek-Conclusies
• Belangrijkste feedback is uitslag van de laatste toets
• Grafieken met toetsverleden en prognose (longitudinale feedback).
• Cumulatieve score voor detailscores • Waarschuwing naar de student en de
studie-adviseur bij structurele afwijking.
• Prognose over korte periode
Faculty of Health, Medicine and Life Sciences
Functionaliteit ProF systeem
• Feedback: kwantitatieve score-informatie voor totaal en subtoetsen
• Momentaan, longitudinaal en predictief
• Individueel en geaggregeerd
• Individuele score en referentie
• Gebaseerd op Vosys gegevens
Faculty of Health, Medicine and Life Sciences
Niet-functionele eisen
• Webgebaseerd• Flexibiliteit in het systeem t.a.v weergave
scores, meetmomenten etc.• Veel gebruikers tegelijk (4x per jaar)• Aggregatie over grote groepen kost veel
rekentijd
Faculty of Health, Medicine and Life Sciences
Uitdagingen
• Verschillende curricula• Uitzonderingen• Invoering ba-ma
Faculty of Health, Medicine and Life Sciences
Conceptueel ontwerp ProF
• Modulaire opbouw– Uitwisselbare modules voor prognoses,
cumulatie, etc.
• Berekeningen off-line• Datawarehouse aanpak• Schaalbare architectuur
Faculty of Health, Medicine and Life Sciences
Faculty of Health, Medicine and Life Sciences
• 1: Exportmodule– export gegevens uit vosys-database
• 2: Rekenmodule A en B– A: individuele prognoses– B: Geaggregeerde peergroepgegevens
• 3: Importmodule– Import in feedbackdatabase
• 4: Feedbackdatabase– Basis voor de visualisatieapplicatie
• 5: Visualisatieapplicatie– Presentatie gegevens in feedbackdatabase
• 6: Feedback portal/website– Achtergrondinformatie VT en feedback en Portal
Faculty of Health, Medicine and Life Sciences
student
1c. view userinfo
gebruiker
1a. login
1d. verander password
1b. logout
1e. view help
2a. view chronologischoverzicht toetsen
2c. view toetsscorestotaal / detail
staflid
3b. view per peergroeplongitudinaal
2b. view longitudinaleontwikkeling
local administrator
4a. view/sortusers
4b. view/changeuserinfo
4c. change user password
4f. create user
systemadministrator
4e. delete user
alleen adm instatorrollen
3a. bekijk studentresultaten
alleen m iddels intypenstudent-id
3e. momentane toetsscoresover peergroepen heen
(totaal/detail)
tabelvorm
lijngrafieken
zelfde als
switch tussentabel en staafdiagram m en
Use case diagram Vosys feedback portalversie 4, 25 september 2008
alle toetsen,niet alleen m eetm om enten
3d. momentane toetsscorespeergroep (totaal/detail)
alleen staff en studentrollenbinnen eigenuni
switch tussentabel en staafdiagram m en
lijngrafieken
switch tussentabel en staafdiagram m en?
3c. view over peergroepenlongitudinaal
loginid, em ailadres,authorisatie
bij inloggen kan ook om een em ail m et nieuw passwordworden gevraagd
2: Studentfuncties3: Staffuncties
1: algemene functies
4: beheerfuncties
Faculty of Health, Medicine and Life Sciences
Faculty of Health, Medicine and Life Sciences
Faculty of Health, Medicine and Life Sciences
Voorspelde Toetsresultaten Student 3.
Voortgangstoets
O1
O1
O2
O1
O3
O1
O4
O1
O1
O3
O2
O3
O3
O3
O4
O3
O1
O4
O2
O4
O3
O4
O4
O4
O1
O5
O2
O5
O3
O5
O4
O5
O1
O6
O2
O6
O3
O6
O4
O6
O1
O7
O2
O7
O3
O7
O4
O7
Go
ed
-Fo
ut
%
0
10
20
30
GoedVoldoendeOnvoldoendeGemiddelde score van je jaargroepToetsscore student 395% Betrouwbaarh. interval voorspelde score
GoedVoldoende (gemiddeld)Onvoldoende
Eigen score
Voorspelling toetsresultaten student i073784
Faculty of Health, Medicine and Life Sciences
Top 5%GoedVoldoendeOnvoldoendeLaagste 5%
Aantal vragen:189Score Correct-Incorrect%21,12:?:79Gemiddelde score:29,37
Toetsdatum: 23 september 2007
Studentnr: i073784
% correct-incorrect
Faculty of Health, Medicine and Life Sciences
Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%
Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37
Toetsdatum: 23 september 2007
Studentnr: i073784
% correct
Faculty of Health, Medicine and Life Sciences
Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Score
Ademhalingsstelsel
Bloed- en lymfestelsel
Spier- en skeletstelsel
Geestelijke gez. zorg
Voortplantingsstelsel
Hart- en vaatstelsel
Hormonen en metabolisme
Huid en bindweefsel
Persoonlijke en maatsch.
Spijsverteringsstelsel
Nieren en urinewegen
Zenuwstelsel en zintuigen
Levensfasen algemeen
Kennis over vaardigheden
Preventieve gez. zorg
48%
35%
61%
75%
47%
6%
41%
58%
82%
69%
27%
53%
60%
30%
37%
Faculty of Health, Medicine and Life Sciences
Faculty of Health, Medicine and Life Sciences
Voorspelde Toetsresultaten Student 3.
Voortgangstoets
O1O
1
O2O
1
O3O
1
O4O
1
O1O
3
O2O
3
O3O
3
O4O
3
O1O
4
O2O
4
O3O
4
O4O
4
O1O
5
O2O
5
O3O
5
O4O
5
O1O
6
O2O
6
O3O
6
O4O
6
O1O
7
O2O
7
O3O
7
O4O
7
Go
ed
-Fo
ut
%
0
10
20
30
GoedVoldoendeOnvoldoendeGemiddelde score van de jaargroep
GoedVoldoende (gemiddeld)Onvoldoende
Voorspelling toetsresultaten jaargroep 4
Faculty of Health, Medicine and Life Sciences
Cohort 01-02
Toets
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
G-F
0
5
10
15
20
25
30
35
40
MaastrichtNijmegenGroningenGemiddelde
Faculty of Health, Medicine and Life Sciences
Top 5%70%-95%50%-70 15% - 50%5%-15%Laagste 5%
Gemiddelde
Aantal vragen:189Score correct %26,12:Gemiddelde score:29,37
Toetsdatum: 23 september 2007
% correct
Universiteit Maastricht
Jaargroep 3
Faculty of Health, Medicine and Life Sciences
Correct-Incorrect %70% tot 95%mediaanLaagste 5% tot 15%Gemiddelde
Ademhalingsstelsel
Bloed- en lymfestelsel
Spier- en skeletstelsel
Geestelijke gez. zorg
Voortplantingsstelsel
Hart- en vaatstelsel
Hormonen en metabolisme
Huid en bindweefsel
Persoonlijke en maatsch.
Spijsverteringsstelsel
Nieren en urinewegen
Zenuwstelsel en zintuigen
Levensfasen algemeen
Kennis over vaardigheden
Preventieve gez. zorg
60%
58%
51%
63%
53%
50%
59%
58%
65%
69%
56%
60%
67%
70%
47%
Faculty of Health, Medicine and Life Sciences
0
20
40
60
80
100
1 2 3 4 5 6
Jaargroep
% G
-F goed
voldoende
onvoldoendeGemiddelde
Resultaten voortgangstoets september 2007 Maastricht
Faculty of Health, Medicine and Life Sciences
Faculty of Health, Medicine and Life Sciences
Technische keuzes
• Vosys: Oracle database• Export: Oracle SQL views• Rekenmodules: Matlab• Import en transformatie: Perl• Feedbackdatabase: MySQL• GUI: PHP
Faculty of Health, Medicine and Life Sciences
Werkwijze
• Ieder kwartaal:– Exporteer data uit VOSYS– Bereken cumulatie en prognose per
student (alle gewenste soorten)– Bepaal peergroepen– Bereken verdeling en prognose per
peergroep– Importeer data in ProF database
Faculty of Health, Medicine and Life Sciences
Huidige status
• Midterm-review 31 oktober• Ontwikkeling export-import gaande• Ontwerp GUI gereed, ontwikkeling start
binnenkort• Ontwikkeling gereed eerste kwartaal
2009• Test, pilot en evaluatie t/m Juli 2009
Faculty of Health, Medicine and Life Sciences
Conclusies
• Modulaire aanpak zorgt voor beheersbaarheid
• Flexibiliteit is essentieel gezien voortschrijdende inzichten