De effecten van een serious game op vaardigheden …...De effecten van een serious game op...
Transcript of De effecten van een serious game op vaardigheden …...De effecten van een serious game op...
De effecten van een serious game
op vaardigheden en motivatie bij
artsen en studentenhet ‘expertise reversal effect’ in de onderwijspraktijk
Dr.M.E.W. Dankbaar
Programmamanager e-learning, onderzoeker
Erasmus MC Rotterdam
Januari 2017
Inhoud
Trainen van complexe vaardigheden; rol van games
Demonstratie van de ABCDEsim game; blended opzet
Onderzoek naar serious games en simulaties
Resultaten effectiviteitsstudie onder artsen
Resultaten effectiviteitsstudie onder studenten
Conclusies en discussie
Trainen van complexe vaardigheden
Complexe vaardigheden worden geleerd:
a. Taakgericht, geïntegreerd oefenen (authentieke, complete taken)
b. Diversiteit aan problemen, voorbeelden, open opdrachten.
c. Ondersteunende informatie, begeleiding en deeltraining (1,2)
Cognitieve schema’s worden ontwikkeld waarmee studenten kunnen
abstraheren van concrete problemen.
Variëteit is bij cognitieve vaardigheden belangrijk (bij kennis: herhaling)
Doel: transfer naar nieuwe situaties en problemen.
1: Francom GM, Gardner J, What is task-centered learning? TechTrends, 2014, 58(5)
2: van Merrienboer JJ, Kirschner PA, Ten steps to complex learning. A systematic approach to four-component
instructional design. 2nd Ed. 2012
Wat hebben serious Games te bieden?
Air Medic Sky 1
Patient veiligheid
Underground
Laparoscopische
vaardigheden
Uitdagende taak met regels en principes (->leerdoel)
Betrokkenheid bij een verhaal
Ervaringsleren
Directe feedback
GeriatrX
Klinische zorg voor
oudere patienten
Trainen van acute zorg vaardigheden
Belangrijk onderdeel van medisch curriculum wereldwijd;
Kritisch voor patient veiligheid
Elk jaar volgen > 1,5 miljoen zorgprofessionals een cursus acute zorg,
gebaseerd op de ABCDE methode (‘treat first what kills first’)
Complexe vaardigheden zijn duur om te trainen (simulatie-onderwijs);
er zijn meer efficiënte trainingsmodellen nodig in het medisch onderwijs
Serious games zijn veelbelovende trainingsformats;
Erasmus MC heeft in 2011 de ABCDEsim game ontwikkeld (blended opzet)
ABCDEsim
Aanpak Blended Opleidingsontwerp
Raamwerk voor ontwerpkeuzes bij Blended en Online opleiden
Blended ontwerp Vaardigheidstraining acute zorg
E-module Kennistoets
abcdeSIM game met
6 scenario’s
Simulatie training en
beoordeling
Demonstratie abcdeSIM game
- Virtuele SEH met alle instrumenten en medicatie
- Realistische taken met 6 patient cases
- Hoog niveau van interactiviteit (fysiologisch model)
Onderzoek serious games en simulaties
Ondanks de steeds frequentere inzet van games in het onderwijs, is nog
weinig bekend over de effectiviteit
Onderzoek naar de cognitieve and motivationele effecten van serious
games toont geen eenduidige resultaten1,2,3.
Er is nog weinig bekend over optimale ontwerpkeuzes4.
Systematische reviews over effectiviteit van simulatieprogramma’s laten
zien dat, in vergelijking met geen interventie, simulaties grote effecten
hebben op kennis en vaardigheden5.
1 Akl et al.The effect of educational games on medical students’ learning outcomes: a systematic review: BEME Guide 14.
2 Sitzmann, a Meta-Analytic Examination of the Instruct. Effectiveness of Computer-Based Simulation Games. PersPsych. 11.
3 Graafland et al, Systematic review of serious games for medical education and surgical skills training. Br J Surg. 2012.
4 Garris, Ahlers, Driskell, Games, Motivation and Learning: a research practice model, 2002, Dec, 33.
5 Cook et al, Technology-Enhanced Simulation for Health Professions Education; A systematic review, JAMA. 2011.
Twee studies naar effectiviteit ABCDEsim game
‘Justification study’
1. a Heeft het gebruik van een serious game in de voorbereiding van een
training acute zorg voor artsen een positief effect op hun
vaardigheden?
b. Zijn deze artsen gemotiveerd om de game te gebruiken?
‘Clarification study’
2. a. Wat is het effect van het toevoegen van low-fidelity (tekst) cases of
high-fidelity (game) cases aan een e-module op de motivatie en
vaardigheden van geneeskunde studenten?
2. b. Wat is het effect op hun cognitieve belasting?
Onderzoeks design: historische vergelijking
a
b
c
d
e
a
b
c
d
e
Controle
groep
Game
groep
Zelfstudie Klassikale vaardigheidstraining (10 dagen)
Beoordeling
n=18
n=24
n=52
n=107
motivatievragenlijst
zelfstudie
theorie abcdesim
theorie
Onderzoeks design: historische vergelijking
a
b
c
d
e
a
b
c
d
e
Controle
groep
Game
groep
Zelfstudie Klassikale vaardigheidstraining (10 dagen)
Beoordeling
10 u
12.5 u
n=52
n=107
motivatievragenlijst
zelfstudie
theorie abcdesim
theorie
Tijd
Resultaten: Vaardigheidsniveau na de game (voor training)
Groepen zijn vergelijkbaar
op belangrijke kenmerken
(n=18/24)
p=.03; Cohen’s d= 0.62
3.46
4.85
4.25
4.71
1
2
3
4
5
6
7
Klinische competenties Communicatie competenties
Controle groep
Game groep
p >.5
Klinische competentiebeoordeling heeft hogere betrouwbaarheid dan communicatie (1)
Game groep heeft een hoger klinisch competentieniveau dan de controle groep
1 Dankbaar, Stegers-Jager, et al, Assessing the assessment in emergency care, Plos One, 2014
Vaardigheidsniveau na de training
Na 2 weken training: geen verschil tussen groepen
5.6 5.75.7 5.8
1
2
3
4
5
6
7
Klinische competenties Communicatie competenties
Controle groep
Game groep
Motivatie game groep
4.2
4.2
4.2
4.1
4.0
3.9
3.6
3.6
3.3
1.0 2.0 3.0 4.0 5.0
Ik voelde me actief betrokken bij scenarios uit degame
Mijn aandacht was volledig bij scenarios uit de game
ik vond de game leuk om te doen
Ik vond de inhoud van de game leerzaam
Ik kon me goed concentreren tijdens het spelen
Ik vond de manier van leren tijdens de gameplezierig
Ik had tijdens het spelen het gevoel behandelendarts op de SEH te zijn
Ik kon zelf ervaren wat wel en niet goed werkte
Ik voelde me tijdens het spelen van de scenariosregematig gestrest
geheel oneens geheel eens
“Super leerzame game.
Dit is heel 'echt' en heel
goed ter voorbereiding.
Je voelt de stress”.
“Ik vind dit een erg goede
manier om ervaring op te
doen met de ABCDE
methode”.
N=90
M= 3.9
Dankbaar M, Bakhuys Roozeboom M. van Merrienboer JJ et al, Preparing residents effectively in emergency care skills training
with a serious game, Simulation in Healthcare, Oct. 2016
Conclusies
De ABCDEsim game leidt in de voorbereiding van een klassikale
training tot een hoger vaardigheidsniveau acute zorg bij artsen.
Zij zijn gemotiveerd om de game te doen.
Waarschijnlijk kan de trainingstijd in combinatie met de game worden
ingekort (onderzoek).
Beperkingen studie:
- Groepen waren niet gerandomiseerd; verschillen tussen groepen zijn
mogelijk
betreft een zeer homogene groep; potentiele confounders gemeten
- Relatief klein aantal deelnemers pre-training assessment
Ondanks kleine aantallen een significant verschil in vaardigheid tussen groepen
Studie 2
Welke ontwerpkenmerken zijn bepalend voor het leer-effect?
‘Clarification study’
2. a. Wat is het effect van het toevoegen van low-fidelity
(tekst) cases of high-fidelity (game) cases aan een e-
module op de motivatie en vaardigheden van
geneeskunde studenten?
2. b. Wat is het effect op hun cognitieve belasting?
Game- cases (high fidelity) Tekst-cases (low-fidelity)
E-module
Onderzoeks-design (gerandomiseerd, n=61)
Controle
groep,
n=16
Game groep,
n=25
Tekst-cases
groep, n=20
Beoordeling
Casuïstiek
Kennistoets
Motivatie vragenlijst
Cognitieve belasting cases
Vragenlijsten
Cognitieve Belasting (10 items, schaal 0-11)
Intrinsic load ‘de inhoud van de game/cases was erg complex’ (3 items)
Extraneus load ‘de uitleg was erg onduidelijk’ (3 items)
Germane load ‘de scenario's hebben echt bijgedragen aan mijn begrip’ (4 items)
Motivatie en feedback (9 items, scale 1-5)
Motivatie ‘ik vond het doornemen van het materiaal leuk om te doen’ (6 items)
Feedback ‘ik kreeg voldoende feedback tijdens het leren’ (3 items)
Resultaten (n= 61)
Geen verschillen groepen in leeftijd, klinische ervaring, studieprestaties
Geen verschillen groepen in scores kennistoets (M= 20, SD=3.7)
Studietijd per groep
Cases en game groep: 2 uur extra studietijd
Gerapporteerde studietijd in minuten, gemiddeld (SD) Gelogde
game tijd
E-module Cases of Game Totaal
Controle groep 133 (78) - 133
Cases groep 177 (118) 70 (46) 247
Game groep 146 (98) 95 (53) 241 83 (54)
Klinische competenties
5.6
5.25.4
0
1
2
3
4
5
6
7
Klinische competenties
control groep
cases groep
game groep
N= 61P= 0.13
Cognitieve belasting
N=41
5.0
3.4
7.2
6.0
3.3
8.4
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
10.0
Intrinsic Load(complexiteit)
Extraneous Load(verwarrende uitleg)
Germane Load(mentale inspanning)
Cases groep
Game groep
p=0.03, ES=0.8 p=0.75 p=0.01, ES=1.0N=41
3.63.5
4.3
1
2
3
4
5
Controle groep Tekst-cases groep Game groep
N=59
P < 0.001
Motivatie
Dankbaar MEW, Alsma J, Jansen E, van Merrienboer et al, An experimental study on the effects of a
simulation game on students’ clinical cognitive skills and motivation, Advances in Health Sciences
Education, 2015 21(3).
Conclusies
Voor novices (beginfase van vaardigheidsontwikkeling):
een e-module met demo-video heeft veel instructieve waarde.
Zij profiteren niet van additioneel oefenen met open casuistiek (te complex;
zet hen wel aan tot langer studeren).
Hoge natuurgetrouwheid in een game werkt motiverend en stimuleert het
leveren van mentale inspanning, maar vergroot ook de complexiteit.
Deze zelfde game verbeterde wel de vaardigheden van artsen.
Conclusies (2)
‘Expertise-reversal effect’:
een rijke leeromgeving werkt goed voor experts, maar is
contra-productief voor onervaren lerenden
(interactie voorkennis - complexiteit format).
Games zijn vaak motiverend, maar afstemming complexiteit van taken
op competentie-niveau doelgroep is essentieel.
In beginfase van ontwikkeling complexe vaardigheden: een combinatie
van voorbeelden, open opdrachten en begeleiding lijkt van belang.
Vragen
Discussie
Contact informatie
http://www.e-pubs.nl?epub=m.dankbaar