Usodelasimulaciónclínicaenevaluación

Dra.SoledadArmijoRiveraCentrodeDesarrolloEducacionalFacultaddeMedicinaCASUDD

“Clinicalexperiencealonedoesnotguaranteetheacquisitionofclinicalcompetence”

Issenberg&McGaghie

Feedback• ElFeedbackporsisoloeseficazenel71%delosestudios(Veloskietal.,2006)

• Losestudiantes,depregradoypostgrado,declaranqueelfeedback,cuandoesentregadodeformaeficaz,esútilparaayudarlosenajustarlaperformanceyparacrearunplandeacción(Bing-You&Trowbridge,2009)

• Losestudiantesreportanqueelfeedbackseentregararamentey/oenformaineficaz(Branch&Paranjape,2002),

• Losestudiantesreportanqueelfeedbackquerecibennoesútilporelpocotiempodestinadoyporserpocopreciso(Bienstock,2007)

CarlaBenaglio,CentrodeDesarrolloEducacionalUDD

Elprocesoformativo

Intencionalidad

DiseñodeInstrucción

Interaccionespersonales

Adquisicióndeconocimiento

Evaluación

Recomendacionestradicionales

Aggarwal Retal.Trainingandsimulation for patient safetyQual Saf Health Care 2010;19:i34-i43

RecomendacionesBEME

• Lasimulaciónsedebeinsertarenelcurriculum considerando:– Definicióndecriteriosobjetivosdedesempeño.– Entregadecriteriosalosparticipantes.– Suficientesrepeticionesparagenerarexposiciónaeventosquepermitandesarrollarlascompetencias.

– Instanciasdefeedback duranteelproceso.– Verificacióndelogroparapromoverelpasoanivelessuperiores.

MotolaI,DevineL,Chung H,SullivanJ,Issenberg B.Simulation inhealthcare education:Abest evidence practical guide.AMEEGuide No.82,MedicalTeacher.2013;35:e1511–e1530

¿Quéevaluamosconsimulación?

Formasdeevaluación

DemuestraEvaluación delapráctica invitro,• OSCE,• Simulación.

HaceEvaluación delapráctica invivo• Análisis deregistros y

resultados,• Observación directa de

habilidades procedimentalesDOPS,

• MiniCEX,• Videograbación,• Portafolios,• Evaluación en360º.

HacerEvaluación delapráctica invivo,análisis deregistrosyresultados,observación,videograbacion,portafolios,360°

Demostrar

Saber cómo

Saber

¿Cómoevaluar?

Evaluación delapráctica invitro,OSCE,Maniquies,Simulación

Testbasados encontextos clínicos,pruebas escritas basadas encasos

Testdeconocimientos,pruebasescritas,orales,etc.

AssessmentinMedicalEducationRonaldM.Epstein,M.D.NEngl JMed2007;356:387-96.

Complejidadydesafío

Riquezadelcontexto

HabilidadesfueradecontextoHabilidadesencontexto

ProgramasdeSimulación

Prácticadeliberada

Prácticadeliberada• Prácticarepetitivaeintencionadadehabilidadescognitivasopsicomotorasenundominiofocalizado,conevaluaciónrigurosadeldesempeño.

• Losaprendicesrecibenfeedback específico,informativoydirectivo.

• Elroldeldocenteesinstructormasquefacilitador.

• Elobjetivoeslograrelmejordominiodelacompetencia,llegandoalniveldemaestro.

CriteriosparaunprogramadeMastery Learning

• Standardmínimodepaso/fallopornivel(requierellevaracabopilotosenpoblacionesrepresentativas)

• Evaluaciónbasalinicialparadeterminarelniveldedificultadadecuadodelaactividad.

• Objetivosclaros,secuenciados,decomplejidadcreciente.

• Actividadesfocalizadasparaellogrodeestosobjetivos.Evaluacionesformativas.

• Articulaciónconlosnivelessiguientesdemayorcomplejidad,unavezlogradalameta.

• Practicacontinuaparalamantencióndelacompetencia(reentrenamientosperiódicosprogramadosv/scriteriosparareentrenar).

ModuloTeóricoModulopráctico

inicialconfeedback

Periododeentrenamiento1

Evaluaciónformativademitad

deprograma

Periododeentrenamiento2

Evaluaciónfinalhabilitante

Periododeentrenamiento1

Complejidadydesafío

Riquezadelcontexto

HabilidadesfueradecontextoHabilidadesencontexto

ProgramasdeSimulación

Escenario

Escenario• Usodealgoritmo

prediseñado.– Formatoescenariopropio– Escenarioprediseñadoen

elsimulador• Observaciónde

desempeños.• Usodeconfederados.• Usodesalvavidas.• Usodemonitorydel

propiosimulador.

Razonamientoclínico

Experienciayerror Contextualizadoenlaclínica

Dieckmann P, Lippert A, Glavin R, Rall M. When things do not go as expected: scenario life savers. Simul Healthc. 2010 Aug;5(4):219-25.

TiposdeSalvavidasyejemplosIntencióndelSalvavidas

EstadodelaSimulación Restaurar Adaptar

Dentro delescenario Unparticipanteentregaclavessobresignosvitales,desdeel rolquetieneenlasimulación.

Cambiodela planificaciónoriginalaunaquepuedecoincidirconlasaccionesdelosparticipantes.

Manipulacióndelossignosvitales(disminuirlosohacerlosmásobvios)

Inclusiónde losaspectosquecalzanconlaplanificaciónoriginaldelescenario.

Fueradelescenario UsarlavozdeDiosparadescribirlossignosvitalesdel escenario.

Describirquelosescenarioshanexperimentadoalgúncambio.

Detenerel escenarioyvolverainiciarloparaqueavanceenladirecciónplanificada.

Dieckmann P, Lippert A, Glavin R, Rall M. When things do not go as expected: scenario life savers. Simul Healthc. 2010 Aug;5(4):219-25.

Debriefing

InAction

On Action

BeyondAction

SegúnSchon

Enelescenario

Eneldebriefing

Eneldebriefing

• ¿Cómo sesintieronenelescenario?

• ¿Dequésetratóelescenario?FasedeDescripción

• ¿Quéhicieronbien?• ¿Por quésehicieronlascosasdeestaforma?• ¿Quécosasharíandiferentelapróximavez?

FasedeAnálisis

• ¿Conquésevandespuésdeestasesión?• ¿Quésellevanparalacasa?• ¿Cómo podríamosaplicarestoanuestrolugardetrabajo?

FasedeAplicación

Enelcontextodelasimulación…

• Losestudiantesparticipanenlasimulación.• Reflexionansobresupropiaexperiencia.• Extraenconclusiones.• Intentanalternativas.• Secomprometeneinvolucranenestasnuevasexperiencias.

– Esunainstanciadereflexionpersonal,colectivaydeentregarfeedbackespecificosporelinstructor

Comunicador

Colaborador

Evaluaciónsumativa ysimulación• “Highstakesassessment”,seadministrancomoOSCE.

• Ejemplos:– USMLE2– ExámenesdeevaluacióndecompetenciasdelShebaMedicalCenterdeIsrael.

– ProgramasAHA– Programasdeformacióncontinuaqueconsideranevaluacionesparalacertificaciónyrecertificacióndecompetenciasdeespecialidad(MaintenanceofCertificationMOC)

ManualdeinstrumentosdeevaluaciónCDECASUDD

Ventajasdelaevaluaciónconsimulación

• Permiten evaluareldesempeñoactual.• Puedenmedirvariosaspectosdelascompetencias.

– conocimiento,– habilidadestécnicas,– habilidadesclínicas,– manejodecasos,etc

• Reproducencontextosyambientessimilaresalclínico.• Permitenadministrarobservacionesmúltiplese

independientes.• Permitenlaevaluacióndecasospredefinidos(comunesy

raros)• Sinriesgoparalospacientes.

Desafíos delaevaluaciónconsimulación

• ALhaberevaluadorhumanopuedehabersesgodejuez.

• Laevaluacióndeltrabajoenequipoesdifícil.• Eltiempodelosescenariosesbreve,loquedaunaimagenparcialdelosdesempeñosdelosestudiantes.

• Altoscostos(enrecursohumano,insumoseinfraestructura).

• Normalizarcostosylogísticaatravésdemúltiplessitiosdesimulaciónparaquelasevaluacionesseanhomologables.

• Lanecesidaddegenerarinstanciasdeexposicióndelasmodalidadesdesimulaciónparalosalumnosantesdelapruebas.

Desafíosdelaevaluaciónconsimulación

• Excesivadependenciadecriteriospsicométricosquepuedendarlugaramedidasquepuedenfallarenevaluarlascomplejidadesinvolucradasenlaasistenciasanitaria,talescomoelcuidadodelpacienteconmúltiplescomorbilidades(estosucedeconelusodechecklist)

• Validez,especialmenteenlasevaluacionesrelacionadasconelmantenimientodelalicenciaycertificación,dondeexistepocaevidencia.

• Transferenciaalaprácticaclínicarealnoestáimplícitaenlaevaluación.

• Laformaciónylacontratacióndelosevaluadores.

Dra.SoledadArmijoRiverasoledadarmijo@udd.cl