¿Cómo valorar objetivamente las¿Cómo valorar ... - SEFH · Comparación de medias: Pares:...

HACIA UN NUEVO MODELO DE EVALUACIÓN DEL RESIDENTE DE FARMACIA HOSPITALARIA

¿Cómo valorar objetivamente las¿Cómo valorar objetivamente las competencias?

Francisco José Farfán SedanoGrupo Tutores Comunidad de Madrid / Grupo Tutores SEFH

INDICE

Objetivo1 Objetivo

Material y métodos2

1

Resultados3

Discusión4

¿Cómo valorar objetivamente las competencias?

INDICE

Objetivo1 Objetivo


1

Resultados3

2

Discusión

3

4


1. Objetivo

Reevaluar a los residentes de 2012-2013 con el nuevod l d t i l lt d lmodelo de competencias y comparar el resultado con el

obtenido en la evaluación anual con la Ficha 1.

Valorar la aplicabilidad de las nuevas fichas deEvaluación por Competencias (EPC).

Conocer las impresiones de los tutores/evaluadores.


INDICE

Objetivo1 Objetivo


1

Resultados3

Discusión

3

4


2. Material y métodos

Recogida de datos

4 Áreas



Recogida de datos

Básicas



Recogida de datos

AF



Recogida de datos



Resultados calificación:

• Ficha 1• EPC

• Fichas Encuesta

Evaluación por Competencias.

• Anexos (Criterios evaluación).

• Examen.• Encuesta.



Recogida de datos y tratamiento datos

FICHA 1 Peso en evaluación Peso en evaluaciónFicha EPCFICHA 1 Peso en evaluación

CONOCIMIENTOS / HABILIDADES

ACTITUDES

0, 7

0, 3

Peso en evaluación

CONOCIMIENTOS

HABILIDADES

0, 3

0, 4

Ficha EPC

ACTITUDES 0, 3

Recogida de información retrospectiva

CONOCIMIENTOS / HABILIDADES

ACTITUDES

0, 7

0, 3retrospectiva

Recálculo para poder comparar con Ficha 1.



Recogida de datos. Encuestas

PREGUNTAS

¿Consideras que el modelo de evaluación de competencias es adecuado para¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR?

¿Las competencias evaluadas en el modelo te han parecido adecuadas?

¿Las competencias evaluadas en el modelo te han parecido ( fi i t / h / )?(suficientes/muchas/pocas)?

¿Te parece adecuado evaluar los conocimientos con un examen?

¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades?

¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala.

¿Consideras que el modelo de competencias mejora la actual Ficha 1?

Has tenido dificultades para evaluar las competencias si es así indícalasHas tenido dificultades para evaluar las competencias, si es así indícalas.



Análisis de datos

Análisis descriptivo por Área y por residente.

Evaluación método

Prueba t para muestras emparejadas: Comparación de medias:

Pares:Ficha1- Evaluación por Competencias

• Conocimientos/Habilidades• Actitudes• Calificación global

Encuestas:

Análisis descriptivo.

Encuestas:


INDICE

Objetivo1 Objetivo


1

Resultados3

2

Discusión4


3. Resultados

Hospitales y evaluaciones

HOSPITALES Hospitales participantes: 18.Hospitales que respondieron a la prueba piloto: 14

EVALUACIONESNúmero de residentes evaluados: 75 residentesPor Área:

• A3: 20 residentes• A4: 20 residentes• A9: 19 residentes• B1: 16 residentes• B1: 16 residentes


3. Resultados

Dispersión de datos por Área evaluada

Habilidades y Conocimientos.

2,68

2,32

2,80

2,06

2,80

2,5

Evaluación por Competencias (EPC)Ficha 1

2,48

1,78

2,06

lific

ació

n

-23% -17% -11% -29%Cal

Elaboración Validación PEX G. Riesgo


3. Resultados


Actitudes.

2 83 2 802,78

2,5

2,83 2,802, 40

2,61

2,63Evaluación por Competencias (EPC)Ficha 1

1,93

lific

ació

n

-10% -8% -6% -28%

Cal



3. Resultados


Calificación global (Habilidades+Conocimientos+Actitudes)

2,16

2,672,8 2,86

2,55

2,562,37

Evaluación por Competencias (EPC)Ficha 1

1,83

lific

ació

n

-19% -15% -6% -29%

Cal



3. Resultados

Comparación entre métodos

ÁREA A3. ELABORACIÓN Y CONTROL DE FORMAS FARMACÉUTICAS

*Prueba t para muestras emparejadas

N=20Ficha 1 EPC Diferencia

de medias SE

95% Intervalo de confianza para la diferencia

Significación bilateralMedia SD Media SD Inferior Superior

Total Evaluación 2 55 0 45 2 34 0 37 0 21 0 08 0 05 0 37 0 012Total Evaluación 2,55 0,45 2,34 0,37 0,21 0,08 0,05 0,37 0,012

Conocimientos y Habilidades 2,53 0,46 2,27 0,09 0,26 0,08 0,09 0,42 0,004

Actitudes 2,60 0,42 2,48 0,38 0,12 0,07 -0,03 0,27 0,277

Se detectan diferencias estadísticamente significativas en la evaluación total y laSe detectan diferencias estadísticamente significativas en la evaluación total y la evaluación de los conocimientos/habilidades entre ambos métodos.


3. Resultados


ÁREA A4. VALIDACIÓN DE LA PRESCRIPCIÓN Y DISPENSACIÓN



de medias SE





Actitudes 2,71 0,38 2,53 0,31 0,17 0,08 0,01 0,33 0,036

Se detectan diferencias estadísticamente significativas en la evaluación total, laSe detectan diferencias estadísticamente significativas en la evaluación total, laevaluación de los conocimientos/habilidades y evaluación de actitudes entre ambosmétodos.


3. Resultados


ÁREA A9. ATENCIÓN FARMACÉUTICA A PACIENTES EXTERNOS



de medias SE





Actitudes 2,69 0,35 2,48 0,50 0,21 0,09 0,02 0,40 0,032

Se detectan diferencias estadísticamente significativas en la evaluación total y laSe detectan diferencias estadísticamente significativas en la evaluación total y laevaluación de los conocimientos/habilidades y evaluación de actitudes entre ambosmétodos.


3. Resultados


ÁREA B1. GESTIÓN DEL RIESGO



de medias SE




Conocimientos y Habilidades 2,42 0,52 1,91 0,51 0,50 0,20 -0,06 1,05 0,069

Actitudes 2,65 0,30 1,72 0,48 0,92 0,28 0,15 1,68 0,029

Calificación por EPC: 16 residentes. Tres no evalúan.Limitación: Sólo 5 residentes presentaron datos de evaluación en la Ficha 1 y porLimitación: Sólo 5 residentes presentaron datos de evaluación en la Ficha 1 y por Evaluación por Competencias, por tanto es una muestra muy pequeña para sacar conclusiones.


3. Resultados

Evaluación global por cada residente evaluado

Diferencias entre resultado global por método.

3

ifica

ción

2

Cal

1

Elaboración Validación PEX Gestión Riesgo

Calificación por EPC

Calificación por Ficha 1 Residentes con mayor Calificación por EPC que en Ficha 1.

Sólo evaluados por EPC.

Misma calificación.


3. Resultados

Evaluación global por cada residente evaluado

Diferencias entre resultado global por método.

3

ifica

ción

2

Cal

1Se excluyeron los residentes que no presentaban datos en la evaluación de la Ficha1.(11)

El 80 % (51) de los residentes presentan calificaciones inferiores en laE l ió C t i l bt id l Fi h 1


Evaluación por Competencias que en la obtenida en la Ficha 1.El 14% (9) obtienen una calificación superior a la obtenida en la Ficha 1.Igual calificación: 6%(4)

Calificación por EPC

Calificación por Ficha 1

Sólo evaluados por EPC.

Misma calificación.

Elaboración Validación PEX Gestión RiesgoResidentes con mayor Calificación por EPC que en Ficha 1.

3. Resultados

Resultado encuestas

PREGUNTAS RESPUESTAS

¿Consideras que el modelo de evaluación de competencias es adecuado para los FIR?

Sí: 100%

L competencias evaluadas l d l t h id adecuadas? Sí: 100%

N=56

¿Las competencias evaluadas en el modelo te han parecido adecuadas? Sí: 100%

¿Las competencias evaluadas en el modelo te han parecido (suficientes/muchas/pocas)?

• Pocas: 7,8%• Suficientes: 86,3%• Muchas: 5,9%

¿Te parece adecuado evaluar los conocimientos con un examen? Sí: 82,6%

¿Has utilizado alguna herramienta objetiva de evaluación de las habilidades? •Ninguna: 40%•Caso práctico: 10%•Actividad supervisada: 41%•Otros: 9%•Otros: 9%

¿Has utilizado alguna herramienta objetiva de evaluación de las actitudes?, Si es así indícala.

No: 96%

C id l modelo de competencias mejora la actual Ficha 1? Sí: 100%¿Consideras que el modelo de competencias mejora la actual Ficha 1? Sí: 100%

Has tenido dificultades para evaluar las competencias, si es así indícalas. No: 71,2%Sí: 28,8%: Fundamentalmente comprensión de habilidades.


3. Resultados

Limitaciones

N=56

Sesgo por desconocimientodesconocimiento

Desconocimiento de lasFICHAS EPC al realizar larotación y la evaluación:rotación y la evaluación:• Conocer el contenido dela rotación y el sistemad l ió j á lde evalaución mejorará elresultado.


3. Resultados

Limitaciones

N=56

Sesgo por desconocimiento

Exámenesdesconocimiento

Son de carácter general yligados al contenido de las

Desconocimiento de lasFICHAS EPC al realizar larotación y la evaluación: ligados al contenido de las

nuevas fichas:•Cada tutor deberá hacer supropio examen

rotación y la evaluación:• Conocer el contenido dela rotación y el sistemad l ió j á l propio examen.de evalaución mejorará elresultado.


INDICE

Objetivo1 Objetivo


1

Resultados3

2

Discusión

3

4


4. Discusión4. Discusión

Las diferencias de calificaciones son menores entodas las áreastodas las áreas.



Las diferencias de calificaciones son menores entodas las áreas.

Protocolizar y orientar la evaluación.

todas las áreas.





todas las áreas.

Requiere mayor tiempo y mayor compromiso.





todas las áreas.


Menor variabilidad en las calificaciones de losresidentesresidentes.





todas las áreas.


Menor variabilidad en las calificaciones de losresidentes

Rotaciones transversales.

residentes.





todas las áreas.


Menor variabilidad en las calificaciones de losresidentes

Rotaciones transversales.

residentes.

Evaluación de actitudes: Complicada y tiene mayorcomponente subjetivo (falta de herramientasimplantadas).


Muchas gracias por su atención

Francisco José Farfán SedanoGrupo Tutores Comunidad de MadridGrupo Tutores SEFH


¿Cómo valorar objetivamente las¿Cómo valorar ... - SEFH · Comparación de medias: Pares:...

Documents

Transcript of ¿Cómo valorar objetivamente las¿Cómo valorar ... - SEFH · Comparación de medias: Pares:...