Introducción a la estandarización

de la evaluación

Dr. José Antonio Ruy-Díaz Reynoso

1

Estableciendo los estándares

Puntuaciones y estándares

Características de estándares creíbles

Métodos

Métodos relativos

Métodos absolutos

Métodos de contemporización

2

Examen de matemáticas

268357

1578113415

149931

3

Definición de la puntuación

Una puntuación es un número o una letra que representa que tan bien se ha desempeñado el alumno a lo largo de un continuum

Es el grado de exactitud de la respuesta / grupo de respuestas del alumno (para MCQ’s, la puntuación se basa en la respuesta correcta del alumno)

Para formatos que reproducen situaciones clínicas complejas (OSCE)

4

La puntuación…

Puede implicar ponderación (grados de exactitud)

Puede implicar una interpretación de las respuestas del alumno

5

Definición de estándar

Un estándar es una aseveración acerca de si el desempeño de una evaluación es lo suficientemente bueno para un propósito en particular.

Es una puntuación especial que sirve como frontera entre pasar o reprobar

6

Estándares

Los estándares se basan en juicios acerca del desempeño del alumno sobre un constructo educativo o social.

Requiere del juicio de expertos

Depende del contexto (ej. practicante competente o estudiante listo para graduarse)

7

Problemática para establecer el

estándarCompetente Incompetente

Pasa

Reprueba

Resultado De la

prueba

8

¿Cómo establecer la calificación de “pase”?: características de un estándar creíble

El método debe ser:

❑ Defendible

❑ Creíble

❑ Apoyado por un cuerpo de evidencia en la literatura

❑ Factible

❑ Aceptable para todas las partes interesadas Norcini, J. J. (2003). Setting standards on educational tests. Medical Education, 37, 464-469.

9

Tipos de métodos para establecer

estándaresEstándares relativos / métodos de normas de referencia

Estándares absolutos / métodos de criterios de referencia

Métodos de contemporización

10

Estándares relativos / métodos de normas de referencia

Se basan en una comparación entre los desempeños de los alumnos

Una proporción establecida de candidatos reprueba, independientemente de que tan bien se desempeñen (ej. El 84% superior pasa)

11

Estándares absolutos / métodos de criterios de referencia

Se basan en qué tanto saben los alumnos

El alumno pasa o reprueba dependiendo si cumple o no determinados criterios específicos (ej. El alumno debe contestar correctamente el 60% de las preguntas)

12

Métodos de criterios de referencia : juicio acerca de elementos individuales de la prueba

Método de Angoff

Método de Ebel

13

Método de Angoff

De 100 alumnos mínimamente competentes ¿cuántos cree Ud. que responderían correctamente? (no cuántos “deberían” responder correctamente).

Un alumno mínimamente competente ¿respondería correctamente a esta pregunta?

(Si = 1, No = 0)

14

Método de Angoff

Cada examinador estima la probabilidad de un alumno mínimamente competente que responda correctamente cada pregunta.

Multiplicando por 100 tenemos el tanto por ciento de alumnos mínimamente competentes que responderían correctamente.

La suma de estas probabilidades es la puntuación mínima de cada examinador

La puntuación mínima global es la mediana del conjunto de examinadores

15

Determinación de la puntuación mínima para el competente

16

Método de Ebel

Distingue tres categorías de items:

Esenciales

Importantes

No tan importantes

17

Determinación de la puntuación

18