Copia de 04 Guías rúbricas - repositorio.sineace.gob.pe
Transcript of Copia de 04 Guías rúbricas - repositorio.sineace.gob.pe
GUÍA PARA LA ELABORACIÓN Y APLICACIÓN DE RÚBRICAS
G-DEP-004
GUÍA PARA LA ELABORACIÓN Y
APLICACIÓN DE RÚBRICAS
G-DEP-004
Guía para la elaboración y aplicación de rúbricas
Consejo Directivo Ad Hoc
Carlos Federico Barreda Tamayo, Presidente
Benjamín Abelardo Marticorena Castillo
Jorge Eduardo Mori Valenzuela
Secretaría Técnica
Marco Antonio Castañeda Vinces (e)
Dirección de Evaluación y Políticas
Acrópolis Alfonso Herrera Hidalgo, Director
Víctor Hugo Romero Pajares, Coordinador
Angheline Marie Sánchez Alayo, Coordinadora
Jenny Lizbeth Reyes Sánchez, Especialista
Cuidado de edición
Vanessa Giovanna Abanto Bernal
Lima, diciembre de 2020
©Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
Avenida República de Panamá 3659-3663, San Isidro, Lima-Perú
Teléfonos: (51-1) 637-1122 anexo 134
E-mail: [email protected] / https://www.gob.pe/sineace/
Se autoriza la reproducción total o parcial siempre y cuando se mencione la fuente.
Distribución gratuita. Prohibida su venta.
“Decenio de la Igualdad de Oportunidades para mujeres y hombres” "Año de la Universalización de la Salud"
1
San Isidro, 09 de Septiembre de 2020 RESOLUCIÓN DE PRESIDENCIA N° -2020-SINEACE/CDAH-P
VISTOS: El Memorándum N° 000064-2020-SINEACE/P-DEP y Memorándum N° 000101-2020-SINEACE/P-DEP, de la Dirección de Evaluación y Políticas; el Memorándum N° 000432-2020-SINEACE/P-ST-OPP, de la Oficina de Planificación y Presupuesto y el Informe 00191-2020-SINEACE/P-ST-OAJ, de la Oficina de Asesoría Jurídica del Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa, emitidos a través del Sistema de Gestión Documental; y,
CONSIDERANDO:
Que, el artículo 5 de la Ley N° 28740, Ley del Sineace, establece como finalidad del
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa, garantizar a la sociedad que las instituciones educativas públicas y privadas ofrezcan un servicio de calidad, con el propósito de optimizar los factores que incidan en los aprendizajes y en el desarrollo de las destrezas y competencias necesarias para alcanzar mejores niveles de calificación profesional y desempeño laboral;
Que, mediante la Décima Segunda Disposición Complementaria Transitoria de la Ley N° 30220, Ley Universitaria, se declaró en reorganización el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa-Sineace, habiéndose constituido mediante Resolución Ministerial N° 396-2014-MINEDU, de 28 de agosto 2014, el Consejo Directivo Ad Hoc, con el objetivo de ejecutar las funciones necesarias para la continuidad del sistema y los procesos en desarrollo;
Que, mediante Resolución de Presidencia del Consejo Directivo Ad Hoc N° 038-
2019-SINEACE/CDAH-P, de 28 de marzo 2019, se oficializó el Acuerdo N° 021-2019-CDAH de Sesión Ordinaria, de 27 de marzo 2019, mediante el cual el Consejo Directivo Ad Hoc del Sineace aprobó el documento denominado “Norma que define la estructura funcional no orgánica transitoria del Ente Rector del Sineace” (en adelante, Norma del Sineace), cuyo literal a) del artículo 10 prescribe que es función de la Presidencia del Consejo Directivo Ad Hoc del Sineace aprobar y supervisar la implementación de políticas, lineamientos, directivas y demás documentos de gestión que permitan ejecutar las funciones necesarias de la entidad;
Que, el literal f) del artículo 55 de la mencionada Norma señala que la Dirección de Evaluación y Políticas (en adelante, la Dirección) tiene como función elaborar metodologías e instrumentos para el trabajo estadístico, evaluaciones, estudios y otros, que se requieran para el desarrollo de sus funciones o a solicitud de las dependencias del Sineace;
Que, en ese contexto, la citada Dirección, a través del Memorándum N° 000064-2020-SINEACE/P-DEP y Memorándum N° 000101-2020-SINEACE/P-DEP, con base en el Informe N° 000016-2020-SINEACE/P-DEP-AMP e Informe N° 000051-2020-SINEACE/P-DEP-AMP, ha propuesto los siguientes documentos que garantizarán que las investigaciones y evaluaciones realizadas tengan consistencia y coherencia teórica y metodológica, brindando información confiable a los actores involucrados en la promoción de una cultura de la calidad educativa:
Esta es una copia auténtica imprimible de un documento electrónico archivado por El Sistema Nacional deEvaluación Acreditación y Certificación de la Calidad Educativa, aplicando lo dispuesto por el Art. 25 de D.S. 070-2013-PCM y la Tercera Disposición Complementaria Final del D.S. 026- 2016-PCM. Su autenticidad e integridadpueden ser contrastadas a través de la siguiente dirección web: https://sgd.sineace.gob.pe/verifica/inicio.do eingresando el siguiente código de verificación: SXKYKUI
Firmado digitalmente por SANCHEZALAYO Angheline Marie FAU20551178294 softMotivo: Doy V° B°Fecha: 10.09.2020 09:33:59 -05:00
Firmado digitalmente por GARCIAMOLINA Norma Gladys FAU20551178294 hardMotivo: Doy V° B°Fecha: 10.09.2020 10:10:16 -05:00
Firmado digitalmente por ARDILESCHACON Edgar Marlon FAU20551178294 hardMotivo: Doy V° B°Fecha: 10.09.2020 10:23:45 -05:00
Firmado digitalmente por CHACONCABANILLAS Haydee Violeta FAU20551178294 hardMotivo: Doy V° B°Fecha: 10.09.2020 16:05:59 -05:00
RESOLUCIÓN DE PRESIDENCIA N° 000133-2020-SINEACE/CDAH-P
San Isidro, 10 de Septiembre del 2020
Firmado digitalmente por BARRIOSVALDIVIA Carolina Melida FAU20551178294 hardMotivo: Soy el autor del documentoFecha: 10.09.2020 17:12:03 -05:00
“Decenio de la Igualdad de Oportunidades para mujeres y hombres” "Año de la Universalización de la Salud"
2
- “Guía para la Realización de Evaluaciones Intermedias de Planes, Programas o Proyectos en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- “Guía para el Diseño y Desarrollo de Investigaciones en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- “Guía para la Elaboración y Aplicación de Encuestas en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- “Guía para la Elaboración y Aplicación de Rúbricas en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- “Guía para la Elaboración y Aplicación de Grupo Focal en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- “Guía para el Diseño y Aplicación de Entrevistas en Profundidad en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
Que, con Memorándum N° 000432-2020-SINEACE/P-ST-OPP, la Oficina de Planificación y Presupuesto, con base en el Informe N° 000050-2020-SINEACE/P-ST-OPP-UM, de la Unidad de Modernización, manifiesta que las precitadas Guías han recibido los aportes y comentarios de las dependencias involucradas, por lo que brinda opinión favorable sobre la propuesta remitida por la Dirección;
Que, mediante Informe N° 000191-2020-SINEACE/P-ST-OAJ, la Oficina de Asesoría Jurídica concluye que la propuesta es acorde al ordenamiento jurídico, por lo que recomienda su aprobación;
Con el visto bueno de Secretaría Técnica, Dirección de Evaluación y Políticas, Oficina de Planificación y Presupuesto y Oficina de Asesoría Jurídica; de conformidad con lo dispuesto por la Ley N° 28740, Ley del Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa, la Ley N° 30220, Ley Universitaria; con las facultades otorgadas mediante la Resolución Ministerial N° 396-2014-MINEDU y modificatorias y la Resolución de Presidencia del Consejo Directivo Ad Hoc N° 038-2019-SINEACE/CDAH-P.
SE RESUELVE:
Artículo 1.- Aprobar los siguientes documentos, los mismos que en anexo forman
parte integrante de la presente resolución:
- G-DEP-001 “Guía para la Realización de Evaluaciones Intermedias de Planes, Programas o Proyectos en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- G-DEP-002 “Guía para el Diseño y Desarrollo de Investigaciones en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- G-DEP-003 “Guía para la Elaboración y Aplicación de Encuestas en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
Esta es una copia auténtica imprimible de un documento electrónico archivado por El Sistema Nacional deEvaluación Acreditación y Certificación de la Calidad Educativa, aplicando lo dispuesto por el Art. 25 de D.S. 070-2013-PCM y la Tercera Disposición Complementaria Final del D.S. 026- 2016-PCM. Su autenticidad e integridadpueden ser contrastadas a través de la siguiente dirección web: https://sgd.sineace.gob.pe/verifica/inicio.do eingresando el siguiente código de verificación: SXKYKUI
“Decenio de la Igualdad de Oportunidades para mujeres y hombres” "Año de la Universalización de la Salud"
3
- G-DEP-004 “Guía para la Elaboración y Aplicación de Rúbricas en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- G-DEP-005 “Guía para la Elaboración y Aplicación de Grupo Focal en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
- G-DEP-006 “Guía para el Diseño y Aplicación de Entrevistas en Profundidad en el Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa – Sineace”.
Artículo 2.- Disponer la publicación de la presente resolución y sus anexos en la Plataforma digital única del Estado peruano.
Regístrese, comuníquese y publíquese.
Documento firmado digitalmente CAROLINA BARRIOS VALDIVIA
PRESIDENTA DEL CONSEJO DIRECTIVO AD HOC Sineace
Esta es una copia auténtica imprimible de un documento electrónico archivado por El Sistema Nacional deEvaluación Acreditación y Certificación de la Calidad Educativa, aplicando lo dispuesto por el Art. 25 de D.S. 070-2013-PCM y la Tercera Disposición Complementaria Final del D.S. 026- 2016-PCM. Su autenticidad e integridadpueden ser contrastadas a través de la siguiente dirección web: https://sgd.sineace.gob.pe/verifica/inicio.do eingresando el siguiente código de verificación: SXKYKUI
Contenido
1. OBJETIVO ............................................................................................................................................................................ 6
2. ALCANCE ............................................................................................................................................................................ 6
3. PROCEDIMIENTOS ....................................................................................................................................................... 6
3.1 Elaboración de rúbricas ................................................................................................................................ 6
3.1.1 Definición de objetivos y dimensiones de evaluación....................................... 6
3.1.2 Determinación de tipos de rúbricas .................................................................................... 7
3.1.3 Diseño de rúbricas ................................................................................................................................ 8
3.1.4 Validación de rúbricas .................................................................................................................. 15
3.1.5 Aplicación de rúbricas ................................................................................................................... 16
3.1.6 Procesamiento y análisis de datos obtenidos mediante rúbricas ..... 16
GLOSARIO .............................................................................................................................................................................. 18
BIBLIOGRAFIA .................................................................................................................................................................... 20
ANEXO ........................................................................................................................................................................................ 23
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
6
GUÍA PARA LA ELABORACIÓN Y APLICACIÓN DE
RÚBRICAS
1. OBJETIVO
Establecer el conjunto de procedimientos que se realizan en la elaboración y
aplicación de rúbricas en el marco de las actividades y funciones del Sineace,
con la finalidad de estandarizar el mencionado proceso en la institución.
2. ALCANCE
La presente guía es de aplicación para todos los proyectos y actividades de
investigación y evaluación a los que sea aplicable, que se realizan en el
Sineace, incluyendo al personal de la institución y a especialistas o
consultores externos que trabajen rúbricas por encargo de la institución.
3. PROCEDIMIENTOS
3.1 Elaboración de rúbricas
La elaboración y uso de rúbricas abarca los procedimientos de definición de
objetivos y dimensiones de evaluación, diseño, validación, aplicación,
análisis y reporte de resultados de evaluación, que deberán realizarse
siguiendo las pautas señaladas a continuación:
3.1.1 Definición de objetivos y dimensiones de evaluación
La elaboración de este instrumento parte de una determinación clara de lo
que se busca evaluar con ella y de los aspectos o elementos que forman
parte de los logros, desempeños, competencias, estados o situaciones que
serán objeto de evaluación con este instrumento. Estos objetivos y
dimensiones de evaluación son formulados de manera explícita en un
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
7
documento técnico, luego de ser discutidos por quienes estén involucrados
en la elaboración de la rúbrica. En especial, se discute y sustenta si la
rúbrica es efectivamente la mejor herramienta para hacer una evaluación, o
si dicha evaluación se puede realizar por otros medios más eficaces. Este
proceso inicial, incluyendo los puntos de discusión, consensos o acuerdos, y
todo el proceso de construcción del instrumento, es documentado
mediante actas de reuniones, comunicaciones u otras formas de registro.
3.1.2 Determinación de tipos de rúbricas
Habiéndose llegado a acuerdos sobre los objetivos de evaluación y el uso
de la rúbrica, se establece el tipo de rúbrica que se desarrollará, buscando
que la elección se ajuste a los propósitos del proceso de evaluación.
Específicamente, en esta etapa se determina si se diseña una rúbrica
holística (global) o analítica.
Aunque la decisión final sobre el tipo de rúbrica queda a criterio del
responsable o el equipo a cargo de su elaboración, se recomienda trabajar
con rúbricas holísticas cuando se busque hacer una valoración integral de
la totalidad de determinados procesos, desempeños, logros o situaciones a
un nivel global o general. En cambio, el uso de rúbricas analíticas se
recomienda para los casos en que se pretenda evaluar aspectos
pormenorizados, específicos o concretos (por ejemplo, el desarrollo de una
determinada tarea, o el logro de un resultado que forma parte de un
esquema mayor). En cualquier caso, se debe argumentar o justificar el
porqué del uso de un tipo particular de rúbrica1. Los Cuadros 1 y 2 muestran
los esquemas básicos de las estructuras de rúbricas holísticas y analíticas:
1 Sobre los tipos de rúbricas, véase Capote & Sosa (2006), pp. 18-19; Martínez (2008), pp. 131-134; Mertler (2001).
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
8
Cuadro 1
Estructura básica de una rúbrica holística con cuatro niveles de evaluación - Ejemplo
Valoración Descripción
3 o Excelente La tarea/actividad se realiza a la perfección
2 o Bien La tarea/actividad se realiza bien o de manera aceptable
1 o Regular La tarea/actividad se realiza con algunos errores
0 o Mal La tarea/actividad no llega a realizarse en los niveles esperados
Cuadro 2 Estructura básica de una rúbrica analítica con cuatro niveles de evaluación - Ejemplo
Rúbrica para la evaluación de la actividad X Mal 0 Regular 1 Bien 2 Excelente 3 Puntaje
Aspecto 1
Descripción del desempeño insuficiente o insatisfactorio
Descripción del desempeño regular
Descripción del buen desempeño
Descripción del desempeño excelente
Aspecto 2
Descripción del desempeño insuficiente o insatisfactorio
Descripción del desempeño regular
Descripción del buen desempeño
Descripción del desempeño excelente
Aspecto 3
Descripción del desempeño insuficiente o insatisfactorio
Descripción del desempeño regular
Descripción del buen desempeño
Descripción del desempeño excelente
Aspecto 4 Descripción del desempeño insuficiente o insatisfactorio
Descripción del desempeño regular
Descripción del buen desempeño
Descripción del desempeño excelente
Adaptado de Mertler C., Designing Scoring Rubrics for Your Classroom. Practical
Assessment, Research & Evaluation, Practical Assessment, Research, 7(25)
3.1.3 Diseño de rúbricas
El diseño de rúbricas comprende los procedimientos de identificación de
elementos o aspectos a ser valorados, la definición de características que
describen los atributos que serán materia de valoración, la determinación y
definición de criterios de valoración, su ponderación y la construcción de
rúbricas. La información resultante de estos procesos para una
determinada rúbrica o para un conjunto de rúbricas queda consignada en
un documento técnico con los detalles de diseño, formas de aplicación,
validación y otras especificaciones necesarias para su adecuada
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
9
utilización. Las pautas señaladas a continuación deben ser tomadas en
cuenta en el diseño y uso de rúbricas en el contexto de las actividades y
funciones del Sineace:
3.1.3.1 Identificación de aspectos a ser valorados y sus atributos
Tomando en cuenta los objetivos de evaluación de una rúbrica, se
determina qué desempeños, estados o situaciones ideales se
espera alcanzar. La formulación de estas expectativas puede
surgir de un proceso reflexivo por parte de quienes se encuentran
a cargo de la elaboración de la rúbrica, pero puede apoyarse
también en modelos o estándares planteados con anterioridad, o
en la verificación de logros alcanzados en situaciones previas o
similares.
Para un determinado logro o situación ideal, o para cada uno de
ellos, se identifica qué aspectos o dimensiones serán objeto de
valoración; y luego, todos los posibles criterios, indicadores o
atributos observables vinculados con tales aspectos o
dimensiones (características, habilidades, conductas u otros
atributos). El Cuadro 3 presentado a continuación puede
tomarse como modelo para organizar las dimensiones de
evaluación y sus indicadores:
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
10
Cuadro 3 Organización de dimensiones e indicadores para la elaboración de rúbricas
Desempeño en la actividad X Dimensión 1 Indicador 1.1
Indicador 1.2 Indicador 1.3
Dimensión 2 Indicador 2.1 Indicador 2.2 Indicador 2.3
Dimensión 3 Indicador 3.1 Indicador 3.2 Indicador 3.3
Ejemplo: “Gestión de proyectos” (competencia) Nivel de dominio Indicadores Nivel 1: Diseñar un proyecto de trabajo sin llegar a su ejecución.
Justifica razonadamente la necesidad del proyecto. Establece unos objetivos claros del proyecto. Asigna el tiempo necesario para completar las acciones previstas. Planifica las acciones que hay que realizar para la consecución de los objetivos. Planifica la evaluación de la ejecución y los resultados del proyecto.
Nivel 2: Diseñar y planificar un proyecto en colaboración con los demás sobre un problema dado (sin ejecutarlo).
Describe el contexto del proyecto con pruebas y datos. Los objetivos del proyecto son coherentes con las necesidades o problemas planteados. Aprovecha los recursos disponibles. Organiza las tareas que hay que desarrollar para cubrir los objetivos. Planifica los mecanismos de implementación y control.
Nivel 3: Gestionar proyectos globalmente, desde el diseño a la ejecución, contemplando procesos de seguimiento, evaluación y proyección
El análisis del contexto le permite definir objetivos concretos como respuesta a retos innovadores que él mismo propone. Prioriza objetivos a medio y largo plazo, emprendiendo acciones correctivas si es necesario. Utiliza los recursos disponibles y busca los recursos necesarios para el desarrollo. Sabe planificar y coordinar flexiblemente las tareas de los miembros del equipo. Aplica procedimientos de seguimiento de la calidad y evaluación del proyecto.
Adaptado de Masmitjà J.A., et al. 2013. Rúbricas para la evaluación de competencias,
Barcelona. p. 42.
3.1.3.2 Ponderación de atributos a ser valorados mediante rúbricas
Los atributos o indicadores de los aspectos a ser evaluados se
toman como referencia para describir niveles de desempeño: del
más alto al más bajo nivel, con las gradaciones que se estimen
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
11
convenientes de acuerdo con las necesidades de evaluación.
Como resultado de este proceso se obtiene una escala de
valoración que puede contener tantos niveles como se requieran
dependiendo de la complejidad de los aspectos o indicadores, de
las necesidades de evaluación, de modelos previos o de otros
criterios que deben ser expuestos y justificados en la
documentación técnica de la elaboración de la rúbrica. Al
respecto, se recomienda emplear alrededor de cuatro a seis
niveles en rúbricas analíticas (como en el ejemplo del Cuadro 2),
y no más de 12 en rúbricas holísticas2. El Anexo 1 muestra,
además, como ejemplo, una rúbrica para la evaluación del
cumplimiento de estándares en instituciones educativas. En ese
esquema, que puede servir como modelo, la ponderación parte de
un nivel tomado como “satisfactorio”, y a partir de ahí se
determinan los demás niveles (cuatro en total: dos previos o
inferiores, y uno “avanzado”, referido a logros por encima del nivel
“satisfactorio”; ver el Anexo 1)3.
Si bien el trabajo con rúbricas admite la implementación de
formas de valoración que pueden ser solo descriptivas, se
recomienda asignar valores numéricos a los niveles de logro o
desempeño. El Cuadro 4 puede servir para establecer
equivalencias entre distintas escalas de valoración o puntuación:
Cuadro 4
2 Existen diversos métodos para realizar las operaciones señaladas en este procedimiento, según los tipos de
rúbricas, propósitos y contextos de uso. Al respecto, se recomienda consultar: Fraile et al. (2017b); Carrizosa &
Gallardo (2011); Martínez (2008); Masmitjà et al. (2013); y Mertler (2001) 3 Para mayores detalles sobre este método de desarrollo de rúbricas, véase Ministerio de Educación de Chile
(2014).
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
12
Equivalencias entre formas de evaluación - Ejemplo
Puntaje Gradación Nivel
8 A+ Excelente
7 A Excelente
6 B+ Bueno
5 B Bueno
4 C+ Regular
3 C Regular
2 U Insatisfactorio
1 U Insatisfactorio
0 U Insatisfactorio Adaptado de Mertler, C.A., 2001. Designing Scoring Rubrics for Your
Classroom. Practical Assessment, Research & Evaluation 7(25). p. 3.
3.1.3.3 Construcción de rúbricas
Habiéndose definido los aspectos a evaluarse, los indicadores o criterios
que serán valorados y los niveles de desempeño, se procede a elaborar
la rúbrica organizando su contenido en una matriz que contiene todos
estos elementos. Los Cuadros 5, 6 y 7 ofrecen algunos ejemplos y
alternativas de matrices para rúbricas holísticas y analíticas:
Cuadro 5 Rúbrica holística con puntajes y niveles de evaluación - Ejemplo
RÚBRICA PARA EVALUAR LA FLUIDEZ EN EL MANEJO DEL INGLÉS Puntos Nombre Descriptor
0 a 2
Básico / Nivel de inicio / Insuficiente
El estudiante tiene un vocabulario muy básico que le permite decir palabras y algunas breves frases en inglés, pero no puede construir un discurso con coherencia, consistencia, claridad y profundidad.
3 a 4
Básico-avanzado / Nivel básico / Deficiente
El estudiante tiene un vocabulario un poco más amplio que le permite construir frases con cierta coherencia y consistencia pero que no le permiten construir un discurso que sea lo suficientemente coherente, consistente, claro y profundo.
5 a 6
Intermedio / Nivel medio / Aceptable
El estudiante posee un vocabulario amplio que le permite construir frases completas y con sentido, y que le permite construir discursos breves y con sentido, pero con poca claridad y más bien superficial.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
13
Cuadro 5 Rúbrica holística con puntajes y niveles de evaluación - Ejemplo
7 a 8
Intermedio-avanzado
El estudiante posee un vocabulario amplio y suficiente que no sólo le permite construir frases completas y con sentido sino que pueden ser articuladas en párrafos y discursos con una cierta coherencia, sentido y con alguna claridad.
9 a 10
Avanzado / Nivel superior / Excelente
El estudiante posee un vocabulario amplio y suficiente que no sólo le permite construir frases completas y con sentido sino que pueden ser articuladas en párrafos y discursos un grado óptimo de coherencia, consistentes, con claridad y profundidad suficiente para transmitir un pensamiento propio o de algún autor o aspecto estudiado.
Adaptado de Martínez J., 2008. El uso de las rúbricas en la evaluación escolar: construcción y uso de rúbricas.
Avances en Medición, 6(1). P. 131.
Cuadro 6 Esquema de una rúbrica holística con múltiples dimensiones y aspectos de evaluación
TÍTULO Descripción de la tarea
% Criterios Comentarios Puntos Dimensión 1
Aspecto 1.1
Criterio de desempeño 1.1.1
Criterio de desempeño 1.1.2
Criterio de desempeño 1.1.3
Aspecto 1.2
Criterio de desempeño 1.2.1
Criterio de desempeño 1.2.2
Criterio de desempeño 1.2.3
Dimensión 2
Aspecto 2.1
Criterio de desempeño 2.1.1
Criterio de desempeño 2.1.1
Criterio de desempeño 2.1.3
Aspecto 2.2
Criterio de desempeño 2.2.1
Criterio de desempeño 2.2.2
Criterio de desempeño 2.2.3
Adaptado de López García, J. C. 2014. Cómo construir Rúbricas o Matrices de Valoración.
Eduteka website: http://eduteka.icesi.edu.co/articulos/MatrizValoracion
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
14
Cuadro 7 Rúbrica analítica con tres niveles de evaluación - Ejemplo
RÚBRICA PARA ELABORAR RÚBRICAS
Criterio 1
Insuficiente/ Insatisfactorio
2 Aceptable
3 Destacado
Diseño
Selección y claridad en los criterios (filas)
Los criterios que se evalúan no son claros, se superponen de manera significativa, o no atienden los estándares educativos establecidos para la asignatura que se trabaja, y apropiados para valorar el producto o tarea propuesto
Los criterios que se evalúan se pueden identificar, pero no todos están claramente diferenciados o no atienden los estándares de la asignatura, apropiados para valorar el producto o tarea
Todos los criterios son claros, diferenciados y atienden adecuadamente los estándares educativos establecidos para la asignatura que se trabaja y apropiados para valorar el producto o tarea propuesto
Distinción entre niveles (columnas)
Se puede hacer poca o ninguna diferenciación entre los distintos niveles de logro.
La diferenciación entre los distintos niveles de logro es clara, pero puede quedarse corta o dar saltos muy grandes entre uno y otro nivel.
Cada nivel está claramente diferenciado y el progreso entre uno y otro se hace en un orden claro y lógico.
Calidad de la redacción
La redacción es no es comprensible para todos los usuarios de la rúbrica, incluidos los estudiantes. Utiliza un lenguaje vago y poco claro, que dificulta que los distintos usuarios de esta se pongan de acuerdo sobre los puntajes.
La redacción es en su mayoría comprensible para todos los usuarios de la rúbrica, incluidos los estudiantes. Algunos usos del lenguaje pueden causar confusión entre los diferentes usuarios.
La redacción es comprensible para todos los usuarios, incluyendo los estudiantes. Utiliza un lenguaje claro y específico que ayuda a los diferentes usuarios a ponerse de acuerdo sobre el puntaje.
Participación de los estudiantes en
Los estudiantes no participan en el desarrollo de la
Los estudiantes participan en la redacción y el diseño
Docentes y estudiantes construyen en
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
15
Cuadro 7 Rúbrica analítica con tres niveles de evaluación - Ejemplo
Uso
el desarrollo de la rúbrica4
rúbrica. y ofrecen aportes y retroalimentación.
conjunto la rúbrica, utilizando algunos ejemplos del producto o tarea.
Uso de la rúbrica para comunicar las expectativas y guiar a los estudiantes
La rúbrica no se comparte con los estudiantes.
La rúbrica se comparte con los estudiantes cuando el producto o tarea se ha completado. Sólo se usa para evaluar el trabajo del estudiante.
La rúbrica sirve desde el inicio como eje principal de referencia para elaborar el producto o realizar la tarea. Sirve para retroalimentación y guía, y para evaluar el trabajo del estudiante.
Adaptado de Mullinix, B. B., 2013. Rúbrica para elaborar rúbricas. Eduteka website:
http://eduteka.icesi.edu.co/articulos/rubrica2
3.1.4 Validación de rúbricas
Las rúbricas elaboradas según los procedimientos indicados en los puntos
previos de esta guía son validadas antes de su aplicación. El método de
validación es determinado por los responsables de su diseño, de acuerdo a
las necesidades de evaluación, los contextos de uso y los recursos
disponibles. Como estándar mínimo se aplica la validación mediante un
panel de expertos (método Delphi u otro similar), que integra a especialistas
en el campo específico en el que se tiene previsto utilizar la rúbrica. En esta
etapa, se considera especialmente la validación mediante la aplicación
piloto por múltiples evaluadores, para determinar las medias y los valores
extremos, sopesar los sesgos derivados de la aplicación y realizar los
ajustes que se requieran antes de implementar procesos de evaluación con
esta herramienta. Cuando su uso forme parte de planes o programas de
evaluación que establecen la realización de pruebas piloto y parámetros
precisos o mínimos de validez y confiabilidad de instrumentos, se aplican
las técnicas de análisis estadísticos pertinentes para determinar dichos
4 Considerado opcional por algunos educadores y un componente crítico por otros
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
16
parámetros (análisis factorial, alfa de Cronbach, medidas de estabilidad,
análisis de correspondencia múltiple u otras que se requieran). Los
resultados de las actividades de validación se integran a la documentación
técnica de las rúbricas, y se toman en cuenta también en el diseño de
planes de entrenamiento de los evaluadores que las emplearán.
3.1.5 Aplicación de rúbricas
La aplicación de rúbricas implica, como paso previo y muy relevante, la
capacitación de los evaluadores en sus objetivos, contenidos y uso. Dicha
capacitación incluye la revisión sistemática de los detalles técnicos de las
rúbricas, además de ejercicios prácticos de aplicación en donde los
evaluadores demuestren la consistencia necesaria en el manejo de las
rúbricas.
En el contexto de las actividades y funciones del Sineace, las rúbricas se
comparten y hacen públicas antes de su aplicación, siempre que no exista
una justificación técnicamente sustentada para no hacerlo. La aplicación
de rúbricas se realiza tomando en cuenta las pautas generales para el
entrenamiento de personal a cargo de la recolección de información, y para
el uso de instrumentos de recolección de datos, señalados en los
procedimientos 3.3.3.3 y 3.3.3.4, respectivamente, de la Guía para el diseño y
desarrollo de investigaciones en Sineace.
Toda rúbrica debe ser aplicada por dos evaluadores de forma
independiente. En caso que los evaluadores difieran mucho en sus
resultados, deberá recurrirse a una tercera instancia que aplique
nuevamente la rúbrica y logre un juicio definitivo. En caso que los
evaluadores no difieran mucho en sus resultados, entonces debe quedar
previamente establecido el modo en que se obtendrá el resultado definitivo.
3.1.6 Procesamiento y análisis de datos obtenidos mediante rúbricas
El procesamiento de datos obtenidos mediante rúbricas implica la
codificación de los criterios de evaluación (incluyendo la recodificación con
valores numéricos para criterios descriptivos de valoración), la construcción
de matrices de datos y el ingreso de datos a hojas de cálculo para su
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
17
posterior análisis. Los procedimientos y técnicas de análisis que se empleen
dependen de los usos que se pretenda dar a los resultados y de las
necesidades de evaluación. En general, tanto en el procesamiento como en
el análisis de los datos se tiene en cuenta las pautas generales de
preparación y análisis de datos cuantitativos señaladas en los
procedimientos 3.3.3.6 y 3.3.4 de la Guía para el diseño y desarrollo de
investigaciones en Sineace.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
18
GLOSARIO
Para efectos de la presente guía, se hace uso de los siguientes términos:
Competencia: Conjunto de habilidades y aspectos de la personalidad,
conocimientos y comportamientos, que en un contexto determinado permiten,
tanto resolver una situación en particular como lograr un desempeño exitoso
frente una tarea o función en un puesto de trabajo5.
Confiabilidad/fiabilidad: Grado en que la aplicación repetida de un instrumento de
investigación a un mismo individuo u objeto produce resultados iguales,
consistentes y coherentes6.
Desempeño: El desempeño es un término de tarea, por lo cual se diferencia del
rendimiento (logro), sin ser dos cosas distintas, ya que el rendimiento es un
producto del primero, siendo dos fases de un continuo desempeño-rendimiento7. El
desempeño competente se define por logros (como resultados, productos o
acciones) y por las diferentes actividades que permiten satisfacerlos, como
disposición a nuevos logros, o de desempeños ya existentes realizados ahora en
nuevas circunstancias8.
Evaluación: Proceso aplicado de obtención de evidencias que sirven para la
valoración de estados o cualidades de una persona, política, plan, programa,
proyecto o producto.
Indicador: Medida verificable de un cambio en determinado atributo o
característica de una variable.
Investigación educativa: La aplicación sistemática de enfoques, métodos y
técnicas de investigación para la generación de conocimientos sobre los procesos
5 Charria et al (2011, pp. 155-156), citan a Bogoya, 2000; Collazos & García, 1999; Levy-Leboyer, 2002; Medina &
Domínguez, 2006; MEN, 2000; Sternberg, 2000; Tejada, 2005. Asimismo, señalan que Echeverría (2002), Cejas
(2003), a propósito de dicho concepto, indican que las competencias tienen un componente cognoscitivo
(saber), comportamental (saber hacer), relacional (saber ser) y actitudinal (saber estar) 6 Hernández-Sampieri et al. (2014), p. 200. 7 Adaptado de Varela (2011). En: Jiménez, Irigoyen y Acuña (2011), Capítulo 4: Conceptos y Criterios para la
Evaluación de Desempeño Académico, pp. 56-57.
8 Señalado por Ribes, 2011; Moreno y Martínez, 2007 según se cita en Jiménez, Irigoyen y Acuña (2011), Capítulo
10, Aprendizaje de Contenidos Científicos y su Evaluación, p. 165.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
19
educativos en sus diversos aspectos y niveles: procesos de enseñanza-
aprendizaje, actores, recursos, programas, organización, contextos y políticas.
Investigación: Conjunto de procesos sistemáticos, críticos y empíricos que se
aplican al estudio de un fenómeno o problema9.
Logro (o rendimiento): Concepto que hace referencia a efecto (logro), por tanto,
alude a una producción o utilidad que rinde o da alguien o algo. Una acepción
derivada se refiere a la proporción entre el producto y los medios utilizados. De
manera general se le equipara con las calificaciones que se obtienen, se incluyan o
no los procedimientos desarrollados y la forma en que se obtienen dichas
calificaciones10.
Rúbrica: Instrumento de evaluación de tareas, desempeños o situaciones, que
contiene criterios de valoración, descripciones para distintos niveles de
evaluación y una estrategia de calificación.
Técnica de investigación: Procedimiento estandarizado que comprende la
aplicación de instrumentos o medios para obtener los datos que permiten
responder a una pregunta de investigación.
Validez: Grado en que un instrumento de investigación mide realmente la variable
que pretende medir11.
Variable: Característica o atributo de personas, fenómenos, objetos o hechos, que
puede cambiar y que es susceptible de ser observado y medido.
9 Hernández-Sampieri et al. (2014), p. 4. 10 Valera (2011). En Jiménez, Irigoyen y Acuña (2011), Capítulo 4, pp. 56-57. 11 Loc cit.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
20
BIBLIOGRAFIA
Cano, E. (s.f.). Las rúbricas como instrumento de evaluación de competencias en
educación superior: ¿uso o abuso? Profesorado. Revista de Currículum y
Formación de Profesorado, 19(2), 265-280.
Capote, S., & Sosa, A. (2006). Evaluación: Rúbrica y listas de control. Obtenido de
https://bernarditapenroz.files.wordpress.com/2010/11/evaluacin1.pdf
Carrizosa , E., & Gallardo, J. (2011). Rúbricas para la orientación y la evaluación en
entornos virtuales de aprendizaje. En Las TIC al servicio de la docencia del
Derecho en el marco del EEES (págs. 273-283). Barcelona: Huygens.
Charria, V., Sarsosa, K., Uribe, A., & López, C. (julio-diciembre de 2011). Definición y
clasificación teórica de las competencias académicas, profesionales y
laborales. Las competencias del psicólogo en Colombia. Psicología desde el
Caribe(28), 133-165.
Cohen, L., Manion, L., & Morrison, K. (2018). Research methods in education.
London: Routledge.
Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design,
research and practice. Assessment & Evaluation in Higher Education, 42(3),
347-360.
Dickinson, P., & Adams, J. (2017). Values in evaluation – The use of rubrics.
Evaluation and Program Planning, 65, 113-116.
Fraile, J., Pardo, R., & Panadero, E. (2017b). ¿Cómo emplear las rúbricas para
implementar una verdadera evaluación formativa? Revista Complutense de
Educación, 28(4), 1321-1334.
Gatica-Lara, F., & Uribarren-Berrueta, T. (2013). ¿Cómo elaborar una rúbrica?
Investigación. Educación Médica, 2(5), 61-65.
Goodrich, H. (1997). Understanding rubrics. Educational Leadership, 54(4), 14-17.
Hernández Sampieri , R., & Fernández, C. (2014). Metodología de la investigación.
México, D.F: McGraw-Hill Education.
Jiménez, Irigoyen, J., & K., A. (2011). Aprendizaje de Contenidos Científicos y su
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
21
Evaluación. En J. Irigoyen, K. Acuña, & Jiménez, Evaluación de Desempeños
Académicos. Universidad de Sonora. Seminario Interactum de Análisis del
Comportamiento.
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity
and educational consequences. Educational Research Review, 2(2), 130-
144.
King, J., McKegg, K., Oakden, J., & Wehipeihana, N. (2013). Evaluative rubrics: A
method for surfacing values and improving the credibility of evaluation.
Journal of MultiDisciplinary Evaluation, 9(21), 11-20.
Lodico, M., Spaulding, D., & Voegtle, K. (2006). Methods in educational research:
From theory to practice. San Francisco: Jossey-Bass Publishers.
López, J. (2014). Cómo construir Rúbricas o Matrices de Valoración. Obtenido de
Eduteka website: http://eduteka.icesi.edu.co/articulos/MatrizValoracion
Martínez, J. (2008). El uso de las rúbricas en la evaluación escolar: construcción y
uso de rúbricas. Avances en Medición, 6(1), 129-138.
Masmitjà, J., Irurita, A., & Trenchs, M. (2013). Rúbricas para la evaluación de
competencias. Barcelona: Octaedro.
Mertler, C. (2001). Designing Scoring Rubrics for Your Classroom. Practical
Assessment. Research & Evaluation, 7(25).
Ministerio de Educación de Chile. (2014). Estándares indicativos de desempeño
para los establecimientos educacionales y sus sostenedores. Santiago de
Chile: Ministerio de Educación.
Mullinix, B. (2013). Rúbrica para elaborar rúbricas. Obtenido de Eduteka website:
http://eduteka.icesi.edu.co/articulos/rubrica2
Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative
assessment purposes revisited: A review. Educational Research Review, 9,
129-144.
Popham, W. (1997). What’s wrong--and what’s right--with rubrics. Educational
Leadership, 55(2), 72-75.
Varela, J. (2011). Conceptos y criterios para la Evaluación del Desempeño
académico. En J. Irigoyen, K. Acuña, & Jiménez, Evaluación de Desempeños
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
22
Académicos. Universidad de Sonora. Seminario Interactum de Análisis del
Comportamiento.
Wollenschläger, M., Hattie, J., Machts, N., & Möller. (2016). What makes rubrics
effective in teacher-feedback? Transparency of learning goals is not
enough. Contemporary Educational Psychology, 44-45.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
23
ANEXO
ANEXO 1
MODELO DE RÚBRICA PARA LA EVALUACIÓN DEL CUMPLIMIENTO DE ESTÁNDARES
ESTÁNDAR 4.7 El director y el equipo técnico-pedagógico promueven entre los docentes el aprendizaje colaborativo y el intercambio de los recursos educativos generados.
Desarrollo débil Desarrollo incipiente Desarrollo satisfactorio Desarrollo avanzado
Medios de diagnóstico Para evaluar el estándar se podrá considerar:
Actas de reuniones de profesores
Inspección visual de banco de recursos educativos
Entrevista o encuesta al director y equipo directivo
Cumple de forma insuficiente los criterios del nivel de desarrollo satisfactorio, pues presenta uno o más de los siguientes problemas:
Cumple parcialmente los criterios del nivel de desarrollo satisfactorio, pues presenta uno o más de los siguientes problemas:
Cumple todos los criterios del nivel de desarrollo satisfactorio.
Cumple todos los criterios del nivel de desarrollo satisfactorio y además presenta una o más de las siguientes situaciones:
El director y equipo técnico-pedagógico limitan las reuniones formales a tratar asuntos administrativos, o bien la mayoría de los docentes se muestran pasivos o reticentes ante la discusión de temas educativos.
El director y el equipo técnico-pedagógico ocasionalmente logran que las reuniones de profesores sean instancias de aprendizaje y discusión técnica entre pares, o bien solo logran que algunos docentes participen activamente.
El director y el equipo técnico- pedagógico logran que las reuniones de profesores sean instancias de aprendizaje y discusión técnica entre pares, en las cuales la mayoría de los docentes comparten los desafíos pedagógicos que enfrentan, sus
El director y el equipo técnico-pedagógico logran que grupos de docentes organicen reuniones de estudio e investigación en torno a temas específicos.
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
24
ESTÁNDAR 4.7 El director y el equipo técnico-pedagógico promueven entre los docentes el aprendizaje colaborativo y el intercambio de los recursos educativos generados.
Desarrollo débil Desarrollo incipiente Desarrollo satisfactorio Desarrollo avanzado Entrevista o encuesta al equipo técnico-pedagógico
Entrevista, encuesta o grupo focal con docentes
experiencias, conocimientos y prácticas.
El director, el equipo técnico-pedagógico y los docentes no comparten lecturas y otros materiales de estudio acordes con los vacíos que presentan, ni estudian para resolver sus dudas profesionales.
El director, el equipo técnico-pedagógico y los docentes esporádicamente comparten lecturas y otros materiales de estudio acordes con los vacíos que presentan y ocasionalmente investigan para resolver sus dudas profesionales, o bien solo unos pocosrealizan estas prácticas.
El director, el equipo técnico-pedagógico y los docentes comparten lecturas y otros materiales de estudio acordes con los vacíos que presentan e investigan para resolver sus dudas profesionales y ampliar sus conocimientos.
El director y el equipo técnico-pedagógico organizan sesiones de discusión sobre temas educativos con la participación de invitados expertos.
El director y el equipo técnico-pedagógico promueven el intercambio de temas educativos, el comentario de artículos y la discusión de propuestas para abordar dificultades pedagógicas en las conversaciones cotidianas con los docentes.
El director y el equipo técnico- pedagógico no gestionan ni promueven el intercambio,
El director y el equipo técnico-pedagógico solo gestionan y promueven el intercambio,
El director y el equipo técnico- pedagógico gestionan y promueven el intercambio,
El establecimiento cuenta con un sistema centralizado que reúne la mayoría de los recursos educativos desarrollados
Sistema Nacional de Evaluación, Acreditación y Certificación de la Calidad Educativa
25
ESTÁNDAR 4.7 El director y el equipo técnico-pedagógico promueven entre los docentes el aprendizaje colaborativo y el intercambio de los recursos educativos generados.
Desarrollo débil Desarrollo incipiente Desarrollo satisfactorio Desarrollo avanzado reutilización, adaptación y mejora de los recursos educativos desarrollados por los docentes.
reutilización, adaptación y mejora de algunos recursos educativos, por ejemplo, los de ciertas asignaturas, los desarrollados por algunos docentes, o solo las pruebas finales.
reutilización, adaptación y mejora de los recursos educativos desarrollados por los docentes, tales como guías, presentaciones audiovisuales, pruebas, entre otros.
por los docentes, con el fin de facilitar su intercambio y uso.
Niveles de desarrollo Nota: El primer paso en el uso de esta rúbrica es la lectura de la columna sombreada, para su contrastación con la situación que se busca evaluar.
Extraído de Ministerio de Educación de Chile, 2014. Estándares indicativos de desempeño para los establecimientos educacionales
y sus sostenedores, Santiago de Chile. P. 35.