Revisión de la OCDE de marcos y políticas de evaluación educativa para mejorar los resultados del aprendizaje

Como puede la evaluación favorecer el aprendizaje de los alumnos? Como sabemos si los alumnos están aprendiendo?

Paulo SantiagoDirección de la Educación y de las Competencias, OCDE

Reunión Regional de los Puntos Focales de Educación de la UNICEF en ALCAPRENDIZAGE, EQUIDAD e INOVACIÓN9-12 de Junio 2004 en la Ciudad de Panamá, Panamá

1. Características principales de la Revisión

2. Temas clave3. Recomendaciones más específicas4. Evaluación de alumnos: una mirada

más detallada

Esquema de la presentación

1. Características principales de la Revisión

Revisión de la OCDE de marcos y políticas de evaluación educativa para mejorar los resultados del aprendizaje

• Propósito: Explorar cómo los sistemas de evaluación pueden utilizarse para mejorar la calidad, equidad y eficiencia de la educación.

• Foco: Una revisión de los enfoques nacionales de evaluación de la educación (primaria y secundaria)

• Enfoque integral: La revisión analiza los diferentes componentes de la evaluación, tales como:– Evaluación de alumnos; – Evaluación de docentes; – Evaluación de centros educativos; – Evaluación de directores;– Evaluación del sistema educativo.

Investigación de cada componente individual, así como la coherencia del marco de evaluación en su conjunto (incluyendo los vínculos entre los diferentes componentes).

Revisión de la OCDE de marcos y políticas de evaluación: Metodología

Cadena de análisis– Revisión de la literatura y la evidencia sobre el impacto de los procedimientos de evaluación– Recopilación de datos sobre las políticas y prácticas de los países

Cadena de revisión por país– Las revisiones por países proporcionan consejos específicos para cada caso– Equipo de revisión dirigido por la OCDE

Informe de síntesis– Informe comparativo que analiza las opciones de política y destaca las buenas prácticas

entre los países

Una amplia gama de grupos involucrados– Coordinadores nacionales y grupos informales dentro de los países para producir los informes de

antecedentes de cada país– Participaron 30 revisores externos en los equipos dirigidos por la OCDE – Cerca de 90 centros educativos visitados y más de 2.800 personas entrevistadas– Vínculos con otras organizaciones internacionales y grupos de interesados clave (BIAC, TUAC, EC,

Eurydice, Banco Mundial, SICI, UNESCO)– Colaboración con otras unidades de la OCDE (PISA, TALIS, los proyectos del CERI, Indicadores de

la Educación)

Revisión de la OCDE de marcos y políticas de evaluación: Participación

• 29 sistemas proporcionaron datos detallados sobre sus prácticas de evaluación (Estonia, Israel y España, además de los países que aparecen más abajo)

• 26 sistemas prepararon un exhaustivo informe de antecedentes por país

• 14 sistemas (en verde) optaron por una revisión por país

Australia, Austria, Bélgica (Comunidad Flamenca), Bélgica (Comunidad Francesa), Canadá, Chile, República Checa, Dinamarca, Finlandia, Francia, Hungría, Islandia, Irlanda, Italia, Corea, Luxemburgo, México, Holanda, Nueva Zelanda, Noruega, Polonia, Portugal, Eslovaquia, Eslovenia, Suecia y Reino Unido (Irlanda del Norte).

2. Temas clave

Problema:Muchos países no tienen un marco integrado de evaluación, sino una serie de componentes que

operan en distintos niveles y que se desarrollaron de forma independiente a lo largo del tiempo

Potencial de generar complementariedades, evitando la duplicación y previniendo la inconsistencia de objetivos

Desafíos y opciones:

– Conformar un marco de evaluación – elaborar un documento de estrategia en el que se conceptualice un marco de evaluación coherente

– Aclarar las responsabilidades a través del marco– Establecer articulaciones dentro del marco de evaluación

• Dentro de los componentes específicos del marco general de evaluaciónpor ejemplo, evaluación y desarrollo profesional docente, autoevaluación y evaluación externa de los centros educativos

• Entre los componentes específicos del marco general de evaluaciónpor ejemplo, evaluación y desarrollo del centro educativo; evaluación de docentes y de alumnos; evaluación del centro educativo y del sistema; evaluación del centro educativo y de los directores; evaluación del centro educativo y de los alumnos

• Procesos para asegurar la coherencia de los procedimientos de evaluaciónpor ejemplo, procesos de revisión para la evaluación docente y la evaluación basada en el docente.

1 – Fomento de las sinergias dentro del marco de evaluación

2 – Alinear la evaluación con los objetivos de aprendizaje de los alumnos

Problema:Un aspecto clave es la alineación del marco de evaluación con las metas educativas y los objetivos de aprendizaje de los alumnos

Desafíos:– Si los sistemas están mal alineados es imposible sacar conclusiones válidas de los resultados de

las evaluaciones

– La desalineación puede tener consecuencias sobre la enseñanza y el aprendizaje– Ningún sistema puede lograr la alineación perfecta – los sistemas educativos son complejos

Opciones:– Los procedimientos de evaluación se deben alinear con los principios centrales de los objetivos

de aprendizaje de los alumnos (por ejemplo, aprendizaje centrado en el alumno, trabajo colaborativo)

– Los procedimientos de evaluación requieren una alineación directa con los objetivos de aprendizaje de los alumnos (por ejemplo, aptos para las evaluaciones de propósitos)

– Los docentes deben tener una comprensión clara de los objetivos de aprendizaje de los estudiantes (por ejemplo, una articulación clara de los objetivos; criterios y directrices para la evaluación; la capacidad docente, la colaboración entre los maestros)

– Es esencial evaluar el impacto de la evaluación en la calidad de la enseñanza y el aprendizaje (por ejemplo, efectos no deseados)

Problema:A menudo las estructuras, los programas y los recursos se centran más en un enfoque de arriba hacia abajo y menos en la reflexión sobre la construcción de canales que fomenten la mejora en el aula

Desafíos:– La evaluación no tiene valor si no conduce a la mejora de la práctica en el aula y del aprendizaje

de los alumnos

– La función de mejora se logra más a nivel local – es difícil para la política llegar al aula

– Riesgo de que los procedimientos de evaluación no pongan el foco en la enseñanza y el aprendizaje

Opciones:– Diseñar el marco de evaluación de forma que facilite su impacto en las prácticas de aula, el rol

de las estructuras locales– Promover el uso habitual de los resultados de las evaluaciones para mejoras en el aula –

énfasis en la función de mejora– Asegurar que la evaluación de la calidad de la enseñanza y el aprendizaje es fundamental para

los procesos de evaluación– Fomentar el profesionalismo docente – los docentes como los actores centrales que vinculan la

evaluación al aula

3 – Poner el foco en la mejora de las prácticas de aula y fomentar la profesionalización docente

Problema:Importancia creciente de la rendición de cuentas como un objetivo de la evaluación (informes públicos de los resultados escolares, recompensas y sanciones sobre la base de los resultados de la evaluación): creación de incentivos para mejorar el rendimiento - oportunidad de reconocimiento y recompensas, e información para los padres y la sociedad.

Desafíos:– Posibles efectos negativos (por ejemplo, “enseñar para la prueba”, “estrechamiento del

currículo”)– La función de rendición de cuentas no debe obstaculizar la función de mejora– Transmite un concepto de evaluación de "control", "cumplimiento", "medida"– Esto podría limitar la apropiación de la evaluación por parte de los actores de los centros

Opciones:– Comunicar los propósitos de la evaluación– Construir una gama de componentes de evaluación para lograr una variedad de funciones– Publicar datos cuantitativos que serán percibidos como justos por las escuelas y establecer un

conjunto más amplio de evidencias– Evitar darle excesiva importancia a los exámenes estandarizados del estudiante como un

instrumento de rendición de cuentas– Cautela con las recompensas basadas en el desempeño (por ejemplo, la promoción en la

carrera en lugar de bonos)

4 – Concebir de manera eficaz la función de rendición de cuentas de la evaluación

Problema:Un principio deseable en el diseño del marco de evaluación es colocar al estudiante en el centro, ya que el propósito fundamental de la evaluación es mejorar los aprendizajes de los alumnos

Desafíos:– Enseñanza, aprendizaje y evaluación aún pueden tener lugar en un ambiente un tanto

"tradicional" con un papel más pasivo de los estudiantes en su aprendizaje– Escasa atención a la motivación de los estudiantes y el desarrollo de habilidades para "aprender

a aprender"– La recolección de las visiones y perspectivas de los padres y alumnos no es una práctica general

Opciones:– Enfoques de enseñanza, aprendizaje y evaluación que se centran en el aprendizaje real de los

estudiantes– Evaluación enfocada en mejorar los resultados de aprendizajes de los alumnos– Estudiantes que participen plenamente en el aprendizaje (que contribuyan a la planificación, la

comunicación de las expectativas de aprendizaje, la evaluación de su aprendizaje, beneficiándose de un apoyo individualizado y el aprendizaje diferenciado)

– Utilizar la retroalimentación proveniente de los estudiantes para la evaluación formativa de los docentes

– Participación de los padres y la comunidad (el aprendizaje como una responsabilidad compartida)

– Reducción de la repetición en algunos países

5 – Colocar al estudiante en el centro

6 – Yendo más allá de la medición en la evaluación educativa

Problema:Creciente énfasis en la medición de los resultados de los alumnos; la proliferación de los

indicadores educativos y el establecimiento de objetivos educativos Proporciona potencial para colocar los resultados del estudiante como el centro del análisis; el

monitoreo de los resultados de aprendizajes clave de los estudiantes; compartir responsabilidades con los interesados

Desafíos:– Garantizar la amplitud de las medidas de desempeño– Asegurar comparaciones justas y con sentido– Evitar los efectos negativos de los usos para la rendición de cuentas– Prevenir el predominio de lo cuantitativo sobre lo cualitativo

Opciones:– Asegurar que la elaboración de políticas se base en evaluaciones de alta calidad, pero no que

dependa únicamente de su disponibilidad– Otorgar un rol importante al análisis y la investigación cualitativas– Asegurar un enfoque amplio de monitoreo nacional– Claridad de los fines del uso de los resultados de las pruebas estandarizadas

Problema:Las políticas de evaluación a menudo son implementadas sin la debida atención a la capacidad de

desarrolloEl desarrollo de capacidades ofrece un potencial para reforzar la eficacia de los procedimientos de

evaluación, involucrar a los estudiantes como aprendices activos y fortalecer la profesionalización docente

Desafío:Legitimación de los evaluadores y los procedimientos de rendición de cuentas; habilidades para

beneficiarse de la evaluaciónEjemplos de áreas para desarrollar capacidades: desarrollo de pruebas estandarizadas; evaluación

formativa; evaluación con respecto a estándares; sistemas que ejecutan pruebas externas al estudiante; capacidad de análisis en los organismos de educación para utilizar la información a nivel del sistema; habilidades de manejo de datos de los actores; evaluadores formales de los actores de la escuela; competencias para la observación del trabajo en el aula.

Opciones:– Sostener esfuerzos para mejorar la capacidad de evaluar de los docentes y los alumnos– Fortalecer la capacidad de los directores para el desarrollo de los centros y del liderazgo de

enseñanza– Asegurar el apoyo de las autoridades educativas y la identificación de las mejores prácticas– Necesidad de una importante capacidad a nivel nacional para dirigir la evaluación y para

promover el uso de los resultados para mejorar

7 - Promover la capacidad de evaluación

Problema:Pasar del diseño a la implementación exitosa

Desafíos:– La implementación de las políticas de evaluación es compleja, implica a una gran cantidad

de actores con diferentes intereses, y requiere debates informados y capacitación– Una variedad de factores pueden dificultar la implementación: falta de consenso; falta de

cultura de evaluación; información y guía insuficientes; limitada participación de los profesionales; competencias inadecuadas; falta de recursos; mal liderazgo.

Opciones:– Política de evaluación basada en un diagnóstico de política informado, elaborado con las

mejores prácticas, respaldadas por la evidencia científica y consistente (intrínsecamente y con otras políticas educativas)

– Construir el consenso y la participación de profesionales de la educación

– Utilizar pruebas y experiencias piloto; oportunidades para la retroalimentación a partir de las experiencias de aplicación de las políticas

– Desarrollar conocimientos y capacidad; reducir las excesivas demandas burocráticas; garantizar los recursos necesarios

8 – Implementar la política de evaluación de forma exitosa

3. Recomendaciones más específicas

Evaluación del sistema educativo: Opciones de política (1)

Gobernanza: ser sistemático y estratégico para diseñar políticas mejor informadas

• Garantizar una amplia concepción de la evaluación del sistema educativo en el marco de evaluación

• Asegurar que el diseño de políticas se realice a partir de mediciones de alta calidad, pero no que dependa de su disponibilidad

• Situar la evaluación del sistema educativo en el contexto amplio de los requerimientos para el desempeño del sector público

Procedimientos: desarrollar un enfoque para aprender a partir de una amplia base de evidencia

• Desarrollar un marco nacional de indicadores• Diseñar una estrategia nacional para monitorear los estándares de aprendizaje de los

alumnos• Asegurar el relevamiento de: información cualitativa; información contextual para monitorear

la equidad• Garantizar el monitoreo de los cambios a lo largo del tiempo y el progreso de cohortes

particulares de estudiantes

Evaluación del sistema educativo: Opciones de política (2)

Capacidad: asegurar la continuidad y la credibilidad• Establecer y asegurar la capacidad para la evaluación del sistema educativo• Promover el desarrollo de la capacidad de evaluación en el nivel local de autoridad• Asegurar objetividad y credibilidad en las actividades de evaluación del sistema

Uso de resultados: Fortalecer el análisis para la mejora el sistema• Fortalecer el análisis de los resultados de la evaluación del sistema para planificar y

desarrollar políticas• Comunicar resultados clave a los actores involucrados• Garantizar la retroalimentación para el monitoreo local

Evaluación de centros educativos: Opciones de política (1)

Gobernanza: Basar todas las opciones en procedimientos, capacidad y uso de resultados• Clarificar el rol y el propósito de la evaluación de centros• Focalizar en la mejora de la enseñanza, el aprendizaje y los resultados de los

estudiantes• Evaluar y adaptar las evaluaciones externas para reflejar la madurez de la cultura de

evaluación de centros• Elevar el perfil de la autoevaluación de centros

Procedimientos: Modos de minimizar la carga y maximizar la justicia• Desarrollar criterios nacionales acordados sobre calidad escolar para guiar la

evaluación de centros• Desarrollar recursos apropiados para autoevaluación • Asegurar la transparencia en los procedimientos evaluación externa y una fuerte

base de evidencia

Evaluación de centros educativos: Opciones de política (2)

Capacidad: una prioridad para la mejora escolar• Asegurar la credibilidad de los evaluadores externos y suficiente capacidad y

actualización. • Fortalecer a los directores de centros en su capacidad de estimular una cultura

efectiva de autoevaluación• Promover el compromiso de todo el personal y el alumnado en la autoevaluación• Promover evaluación entre pares

Uso de resultados: Aprender qué mejorar y dónde intervenir• Promover un amplio uso de los resultados de las evaluaciones externas y asegurar un

seguimiento sistemático• Optimizar la retroalimentación para la autoevaluación y la planificación del desarrollo • Reportar un amplio conjunto de mediciones de desempeño escolar con información

contextual adecuada

Evaluación de docentes: Opciones de política (1)

Gobernanza: Establecer un marco coherente para la evaluación de docentes

– Consolidar la evaluación regular para el desarrollo a nivel de centros educativos– Establecer evaluaciones periódicas para avanzar en la carrera docente, involucrando

evaluadores externos– Resolver tensiones entre la función de desarrollo y la de rendición de cuentas

Procedimientos: Asegurar un enfoque exhaustivo de la evaluación docente

– Establecer estándares docentes para guiar su evaluación– Usar múltiples instrumentos y fuentes de evidencia– Proveer apoyo para observaciones en aula eficaces– Evitar el uso simplista de los resultados de las evaluaciones de estudiantes para la

evaluación docente

Evaluación de docentes: Opciones de política(2)

Capacidad: Construir capacidad para evaluadores y evaluados

– Preparar a los docentes para su rol en el proceso de evaluación– Fortalecer la capacidad de los directores de centros educativos para la evaluación

docente– Asegurar que los evaluadores designados están calificados adecuadamente para su rol

Uso de resultados: aplicar los resultados al desarrollo profesional, el avance en la carrera y la rendición de cuentas

– Asegurar que la evaluación docente se alimenta del desarrollo profesional y escolar– Establecer vínculos entre evaluación docente y decisiones de avance en la carrera– Asegurar que el bajo nivel de desempeño es identificado y redirigido adecuadamente

4. Evaluación de alumnos: una mirada más detallada

Evaluación de alumnos: Análisis – gobernanza (1)

Propósitos

Evaluación formativa:• Diagnosticar necesidades de aprendizaje y diferenciar la enseñanza; • Proveer retroalimentación a tiempo a los estudiantes• Comprometer activamente a los estudiantes en su propio aprendizaje; fortalecer su

auto-monitoreo• Ayudar a docentes y estudiantes a ajustar estrategias de enseñanza y

Evaluación sumativa:

• Señalar estándares altos y desempeño esperado

• Motivar a los alumnos a aumentar su esfuerzo y su logro

• Proveer a los alumnos, sus familias y otros información sobre el desempeño de los estudiantes

• Certificar aprendizajes y premiar calificaciones

Evaluación de alumnos:Análisis – gobernanza (2)

Equilibrar propósitos de evaluación formativa y sumativa

Si bien la atención a la información y los resultados es un factor positivo en los sistemas educativos, sobre-enfatizar en ellos puede tener un impacto negativo, y socavar el papel formativo de los docentes y evaluaciones a veces tan valorados en los objetivos políticos.

El desafío es asegurar que los docentes vayan más allá de la superficie de las técnicas de evaluación formativa (tales como “evaluaciones sumativas realizadas más seguido” o retroalimentación inespecífica) para adoptar una evaluación efectiva de los enfoques de aprendizaje.

Desarrollar marcos de evaluación coherentes, donde cada evaluación se ajusta a su propósito

– La necesidad de que la evaluación cumpla diferentes funciones

– Evaluaciones diseñadas en línea con su propósito específico – riesgo de usar un único test para demasiados objetivos.

Evaluación de alumnos: Análisis – gobernanza (3)

Distribución de responsabilidades– Los centros educativos tienden a tener una autonomía considerable para

establecer modos de evaluación interna– Una variedad de grupos pueden estar involucrados en asegurar el cumplimiento de

las evaluaciones sumativas (directores, consejos escolares, autoridades locales, inspecciones)

– La autoridad educativa central y/o las agencias centrales de evaluación están generalmente a cargo de las evaluaciones externas

– En algunos países, proveedores privados ofrecen evaluaciones estandarizadas de alumnos

Equilibrar evaluaciones externas y evaluaciones basadas en el docente– La mayor ventaja de la evaluación externa estandarizada es su alta confiabilidad,

pero muchas veces es criticada por tener menos validez que la evaluación basada en el docente

– La evaluación basada en el docente tiene mayor potencial para cubrir el rango completo de objetivos de aprendizaje de los estudiantes pero esto depende de las oportunidades de evaluaciones brindadas por los docentes. Es también percibida como menos confiable que la evaluación externa.

Evaluación de alumnos: Análisis – procedimientos (1)

Criterios y rúbricas de puntuaciónLos criterios de evaluación detallados, rúbricas de puntuación y ejemplares para guiar la

práctica evaluativa no están generalizados en todos los países

Materias evaluadas– La evaluación interna generalmente se espera que cubra todas las materias. – La evaluación externa frecuentemente focaliza en lenguaje y matemática. Ciencias y

lenguas extranjeras modernas son frecuentemente evaluadas.

Instrumentos y enfoques de evaluaciónEvaluación estandarizada

– Evaluaciones múltiple opción– Evaluaciones adaptativas– Evaluaciones de desempeño– Evaluaciones de desempeño informatizadas

Evaluaciones basadas en el docentePruebas escritas y orales; ensayos escritos; informes de laboratorio; juegos de rol,

presentaciones; carpetas.

Evaluación de alumnos: Análisis – procedimientos (2)

Garantizar la coherencia a través de la moderaciónLa moderación es un conjunto de enfoques orientados a asegurar la calidad y la

comparabilidad de los juicios de evaluación (por ejemplo, revisiones cruzadas entre docentes, discusiones en grupo sobre desempeño de los estudiantes, o comuna organización externa que chequea sistemáticamente las calificaciones del centro educativo).

Uso de la tecnologíaUso muy limitado de la tecnología para promover formatos de evaluación innovadores. República Checa, Nueva Zelanda, Noruega usan tecnología informática uniforme para

administrar pruebas. Solo Dinamarca y los Países Bajos usan tecnología informática con pruebas adaptativas.

Equidad y justicia en el diseño de las evaluaciones

– Hacer evaluaciones libres de sesgo– Considerar a grupos específicos de alumnos– Mejorar la equidad a través de múltiples oportunidades de evaluación

Evaluación de alumnos: Análisis – competencias

Capacidad del estudiante para la evaluaciónRecientemente, ha aumentado el énfasis en el rol del alumno en la evaluación, no solo como un

participante activo, sino también como el conector crítico entre evaluación y aprendizaje. – Autoevaluación y evaluación por pares son procesos potentes orientados a mejorar el rol de los

alumnos en su propia evaluación. – Para ayudar a los estudiantes a monitorear su propio aprendizaje, es esencial que comprendan

las metas y qué necesitan hacer para alcanzarlas. – Los docentes también necesitan aprender cómo desarrollar enseñanza y evaluación orientadas

al alumno y cómo introducir prácticas de autoevaluación en las actividades regulares.

Desarrollo de competencias docentes– Foco creciente en la evaluación de alumnos en la formación docente inicial– Oferta creciente de cursos de desarrollo profesional para docentes– Otros enfoques para el aprendizaje profesional, tales como portales de evaluación,

guías, consejeros de evaluación, redes, proyectos– La moderación se implementa en muchos países e en torno a la calificación de

exámenes centrales, o informalmente en y entre centros educativos.

Guías y herramientas para desarrollar una práctica de evaluación eficaz

Evaluación de alumnos: Opciones de política (1)

Gobernanza: Establecer un marco coherente para evaluación de alumnos– Equilibrio entre lo formativo y lo sumativo; evaluación interna y externa– Base en documentos de referencia bien articulados (currículo, estándares, progresiones

de aprendizaje, criterios para juzgar desempeño y ejemplos ilustrando los diferentes niveles de logro)

– Claridad de propósito

Procedimientos: Asegurar un enfoque exhaustivo de la evaluación de alumnos– Utilizar una variada gama de tipos de evaluación para lograr una imagen completa del

aprendizaje del estudiante– Promover formatos de evaluación que capten las competencias valiosas– Construir enfoques innovadores y profundizar en el potencial de las TIC– Brindar herramientas y guías para apoyar una eficaz evaluación basada en el docente

Evaluación de alumnos: Opciones de política (2)

Capacidad: Elaborar un marco de evaluación participativo y construir competencias de evaluación a través del sistema

– Construir capacidad en los alumnos para comprometerse en su propia evaluación– Promover el profesionalismo docente en evaluación– Desarrollar experticia central con relación a la evaluación de alumnos

Uso de resultados: Garantizar que la evaluación es útil e informativa– Brindar guías claras para reportar e informar para asegurar transparencia y justicia en la

difusión de resultados– Comprometer a las familias en la educación a través de una adecuada comunicación– Promover el uso regular de los resultados de evaluación para fomentar el aprendizaje

¡Gracias por su atención!

www.oecd.org/edu/evaluationpolicy

El PDF del informe final disponible en:www.oecd.org/edu/school/

Evaluation_and_Assessment_Synthesis_Report.pdf