Encuentros sobre calidad en la - UNID · -Fuertes contradicciones entre la evaluación y los...

Realidad y retos de la evaluación del aprendizajeen la universidad

Realidad y retos de la evaluación del aprendizajeen la universidad

Gregorio Rodríguez GómezGregorio Rodríguez Gómez

Grupo de Investigación EVALFOR (HUM-688)Universidad de Cádiz

Encuentros sobre calidad en laEducación Superior 2008

Vigo, Julio 2008


Vigo, Julio 2008

1. La perspectiva de los estudiantes

2. El discurso dominante3. Las experiencias de otros

4. Los retos del futuro

1. La perspectiva de los estudiantes

2. El discurso dominante3. Las experiencias de otros

4. Los retos del futuro


1. La perspectiva de los estudiantes1. La perspectiva de los estudiantes



La perspectiva de los estudiantes sobre la evaluación (Rodríguez, 1998):

- Evaluación como valoración de la reproducción mecánica de contenidos

- Evaluación dirigida por el profesorado

- Pruebas tipo test / Ensayos / Trabajos individuales y grupales

- No se explicitan los criterios

- No hay retroalimentación


La perspectiva de los estudiantes sobre la evaluación (Trillo y Porto, 2002)

- Fuertes contradicciones entre la evaluación y los procesos de enseñanza-aprendizaje

- Evaluar es, sobre todo, calificar a los estudiantes mediante unexamen, y decidir sobre su promoción

- Para examinar lo que se emplea es el examen escrito

- Sólo se evalúan resultados finales

- Evaluación dirigida por el profesor

- Generalmente no se explicitan los criterios

- La evaluación aparece al final

- Las funciones son la selección y la certificación

2. El discurso dominante2. El discurso dominante



- Normativa Nivel I

- Normativa Nivel II

- Informe SISTEVAL Universidad 1

- ….

- Informe SISTEVAL Universidad n

- Informe SISTEVAL

1ª Fase:Búsquedade Documentación

•Búsqueda de Normativa

•Selección de Normativa

2ª Fase: Análisis Documental

• Análisis por universidades de normativa niveles I y II

• Análisis Global de Informes SISTEVAL Universidades

3ª Fase: Análisis Documental Indirecto

El discurso dominante (Ibarra y Rodríguez, en prensa):

Selección de Casos

Conclusiones cruzadas de los casos

Informe Caso 1

Marco Conceptual

Diseño procedimiento de recogida de datos

Desarrollo implicaciones

Informe cruzado de los casos

DISEÑO ANÁLISIS CRUZADO

RECOGIDA Y ANÁLISIS DE DATOS

Realizar estudio de caso 3









Informe Caso 2

Informe Caso 3

Informe Caso 4

Informe Caso 5

Informe Caso 6

Informe Caso 7

Informe Caso 8

Informe Caso 9


El discurso dominante (Ibarra y Rodríguez, en prensa):

- Necesidades y carencias del profesorado para abordar con garantía el proceso de evaluación en la universidad

- Utilización casi exclusiva de una evaluación “tradicional”

- Dirigida por el profesor

- Examen final de papel y lápiz

- Poco o ningún “feedback”

UCA UNED UCM UGR USE UV UPV ULL Total

Educación y

Psicología 60 2 5 18 6 11 6 11 119

Ciencias Sociales 23 1 5 7 24 6 13 79

Ciencias

Humanas 50 1 10 8 6 11 86

Ciencias 38 1 15 8 22 3 42 129

Técnicas 19 1 9 32 61

Biosanitarias 16 10 7 33

Total 206 6 45 18 21 65 37 109 507

MUESTRA


El objeto de evaluación

� En la gran mayoría de los casos, no se menciona expresamente el objeto de la evaluación.

�El profesorado universitario no vincula los procedimientos, criterios y modalidades de la evaluación con los objetivos formulados en los programas de las asignaturas.

�Cierto nivel de imprecisión terminológica; términos como objetivos, competencias, destrezas se usan de forma indistinta.

�El objeto fundamental de evaluación es el rendimiento académico

�siempre focalizado en los resultados más que en los procesos.


Criterios de evaluación

�Difícil encontrar especificación explícita de los criterios de evaluación,

�En todos los marcos reguladores ésta es una cuestión que aparece expresamente recogida.

�No parece existir una delimitación precisa de lo que es un criterio evaluativo

�Dos tendencias claras y opuestas:�criterios muy elaborados y pormenorizados�otros casos en los que apenas se apuntan.


Instrumentos de evaluación

�Aparece explícitamente en prácticamente todos los programas y diseños analizados.

�El examen es la técnica evaluativa dominante (90%)� forma exclusiva de evaluación en muchos casos.

�El examen escrito se combina también muy frecuentemente con otras pruebas de distinta naturaleza

� tendencia hacia el multimétodo.� la ponderación del examen es la mayor:

• oscila entre 35%-80%• casi siempre superior al 50%


Momentos de la evaluación

� Tendencia a recoger información en diferentes momentos del proceso de enseñanza-aprendizaje, a lo largo del curso.

� Infrecuente el empleo de evaluación inicial o diagnóstica.

� Momento clave del proceso evaluativo: el examen final.


Sistema de calificación

� Se ajusta a lo establecido por el marco regulador común que describe el sistema de calificación en el contexto del Espacio Europeo de Educación Superior:

� De 0 a 4, 9 No apto

� De 5 a 6, 9 Apto

� De 7 a 8, 9 Notable

� De 9 a 10 Sobresaliente

� Dos asignaturas en distintas universidades con sistemas de calificación diferentes:

� Mediante una escala de calificación de 0 a 100 puntos

� Mediante baremo cualitativo y sin traducción

cuantitativa.

Criterios para la promoción del alumnado

� Uno de los elementos más heterogéneos de cuantos han sidoanalizados.� Hay que distinguir entre condiciones para poder ejercer elderecho a la evaluación y criterios de evaluación.� Condiciones:

�la asistencia a clase�el desarrollo obligatorio de prácticas para ser evaluado.

� Criterios:�la promoción reside en la obtención de calificación positivaen el examen�para promocionar hay que superar todas las actividadesevaluativas desarrolladas durante la asignatura�además de establecer unas calificaciones mínimas a lasactividades, la asignatura se supera siempre y cuando seobtenga más de 5, tras aplicar el algoritmo reflejado.


Intercambio de información con el alumnado

� Parece ser un aspecto poco tratado y desarrollado en los programas de las asignaturas.

� La información hace referencia a los procesos señalados en el marco regulador - obligatoriedad de explicitar criterios, de establecer

períodos de comunicación de calificaciones, plazos de revisión y

reclamación-.

� Normalmente la información es unidireccional del profesorado hacia el alumnado

� tiene lugar al principio de curso, al hacerse público a través

de los programas los modos y criterios de evaluación

� y al comunicar las calificaciones parciales o finales.


Características diferenciales de la evaluación

� Las diferencias y semejanzas de los diseños evaluativos, en suconjunto, son bastante similares

�Un aspecto diferencial: La presencia y grado de concreción de los

componentes de un diseño de evaluación en las programaciones.

�Casos en los que se explicitan y concretan de forma pormenorizada

el diseño evaluativo: objeto, metodología, criterios, temporalización, tipología

de prueba, peso en la calificación de los aspectos que son evaluados etc.,

� En otros casos los diseños se limitan a indicar que existirá un examen

en convocatoria oficial o que la evaluación consistirá en un examen escrito

sobre los contenidos de la asignatura.

�Un factor claro de semejanza La formulación del carácter práctico o

teórico de las asignaturas o materias. Las materias con prácticas de laboratorio

plantean diseños evaluativos similares.

�Otro aspecto que unifica : El sistema de créditos ECTS.

� Los aspectos del proceso de evaluación aparece entre aquellas

asignaturas que se encuentran adscritas a experiencias piloto de

experimentación ECTS.


Negociación de la evaluación

� No se refleja elemento de negociación con el alumnado en los programas.

� En dos contextos universitarios se hacen alguna referencia …

más como elección de posibilidades de evaluación por parte del

alumnado que como intercambio para llegar a acuerdos.

� En otros casos, la posibilidad que se ofrece, también sobre la base

de la situación particular, depende del plan de estudios en el que se

encuentre matriculado el alumnado.



Curriculum de la eficiencia

social

Teoría genetista del CI. Teorías asociacionsitas y conductistas del aprendizaje

Medición científica Testing

tradicional (medición científica)

Curriculum e instrucción

constructivista

Visión reformada del curriculum

Evaluación en el aula

Teorías cognitivas y

constructivistas del aprendizaje

Paradigma dominante durante el siglo XX (1900-2000)

Disolución del viejo paradigma: Nuevas perspectivas sobre la instrucción/ Antiguas perspectivas sobre la evaluación (1980-2000)

Paradigma emergente

(1990-2000 +)

1960

Introducción de las ideas sobre medición educativa:

-Sistematización de la evaluación

- Introducción de conceptos como fiabilidad y validez

- Introducción de nuevas técnicas (pruebas de elección

múltiple)

1970 Se incorpora la diferenciación sumativa/formativa

1980Se acepta el valor de la autoevaluación y la

evaluación entre iguales

1990

Se reconoce las consecuencias de la evaluación para el

aprendizaje del estudiante. Una evaluación que cumple

con los requerimientos técnicos no implica que tenga

impacto sobre lo que los estudiantes aprenden o sobre la

forma de enfocar su aprendizaje


Hitos en la evaluación

3. Las experiencias de otros3. Las experiencias de otros



http://www.open.ac.uk/fast/FASTProject/Project.htm


11 condiciones bajo las cuales la retroalimentación apoya el aprendizaje(Gibss y Simpson, 2004-2005)

Quantity and distribution of student effortCondition 1 Assessed tasks capture sufficient study time and effortCondition 2 These tasks distribute student effort evenly across topics andweeks

Quality and level of student effortCondition 3 These tasks engage students in productive learning activityCondition 4 Assessment communicates clear and high expectations toStudents

Quantity and timing of feedbackCondition 5 Sufficient feedback is provided, both often enough and in enoughdetailCondition 6 The feedback is provided quickly enough to be useful to students

Quality of feedbackCondition 7 Feedback focuses on learning rather than on marks or studentsthemselvesCondition 8 Feedback is linked to the purpose of the assignment and tocriteriaCondition 9 Feedback is understandable to students, given their sophistication

Student response to feedbackCondition 10 Feedback is received by students and attended toCondition 11 Feedback is acted upon by students to improve their work or theirlearning


http://www.ied.edu.hk/loap/index.html


Medición del

Rendimiento

Promoción del aprendizaje

Exp

erie

ncia

eva

lua

do

ra d

el p

rofe

so

rado

Exp

erie

ncia

eva

lua

do

ra d

e lo

s a

lum

nos

Tareas de evaluación como tareas de aprendizaje

Alumnos como evaluadores

Retroalimentación prospectiva

Evaluación orientada al aprendizaje

Mantenimiento de

estándares

Marco Conceptual Proyecto LOAP(Evaluación orientada al aprendizaje)


Evaluación Orientada al Aprendizaje

Las tareas de evaluación deben promover el tipo de aprendizaje necesario para el lugar de trabajo en el contexto sociocultural del siglo XXI.

Los procesos de evaluación deben implicar a los estudiantes de forma activa, a través de técnicas como la evaluación entre iguales o la autoevaluación, de tal manera que se promueva lo que van a necesitar como “aprendices a lo largo de la vida”: su capacidad evaluadora(aprender a evaluar) para tomar decisiones y orientar su propio proceso de aprendizaje.

Se realiza una retroalimentación prospectiva, es decir, se ofrecen orientaciones y recomendaciones al alumnado que sean factibles de realización en un futuro inmediato pudiendo modificar su trabajo y el nivel de desempeño.


http://www.reap.ac.uk/


(Nicol, 2006)


Diez principios de la Buena Evaluación y Retroalimentación (Nicol, 2007):

Una buena práctica de evaluación y retroalimentación debería:

1. Ayudar a clarificar lo que se considera una buena ejecución (objetivos, criterios, estándares)

2. Dedicar “tiempo y esfuerzo” en tareas de aprendizaje retadoras

3. Aportar retroalimentación con información de alta calidad que ayude a los estudiantes a autocorregirse

4. Fomentar la motivación positiva y la autoestima

5. Fomentar la interacción y el diálogo en torno al aprendizaje (entre iguales y profesor-estudiante)

6. Facilitar el desarrollo de la autoevaluación y la reflexión sobre el aprendizaje

7. Ofrecer a los aprendices la posibilidad de elegir y participar en los procesos y los contenidos de la evaluación

8. Implicar a los estudiantes en la toma de decisiones sobre política y prácticade la evaluación

9. Apoyar el desarrollo de comunidades de aprendizaje

10. Ayudar a los profesores a adaptar la enseñanza a las necesidades de los estudiantes


Un marco y diez principios para la evaluación formativa y la retroalimentación (Nicol, 2007)

EMPODERAMIENTO(Adaptar la institución al

estudiante)

EXPERIENCIA

SOCIAL

IMPLICACIÓN(Implicar al alumno en la

institución)

EXPERIENCIA

ACADÉMICA


Un marco y diez principios para la evaluación formativa y la retroalimentación (Nicol, 2007)

• Implicar a los estudiantes en la tomade decisiones sobre política y estrategia de la evaluación

• Favorecer la elección en los procesosy contenidos de la evaluación

• Facilitar la reflexión y la autoevaluación en el aprendizaje

• Estimular la motivación positiva y la autoestima

• Aportar retroalimentación de calidadque permita al estudiante la autocorrección

• Estimular la dedicación y el esfuerzoen tareas de aprendizaje complejas

• Ayudar a aclarar lo que es un buendesempeño

EMPODERAMIENTO(Adaptar la institución al

estudiante)

EXPERIENCIA

SOCIAL

• Fomentar la interaccióny el diálogo en torno al aprendizaje (entre compañeros y profesor-estudiante)

IMPLICACIÓN(Implicar al alumno en la

institución)

• Apoyar el desarrollo de comunidades de aprendizaje

• Adaptar la enseñanza a

las necesidadesde los

estudiantes

EXPERIENCIA

ACADÉMICA


http://www.cshe.unimelb.edu.au/assessinglearning/


http://www.qaa.ac.uk/


The Quality Assurance Agency for Higher Education (QAA)

Código de práctica para el aseguramiento de estándares y la calidad académica en la Educación Superior.

Sección 6: Evaluación de los estudiantes

Septiembre 2006


(The Quality Assurance Agency for Higher Education, 2007: 3)

Estrategias para reequilibrar la evaluación del y la evaluación para el aprendizaje

4. Los retos del futuro4. Los retos del futuro



Retos del nuevo contexto europeo para la evaluación en la universidad

1. Pasar de la evaluación de la adquisición de saberes y contenidos a la evaluación de y para el desarrollo de competencias

2. Evaluar actividad presencial, semipresencial o no presencial (EEES)

3. Las TICs en la evaluación (u-evaluación)


Retos de la Evaluación en la Educación Superior:

Revolución en el pensamiento sobre la evaluación

Desplazamiento desde posiciones tecno-racionalistas hacia una conceptualización más sofisticada e intuitiva de la evaluación que acepta y acoge la subjetividad del juicio.

La evaluación como instrumento de liberación antes que uno de medición y limitación.

La cultura de la evaluación es conservadora y defensiva antes que audaz e innovadora


Necesitamos movernos desde:

¿Cómo podemos desarrollar pruebas, exámenes y

tests fiables y válidos?

y

¿Cómo podemos asegurarnos para que se produzca tanto

una evaluación formativa como sumativa?

A¿Cómo asegurarnos que la evaluación apoya al

aprendizaje?

y

¿Cómo se puede utilizar la evaluación para desarrollar

la capacidad de los estudiantes para el aprendizaje a lo

largo de la vida y la capacidad para emitir juicios?(Boud, 2007)


El impacto de la evaluación sucede:

- Antes de la evaluación al anticipar lo que va a suceder

- Durante la evaluación permitiendo a los estudiantesrevelar u ocultar su aprendizaje

- Después de la evaluación en la medida que los estudiantes eligen para profundizar o evitar


Retos de la Evaluación en la Educación Superior:

Caracterización de una nueva cultura de evaluación (Bryan y Clegg, 2006):

- participación activa en tareas auténticas, de la vida real que exigen la aplicación del conocimiento y las habilidades existentes;

- participación en un diálogo y conversación entre los aprendices (incluidos los profesores);

- compromiso con y desarrollo de criterios y autorregulación del trabajo de cada uno;

- empleo de un abanico amplio de diferentes métodos y técnicas adaptados desde las diferentes disciplinas;

- oportunidad para desarrollar y aplicar atributos tales como la reflexión, la resiliencia, inventiva y juicio profesional y actuar en relación a los problemas;

- aceptar las limitaciones de los juicios y el valor del diálogo para desarrollar nuevas formas de trabajo.


Innovaciones en la Evaluación (Boud, 2006):

• Alternativas a las tradicionales prácticas de evaluación

• Implicación activa de los estudiantes

• Nuevas formas de presentación de producciones

• Reconocimiento del poder de la evaluación sobre el aprendizaje


Evaluación

e-Evaluación

u-Evaluación

(Busca, 2007)


Retos institucionales

1. Urgente cambio normativo

2. “Evaluación orientada al aprendizaje” en nuevos planes de estudio

3. Crear espacios sistemáticos de comunicación (visibilidad)

4. Fomentar investigaciones e innovaciones en evaluación


Referencias

Boud, D. (2006). Foreword. En C. Bryan y K. Clegg (Eds.), Innovative Assessment in Higher Education. Londres: Routledge, pp. xvii-xix.

Boud, D. (2007) Reframing assessment as if learning was important. In Boud, D. and Falchikov, N. (Eds.) Rethinking Assessment in Higher Education: Learning for the Longer Term. London: Routledge, 14-26.

Falchikov, N. (2005): Improving Assessment Trough Student Involvement. Practical solutions for aiding learning in higher and further education. London: Routledge Falmer

Ibarra, M.S. y Rodríguez, G. (en prensa). El discurso dominante sobre la evaluación en la universidad. Revista de Educación.

Nicol, D. y Macfarlane-Dick, D. (2006): Formative assessment and selfregulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218

Nicol, D. (2007). Principles of good assessment and feedback: Theory and practice. REAP International Online Conference on Assessment Design for Learner Responsibility, 29th-31st May, 2007. Consultado el 8 de Juio de 2008 y disponible en http://www.reap.ac.uk/reap07/Portals/2/CSL/keynotes/david%20nicol/Principles_of_good_assessment_and_feedback.pdf

Rodríguez Gómez, G. (coord.) (1998): «La evaluación desde la perspectiva del alumnado universitario: Propuestas para la mejora», en Revista de Enseñanza Universitaria (Número Extraordinario), 223-234.

Trillo Alonso, F. y Porto Currás, M. (2002): «La evaluación de los estudiantes en el marco de laevaluación de la calidad de las universidades», en Revista de Educación (328), 283-301.


¿Preguntas, cuestiones ….?

Debate

MUCHAS GRACIAS


Realidad y retos de la evaluación del aprendizaje

en la universidadRealidad y retos de la evaluación del aprendizaje

en la universidad

Gregorio Rodríguez GómezGregorio Rodríguez Gómez


Vigo, Julio 2008


Vigo, Julio 2008

¡ Muchas gracias !¡ Muchas gracias !

Encuentros sobre calidad en la - UNID · -Fuertes contradicciones entre la evaluación y los...

Documents

Transcript of Encuentros sobre calidad en la - UNID · -Fuertes contradicciones entre la evaluación y los...