Nuevas técnicas ofimáticas en la evaluación de competencias: las experiencias de la ETSIA - UPM

J.Ramirez1, J.Hilario1, J.Burgos1, M.V.Lapuerta1, C.Salom1, M.G.Prolongo1,

R.Ramis1, F.J.Mancebo1, T.Leo2, M.A.Gonzalez-Hernández1, J.Olarrea1, A.Sanz-Lobera1 M.Asensio1, M.L.Rapún1, C.Fernandez-Jimenez3, A.Alcazar3, y otros4

julio.ramirez@upm.es

1Escuela Técnica Superior de Ingenieros Aeronáuticos 2Escuela Técnica Superior de Ingenieros Navales,

3Escuela Universitaria de Ingeniería Técnica Aeronáutica, 4Colectivo Mentor Aeronáuticos (*)

Universidad Politécnica de Madrid, Glorieta Cardenal Cisneros, 1-3, Madrid 28040, España

(*) J.M. del Cura, R.Gómez, I.González, N.Martin, J.Meseguer, E.Pascual, P.Rodríguez, M.Ruiz, C.Vázquez

RESUMEN Las dificultades de la docencia en el primer curso: aulas numerosas, profesorado limitado, etc, dan lugar, durante el segundo semestre del curso 2004-05, a las primeras experiencias de Evaluación Continua Mecanizada del Departamento de Fundamentos Matemáticos, en la Escuela Técnica Superior de Ingenieros Aeronáuticos de la Universidad Politécnica de Madrid, y que aún continúan. Aquí describimos su evolución, fundamentos didácticos, las herramientas ofimáticas utilizadas y los resultados obtenidos. Palabras clave: ofimática, evaluación continua, competencias, aulas numerosas

1. INTRODUCCIÓN Unas calificaciones anormalmente bajas en el examen parcial de Noviembre-2004 en la asignatura de Matemáticas Generales plantean a los profesores la necesidad de conocer con mas detalle el grado de aprendizaje que poco a poco van adquiriendo sus alumnos, antes de que pase un tiempo excesivo y ya nada tenga remedio; la realización quincenal de unos pequeños tests (6 preguntas de conocimiento directo en 10-15 minutos) se había mostrado insuficiente; el alto número de alumnos (unos 400) obligaba a pensar en procesos mecanizados; por otra parte, parecía clara la necesidad de evaluar competencias más complejas que las de conocimiento directo; así, se ensaya, al comienzo del segundo semestre, el preguntar semanalmente de modo unificado 3 pequeños problemas (30 minutos en total) que cada alumno resuelve en hojas aparte, identificando después la solución correcta entre 4 propuestas (una verdadera, puntuada a +1,5 y las otras falsas a -0,5; una de estas, del tipo "Ninguna

de las otras es acertada", se incluye pronto de manera sistemática para derivar ahí los posibles errores de redacción que aparecen de cuando en cuando, una vez cada 25 o 30 preguntas).

Para dificultar la comunicación entre unos alumnos y otros en las pruebas, se diseñan 4 versiones que se distribuyen de modo ordenado para que cada uno tenga examen distinto a los adyacentes; al principio, la diferencia consiste sólo en rotar las respuestas y las preguntas; pronto se comprueba la eficacia de introducir pequeñas diferencias (cambios de signo, datos numéricos, etc.) e incluir en cada examen las respuestas correctas de los otros.

La idea central no es pedir al alumno que resuelva cuatro posibles respuestas en cada pregunta, sino, al contrario, que se plantee la pregunta, la resuelva por su cuenta y después determine si su resultado es alguno de los propuestos.

A pesar de lo novedoso del método, la capacidad y experiencia de los profesores mostraron pronto que el método funcionaba; se podían preguntar de modo eficaz, no sólo problemas sino también cuestiones teóricas complejas; y a fin de curso se disponía de abundante información de cada alumno, y estos a su vez la tenían también de lo "que queríamos que ellos conocieran"; los alumnos acudían cada vez más a los exámenes (pronto más del 90% de los matriculados, incluidos repetidores) y además se interesaban de inmediato por las razones que les habían impedido el éxito; por último, la correlación entre la Nota de Curso y la nota final en Actas fue buena.

Al año siguiente la experiencia se amplió a otras asignaturas y otras frecuencias (quincenal, cada tres semanas, etc.); más profesores "aprendieron a preguntar" y, reuniendo las calificaciones de varias

asignaturas, se pudo tener una idea más completa de cómo iba progresando cada alumno de un modo global. Así apareció también la posibilidad del seguimiento continuo e individualizado

2. LOS FORMATOS DE LA LECTORA El método de trabajo fue tomado de tecnologías ofimáticas bien establecidas en los tiempos actuales (lectura automatizada de documentos preimpresos) y que procedían de los Servicios Administrativos de la propia Universidad, donde se usaban en los procesos de Matriculación de Alumnos y en el análisis de las Encuestas Generales del Profesorado.

Aunque se inicia la tarea con una vieja lectora óptica de alimentación manual, pronto se obtiene financiación para un equipo (lectora más ordenador) de alimentación automática, de tipo medio (con un coste de unos 12.000 € a mediados de 2005) que numera las hojas al leerlas y es capaz de procesar hasta unas 3.500 hojas por hora.

Los formatos (Fig. 1 y 2) han de estar preimpresos en papel “algo” grueso (90 gr.) para proveer la rigidez necesaria al rápido proceso de lectura; van a dos tintas: negra, para posicionar las referencias geométricas necesarias, y naranja, invisible a la lectora, para indicar al usuario donde ha de marcar las respuestas seleccionadas. Han de fabricarse por el método de “impresión con plancha” para asegurar una precisión adecuada al proceso de lectura, siendo insuficiente una fotocopiadora usual. El coste actual, en grandes series, es de unos 800 € por cada 20.000 ejemplares, tamaño A-4.

Se comenzó la experiencia usando un formato parecido al de la Figura 1 donde el texto del examen iba impreso por el reverso de la hoja, y que después se amplió a 200 preguntas para permitir su uso en otra asignatura que ya venía practicando el método con tecnologías más rudimentarias desde mucho antes. Para tantas preguntas, el texto del examen ha de ir en hojas aparte, necesariamente.

A finales del curso 2005-06 se creó el formato de la Figura 2 para facilitar un uso diversificado; el enunciado (libre) del examen va en la misma página que las respuestas (hasta 65 posibles), copiado con una fotocopiadora ordinaria, incluidas figuras; de ser necesario, también puede incluir el reverso.

3. EL CONTENIDO DE LOS EXÁMENES Aunque ambos formatos permiten muchas preguntas de conocimiento directo (en tiempo limitado; los clásicos exámenes teóricos de conducir) esta variante queda “algo” fuera de la experiencia que aquí se presenta porque ya en su versión de calificación manual se mostró insuficiente varias

veces como medio de evaluación de competencias complejas (o integradas) del tipo de las que se querían valorar.

En consecuencia, nos centramos en el otro aspecto: pocas cuestiones, complejas (pero asequibles al alumno), independientes o interconectadas, que se proponen en un tiempo suficiente (no corto) para que el alumno desarrolle sus capacidades e intente resolverlas.

En un principio se eligió el esquema de 3 preguntas (teóricas o pequeños problemas) en 30 minutos como unidad básica y que, aun valorando a BIEN / MAL, proporciona 4 niveles de resultados: 0, 1, 2 y 3, suficientes para poder reconocer una distribución de notas “casi” normal en un gran colectivo de alumnos (si esta se presenta); este formato se ha mantenido en los últimos tres años, hasta el comienzo de las experiencias en los exámenes finales (Figura 3), donde ya se valoran problemas más complejos y de los que se preguntan sucesivamente varios escalones, a veces con distintos niveles de valoración; la redacción de los mismos, así como sus resultados, no parece aportar nada esencialmente distinto, hasta la fecha.

4. EL ARCHIVO DE TEXTO DE SALIDA DE LA LECTORA (65 RESPUESTAS)

Tras seguir un corto protocolo, y leer un cierto número de exámenes, la lectora produce un archivo de texto (salida_lectora.txt) tal como se indica en la Figura 4. Cada línea representa una hoja de examen; cada dos caracteres, desde su comienzo, indican el valor de la respuesta “leída“ (blanco representa que no había lectura) desde el 01 al 65 (en total 130 caracteres), después 8 caracteres representan el DNI, 5 caracteres más el número de EXPEDIENTE, 1 carácter el Grupo, hasta 10 caracteres más (0 a 9) para la versión de cada hoja (usualmente 1, 2, 3 y 4, o también un par de cifras) y otros campos más disponibles para uso futuro.

5. LA CARGA DE LOS DATOS DE TEXTO EN UNA HOJA DE CÁLCULO

Aunque las herramientas ofimáticas fueron creadas inicialmente para Open-Office-Linux-Mandriva-2007, en todo momento se busca mantener la compatibilidad con los usuarios Windows u otras versiones de Linux.

En el Linux inicial, basta copiar o renombrar el archivo_lectora.txt a archivo_lectora.csv, abrir con OpenOffice un archivo base (CARGAR_CSV.xls) [1], y desde el menú “Archivo” del mismo, abrir el .csv; automáticamente aparece una hoja de cálculo donde los caracteres están distribuidos del modo antes indicado. En otras versiones Linux o Windows

basta abrir el .csv desde Excel u OpenOffice usando la opción “campos fijos” para posicionar “manualmente” los datos tal cómo se indicó anteriormente (ver Figura 5), controlando que los DNI queden en la columna BJ (o 62ª) (con solo insertar o eliminar columnas vacías).

6. CALIFICACION DE LOS EXÁMENES Para obtener la calificación que corresponda a cada alumno a partir de los datos leídos y del peso asignado a cada respuesta, se emplea otra hoja de cálculo (archivo65.sxc o archivo65.xls) [1] creada inicialmente para 15 preguntas a 4 respuestas, y que se muestra en la Figura 6 aplicada a 3 preguntas (y ocultando las columnas no usadas, por simplicidad).

Desde la celda A11 hacia la derecha y hacia abajo se colocan las respuestas (vía: copiar – pegado especial – números y caracteres) comprobando que los indicadores de versión 1 al 4 queden en las columnas 66 a 69, así como DNI, EXPEDIENTE y Grupo en las columnas 62 a 64; en este último grupo de celdas opera un primer elemento de control; la falta de información produce celda con fondo blanco; aquí se pueden incluir manualmente estos datos; igual sucede con la versión, su ausencia produce blanco en la celda correspondiente de la columna 65 (e impide el cálculo de la calificación).

Los PESOS asignados a cada RESPUESTA y cada VERSIÓN se colocan desde la celda BX5 hacia la derecha y hacia abajo; un código de colores diferencia los niveles BIEN / NULO / MAL.

El cálculo del sumando aportado por cada respuesta aparece debajo de cada PESO; estos se agrupan de 4 en 4 (en las columnas 136, 140, 144, etc.) con un nuevo código de control que identifica a los alumnos que han respondido más de una vez a la misma pregunta; usualmente la fórmula de la celda toma la menor de las dos notas (el usuario puede fácilmente modificar dicha fórmula). En cada columna, en la celda 7 va un contador de los alumnos que aprueban (con el criterio de la celda 5).

Finalmente en la columnas 197, 198 y 199 aparecen: NOTA TOTAL (cambiando negativos a cero), Nº de EXPEDIENTE y el Nº de EXAMEN que asignó la lectora. Un usuario interesado podrá modificar fácilmente todos estos criterios.

7. EL ARCHIVO ASIGNAR Al realizar más de un examen al mismo grupo de alumnos surge la necesidad de “acoplar“ los listados de notas de ambos exámenes. Para ello se usa este archivo, que utiliza un identificador numérico para

cada alumno (por ejemplo el número de expediente o también el DNI).

La primera vez, hay que colocar los 250 primeros números en las celdas G6 hacia la derecha (p. ej. copiando desde otra columna original vía pegado especial – números y caracteres – opción trasponer) y los siguientes 250 en G11 hacia la derecha.

A partir de ahí bastará colocar los datos en las columnas 1ª y 2ª (desde A2B2 hacia abajo) para que aparezcan insertados en la lista ordenada y completa en D2E2 hacia abajo; la celda con indicación #VALOR! señala ausencia de nota y las celdas con Err:502 ó #¡NUM! indican números repetidos; estos casos conviene aclararlos manualmente.

8. CONCLUSIONES Se ha descrito la génesis y justificación didáctica de las experiencias de Evaluación Continua Mecanizada que se realizan en la Escuela Técnica Superior de Ingenieros Aeronáuticos, de la Universidad Politécnica de Madrid, en estrecha conexión con el Programa Mentor, en los últimos tres años. Asimismo se han descrito también las herramientas ofimáticas desarrolladas, de modo que los profesores interesados puedan adaptarlas a su circunstancias concretas [1].

La práctica de esta Evaluación Frecuente en la mitad de las asignaturas aparece asociada a una clara mejora de la eficiencia académica global de los alumnos implicados (Figura 7)

5. AGRADECIMIENTOS Este trabajo ha sido subvencionado por la Universidad Politécnica de Madrid (Proyectos nº IE0060100001, IE0060100006, IE0060100029 y IE0070110024). Asimismo, los autores expresan su agradecimiento a la dirección de la ETSIA.

6. REFERENCIAS [1] Programa Mentaer de la E.T.S.I.Aeronáuticos http://quinto.fmetsia.upm.es B 5.2

EXP.

DNI

VERSION RESPUESTAS

Figura 1. Formato hasta 200 preguntas, de hasta 5 respuestas y hasta 40 versiones

(en cuadernillo aparte)

MATEMATICAS GENERALES

Figura 2. Formato hasta 65 respuestas, enunciado libre, en el recuadro central (en el ejemplo, una prueba semanal de 30 min.)

Figura 3. Un problema “clásico” de examen final (Feb 07) (en calificación mecanizada a 4 respuestas)

Figura 4. El archivo de salida de texto de la lectora (en versión original) (un ejemplo de 28 respuestas)

Figura 5. El archivo de salida de texto de la lectora, cargado en una hoja xls (un ejemplo) (la columna de la derecha indica el número asignado a la hoja al leerla)

A BX GO GP 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Figura 6. Un ejemplo de calificación mecanizada (archivo65.xls, 3 preguntas, 12 respuestas, DNI ficticios)

0 1 2 3 4

0

1 0

2 0

3 0

4 0

5 0

6 0

7 0

8 0

9 0

FEB 08

ASIGNATURAS APROBADAS

NU

MER

O D

E A

LUM

NO

S

0 1 2 3 4

0

1 0

2 0

3 0

4 0

5 0

6 0

7 0

8 0

FEB 05

ASIGNATURAS APROBADAS

NU

MER

O D

E A

LUM

NO

S

Figura 6. El archivo ASIGNAR.xls

Figura 7. Las Calificaciones Globales ANTES y DESPUES de las Experiencias de Evaluación Continua Mecanizada (1º Curso)