MODELO COMPUTARIZADO PARA LA PREPARACION DE … · en Ingeniería Industrial yde ... ot Arts en...
Transcript of MODELO COMPUTARIZADO PARA LA PREPARACION DE … · en Ingeniería Industrial yde ... ot Arts en...
MODELO COMPUTARIZADO PARALA PREPARACION DE EXAMENES*
RICARDO ALVAREZ CASTROIngeniero electromecánico - Universidad del Valle. Magísteren Ingeniería Industrial yde Sistemas - Universidad del Valle.Profesor ICES!.
CARLOS ROSSO ACUÑA
Lic. en Filología e Idiomas - Universidad Pedagógica. Masterot Arts en Lenguas - Universidad de Harvard, Cambridge.Ph.D Literatura - Universidad de Wisconsin Madison. USA.Profesor ICES!.
MARTHA HELENA HERNANDEZ B.
Ingeniera de Sistemas y Computación - Universidad de losAndes. Diseño Internacional - Universidad Sturtgard, Alemania.
INTRODUCCION
El presente proyecto surgió a raíz de laidea de optimizar el proceso de evaluaciónde los estudiantes. Para ello se tomó lalarea de preparación de exámenes de todotipo.
Así pues, se planteó el desarrollo de unsistema computarizado para la producciónde exámenes, que sirviera como una herramienta flexible, para que el profesorconformara y produjera su cuestionario deevaluación.
Dicha aplicación se desarrollaría en unprincipio a nivel de prototipo para probar ymejorar el modelo y luego se realizaría elsistema general.
Algunas de las características de laspreguntas y de los cuestionarios de losexámenes. que se han tenido en cuentapara el modelo son el tema. el tiempo quetoma el estudiante para responder una pregunta, el grado de dificultad de laspreguntas, la cantidad de preguntas en uncuestionario, el tipo de las preguntas, el
• Presentado al VI Encuentro Nacional de Informat¡ea Universitaria. Universidad Javeriana. Cali 1989
.1~iH;~;'
]H\w,' _~ ~
9ICESI
nivel de aprendizaje que se evalúa, el balance entre niveles de aprendizaje evaluados, etc.
Aunque lo anterior hace referencia a laaplicación de computador, se consideraque los aportes más importantes delproyecto son el análisis que debe hacersepara la preparación de las preguntas oitems antes de que éstos sean introducidosal sistema y el diseño de la evaluación quedebe responder a unos objetivos claramente establecidos por el profesor. Todoesto forma parte del proceso de diseño instruccional, el cual se ha abordado bajo unenfoque de sistemas.
En el proyecto han venido trabajandotres profesores universitarios de áreasbastante diferentes -Humanidades, Matemáticas y Sistemas- y un experto eneducación.
Para efectos de este proyecto se utilizaráel término general examen que puedehacer referencia tanto a un examen parcialo final como a una prueba corta o Quizá, untaller, tarea, etc.
1. DESCRIPCION DEL PROYECTO
1.1 Marco teórico
Bajo el punto de vista de la educación, laevaluación se define como "el proceso deobtener información y utilizarla para dar juicios que servirán como base para la tomade decisiones".
La evaluación es un elemento esencialdel proceso de enseñanza-aprendizaje.
Esta constituye una labor muy importante de las actividades del profesor ya que sinningún tipo de evaluación, la enseñanzasería casi imposible.
El buen profesor debe estar continuamente en la búsqueda de nuevo material ymejores formas de transmitir losconocimientos a sus alumnos, para lo cualrequiere saber muchas cosas acerca deellos como son, sus habilidades, destrezas,intereses, logros, esfuerzos y debilidades, yesto se logra mediante su evaluación.
El proceso de evaluación es complejo yenvuelve una serie de actividades. comose puede observar en el modelo propuestopor Ten Brick, 1974 (ver Figura 1).
10ICESI
La preparación de exámenes hace parledel paso No. 5; "Construir o seleccionar losinstrumentos para recolectar la información" de este proceso.
Para realizar este paso, se tienen las siguientes técnicas:
i) Investigaciónii) Observacióniii) Análisisiv) Exámenes.
Según el análisis de Ten Brink (1974), deestas cuatro técnicas se puede afirmar quela de exámenes tiene una mayor relevancia.
El de exámenes es objetivo y confiable, yademás es el que provee información másprecisa pero también el más costoso. Conun sistema como el que se plantea en elproyecto, se lograrían reducir estos costosy hacer más eficiente dicha labor.
EL PROCESO DE EYALUACION
Figura 1Antes de pensar en la medición, todo
profesor debe haber seleccionado previamente los contenidos que se van apresentar en cada unidad de un curso ytener especificados los objetivos de apren·dizaje, esto es, no sólo lo Que se espera que
el estudiante aprenda sino también, loscomportamientos que debe desarrollarrespecto al contenido.
Dichos comportamientos se refieren a lasformas en que los estudiantes deberían sercapaces de pensar, actuar y aún más:sentir, acerca del material, de ellosmismos, los demás, etc. Una buena herramienta para este trabajo es la Tabla de Especificaciones.
Una tabla de especificaciones es uncuadro en dos dimensiones que consistede una serie de columnas correspondientes a los diferentes niveles de aprendizaje.
Con la ayuda de ésta, se pueden preparar las evaluaciones, introduciendo en filapara cada nivel, los objetivos que van a serevaluados en un nivel y las preguntas respectivas.
TABLA DE ESPECIFICACIONES
CONOCIMIENTOS DE HABILIDAD PARA ANALlSIST6nnl- Hechos Regl•• y Proceso. Tren".- Apllca- Y
nos PrInclp. y Proc:ecI. clone. clone. SINTESIS
NI. Conocimiento de reglas y principios: Se refiere a patrones específicos oesquemas que son utilizados paraorganizar las principales ideas de una materia. Generalmente, éstos reúnen unnúmero de hechos o describen la interrelación entre aspectos especificos. Se espera que los estudiantes conozcan unaregla o principio, que recuerden una ilustración de éste, utilizada durane la instrucción y/o recuerden situaciones en las quefue aplicada. En la mayoría de los casos,
Figura 2
A continuación se describen los niveles de personas, eventos, operaciones u otrasmencionados: clases de información específica. Puede
esperarse que los estudiantes recuerdenhechos particulares y/ o recuerden elhecho correcto cuando se les pregunteacerca de él de manera relativamente directa. Entre los ejemplos de hechos están:"Pascal diseñó una máquina para hacersumas y restas mecánicamente", "Homero es el autor de fa IIíada".
l. Conocimiento de términos: Son lasnuevas palabras o frases que se esperaque los estudiantes aprendan. Puede esperarse que ellos definan estos términos,los reconozcan en ilustraciones, determinen cuándo son utilizados correctamente yreconozcan sus sinónimos. El nivel deconocimiento aquí consiste en simple reconocimiento o recuerdo, y es generalmente considerado el nivel más simple deaprendizaje. Algunos ejemplos de éstepueden ser "Media" en Estadística,"Tejido" en Biología.
11. Conocimiento de hechos: Loshechos son tipos específicos de información que se espera que los estudiantesrecuerden. En general los hechos son detalles particulares que son importantes porsí mismos o son esenciales para otrasclases de aprendizaje. Incluyen nombres
UUi;j¡UijU~r,¡:: ~,.
11ICESI
las reglas y principios son más difíciles deaprender que los términos y hechos Sinembargo es importante tener en cuentaque esta categoria tiene relación únicamente con el conocimiento de reglas yprincipios. no con su aplicación. Un ejemplo podría ser la propiedad conmutativa delos operadores lógicos o la fórmula para resolver una ecuación de segundo grado.
Iv. Conocimiento de procesos yprocedimientos. En muchas materias seespera que los estudiantes conozcan lospasos particulares de cierto proceso o procedimiento. Frecuentemente es importante que estos pasos sean recordados enuna secuencia determinada. Por ejemplose puede esperar que los estudiantessepan el orden apropiado de los pasospara resolver un problema de matemáticaso para resolver un caso de administración.Los procesos y procedimientos pueden involucrar varios términos o hechos y son típicamente difíciles de aprender por los estudiantes. Es importante resaltar que éstosson los procesos y procedimientos quequeremos que los estudiantes aprendan,no el proceso instruccional o los procedimientos que planeamos utilizar en la unidad de enseñanza.
v. Habilidad para hacer translaciones. Estas involucran la transformación deun término, hecho, regla o proceso de unaforma a otra. Al hacer translaciones, losestudiantes expresan una idea en particular en una nueva forma o toman los eventoso fenómenos de una forma y los representan en forma equivalente. Se puede esperar que los estudiantes reconozcan nuevas ilustraciones de un término, hecho, regia u otro aspecto y/o determinen cuandouna ilustración es apropiada. En generallos estudiantes emplean translacionescuando ponen una idea en sus propias palabras o reconocen nuevos ejemplos de loque han aprendido. Las translaciones eneste sentido no deben confundirse con lastraducciones a lenguas extranjeras.
vi. Habilidad para haceraplicaciones:La aplicación es el uso de términos. hechos, principios o procedimientos pararesolver problemas en situaciones nuevaso no familiares. Se espera que los estudiantes usen ideas o conceptos aprendidos enun contexto para resolver problemas pre-
12ICESI
sentados baJO un nuevo contexto. Sin em·bargo es importante recordar que si setrata de un problema que el estudiante haresuelto previamente con otros datos, estoes una translación. Una aplicación para unprofesor puede ser una translación para elotro, dependiendo de las diferencias en losejemplos usados en las presentaciones declase o prácticas. Para hacer una aplicación. el estudiante debe primero reconocerlo esencial para el nuevo problema, determinar los hechos, reglas, procedimientos ydemás que son relevantes y luego utilizarlos para resolver el problema. La habilidadpara hacer aplicaciones es bastante compleja. es el nivel más alto de aprendizajeutilizado por gran cantidad de profesores.
vII. Destreza para hacer análisis yIIntesis: Un comportamiento aún más avanzado es el de hacer ~nálisis y sintesis. Elanálisis generalmeroi;} involucra la subdivisión de conceptos en sus partes constituyentes y la detección de la relaciónentre esas partes. La síntesis por otro lado,invblucra la integración de elementos oconceptos de tal forma que constituyan unpatrón o estructura con sentido.
La sintesis con frecuencia lleva a los estudiantes a desarrollar soluciones creativas dentro de los límiles de un problemaparticular o un marco metodológico.Debido a la complejidad de este nivel, elanálisis y la síntesis se consideran típicamente sólo en cursos más avanzados. Sinembargo, algunos profesores sienten queestas destrezas son muy importantes ytratan de incluir prácticas de estas actividades para los estudiantes en todos losniveles. Ejemplos de éste podrian ser: "Mediante un párrafo, describa la idea centraldel texto leído", "Resuelva el caso anteriorutilizando sus propias palabras".
1.2 Justificación
Debido a la falla de capacitación de algunos profesores en el aspecto de evalua·ción, se encuentra una serie de deficiencias en la preparación de los exámenescomo son:
a) No se toman en cuenta los niveles deaprendizaje que se desea evaluar. (Ver 1.1- Tabla de Especificaciones).
b) En general, las preguntas utilizadasevalúan pocos niveles de aprendizaje.
c) Se tiende a usar casi siempre elmismo tipo de preguntas, desaprovechando los diferentes tipos existentes que permiten dar mayor flexibilidad y riqueza a laevaluación.
d) No se calcula adecuadamente eltiempo que puede tomar el estudiante pararesponder las preguntas, lo cual lleva aprolongar los tiempos de exámenes y asuprimir algunas preguntas.
e} Es bastante generalizado el uso de uncuestionario común a todo el grupo, lo cualfacilita la copia entre los estudiantes.
1.3 Objetivo general
El presente proyecto se propone mejorarla calidad del proceso de evaluación delestudiante.
1.4 ObJetivo. e.peclflco.
Como objetivos específicos se tienen:
a) Mayor efectividad en la preparaciónde exámenes.
b) Mayor eficiencia en la preparación deexámenes.
c) Aumento en el rendimiento de los estudiantes.
d) Desarrollo del profesor mediante sucapacitación en el campo de sistemas.
e) Mejora de la imagen del profesor.
1.5 Actlvldade.
Para desarrollar este proyecto, se hanplanteado dos grandes etapas, dentro delas cuales se realizan una serie de actividades como se puede anotar a continuación:
A- Desarrollo del prototipo
Dentro de esta primera etapa han participado tres profesores de áreas diferentes,los cuales han trabajado en la definicióndel modelo. Este modelo se le ha entregadoaun programador para que desarrolle losprogramas y la documentación utilizandola herramienta DBASE III+.
Las actividades para esta etapa son:
1) Selección y compromiso de losprofesores (que participarían en el proyecto).
2) Capacitación de profesores en manejo de un paquete de Base de Datos yDiseño 1nstruccional.
3) Definición del prototipo.
4) Revisión/ rediseño de programa decursos escogidos.
5) Definición de indicadores.
6) Medición de indicadores.
7) Desarrollo de aplicación (programas,documentación).
8) Creación de las bases de datos (introducir los datos)
9) Selección, revisión y diseño de laspreguntas.
10) Pruebas.
B- Extensión del modelo.
Una vez terminado y probado el modeloinicial, se tomará un grupo mayor de profesores (aproximadamente 1O) Yse llevaráa cabo un trabajo similar al realizado conlos profesores de la primera etapa. Luegose asignará a un programador, el desarrollo de la nueva aplicación utilizando unmanejador de Base de Datos más poderoso como podría ser Oracle, Unify oInformix.
Actividades de esta etapa
1) Selección y conformación de gruposde profesores.
2) Presentación del proyecto a profesores.
3) Capacitación de los nuevos profesores en el manejo de un paquete de Base deDatos.
4) Capacitación de profesores en Diseño lnstruccional y Evaluación.
5) Conversión de la aplicación (reprogramarla en un paquete de Base de Datosmás poderoso multiusuario, rápido, conlenguaje de 4a. generación, etc)
6) Revisión/rediseño de programa delos cursos asignados a los nuevos profesores
7) Preparación de ítems (preguntas,problemas, etc.) para el Banco de Datos.
9) Creación de la Base de Datos.
13ICESI
4- Difícil5- Muy dificil
10) Capacitación a profesores en elmanejo del nuevo sistema.
11) Medición e indicadores.
12) Evaluación del proyecto.
2. BREVE DESCRIPCIONDEL PROTOTIPO
2.1 ArchIvos
La aplicación maneja un gran archivo depreguntas y una serie de tablas adicionales, los cuales se presentan a continuación.
Archivo de Preguntas
Tiene como propósito guardar las preguntas y sus atributos. Contiene los siguientes campos:
1} CódIgo: Secuencia de cinco dígitosque permite identificar de manera única acada pregunta. Lo asigna directamente laaplicación en el momento de introducir lapregunta al sistema.
2} Materia: Es el código del curso talcomo se ha dado originalmente por la institución. Consiste de una secuencia de seisdígitos.
3} Módulo: Cada materia está divididaen módulos o unidades que agrupan variostemas. Por cada módulo se tiene un códigosecuencial de dos dígitos dentro del curso.
4} Tema: Dado que cada módulo estádividido en temas, es preciso codificardichos temas para identificarlos. El códigodel tema es de dos dígitos.
5} Pregunta: Este campo guarda eltexto de la pregunta, siempre y cuando nose trate de un párrafo ni de un enunciadogeneral. Si la pregunta se asocia a un párrafo o enunciado particular, éste se encuentra aparte.
6) P6rrafo: Por medio de este campo seespecífica símplemente si la pregunta anterior es referente o no, a un párrafo oenunciado.
7} CódIgo del párrafo: En caso de queel campo anterior sea verdadero, estecampo guardará el código del párrafo oenunciado respectivo.
8} TIpo de pregunta: Guarda el carácter asociado dependiendo del tipo de pregunta así:
14Ices.
A- Falso/verdaderoB- CompletarC· ApareamientoD- Escogenciamúltiple
E- Respuesta cortaF- Ensayo respuestarestringidaG· Ensayo conrespuesta abierta
9} DIficultad: Este campo básicamen·te se utiliza para dar información al profe·sor. Dependiendo del nivel de dificultad dela pregunta puede contener los siguientesvalores:
1- Muy fácil2- Fácil3- Normal
10) TIempo: En este campo se guardael número promedio de minutos que tomael estudiante en contestar la pregunta.Estos minutos se pueden tener hasta conun dígito decimal. Ej: 8.5 mino (ocho minutosy medio)
11) NIvel de aprendIzaje que evalúa:Es un carácter que se refiere a los nivelesde la tabla de específicaciones así:
T- CONOCIMIENTO DE TERMINOSH- CONOCIMIENTO DE HECHOSR- CONOCIMIENTO DE REGLAS YPRINCIPIOSP- CONOCIMIENTO DE PROCESOS YPROCEDIMIENTOSL- HABILIDAD PARA HACER TRASLACIONESA- HABILIDAD PARA HACER APLICACIONESS- DESTREZA PARA REALIZAR ANALlSISy SINTESIS
Si una pregunta evalúa más de un nivel,se incluye el nivel superior.
12),13) Y 14) Número de objetivo queevalúa. Cada pregunta evalúa por lomenos uno de los objetivos propuestosdentro de un módulo. Estos tres camposcontienen los códigos del primero. segundo y tercer objetivos, respectivamente, queevalúa la pregunta. Dichos objetivos estánclasificados por orden de importancia.
15) Código Alterna: Es el código de lapregunta alterna. si existe. Dicha preguntatiene las mismas características principales de la original (curso, módulo, tema, diftcultad, nivel que evalúa, objetivo (s) que
evalúa), pero es diferente. Su propósito esel de tener una fuente alterna para generarevaluaciones en otro grupo donde se dicteel mismo curso.
16) Código Melliza: Consiste en el código de una pregunta que va a ser casiigual a la original. La diferencia está en losdatos o enunciado de la pregunta, perodebe conservar incluso el mismo tipo y longitud de la original. Se utiliza para producirtemas múltiples dentro de un mismo cursoy una misma evaluación.
17) Respuesta esperada: Para ciertospropósitos es conveniente almacenar unaposible respuesta a la pregunta en cuestión. Esta puede ser usada por el profesor alimprimir la solución de un examen.
18) Longitud: Almacena el número delíneas que ocupa una pregunta. Este datolo utiliza el programa para preparar elformato de examen.
19) Autor: Este es el código de lapersona (generalmente el profesor) queintrodujo la pregunta al sistema (aunque nosea su autor propiamente). Este dato sirve
MENU PRINCIPAL
en caso de que se tenga cualquier inquietud acerca de la pregunta, para contactar ala persona responsable. A su vez, estecampo sirve para evaluar otros aspectosdel profesor y el curso.
20) Fecha de creación: Guarda lafecha en que se introdujo la pregunta. Sirvepara ver la antigüedad de la pregunta en elsistema.
21) Fecha último uso: Es la fecha de laúltima vez en que se incluyó esta preguntaen un examen. Se usa para la preparaciónde nuevos exámenes.
Adicionalmente se tienen los archivos detablas como son:
-Cursos-Objetivo-Niveles de aprendizaje:-Profesores.
2.2 Funciones
A continuación se presentan los esquemas de los menúes de la aplicación mediante los cuales se pueden identificar susprincipales funciones.
i
l
Figura 3
15ICESI
MENU PARA TRABAJARCON PREGUNTAS
Figura 4
MENU PARA PRODUCCIONDEEXAMENES
~---..,
Figura 5
MENU PARA MANEJODE LAS TABLAS
_______________________Figura 6 _
16'CES';;
2.3 Informes de sallde
Como salidas se espera que el sistemaproduzca diferentes tipos de informes.Estos informes se describen a continuación.
A) LISTADO DE PREGUNTAS POR MODULO - TEMA
Propósito: Se utiliza para preparar exámenes, quices, tareas o talleres. Tambiénsirve para corregir, agregar o eliminar preguntas.
Contenido: El encabezamiento contieneen cada página el nombre del curso, lafecha y la hora en que se imprime, el nombre del profesor que lo solicitó y el nombredel Módulo y/o Tema.
Por cada pregunta se imprimen los valores de los siguientes campos:
-CODIGO-PREGUNTA-TIEMPO-DIFICULTAD-CODIGO(S) DE PREGUNTA(S) MELlIZA(S)-CODIGO(S) DE PREGUNTA(S) GEMELA(S)
Propósito:
Esta lisIa se usa principalmente parapreparar quices con un límite de tiempodado. También se puede usar para completar las preguntas de un examen queestá casi determinado.
Contenido:
-CODIGO-PREGUNTA-TIEMPO-CODIGO(S) DE PREGUNTA(S) MELLlZA(S)-CODIGO(S) DE PREGUNTA(S) ALTERNA(S)
e) PRE-EXAMEN
Propósito:
Con base en una serie de criterios comoson el módulo, tema(s), orden, tiempo límite (sumatoria de los tiempos de cada pregunta sea menor que un tiempo límitedado) objetivos, se desea una o más alternativas de examen.
Contenido:Este informe es un formato que consiste
en un encabezado seguido de una lista depreguntas enumeradas y por último puedecontener un comentario u observación.
Criterios adicionales:
Otros criterios que se sugiere incluir sonlos siguientes:
-Pedir que el examen abarque más deun porcentaje de los objetivos para unaunidad, y que las preguntas se repartan lomás uniformemente posible dentro de losobjetivos.
- Tipos de preguntas que se desean ej:escogencia múltiple, selección, falso/verdadero, etc.
-El tiempo estimado para respondercada pregunta se calcula tomando el datodel archivo y aplicándole una tolerancia del10%.
D) EXAMEN
Dados los códigos de las preguntas quese desea incluir, asi como la fecha del examen, el código del profesor, el número decopias y una observación o nota adicionalopcional, el computador debe devolver elformato de examen listo para entregar a losestudiantes. Además de los datos anteriores, se incluye el nombre de la materia y eldel profesor los cuales los toma de las tablas existentes.
E) EXAMEN MELLIZO
Con relación al examen anterior se lepuede pedir al sistema que produzca uncuestionario con las mismas características pero cuyo contenido sea conformadopor preguntas mellizas (si no es posible ensu totalidad, al menos en un 80%).
Este tipo de examen se produce con elobjeto de reducir las posibilidades de copiaentre los estudiantes, al tener temas diferentes para un mismo grupo.
F) EXAMEN ALTERNO
Este examen será producido tambiéncon base en el original. La diferencia con elmellizo es que sus preguntas ya no seránlas mellizas de éste, sino las alternas.
Su propósito es el de evaluar los mismosobjetivos en grupos diferentes.
G) SOLUCION AL EXAMEN
Este formato consiste en la solución delas preguntas colocadas en el examen.Algunos profesores prefieren entregar estasolución a los estudiantes, con el objeto deque ellos caigan en la cuenta de sus erro-
17ICESI
res, y de que comparen con las calificaciones dadas por el profesor.
Para obfener este formato, se le dará laidentificación del examen producido
3. CONCLUSIONES
Nota: Se incluyen las que se han obtenido hasta el momento.
La conclusión más importante a la quese ha llegado es que el uso de un sistemade este tipo. sólo tiene sentido y llega a serútil, en la medida en que sus usuarios seanconscientes del proceso instruccionalorientado a la mejora de la enseñanzaaprendizaje. A partir de dicho conocimiento, este sistema se convierte en una herramienta que permite hacer más eficientedicho proceso.
-La aplicación cumplirá sus objetivossiempre y cuando se trabaje en la calidadde los datos que se introducen. Es decir. elhecho de contar con esta aplicación no vaa garantizar la producción de buenos exámenes si no se han preparado y caracterizado muy bien los ítems o preguntas que sevan a incluir.
-Para obtener éxito es necesario involucrar a los profesores en el proyecto.
-Los profesores que trabajen en unaactividad de ese tipo deben estar altamente motivados y dispuestos a introducircambios en su estilo tradicionaL
-Se requiere capacitar al profesor en elcampo de Sistemas para hacer más efi-
18ICESI
ciente su papel de "administrador de experiencias instruccionales".
-Un modelo de esta naturaleza debeser trabajado por profesores de diferentescampos, para hacer que sea general yaceptado.
-La motivación y participación de otrosprofesores en el proyecto se logra a travésdel efecto de demostración.
- Un sistema de este tipo puede llegar autilizarse para que los estudiantes practiquen y se auto-evalúen.
-Existen algunas aplicaciones en estalínea pero se han concentrado en el manejo del banco de preguntas como tal y hanolvidado aspectos tan importantes como elpropósito del examen, los objetivos queevalúa una pregunta, los niveles de aprendizaje que se quiere evaluar, los tipos depreguntas más apropiados, etc.
4. REFERENCIAS BIBLlOGRAFICAS
-CHUBER/CRUZIZAPATA "Evaluación delAprendizaje: Aspectos Instruccionales, Estadísticos y Organizativos" Universidad del Valle,Cali. 1980
-DIAGONAL SANTILLANA Edil. "Diccionariode las Ciencias de la Educación", México, 1984
-GUSKEY, Thomas R. Implementing MasteryLearning, Belmont, CA; Wadsworth 1985.
-"Medición Educativa", Revista Compilaciónde Nros. O al 9 Año 1972, Argentina.
- TEN BRINK T. "Evaluation, a practical guidelor teachers", U.SA 1974