enlace.sep.gob.mxenlace.sep.gob.mx/content/ms/docs/2012/Manual_Tecnico... · 2012-02-14 · Anexo...
138
Transcript of enlace.sep.gob.mxenlace.sep.gob.mx/content/ms/docs/2012/Manual_Tecnico... · 2012-02-14 · Anexo...
Manual Técnico enlace Media Superior 2008-2010
Manual Técnico de la prueba Evaluación Nacional de Logro Académico
en Centros Escolares de Educación Media Superior (enlace ms)
D.R. © 2012, Centro Nacional de Evaluación
para la Educación Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19,
Col. San Ángel, Deleg. Álvaro Obregón,
C.P. 01000, México, D.F.
www.ceneval.edu.mx
Diseño y formación: Álvaro Edel Reynoso Castañeda
Febrero de 2012
Directorio del Ceneval
Director General
Mtro. Rafael Vidal Uribe
Directora General Adjunta de Programas Especiales
Dra. Rocío Llarena de Thierry
Directora de Programas para la Administración Pública
Dra. Alejandra Zúñiga Bohigas
Coordinación de la prueba
Lic. Sandra Reyes Lüscher
Elaboración
Lic. Sandra Reyes Lüscher
Dra. Alejandra Zúñiga Bohigas
Equipo de colaboración
Lic. Araceli Castillo Núñez
Lic. Erika Asunción González Mendieta
Lic. Rubén Lugo Campos
Psic. José Rodrigo Alanis Quezada
Psic. Laura Audiffred Maldonado
Lic. Sandra Villagómez Pérez
Lic. Martha Verónica Contreras Valdés
Lic. Claudia Guadalupe Durán Velandia
Mtra. María del Carmen Zafrilla Sánchez
Lic. Rafael Kornhauser García
Presentación 11
1. Antecedentes 15
2. Características generales de la prueba 192.1 Objetivo 202.2 Propósito 202.3 Población objetivo 202.4 Características psicométricas 202.5 Alcances y limitaciones 222.6 Administración 232.7 Resultados 23
3. Desarrollo de la prueba 253.1 Definición del contenido 27
3.1.1 Habilidad Lectora 283.1.2 Habilidad Matemática 33
3.2 Estructura de la prueba 363.2.1 Especificaciones de reactivos 37
3.3 Elaboración y validación de reactivos 373.3.1 Capacitación a elaboradores y validadores 383.3.2 Revisión cualitativa 39
3.3.2.1 Revisión técnica 393.3.2.2 Validación con especialistas 403.3.2.3 Revisión de estilo 40
3.3.3 Revisión Cuantitativa 413.3.3.1 Calibración de reactivos 423.3.3.2 Corrección y validación externa 44
3.3.4 Mantenimiento del banco de reactivos 443.4 Ensamble de la prueba 45
3.4.1 Revisión editorial e impresión del instrumento 47
Índice
4. Aplicación 494.1 Diseño muestral 50
5. Calificación 535.1 Confiabilidad de la prueba 545.2 Establecimiento de puntos de corte y definición de niveles de desempeño 54
5.2.1 Análisis empírico 545.2.2 Análisis de juicio 55
5.2.2.1 Niveles de dominio de la Habilidad Lectora 565.2.2.2 Niveles de dominio de la Habilidad Matemática 57
5.2.3 Validación de los puntos de corte 585.3 Equiparación de las pruebas 58
6. Resultados 636.1 Reporte de resultados 656.2 Usos y difusión de resultados 676.3 Cuestionarios de contexto 68
7. Reflexiones acerca de la prueba 717.1 Comparación con evaluaciones similares 747.2 enlace Media Superior y la riems 77
Referencias 79
Anexo IGrupos de trabajo 81
Anexo IIDatos psicométricos de los reactivos piloteados 93
Anexo IIIParámetros versión operativa 2008 97
Anexo IVMarco muestral. Levantamiento de datos de la prueba 103
Anexo VEstablecimiento de los puntos de corte y generación 111de algoritmo de calificación
Anexo VIValidación de los puntos de corte 115
Anexo VIIEquiparación 131
Índice
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R11
Presentación
El Centro Nacional para la Evaluación de la Educación Superior (Ceneval) es una institución no lucrativa cuya misión es contribuir a elevar la calidad de la educación en México,
por medio del diseño y la aplicación de instrumentos de evaluación válidos, confiables y pertinentes. Estos instrumentos proporcionan información acerca de los conocimientos y habilidades que las personas adquieren al participar en procesos formales o informales de aprendizaje.
Es importante que un instrumento de evaluación cuente con un reporte detallado de los procedimientos que se siguieron en el diseño y elaboración de una prueba para alcanzar altos niveles de calidad técnica. Este Manual Técnico resume la evidencia que fundamenta la es-tructura, la construcción y el mantenimiento de la Evaluación Nacional de Logro Académico en Centros Escolares (enlace) de nivel Medio Superior, que es uno de los instrumentos más importantes en cuya elaboración y seguimiento participa el Ceneval a petición de la Secretaría de Educación Pública (sep).
enlace Media Superior es una prueba de diagnóstico individual que se aplica anual-mente a la población del último año de ese nivel educativo. Debido a que ha resultado un instrumento útil en la toma de decisiones tanto para los sustentantes, como para los centros escolares y los titulares del poder público, es prioritario que la información relacionada con él se ponga a disposición de otros evaluadores, docentes, autoridades educativas, alumnos y padres de familia, de modo que se contribuya a la difusión de la prueba y la adecuada interpre-tación de sus resultados.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
12
Con la publicación del Manual Técnico se da cumplimiento a los estándares exigidos por el Ceneval y por diversas entidades que establecen lineamientos para las pruebas de aprovechamiento, entre ellas la American Educational Research Association (aera), la Ame-rican Psychological Association (apa) y el National Council on Measurement in Education (ncme). A lo largo del documento, se describe puntualmente la forma en que el proceso de elaboración e instrumentación de la prueba enlace Media Superior cumple con diversos estándares de calidad. Incluso se indica entre paréntesis la clave numérica que corresponde al lineamiento establecido por las asociaciones mencionadas anteriormente en el documento normativo titulado The Standards for Educational and Psychological Testing (apa, aera y ncme, 1999).
Antes de detallar las etapas de construcción que caracterizan a la prueba enlace Media Superior, se describen algunos antecedentes del examen, las instancias que promovieron el proyecto de evaluación, las necesidades que le dieron origen y el plan a largo plazo que se está implementando.
El segundo capítulo incluye las características generales de la prueba, específicamente aquellas que fueron determinadas desde su planificación y que, en congruencia con los obje-tivos de evaluación, dictan permanentemente las líneas de acción en las etapas posteriores de desarrollo y mantenimiento del instrumento.
El tercer apartado explica con detalle la estrategia con que se definió el contenido y la estructura del instrumento de evaluación, así como los procedimientos para contar con un banco de reactivos que cumpla con lineamientos internacionales de calidad, y permita el ensamble de los cuadernillos que son aplicados a la población objetivo.
El cuarto capítulo presenta información acerca de las circunstancias particulares, las condiciones y los requisitos para aplicar el examen, se precisan los tiempos y número de se-siones requeridas, así como el ensamble y diseño de aplicación consecuentes con el propósito que ha caracterizado a la prueba enlace Media Superior desde 2008.
La sección denominada Calificación describe los procedimientos para establecer los puntos de corte y definir los niveles de dominio con el apoyo de especialistas que se encargan de validarlos de manera empírica y teórica. Además de explicar el significado de ubicar a los sustentantes en uno u otro nivel, se detalla el proceso para cuidar que año con año la califi-cación y las comparaciones basadas en dichos niveles sean válidas.
En el capítulo Resultados se muestra la distribución de sustentantes por nivel de domi-nio que se obtuvo en los tres años de aplicación. Además, se exponen las vías que tienen los sustentantes, los docentes y la comunidad en general para conocer los resultados, entre ellas, las estrategias de difusión que han puesto en práctica la sep, la Subsecretaría de Educación Media Superior (sems) y el Ceneval para promover el máximo aprovechamiento de la evaluación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R13
En el último apartado se presenta una discusión de los alcances de esta evaluación y de la experiencia que se ha tenido durante los tres años de su aplicación, con el propósito de motivar la reflexión y retroalimentación en cuanto a la construcción y desarrollo de la prueba. De igual modo, se mencionan de manera breve algunos aspectos de la reestructuración que sufrió la prueba para su aplicación en 2011, en congruencia con los objetivos y lineamientos de la Reforma Integral de la Educación Media Superior (riems).
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R15
En 2007 la Subsecretaría de Educación Media Superior (sems) comenzó el desarrollo del Sistema Nacional de Evaluación de la Educación Media Superior
(sneems), en cumplimiento del Programa Sectorial de Educación 2007-2012. Dicho sistema persigue dos objetivos generales: 1) proporcionar elementos para mejorar la calidad de la educación media superior (ems) en todas sus dimensiones, subsistemas, modalidades y plan-teles, y 2) proporcionar elementos para rendir cuentas a la sociedad sobre el funcionamiento del nivel educativo, mediante mecanismos transparentes en beneficio de todos los sectores interesados.
Para evaluar de manera integral la calidad de la ems es necesario utilizar varias estra-tegias, cuyos alcances y limitaciones se complementen de tal forma que ofrezcan una visión más amplia de la realidad educativa y la posibilidad de emitir juicios de valor que susten-ten adecuadamente las decisiones que se tomen. Para ser consecuente con dicho principio, el sneems establece cinco grandes niveles o ámbitos de trabajo, cuya evaluación supone diversas estrategias con propósitos específicos e instrumentos que respondan de manera congruente y adecuada a las características de cada uno. Los ámbitos son: a) sistemas y sub-sistemas, b) programas e intervenciones, c) escuelas, d) maestros y e) alumnos.
1. Antecedentes
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
16
enlace Media Superior es uno de los instrumentos construidos para la evaluación de los alumnos. Entre otras líneas de acción, el Programa Sectorial que rige al sneems, expresa la necesidad de “diseñar, aplicar y consolidar los instrumentos de evaluación del desempeño académico de los estudiantes como insumo para reorientar la acción pedagógica y para integrar los programas de nivelación académica”.1
Esta evaluación se desarrolló con el fin de generar información para cada estudiante acerca de su capacidad de respuesta ante exigencias de la vida cotidiana al egresar de la ems, de tal forma que se proporcionen elementos para contribuir a la mejora del sistema educativo (incluyendo maestros, planteles, padres de familia, etcétera).
En febrero de 2007 la sems y la Dirección General de Evaluación (dgep) de la sep solicitaron el apoyo de Ceneval para la elaboración de la prueba enlace Media Superior, a lo que el Centro respondió con tres propuestas: la primera incluía la evaluación de cinco áreas: Lenguaje y Comunicación, Matemáticas, Metodología, Ciencias Naturales e Introducción a las Ciencias Sociales; la segunda se centraba en la evaluación de tres ámbitos: Matemáticas, Lectura y Ciencias; y la tercera en la evaluación de dos habilidades básicas: Habilidad Lectora y Habilidad Matemática.
Debido a la diversidad de subsistemas que hay en la educación media superior y a la existencia de más de 200 currículos en el ámbito nacional, se prefirió la elaboración de un instrumento abocado a dos habilidades generales que son parte fundamental en la educación: Habilidad Lectora y Habilidad Matemática. Ambas son transversales, es decir, se desarrollan a lo largo de la historia escolar y fuera de ella, además de que se manifiestan de modo dife-rencial en los individuos, lo cual permite identificar diferentes niveles de dominio.
La construcción de la prueba implicó diversos procesos integrados y sistematizados en las etapas de la Metodología Ceneval: diseño, construcción, verificación, ensamble, aplicación, calificación y emisión de reportes. Las cuatro primeras fueron responsabilidad única del Ceneval y las tres últimas estuvieron a cargo de la dgep-sep; en todos los casos se supervisó el cum-plimiento de lineamientos y estándares de carácter internacional (apa, aera & ncme, 1999).
En cada una de las etapas, los procesos fueron avalados y legitimados por cuerpos colegiados que emitieron propuestas y juicios especializados. El Consejo Directivo, el Consejo Técnico, los Comités Académicos o el grupo de Asesores Externos están conformados por expertos en educación y evaluación de las habilidades que integran la prueba, nacionales e
1 Disponible en http://www.sep.gob.mx/wb/sep1/programa_sectorial
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R17
internacionales. Dada la notoriedad que la prueba enlace Media Superior ha adquirido desde su primera aplicación, en 2008, resulta prioritario asegurar la calidad del proceso evaluativo.
En la tabla 1 se muestra el incremento en la cobertura de la prueba en estos tres años, por número de centros escolares y de sustentantes individuales. Los datos para cada entidad federativa se encuentran disponibles en la página electrónica http://enlace.sep.gob.mx/ms/.
Tabla 1. Cobertura de enlace Media Superior
Como se mencionó, en 2011 la evaluación sufrió algunas modificaciones en respuesta a la solicitud de la sems de dar seguimiento a la Reforma Integral de la Educación Media Supe-rior (riems) que centra sus esfuerzos en promover un perfil de egreso definido en términos de competencias. Debido a que el enfoque de la prueba enlace Media Superior siempre ha sido evaluar habilidades básicas, el cambio no será radical y actualmente ya se ha avanzado en el diseño y adaptación de la prueba de modo que para dar continuidad a la evaluación de Habilidad Lectora y Habilidad Matemática, en 2011 la prueba se abocó a los campos discipli-nares que la riems identifica de la siguiente manera: Comunicación (Comprensión Lectora) y Matemáticas.
En los siguientes apartados se documentan los acuerdos y actividades correspondien-tes a las diferentes etapas de construcción de la prueba que se aplicó entre 2008 y 2010, así como los resultados obtenidos.
Sustentantes
2008
808,346
11,007
2009
835,741
11,716
2010
884,663
12,164Escuelas
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R19
Durante el periodo 2008-2010, la prueba enlace Media Superior se concibió como una evaluación diagnóstica de dos habilidades
básicas para la vida. En el cuadro 1 se sintetizan las características de esta evaluación de acuerdo con las categorías establecidas (Vidal, 2009) para los instrumentos de evaluación generados en Ceneval. En las siguientes páginas se ofrece una explicación para cada una.
Cuadro 1. Características de la prueba enlace Media Superior
2. Características generales de la prueba
Propósito
Población sustentante
Periodicidad
Tipo de examen
Dominio explorado
Cobertura de dominio
Referente de calificación
Sensibilidad a la instrucción
Cobertura de la población
Evidencias
Control de la aplicación
Impacto
Evaluar personas
Alumnos del último ciclo de la ems
Anual
Diagnóstico
Habilidades básicas: lectora y matemáticas
Restringido
Criterial
Baja
Censal
Opción múltiple
Bajo
Bajo
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
20
2.1 Objetivo
El objetivo de la prueba Enlace Media Superior es determinar en qué medida los jóvenes son capaces de aplicar a situaciones del mundo real los conocimientos y habilidades adquiridos a lo largo de la educación media superior, que les permiten hacer un uso apropiado de la lengua (Habilidad Lectora) y las Matemáticas.
2.2 Propósito
La prueba enlace Media Superior se aplica cada año y su propósito general es evaluar per-sonas. Mediante los datos obtenidos en la aplicación, es posible:• • • Generar información, para cada alumno, acerca de su nivel de desempeño en dos ha-
bilidades básicas.• • • Proveer elementos que contribuyan a la mejora del sistema educativo.• • • Proveer información útil para el plantel, los profesores y los padres de familia.
2.3 Población objetivo
La prueba enlace Media Superior está dirigida a los alumnos del último ciclo de bachillerato (cuatrimestre, semestre, año) en modalidad escolarizada de los diferentes subsistemas de las instituciones de educación media superior (bachilleratos generales, tecnológicos y bivalentes), tanto de sostenimiento público como privado, de la República Mexicana.
Por ser una prueba estandarizada no es apta para aplicarse a alumnos con necesidades especiales o que usen una lengua diferente al español.
2.4 Características psicométricas
Es una prueba objetiva y estandarizada, porque su aplicación y calificación mantiene las mismas condiciones para todos los sustentantes evaluados. Además, se caracteriza por:• • • ser un examen diagnóstico, ya que emite información general del desempeño de cada
alumno, sin establecer alguna categoría de certificación o jerarquización;
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R21
• • • explorar el dominio de los sustentantes en tareas relacionadas con habilidades básicas para la vida, a saber, Habilidad Lectora y Habilidad Matemática;
• • • ser una evaluación de cobertura homogénea restringida, porque utiliza las mismas preguntas para medir, en todos los estudiantes, la presencia o ausencia únicamente de una muestra representativa de conocimientos, actividades y conductas relacionadas con sus habilidades;
• • • su baja sensibilidad a la instrucción, puesto que examina un dominio restringido de ha-bilidades que el sustentante desarrolla tanto dentro como fuera del aula, es decir que no dependen solamente del currículo escolar y la manera en que son enseñadas en los niveles de escolarización formal;
• • • reportar los resultados con referencia a criterio, ya que el desempeño del individuo es inde-pendiente de lo que responden otros individuos, a diferencia de la evaluación referente a la norma, la cual compara el resultado del individuo con los resultados de una población o grupo al que pertenece. La evaluación criterial permite identificar con precisión, en re-lación con un criterio previamente fijado, el rendimiento de un sustentante en función de su desempeño o dominio de las habilidades evaluadas al resolver la prueba;
• • • ubicar a los sustentantes en cuatro niveles de desempeño, que se definen con base en el con-tenido establecido en el perfil referencial;
• • • ser censal, puesto que está programada para aplicarse a todos los sustentantes que cum-plan con la descripción de la población objetivo;
• • • estar conformada por reactivos de opción múltiple, ya que incluye preguntas o problemas que se acompañan de tres distractores verosímiles y una respuesta correcta. La elección de este tipo de reactivo para conformar la prueba se debe, por un lado, a su flexibilidad, ya que los reactivos de opción múltiple se adaptan a la complejidad de los contenidos que se pretende evaluar; por otro, a su versatilidad, ya que los reactivos de este tipo permiten me-dir la comprensión de nociones fundamentales y la habilidad del sustentante para razonar y aplicar lo aprendido; así también, una característica que los hace ideales es la facilidad de calificación, ya que puede hacerse de manera rápida y exacta, lo que resulta indispensable cuando se requiere evaluar poblaciones numerosas y ofrecer resultados rápidamente.
• • • contar con un bajo control en su aplicación, lo cual responde al hecho de que únicamente sea una evaluación diagnóstica y se aplique a una población de alrededor de 800,000 sustentantes cada año. Aun así, en la cuarta sección del presente Manual se explican los detalles de la aplicación de la prueba a una muestra controlada, cuyos datos se utilizan para procesos de calificación e investigaciones alternativas;
• • • ser un examen de bajo impacto, ya que sus resultados no deben tener consecuencias para los evaluados.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
22
2.5 Alcances y limitaciones
Las características y propósitos de la prueba enlace Media Superior determinan sus alcances y limitaciones en comparación con otros instrumentos de evaluación. Es importante hacer hincapié en dichos aspectos, ya que utilizar los resultados de la evaluación para fines distintos ocasionaría interpretaciones carentes de validez (estándares 1.1, 1.2 y 1.6).2
La prueba brinda a los sustentantes información útil sobre las fortalezas y debilidades que poseen en cuanto al desarrollo de su Habilidad Lectora y su Habilidad Matemática. El reporte de resultados presenta, de manera específica, las tareas que el sustentante es capaz de realizar y aquellas que no, de modo que pueda conocer áreas de oportunidad para así hacerse responsable de su educación y emplear herramientas que le ayuden a mejorar sus habilidades. Es importante considerar que, debido a que la prueba se planteó desde el inicio como diagnóstica, enlace Media Superior evalúa únicamente una muestra representativa de contenidos y procesos. En otras palabras, no incluye todas las temáticas y tareas que los estudiantes del nivel medio superior pueden y deben dominar. Además, el examen posee una baja sensibilidad a la instrucción, ya que la necesidad de evaluar a la población censal, aunada a la existencia de múltiples currículos de bachillerato, obligó a que el diseño de la prueba se centrara en la evaluación de dos habilidades que cualquier estudiante debe poseer, indepen-dientemente del subsistema que haya cursado.
enlace Media Superior se clasifica como una prueba de bajo impacto pues los resul-tados obtenidos no tienen consecuencias académicas para los alumnos evaluados ni para las escuelas. El instrumento no permite derivar conclusiones acerca de la educación media superior, los subsistemas, las escuelas o el desempeño de las entidades federativas. El di-seño y propósitos de esta prueba se limitan a la emisión de un diagnóstico general para el sustentante de fortalezas y debilidades en el desarrollo de su Habilidad Lectora y Habilidad Matemática. Las decisiones que se tomen a partir de los resultados deben considerar cuida-dosamente el contexto de la evaluación y las condiciones de cada escuela, por lo que no es válido sacar conclusiones sobre el mejor o peor subsistema, plantel o plantilla docente. La prueba no sirve para hacer comparaciones entre alumnos, entre escuelas o entre subsistemas; sólo responde a los propósitos para los que fue creada: proporcionar un diagnóstico indivi-dual, elementos que contribuyan a la mejora del sistema educativo y retroalimentación para maestros, planteles y padres de familia.
2 Con este formato, de aquí en adelante se indican los estándares de calidad de la apa, aera y ncme (1999) que se siguieron durante el proceso de construcción y aplicación de enlace Media Superior, así como en la elaboración del presente Manual Técnico.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R23
En el caso de los docentes, la prueba es útil para conocer las fortalezas y debilidades que exhiben los sustentantes en lo que se definió como Habilidad Lectora y Habilidad Mate-mática en enlace Media Superior. Para las autoridades educativas, los resultados de la prueba representan un diagnóstico general útil para guiar las acciones de fomento de la Habilidad Lectora y la Habilidad Matemática.
2.6 Administración
La aplicación de la prueba enlace Media Superior es responsabilidad de la dgep-sep y se hace año con año. La prueba se aplica de manera censal, lo que determina que el control del proceso sea bajo; sin embargo, para contar con datos confiables para la realización de los análisis estadísticos y los procesos de calificación, se planifica una aplicación controlada a una muestra representativa de la población objetivo.
El instrumento se califica bajo las mismas condiciones para todos los evaluados por lo que se caracteriza como prueba estandarizada (estándar 3.20). Es importante mencionar que, una vez que se aplica, la prueba se hace pública; es decir se dan a conocer todos los reactivos que la conforman. En el capítulo cuarto se describen a detalle algunos aspectos relacionados con la administración de la prueba.
2.7 Resultados
Tanto los estudiantes como los directivos, docentes y la comunidad en general, tienen acceso a los resultados de cada aplicación ingresando a la página electrónica oficial http://enlace.sep.gob.mx/ms/. Cada estudiante puede conocer el nivel de dominio en el que se encuentra: insuficiente, elemental, bueno o excelente para cada una de las habilidades evaluadas, así como las respuestas correctas de todos los reactivos. Los docentes y directivos también tienen la posibilidad de conocer los errores más comunes del alumnado y los resultados de cada plantel año con año.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R25
De acuerdo con la Metodología Ceneval (2008) y como parte del primer paso para desarrollar pruebas eficaces, la construcción de la prueba enlace Media Superior
comenzó con el establecimiento de un plan general de evaluación. Las primeras acciones se orientaron a definir el propósito y las características generales del instrumento en congruen-cia con los requerimientos de la sems. Contar con objetivos claros y conocer los alcances y limitaciones de la aplicación deseada permite establecer un cronograma con actividades que aporten validez y solidez a la prueba en su conjunto (estándares 1.1, 3.2 y 3.9).
De 2007 a la fecha, cada uno de los procesos involucrados en la elaboración de la prueba ha contado con la participación de distintos grupos de expertos. La validez de la estrategia de medición y las interpretaciones se ven fortalecidas por la constante retroalimentación que hay entre los cuerpos colegiados, ya que la implementación de la evaluación implica la coor-dinación y el consenso entre todos.
A continuación se detallan las funciones de los grupos de trabajo que intervinieron en la elaboración de la prueba, tanto en su diseño como en su construcción y mantenimiento. En el anexo I se enlistan los nombres de los integrantes.
3. Desarrollo de la prueba
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
26
• • • Consejo Directivo: sus integrantes dan seguimiento al sneems coordinando las estrategias propias de los cinco ámbitos ya mencionados.
• • • Consejo Técnico: asesora a las autoridades educativas y a los Comités Académicos en el di-seño, análisis y seguimiento de la prueba impulsando acciones que permitan respaldar su transparencia y confiabilidad; valida su estructura y sus contenidos; revisa los resultados del estudio piloto y propone modificaciones a partir de ellos; evalúa técnica y académi-camente los informes que se producen y define los usos que son apropiados. Además, colabora en la propuesta de elaboración de los cuestionarios de contexto y aprueba la forma de aplicación de la prueba enlace Media Superior.
• • • Comité Académico de Diseño: es el responsable de la definición de los contenidos que se van a evaluar, los grupos de procesos cognitivos y los niveles de complejidad que explora la prueba y determinan su estructura. A partir de ello, elabora las especificaciones de reac-tivos que son revisadas por el Comité Académico de Validación de Contenido y Especificaciones.
• • • Comité Académico de Elaboración de Reactivos: está conformado por docentes del nivel medio superior y especialistas en los contenidos de la prueba, que elaboran los reactivos con base en las especificaciones.
• • • Comité Académico de Validación de Reactivos: garantiza que los reactivos elaborados co-rrespondan con lo que se desea evaluar y representen de manera clara y precisa los elementos necesarios para asegurar la validez de la evaluación.
• • • Comité Académico de Establecimiento de Puntos de Corte y Definición de Niveles de Dominio: sus miembros son expertos en las áreas de evaluación y estadística, que revisan los pará-metros obtenidos después del piloteo y aplicación de la prueba, identifican las puntua-ciones de corte y definen los niveles de dominio.
• • • Asesores externos: son especialistas reconocidos en Latinoamérica, Estados Unidos y Europa que establecen los estándares técnicos, evalúan los distintos indicadores de los instrumentos y hacen recomendaciones para el mejoramiento de los procesos de diseño, elaboración y administración de las pruebas.
La decisión de integrar tan diversos cuerpos colegiados obedece a que en el Ceneval se considera importante contar con diferentes puntos de vista que enriquezcan el instrumento de evaluación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R27
3.1 Definición del contenido
Una vez que el Consejo Directivo y el Consejo Técnico acordaron el plan general de la prueba –el cual incluye las características y propósitos descritos en el apartado anterior–, el personal del Ceneval estuvo en condiciones de convocar a los Comités Académicos e iniciar con la primera etapa de la metodología institucional para la construcción de pruebas: el diseño.
Durante la etapa de diseño del instrumento de evaluación se definen los elementos que constituyen el marco conceptual y operacional en que se fundamentará todo el proceso. El primer paso es elaborar un perfil referencial (pr), que constituye el referente medular para el desarrollo de la prueba, porque describe las bases teóricas y la forma en que se estructura el instrumento de manera que se cumpla con sus propósitos y se atiendan las características de los sustentantes. De este modo, es posible establecer de manera clara y precisa aquello que se pretende medir (estándares 1.2 y 1.6).
Para la prueba enlace Media Superior se elaboró un perfil de cada una de las habi-lidades evaluadas. Su delimitación estuvo a cargo de los Comités Académicos de Diseño, conformados por grupos de expertos en la enseñanza y desarrollo de la Habilidad Lec-tora y Matemática. Estos comités estudiaron los marcos teóricos de la evaluación de pisa (Programme for International Student Assessment) que lleva a cabo la Organización para la Cooperación y el Desarrollo Económicos, los materiales disponibles de la encuesta all (International Adult Literacy Survey), los procedimientos de Cito3 (Cito Instituut voor Toet-sontwikkeling, conocido en inglés como Central Institute for Test Development) y algunas aproximaciones a la evaluación de habilidades que han resultado exitosas en el contexto latinoamericano (simce y timss). La revisión de literatura y de los planes y programas de las diferentes modalidades y subsistemas de la ems sirvió como referente para definir las dos habi-lidades e identificar los contenidos y los procesos por evaluar. Una de las concepciones teóricas generales que guio la elaboración del perfil corresponde con el enfoque de las pruebas pisa y simce, y fue la siguiente:• • • El alumno aprende poniendo en práctica habilidades que implican el despliegue de diferentes procesos
cognitivos, y el profesor, como mediador del aprendizaje, debe identificarlas y tratar de desarrollarlas por medio de diversos contenidos (simce, 2005).4
3 Página oficial del Instituto http://www.cito.nl/4 Sistema de Medición de la Calidad de la Educación (simce). Reporte de Resultados 2005. Santiago: Ministerio de Educación, Unidad
de Curriculum y Evaluación (uce) de Chile.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
28
Tanto la Habilidad Lectora como la Matemática están definidas en términos del contenido o estructura del conocimiento que los estudiantes necesitan adquirir a lo largo de la trayectoria escolar y los procesos que se requieren llevar a cabo (pisa, 2000, 2003, 2006). Tanto la Meto-dología Ceneval (2008) como Downing et al. (2006), recomiendan poner especial atención en la definición operacional de los contenidos y los procesos cognitivos implicados en las tareas que tendrá que resolver el alumnado, específicamente para facilitar la elaboración de los reactivos y apoyar a los investigadores e interesados en las interpretaciones que pudieran derivarse de los resultados de la evaluación (estándares 1.18 y 13.3).
Los Comités Académicos diseñaron además las especificaciones de la prueba y defi-nieron su estructura. Las especificaciones son enunciados que describen de manera clara y precisa la conducta que se espera que realice el sujeto al contestar un reactivo (estándares 3.2 y 3.11). Estas se construyen en correspondencia directa con los contenidos que cada comité determina como esenciales para que un estudiante que egresa del nivel bachillerato en nuestro país sea competente en las áreas de conocimiento. Un aspecto importante en la elaboración de especificaciones fue distribuirlas de modo que se contara con tareas en tres niveles de complejidad. Esta gradación se delimitó para cada uno de los grupos de procesos cognitivos, de modo que después de la aplicación se facilite la ubicación de los sustentantes en diferentes niveles de dominio.
La pertinencia y relevancia de los contenidos y taxonomía diseñados para cumplir con los propósitos de enlace Media Superior fueron revisadas por Comités Académicos de Validación que perfeccionaron el diseño de la prueba. La propuesta final fue aprobada por el Consejo Técnico.
A continuación se presentan los perfiles referenciales de la prueba enlace Media Superior, y se describen puntualmente sus contenidos, procesos y estructura.
3.1.1 Habilidad LectoraLeer es una de las actividades básicas en el desarrollo académico y personal. Evaluar la Habilidad Lectora del alumnado es importante porque cada estudiante requiere contar con un nivel de dominio suficiente para responder a las exigencias de su entorno.
La evaluación de la Habilidad Lectora en la prueba enlace Media Superior concep-tualiza a la lectura como una herramienta fundamental en todas las formas de crecimiento intelectual, no sólo en el ámbito académico como base del aprendizaje, sino también para actividades de tipo recreativo y para el desarrollo social.
La diversidad de usos de la lectura constituye un proceso de naturaleza múltiple que involucra distintas habilidades que se adquieren en los primeros años de escuela y se forta-
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R29
lecen en la vida cotidiana. Leer se considera un proceso porque implica la coordinación de diferentes habilidades y conocimientos en distintos tiempos y grados de participación, antes, durante y después del acto de leer. Es muy importante que el lector vaya construyendo una comprensión de la lengua que integre su aspecto morfológico y funcional, lo primero se refiere a las consideraciones formales del lenguaje que, como sistema, debe respetar signos, reglas y convenciones para ser entendido, y el segundo aspecto atiende a la función comuni-cativa del lenguaje.
Partiendo de este universo conceptual, se elaboró una definición de la Habilidad Lectora, que es meramente operacional, es decir, responde a las necesidades de la prueba.
Definición operacional
Para la prueba enlace Media Superior se definió la Habilidad Lectora como la capacidad de un individuo para comprender, utilizar y analizar textos escritos, con el fin de alcanzar sus propias metas, desarrollar el conocimiento y el potencial personal, y participar en la sociedad.
Contenidos
El contenido por evaluar está asociado con el tipo de texto que se utiliza para medir la Habilidad Lectora. Los cuatro tipos de texto que contiene la prueba enlace Media Superior se eligieron por considerarse representativos del nivel educativo, y porque reflejan funciones importantes de la lengua.
Su descripción es la siguiente:• • • Apelativo. Refleja la función apelativa, la cual trata de suscitar interés en el receptor
o de convencerlo de actuar. Se busca seguir una instrucción; convence, sugiere, ruega, aconseja. Desarrolla el uso del verbo condicional o imperativo.
• • • Argumentativo. Pretende expresar un argumento o contraargumento, probar o demos-trar una idea, refutar la contraria para persuadir o disuadir al receptor. Intenta demostrar, convencer o cambiar ideas; por ello –además de la función apelativa presente en el desa-rrollo de los argumentos– aparece la función referencial, donde se expone la tesis.
• • • Expositivo. Representa la función referencial o pragmática utilizada cuando se quiere expresar clara y objetivamente un mensaje. Se relaciona con el mundo real, con el con-texto externo, y expresa lo que sucede, las acciones emprendidas por alguien, así como los resultados de investigaciones. Ayuda a aprender a describir o clarificar algún con-cepto, palabra o aspecto de un tema determinado.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
30
• • • Narrativo. Evoca la función poética, literaria o creativa, útil para describir la realidad en forma subjetiva, personal, original y creativa a través de la mirada del artista, quien selecciona y combina las palabras y frases; además de lo que se dice, es importante cómo se dice.
Asimismo, se crearon listas de cotejo que señalan los requerimientos de forma y con-tenido para cada texto, con el fin de asegurar que los reactivos asociados permitan cumplir con la evaluación de los procesos necesarios, eviten ser ofensivos para algún grupo social y garanticen un lenguaje claro, sin regionalismos ni tecnicismos.
Procesos y niveles de complejidad
La prueba enlace Media Superior concibe la lectura como una actividad multidimensional, por lo que al evaluar la Habilidad Lectora se espera que los estudiantes demuestren su capa-cidad para obtener información, comprender los textos de manera general, interpretarlos y reflexionar sobre su contenido y su forma. Los procesos cognitivos que se definieron para la evaluación implican los procedimientos cognitivos mínimos que un sustentante con buena comprensión lectora debe poner en práctica para utilizar de manera adecuada los textos.
La definición de cada uno de los procesos se muestra a continuación:•• 1. Extracción de información. Implica buscar, localizar y seleccionar la información
específica de una o más oraciones, o de distintos párrafos de un texto. Se basa en el propio texto y en la información explícita que contiene.
•• 2. Desarrollo de la comprensión. Está relacionado con la capacidad del lector para identificar de qué fenómeno o tema trata el texto y qué se dice de él.
•• 3. Desarrollo de la interpretación. Implica atribuir significado y sentido a palabras, oraciones, conceptos, proposiciones al texto completo, de acuerdo con sus contenidos y propósitos.
•• 4. Reflexión y evaluación del contenido. Tiene que ver con la valoración de las pro-posiciones que contiene un texto, para contrastarlas con los conocimientos previos y relacionar su información con otras fuentes de conocimiento, las cuales pueden proceder de textos facilitados en la prueba o de ideas explicitadas en la pregunta.
•• 5. Reflexión y evaluación de la forma. Consiste en identificar el grado de corresponden-cia entre el contenido y la estructura del texto y evaluar su pertinencia, así como valorar qué tan adecuada es la forma en que se escribió el texto al contenido que se presenta.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R31
Con el fin de precisar aún más la medición de la Habilidad Lectora, se desagregaron los procesos en tres niveles de complejidad, de acuerdo con las características y tareas invo-lucradas en cada uno:•• a) La información a la que recurre el sustentante. Puede utilizar información contenida
en el texto o fuera de él, apoyándose en conocimientos externos del tema abordado.•• b) Los aspectos en los que se centra el lector. Pueden ser partes independientes del texto
o relaciones entre sus apartados.•• c) El enfoque del lector en el texto. Puede considerarlo como un conjunto o hacer rela-
ciones entre sus partes.
La definición de los niveles de complejidad sirvió como referente para elaborar las especificaciones de la Habilidad Lectora. Fue exhaustiva para asegurar que se cuente con reactivos relacionados con todas las acciones cognitivas que se requieren para comprender un texto. Por esta razón, los grupos de procesos de Desarrollo de la comprensión y de la interpretación, así como Reflexión y evaluación del contenido y de la forma, se subdividieron para optimizar las actividades posteriores de construcción de la prueba. Los niveles se pre-sentan a continuación:
Niveles del proceso de extracción de información
• • • Nivel 1. Localizar un elemento (tópico, concepto, episodio, participante) que se encuentre en el texto de manera explícita. Será muy evidente o notorio para el lector, y se puede encontrar en cualquier parte del texto.
• • • Nivel 2. Localizar dos elementos relacionados (tópico, concepto, episodio, participante) que se encuentren a lo largo del texto de manera explícita. Estos elementos se encuentran en cualquier parte del texto o párrafo y carecen de marcadores.
• • • Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus dis-tractores se ubican a lo largo del texto.
Niveles del proceso de desarrollo de la comprensión
• • • Nivel 1. Identificar el tema central de un párrafo; el tema no es explícito, implica una inferencia local.
• • • Nivel 2. Integrar diferentes partes de un texto para identificar la idea central; comprender una relación (problema-solución, causa-efecto, comparación-contraste, premisa- con-clusión, ejemplificación, descripción, negación, etcétera).
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
32
• • • Nivel 3. Localizar tres o más elementos relacionados. El elemento objetivo y sus dis-tractores se encuentran a lo largo del texto.
Niveles del proceso de desarrollo de una interpretación
• • • Nivel 1. Interpretar el significado de una palabra o frase corta con base en la situación descrita.
• • • Nivel 2. Inferir relaciones entre los párrafos (problema-solución, causa-efecto, compa-ración-contraste, premisa-conclusión, emociones, etcétera). Se evalúan analogías.
• • • Nivel 3. Vincular las múltiples interpretaciones e inferencias.
Niveles del proceso de reflexión y evaluación del contenido
• • • Nivel 1. Identificar la postura del autor de manera global.• • • Nivel 2. Identificar información que apoye el punto de vista del autor (un hecho, un
dato, un contexto) y contrastar sus argumentos.• • • Nivel 3. Identificar los contraargumentos que se incluyen en el texto o establecer una
comparación con un fragmento del mismo y un refrán o analogía.
Niveles del proceso de reflexión y evaluación de la forma
• • • Nivel 1. Determinar si los recursos gráficos (cursivas, viñetas, subtítulos, etcétera) uti-lizados por el autor son adecuados y contribuyen a hacer una mejor interpretación del texto en el entorno local.
• • • Nivel 2. Identificar si la estructura del texto es adecuada al contenido que se presenta. Establecer por qué se utilizan recursos gráficos en dos o más párrafos.
• • • Nivel 3. Identificar si la organización, expresiones y recursos que el autor utiliza son adecuados al tipo de texto que se presenta y a su destinatario.
Las especificaciones describen, de manera muy similar a las definiciones presentadas, cada una de las conductas que se busca en los sustentantes al responder un reactivo. La relación tan estrecha de las especificaciones con los propósitos y bases conceptuales de la prueba, permite tener claridad y precisión en lo que se va a medir, logrando así que la elabo-ración de reactivos tenga la menor discrecionalidad al interpretar lo que se quiere evaluar y puntualidad en lo que se debe preguntar.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R33
3.1.2 Habilidad MatemáticaLos conceptos y tareas matemáticas están presentes en casi todas las situaciones de la vida diaria, de ahí que manejarlas satisfactoriamente se considere una habilidad básica. Su eva-luación se ha abordado de diferentes modos; en algunas ocasiones se realizan las pruebas por medio de tareas que pertenecen a las ramas de la matemática, como álgebra, geometría, estadística, probabilidad o cálculo; pero otras aproximaciones se basan en la presentación de situaciones que dan pie a organizar y estructurar la información presente en el problema, identificar los aspectos matemáticos relacionados con dicha tarea y descubrir, entre otras cosas, relaciones, regularidades y estructuras. Todo este proceso se conoce como matematización (Freudenthal, 1999).
Se decidió evaluar la Habilidad Matemática mediante operaciones matemáticas simples y complejas con ejercicios parecidos a los que se plantean en el aula. Se incluyeron también problemas menos estructurados, similares a los que enfrentará el alumnado en contextos sociales o de su vida cotidiana, en los que tendrá que analizar el procedimiento y la técnica matemática necesarios para poder solucionarlos.
El Perfil Referencial de Habilidad Matemática de la prueba enlace Media Superior se organizó de manera sistemática, por un lado, a través de los contenidos matemáticos que eng-loban los temas o elementos conceptuales en los que un estudiante debe basarse para resolver un problema y, por el otro, con los procesos matemáticos en los que se agrupan las tareas cog-nitivas que el estudiante utiliza para responder un cuestionamiento o solucionar un problema.
Definición operacional
La Habilidad Matemática se definió como la aptitud de un individuo para identificar y comprender el papel que desempeñan las matemáticas en el mundo, alcanzando razonamientos bien fundados, utilizando y participando en las matemáticas en función de las necesidades de su vida como ciudadano constructivo, comprometido y reflexivo (ocde, 2006).
La definición implica que aquel estudiante que cuente con Habilidad Matemática es capaz de valorar el papel que juegan las matemáticas en su vida y, de esa forma, aplicarlas en la solución de problemas que se le presenten en diferentes contextos.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
34
Contenidos
Para afirmar que un sustentante posee cierto nivel de Habilidad Matemática, independiente-mente del área en que haya cursado, cada bachiller debe conocer y manejar cuatro contenidos matemáticos generales: cantidad, espacio y forma, cambios y relaciones, y matemáticas básicas. Su descripción es la siguiente:• • • Cambios y relaciones. Implica reconocer, describir y modelar de forma numérica,
algebraica y gráfica las relaciones o funciones temporales y permanentes entre fenó-menos. Prevé la necesidad de tomar decisiones a partir del análisis de los datos, repre-sentaciones de experimentos aleatorios y juegos de azar.
• • • Cantidad. Subraya la necesidad de cuantificar para proceder a describir el entorno. In-cluye aquellos conceptos involucrados en la comprensión y orden de tamaños relativos, reconocimiento de patrones numéricos, uso de números para representar cantidades y atributos cuantificables de los objetos del mundo real.
• • • Espacio y forma. Señala la necesidad de reconocer patrones, imágenes, ubicaciones, movimientos o cualidades de los objetos que ocupan un lugar en el espacio, así como codificar y decodificar información de estos en contextos concretos (imágenes) y abstractos (descripciones).
• • • Matemáticas básicas. Implica reconocer, describir y modelar objetos geométricos a partir de representaciones algebraicas; además, considera el estudio de las relaciones entre los ángulos y los lados de un triángulo valiéndose de funciones o razones.
Procesos cognitivos
El dominio de los contenidos matemáticos se evalúa a partir de tareas que implican el des-pliegue de tres grupos de procesos cognitivos: reproducción, conexión y reflexión.
Las definiciones de los procesos describen conocimientos, actividades y tareas cog-noscitivas progresivamente más sofisticadas. Por ello, en teoría debiera ser más fácil para los sustentantes contestar un reactivo del proceso de reproducción que uno de conexión, ya que el nivel de complejidad va aumentando de un proceso a otro; sin embargo, en la realidad se ha visto que otros aspectos influyen en la dificultad del reactivo, a saber: el contenido que se evalúa, la familiaridad que se tiene con la tarea realizada, la cercanía o lejanía entre el mo-mento en que fue aprendida y evaluada, entre otros. Aun así, tener un punto de partida que sea congruente con las investigaciones vigentes brinda un marco conceptual adecuado para interpretar los resultados de la prueba año con año.
La progresión en la complejidad de las tareas se ve con mayor claridad en los niveles de dominio que se presentan en el apartado de calificación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R35
• • • Reproducción. Las habilidades de este grupo incluyen tareas que permiten determinar si el sustentante conoce y aplica la técnica matemática. Implica esencialmente: utilizar conocimientos y procedimientos matemáticos a problemas directos, reconocer equiva-lencias, utilizar objetos y propiedades matemáticas, así como manejar representaciones numéricas, simbólicas y gráficas.
• • • Conexión. Las habilidades del grupo de conexión incluyen problemas que no son directos; es decir, se presentan a partir del planteamiento de problemas sencillos retomados de la vida real. Los problemas de este tipo plantean exigencias en su inter-pretación y requieren que el sustentante reconozca la técnica matemática que se ha de utilizar, con el fin de solucionar problemas que impliquen equivalencias, uso de propie-dades matemáticas y empleo de representaciones numéricas, simbólicas y gráficas.
• • • Reflexión. Las habilidades del grupo de reflexión incluyen problemas cuyo plantea-miento no es directo; es decir, se presentan a partir de situaciones complejas retomadas de la vida real en las cuales se hace uso de más de una forma de representación de información (textual, numérica, simbólica o gráfica). Los problemas de este tipo plan-tean exigencias en su interpretación y requieren que el sustentante reconozca la técnica matemática por utilizar, establezca relaciones, combine e integre información entre distintas formas de representación o diferentes aspectos de una situación y que utilice más de un paso o proceso, con el fin de solucionar un problema.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
36
3.2 Estructura de la prueba
En las pruebas que diseña el Ceneval la estructura se refiere a la distribución de los reactivos por contenido y por proceso para cada habilidad evaluada, lo cual se determina en congruen-cia con la definición del constructo previamente establecida. La cantidad y dificultad de los reactivos consideran la relevancia de cada contenido para el diagnóstico de la habilidad en general, de acuerdo con el nivel educativo y las condiciones de la aplicación.
La prueba enlace Media Superior 2008-2010 consta de 140 reactivos, de las cuales 50 corresponden a Habilidad Lectora y 90 a Habilidad Matemática. En la tabla 2 se presenta la distribución de reactivos por procesos y contenidos temáticos, que guio la construcción de la prueba.
Tabla 2. Estructura de enlace Media Superior
Habilidad Matemática
Habilidad Lectora
Subárea
Tipo de texto
Argumentativo
Narrativo
Expositivo
Apelativo
Cantidad
Espacio y Forma
Cambios y Relaciones
Matemáticas Básicas
Contenido Matemático
Total de reactivos por proceso
Total de reactivos por proceso
Extracción
Reproducción
20
4
7
5
5
7
9
4
5
26
Interpretación5
Conexión
22
4
13
7
10
8
11
3
10
44
Reflexión
8
2
5
2
5
2
5
2
5
20
50
10
25
14
20
17
25
9
20
90
Reflexión y evaluación
Área Número de reactivos por Proceso
Total en la prueba 140
Total de reactivos
5 Se presentan integrados en esta columna los procesos de desarrollo de la interpretación y de la comprensión, y en la columna siguiente los de reflexión y evaluación del contenido y la forma.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R37
Una vez delimitada una estructura congruente con el perfil referencial y los objetivos de la evaluación, la Metodología Ceneval prescribe la siguiente fase, la construcción de la prueba, la cual consta de dos etapas: elaboración de especificaciones y de reactivos.
3.2.1 Especificaciones de reactivosLas especificaciones son enunciados concretos que, tomando en cuenta el contenido temá-tico, el grupo de proceso y el nivel de complejidad al que pertenecen, nombran una tarea en particular cuya resolución muestra si el sustentante posee o no una parte específica de la Habilidad Lectora o la Habilidad Matemática de acuerdo con la definición que guía la prueba.
De manera adicional, se solicitó a los Comités Académicos que construyeran otros enunciados identificados como de acotamiento o delimitación que acompañan a cada espe-cificación. El acotamiento puntualiza aspectos relacionados con el formato de los reactivos, para indicar si se requiere presentar la información de una manera específica (en columnas, con datos numéricos, gráficos o verbales, entre otras) o si los datos pueden tener o no una rela-ción directa con los textos o los contenidos temáticos que se revisan en el aula.
Las especificaciones de reactivos tienen como propósito proporcionar un marco nor-mativo, claro y significativo, que aporte los elementos necesarios para que los elaboradores construyan reactivos adecuados para evaluar los contenidos y procesos cognitivos, así como los detalles técnicos para que los ítems resulten efectivos en la población objetivo y permitan generar interpretaciones válidas.
3.3 Elaboración y validación de reactivos
El Ceneval y la sems convocaron a especialistas en Habilidad Matemática y Habilidad Lectora para la elaboración de los reactivos. Un requisito indispensable para participar en los comités fue que sus integrantes contaran con experiencia en el nivel medio superior y tuvieran cono-cimientos en el área en la que elaborarían los reactivos.
El Ceneval impartió talleres de capacitación con la metodología institucional de elabo-ración de reactivos. Dicha capacitación es esencial para la calidad de la prueba, ya que contar con reactivos técnicamente adecuados es uno de los primeros pasos para asegurar que los resultados de la prueba son válidos y no se deben a aspectos de forma o detalles externos al objeto y estructura de la evaluación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
38
Todos los reactivos cumplieron una fase de verificación con la que se asegura la calidad de los reactivos. De hecho, cada uno de los ítems pasó por una serie de revisiones cualitativas y cuantitativas (estándar 3.10). 3.3.1 Capacitación a elaboradores y validadoresDe acuerdo con la Metodología Ceneval, la labor de capacitación a los elaboradores de reactivos es permanente, aun cuando se cuente con los ítems necesarios para las diferentes versiones de la prueba (Vidal et al., 2000). Esto permite mantener en operación un banco de reac-tivos de buena calidad, que responda a los requerimientos de la prueba enlace Media Superior.
Tomando ello en consideración y de manera muy especial que la aplicación de la prueba es censal, todos los reactivos de la prueba enlace son de opción múltiple. El Ceneval posee una vasta experiencia en el desarrollo y calificación de este tipo de ítems, por lo que en la capaci-tación de los redactores y la posterior revisión técnica de los reactivos se siguen los requerimientos técnicos que han probado su eficacia en múltiples exámenes desarrollados por el Centro.
Dichos lineamientos son explicados a los elaboradores en cursos-taller que se organizan en las instalaciones de Ceneval, al igual que en cada sesión de los Comités Académicos de Validación. En las reuniones se informa a los asistentes de la historia y objetivos del Centro, así como de las particularidades de la prueba enlace Media Superior, de modo que los ítems correspondan con el propósito y modelo taxonómico de la evaluación.
Haladyna (2004, citado en Downing, 2006) considera que los reactivos de opción múltiple son los más adecuados para medir habilidades, especialmente las cognitivas de orden superior, como la capacidad de resolución de problemas, síntesis y valoración. Esto es así, entre otras cosas, porque permiten delimitar claramente los contenidos y tener una muestra representativa del universo amplio que implica cualquier área de conocimiento.
Para maximizar la validez de las interpretaciones que se derivan de los reactivos de opción múltiple (Vidal et al., 2000), enfatizan la importancia de elaborar ítems claros, con un formato que incluya siempre la base del reactivo, las opciones de respuesta con justificación, la respuesta correcta, la referencia o bibliografía, la fecha y el nombre del autor. Para llevar a cabo estas actividades, los elaboradores son capacitados también para almacenar los reactivos en un sistema electrónico, el intranet de Ceneval, que agiliza los posteriores procesos de verificación y ensamble de pruebas, entre otros.
Los validadores, en coordinación con un representante de Ceneval, llevan a cabo la revisión de reactivos en línea. Lo más importante es que ellos también dominen las temáticas y los lineamientos técnicos para que se cuente con ítems de calidad tanto en forma como en contenido.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R39
Una vez que los redactores informan que han concluido la elaboración de los reactivos, estos pasan por diferentes revisiones que se mencionan en la tabla 3 y se explican en las páginas siguientes.
Tabla 3. Actividades para la verificación de la calidad de los reactivos
3.3.2 Revisión cualitativaUna parte fundamental en la metodología institucional tiene que ver con los aspectos de verificación de la pertinencia y claridad del contenido de las especificaciones y los reactivos de las pruebas. Todo ello forma parte de los lineamientos internacionales que se deben cumplir durante la construcción de los exámenes (estándares 3.7, 7.2 y 13.18).
3.3.2.1 Revisión técnica
El primer filtro para los reactivos elaborados es la revisión técnica, que consiste en verificar que correspondan con la especificación ubicada en el perfil referencial, con el proceso cog-nitivo que se va a evaluar y con el tipo de texto asociado o al contenido matemático, según el área correspondiente del reactivo.
Esta actividad la realiza personal especializado del Ceneval con base en los siguientes lineamientos:•• 1. Base del reactivo. Debe incluir la información necesaria y suficiente para ser contes-
tado, implicar una sola tarea o cuestionamiento, cumplir con alguno de los formatos establecidos (jerarquización, completamiento, elección de elementos, relación de co-lumnas), y ser independiente de los demás ítems; es decir, la información contenida en un reactivo no ha de sugerir o requerir la solución de otro.
•• 2. Opciones de respuesta. Debe tener sólo una respuesta correcta y tres distractores. En lo referente a la respuesta correcta, esta debe ser incuestionable y resolver el plan-teamiento de manera satisfactoria, mientras que los distractores han de ser plausibles
Revisión técnica de reactivos
Validación con especialistas
Revisión de estilo
Piloteo de reactivos
Calibración
Cualitativa
Tipo de revisión
Cuantitativa
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
40
y totalmente incorrectos. Para corroborar esto, se revisan con especial cuidado las justificaciones o argumentaciones que los elaboradores indican para cada opción de respuesta.
Aunado a lo anterior, los textos que se utilizan para derivar los reactivos de Habilidad Lectora deben cubrir diversos criterios en cuanto al número de palabras, las características que los identifican y los temas a los que hacen referencia. Todos ellos se indican en una lista de verificación que los revisores técnicos tienen en cuenta para aceptar o pedir modificaciones.
En caso de que algún reactivo no cumpla con estos criterios o con lineamientos edito-riales, se proporciona retroalimentación al elaborador para su modificación, y sólo hasta que se cumplen las condiciones de calidad en contenido y forma, el reactivo es registrado en el sistema electrónico como aceptado y listo para la siguiente fase de verificación.
3.3.2.2 Validación con especialistas
Los reactivos que cumplen con los lineamientos técnicos del Ceneval son sometidos a un proceso de validación para garantizar que correspondan a la especificación, contenido y pro-ceso cognitivo que pretenden medir. De este modo, se asegura que representen, de manera clara y precisa, los elementos esenciales de las habilidades evaluadas en la prueba, ya sean conceptos, términos, definiciones, procedimientos, etcétera (estándares 3.7 y 3.17).
Cada reactivo es revisado y validado por lo menos por dos especialistas, en coordinación con un representante del Ceneval. Los primeros se encargan de leerlo y analizarlo de manera individual, discutir colectivamente su contenido, emitir un dictamen (Sin dictamen, Aceptado, Modificado y aceptado, Aceptado – Requiere diseño, o Descartado) y, en su caso, hacer propuestas de mejora. El coordinador de mesa del Ceneval se ocupa de resolver preguntas acerca del perfil referencial, del procedimiento, y de realizar los cambios necesarios a los reactivos a solicitud de los especialistas, además de imprimir los informes de los ítems validados.
3.3.2.3 Revisión de estilo
Únicamente los reactivos aceptados en la validación llegan a la tercera fase de verificación. La revisión de estilo, a cargo de personal de la Dirección General de Difusión del Ceneval, consiste en asegurar la presentación clara y homogénea de cada reactivo y de la prueba en su totalidad. Para ello se verifica el empleo correcto y uniforme del lenguaje, la puntuación, la ortografía, las abreviaturas y la presentación de tablas y otros apoyos gráficos, así como de la bibliografía y las citas textuales.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R41
La corrección de estilo le da mayor precisión y claridad de las preguntas, lo que aumen-ta la validez de la evaluación (estándar 7.2). El procedimiento de Ceneval para la verificación de estilo implica una retroalimentación constante entre los revisores técnico-pedagógicos y el personal de Difusión.
3.3.3 Revisión cuantitativaDespués del proceso de revisión de estilo, se lleva a cabo el ensamble de las versiones para el estudio piloto de los reactivos. Para ello se consideran únicamente los reactivos que fueron aceptados en el proceso de validación. Esta primera revisión cuantitativa es importante para que la prueba operativa final se conforme con reactivos que han probado su efectividad para brindar información en cuanto a las habilidades que posee la población objetivo.
Después de hacer las modificaciones señaladas por los correctores de estilo, se ensam-blan cuadernillos que presentan diferentes bloques de reactivos de cada habilidad evaluada. Todas las propuestas de ensamble de las versiones piloto son avaladas por el Consejo Técni-co de la prueba.
En la tabla 4 se presenta el esquema general de ensamble que se ha mantenido en los primeros tres años de aplicación de la prueba. El ordenamiento en la presentación de las áreas de habilidad es el mismo que caracteriza a la versión operativa, condición importante para neutralizar cualquier efecto que pudiera tener ello en la respuesta de los estudiantes.
Tabla 4. Formas para el estudio de reactivos piloto
Forma 1
96Reactivos por forma
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadLectora
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
HabilidadMatemática
Forma 2
94
Forma 3
96
Forma 4
94
Forma 5
96
Forma 6
94
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
42
Otra de las razones por las que el diseño del piloteo se planteó de este modo fue para probar, en un inicio, qué cantidad de reactivos era adecuada para responderse en sesiones de 50 minutos, así como el número de sesiones pertinentes por día de aplicación, de modo que se controlaran variables como el cansancio o la deserción.
En general se procura que las condiciones del piloto sean las mismas que la aplicación operativa; las variaciones corresponden a la cantidad de sustentantes que responden la prueba y el número de reactivos que la conforman, ya que la aplicación de las formas piloto se realiza de manera matricial. En la tabla 5 aparecen los datos referentes al número de cuadernillos que se han ensamblado para contar con ítems suficientes de buena calidad y la cantidad de alumnos que han participado en el piloteo de reactivos. Cada año se ensamblan pruebas piloto con meses de antelación a la aplicación anual. De este modo se asegura la calidad psicomé-trica de los ítems que servirán para emitir el diagnóstico individual que pretende la prueba enlace Media Superior con su versión operativa.
Tabla 5. Cuadernillos y participantes en los estudios piloto
La impresión de los materiales, la aplicación, la lectura óptica de hojas de respuesta y la conformación de la base de datos está a cargo de la dgep-sep.
3.3.3.1 Calibración de reactivos
La calibración de los reactivos se lleva a cabo para valorar su comportamiento estadístico y obtener sus características psicométricas que permitirán seleccionar los que conforman la prueba operativa.
Para el análisis de los reactivos se revisa y depura la base de datos proporcionada por la dgep-sep eliminando los casos que presentan menos del 85% de respuestas. El análisis de los reactivos se realiza con base en la Teoría Clásica (tc) y la Teoría de la Respuesta al Ítem
Cuadernillos
2007
18
9,526
2008
16
4,709
2009 20106
38 30
8,525 9,953Sustentantes
6 Los reactivos que se pilotearon en 2010 corresponden, en su mayoría, a la estructura de la prueba que se utilizará en 2011, la cual presenta diferentes modificaciones que afectan de igual modo el ensamble de las versiones piloto.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R43
(tri) con el modelo logístico de tres parámetros. En el análisis de los reactivos, con base en la tc, se atienden dos indicadores:•• 1. Grado de dificultad. Se refiere al porcentaje de personas que responden correcta-
mente un reactivo de una prueba. Entre mayor sea esta proporción, menor será su dificultad. De acuerdo con la Metodología Ceneval, los valores que se consideran acep-tables en este parámetro son 20 ≤ GD ≤ 80%. La dificultad es una información básica al ensamblar el instrumento, ya que debe estar balanceado en cuanto a la dificultad global y en cada una de sus áreas o secciones (Vidal et al., 2000).
•• 2. Correlación punto biserial o coeficiente de discriminación. Se calcula para de-terminar el grado en que cada reactivo aporta información certera en cuanto a las habilidades que mide de manera particular, y en conjunto con los demás ítems que conforman la prueba. El índice de correlación permite relacionar la tendencia de res-puesta de cada ítem con respecto a la escala de la cual forma parte. Se supone que un sustentante con una puntuación alta en toda la prueba tiene mayores probabilidades de contestar correctamente un reactivo. También se debe esperar lo contrario, es decir, que quien tuvo bajas puntuaciones en la prueba, tenga pocas probabilidades de con-testar correctamente el reactivo. Así, un buen reactivo debe discriminar entre aquellos que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajas ca-lificaciones. Generalmente, basta con que la correlación punto biserial de un reactivo sea positiva para aceptarla como medida de “discriminación” del reactivo; sin embargo, la Metodología Ceneval exige un mínimo de 0.2 para considerar que el ítem es óptimo (Vidal et al., op.cit).
Adicionalmente, se realizan análisis que se basan en la tri. La diferencia entre la tc y la tri reside en que esta última se centra en las propiedades de los reactivos individuales y no en las propiedades globales de la prueba. La herramienta de la tri que se utiliza para valorar la calidad de los reactivos es la curva característica del ítem, la cual resulta del ajuste de una función matemática al comportamiento del reactivo, y representa la probabilidad de que un sujeto, con una determinada habilidad, responda correctamente el reactivo.
Para el análisis de los reactivos de la prueba enlace Media Superior se utiliza el modelo de tres parámetros de tri. Los parámetros hacen alusión a los índices de discriminación, dificultad y pseudo-adivinación de los reactivos:•• 1. Índice de discriminación (a). Indica la cualidad que tiene el reactivo de diferenciar
a los sustentantes que dominan el conocimiento de aquellos que no. Para considerar aceptables a los reactivos deben presentar una discriminación mayor que 0.45.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
44
•• 2. Índice de dificultad (b). Indica la posición del ítem en la escala de aptitud. Cuanto más grande es el valor de dificultad, mayor es la aptitud requerida para que el examinado tenga una probabilidad alta de resolver correctamente el ítem. Lo ideal es que los reac-tivos se encuentren en un intervalo de -3 a 3.
•• 3. Índice de pseudo-adivinación (c). Permite conocer la probabilidad de que cada reactivo sea contestado correctamente al azar.7
Los datos psicométricos generales de las pruebas piloto correspondientes a 2007, 2008 y 2009 se presentan en el anexo II. El anexo III incluye los parámetros correspondientes a los ítems que integraron la versión operativa 2008 y que han servido para llevar a cabo los procedimientos de equiparación que se explican más adelante.
3.3.3.2 Corrección y validación externa
Después de la calibración es posible elegir los reactivos con parámetros óptimos que con-forman las versiones operativas. Los ítems restantes que cuentan con buenos estadísticos se mantienen en el banco de reactivos para posteriores aplicaciones o para presentarse en mate-riales de apoyo a los docentes y alumnado de educación media superior.
En 2009 y 2010, los reactivos que no cumplieron con los requerimientos mencionados en el apartado anterior fueron revisados y corregidos nuevamente por especialistas con base en los datos estadísticos. De este modo, se identificaron los tipos y estilos de distractores que no funcionan en la población objetivo, y aquellos contenidos cuyo planteamiento se requiere depurar con mayor cuidado para obtener reactivos de buena calidad. Toda esta información se usa para optimizar los materiales de capacitación a los elaboradores, así como la revisión técnica de los reactivos.
3.3.4 Mantenimiento del banco de reactivosUna de las etapas importantes en la Metodología Ceneval para la elaboración de pruebas tiene que ver con el mantenimiento del banco de reactivos. El coordinador del proyecto es el encargado de establecer la meta de reactivos elaborados que debe cubrirse, el tiempo que se tiene para ello, así como las fechas de validación y calibración de los ítems. Después de estas fases, el Coordinador está en posición de contar con un detalle de los parámetros y dictámenes de
7 Este índice también es conocido como pseudo-azar debido a que los sustentantes difícilmente responden por “azar puro”. Normal-mente intentan descartar algunas opciones de respuesta antes de adivinar.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R45
los reactivos; además, el mantenimiento del banco implica revisar constantemente la actuali-zación de los contenidos y de los parámetros de los ítems de acuerdo con el número de veces que se haya presentado en diferentes versiones ya sea piloto u operativas, y con las posibles modificaciones en el objeto de medición o las normas de revisión editorial.
En la tabla 6 se reporta la cantidad de reactivos que se han elaborado, validado y pilo-teado desde que comenzó la construcción de la prueba hasta agosto del 2010. Como puede verse, el mantenimiento del banco es de suma importancia para dar continuidad a las aplica-ciones año con año.
Tabla 6. Banco de reactivos enlace Media Superior 2008-2010
3.4 Ensamble de la prueba
En esta fase se integra la versión operativa de la prueba con los reactivos que resultaron ser los mejores tanto en las revisiones cualitativas como cuantitativas (estándares 3.7 y 3.8). La validez de las interpretaciones de la calificación final depende en gran parte de que el ensamble se realice de manera adecuada (Downing, 2006). La disposición de los reactivos debe obedecer al plan de prueba que se estableció desde el inicio; así, las versiones son con-gruentes con los contenidos y niveles taxonómicos necesarios para contar con una muestra representativa del dominio de conocimiento que se va a evaluar.
Todos estos aspectos contribuyen a la validez de contenido de la prueba. Sin embargo, para que las puntuaciones sean fiables no es suficiente con que se cumpla con el peso y can-tidad de reactivos determinados en la estructura del instrumento. También deben controlarse variables como las siguientes:
Reactivoselaborados
Reactivosvalidados
Reactivospiloteados
2007
570
1,389
2,010
2008
1,561
2,505
3,112
2009
3,590
4,332
4,379
2010
135
946
1,003
Total
5,856
9,172
10,504
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
46
• • • El orden de presentación de los reactivos, de modo que se facilite la lectura y minimice cualquier carga cognitiva derivada de este aspecto. Para el ensamble de enlace Media Superior 2008 se decidió alternar los bloques de reactivos por área y subárea de la prueba y, dentro de cada bloque, ordenar los ítems por su dificultad de manera ascendente. En las siguientes aplicaciones, en aras de asegurar la comparabilidad de la prueba, el orden de los reactivos se ha mantenido sin cambio. Los ítems de 2009 y 2010 poseen, en su mayoría, dificultades similares a las de su par en la primera prueba.
• • • La posición o localización de las respuestas correctas: esto disminuye la probabilidad de acertar por azar o por el sesgo natural a elegir las posiciones intermedias. Para la prueba enlace no existe alguna regla en el orden o frecuencia de presentación de cada clave de respuesta, los elaboradores la asignan según su criterio o en función de algunos lineamientos editoriales; por ejemplo, la longitud de las opciones, el orden ascendente de las respuestas numéricas, entre otros.
• • • Cualquier aspecto visual que pudiera confundir a los sustentantes: para ello se equilibra el tamaño y orientación de los reactivos en el papel, asegurando, por ejemplo, que las tablas o los textos no queden incompletos en una página y que las imágenes sean nítidas, entre otros detalles.
Otros aspectos que han de tomarse en cuenta para el ensamble son los aspectos de la administración de la prueba, la cual en el caso de enlace se realiza en seis sesiones de 50 minutos. Los 140 reactivos de la prueba operativa se ensamblan en un solo cuadernillo divi-dido en seis bloques: tres de Habilidad Lectora y tres de Habilidad Matemática, los cuales se intercalan para su aplicación. En la tabla 7 se muestra la distribución de la prueba operativa en función del número de reactivos y los contenidos.
Tabla 7. Distribución de la prueba operativa enlace Media Superior 2008-2010
Día 1 Día 2Reactivos Reactivos
3014
1730
3019Habilidad Lectora
(Apelativo y Argumentativo)Habilidad Matemática (Cambios y
Relaciones, y Matemáticas Básicas)
Habilidad Matemática (Espacio y Forma, y Matemáticas Básicas)
Habilidad Lectora(Expositivo)
Habilidad Matemática(Cantidad y Matemáticas Básicas)
Habilidad Lectora(Narrativo)
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R47
Cada sesión dura 50 minutos, aunque en los estudios piloto más recientes se ha estu-diado la posibilidad de que para la aplicación de 2012 se reduzcan a 45 minutos. Una de las razones para sugerir el cambio son los reportes constantes por parte de los aplicadores en cuanto a que la mayoría de los sustentantes terminan de responder cada sesión en menos tiempo; además, es posible que en aplicaciones futuras se incluya la evaluación de un campo disciplinar adicional para responder a los objetivos de la riems.
La logística de cada aplicación debe considerar los procedimientos necesarios para realizar la posterior equiparación y calificación de los instrumentos (Downing, 2006). En la prueba enlace Media Superior la escala se mantiene año con año gracias al ensamble y aplicación de una versión Pretest, que se distribuye mediante un diseño matricial a una mues-tra representativa de estudiantes que la contestan en el mismo periodo que la prueba operativa (apartado 5.2). Este esquema se denomina equiparación por población común (Moulton, 2007).
3.4.1 Revisión editorial e impresión del instrumentoTodos los cuadernillos de la prueba se someten a una revisión editorial con la finalidad de asegurar su calidad; después se envían a la Comisión Nacional de Libros de Texto Gratuito (Conaliteg), la cual es responsable de su impresión.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R49
La prueba operativa se aplica a los estudiantes que cursan el último grado de educación media superior en instituciones educativas de carácter público, federal y estatal, en los
planteles particulares con reconocimiento de validez oficial otorgado por la sep, así como en instituciones de carácter autónomo que lo soliciten y en escuelas particulares incorporadas. Todos los sustentantes contestan la prueba operativa en seis sesiones de 50 minutos distribuidas en dos días (únicamente una muestra representativa de la población responde una versión del Pretest en una sesión extra).
La aplicación de la prueba está a cargo de la dgep-sep, con el apoyo de los titulares de las Áreas Estatales de Evaluación de cada entidad federativa, responsables de elaborar la estrategia de aplicación, así como de coordinarla. Además, participan los representantes estatales de la sems y los titulares de las Oficinas de Servicios Federales de Apoyo a la Edu-cación en las entidades federativas que supervisan la logística de la aplicación. Existen a su vez coordinadores regionales y coordinadores de la aplicación para cada plantel que deben asegurar que las pruebas se apliquen de acuerdo con la normativa.
Es importante enfatizar que el control de la aplicación se considera bajo, ya que esta se realiza de manera censal en el ámbito nacional, a una población ubicada en localidades con características y sustentantes muy diferentes. Ahora bien, dada la importancia de contar con datos confiables para la calibración de reactivos y el proceso de calificación, cada año se selecciona una muestra representativa que aplica la prueba con un control más riguroso. En el apartado 4.1 se describe brevemente el diseño muestral utilizado.
En la aplicación participan también padres de familia invitados previamente por los directores de los planteles, así como observadores externos que verifican que el proceso se realice de forma adecuada. La organización y calendarización de la prueba asegura la par-ticipación de los alumnos, sin afectar las actividades normales de la escuela. Debido a que enlace Media Superior sólo se aplica a los estudiantes del último grado, no se suspenden clases ni actividades escolares para el resto de los estudiantes.
4. Aplicación
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
50
4.1 Diseño muestral
El diseño muestral permite contar con una muestra representativa de la población que res-ponde la prueba con un control de aplicación más estricto. Los aplicadores de la muestra controlada provienen de la dgep, de modo que se reduce la posibilidad de copia, mala distri-bución de cuadernillos o de tiempo durante las sesiones. Los datos de la muestra controlada sirven para realizar los análisis estadísticos necesarios para realizar la equiparación de las pruebas de un año a otro, definir los puntos de corte y llevar a cabo diversas investigaciones de interés para la sems. Además, estos sustentantes responden cuestionarios de contexto que permiten estudiar variables asociadas al logro académico.
Para 2008 y 2009 se aplicó un mismo diseño muestral con niveles de desagregación en que se trabajaron los resultados de enlace Media Superior, los cuales se muestran en la tabla 8.
Tabla 8. Niveles de desagregación de la muestra 2008-2009
Nivel de desagregación
1
2
4
3
Tipo de resultado
Nacional
Estatal
Nacional por tipo de bachillerato• General• Técnico• Tecnológico
Nacional por tipo de bachillerato• General• Técnico• Tecnológico
Nacional por tipo de sostenimiento• Público• Privado
Nacional por tipo de sostenimiento• Público• Privado
Nacional por nivel de urbanidad• Rural• Urbano
Nacional por nivel de urbanidad• Rural• Urbano
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R51
A petición de la sems, en 2010 se implementó un diseño muestral diferente. Para este nuevo diseño se determinó que no era posible alcanzar la desagregación por estados, dada la variabilidad que presentan las entidades en cuanto a la proporción de estudiantes de acuer-do con el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad. Por este motivo se establecieron los niveles de desagregación nacional en los tres diferentes rubros, como se muestra en la tabla 9.
Tabla 9. Niveles de desagregación de la muestra 2010
El procedimiento para calcular el tamaño de la muestra, así como los cambios requeridos desde la primera aplicación (2008) se describen en el anexo IV.
Nivel de desagregación
1
2
Tipo de resultado
Nacional
Por tipo de bachillerato• General• Técnico• Tecnológico
Por tipo de sostenimiento• Público• Privado
Por nivel de urbanidad• Rural• Urbano
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R53
Esta etapa es esencial para cumplir con los propósitos de la prueba, en particular con la generación de información acerca del nivel de desempeño en dos habili-
dades básicas por parte de los sustentantes. Para ello, todos los años se procesa la información recolectada durante la fase de aplicación mediante la lectura de hojas de respuesta para des-pués calificar a los sustentantes.
La lectura y calificación son responsabilidad de la dgep-sep, instancia que cada año entrega las bases de datos para que el Ceneval valide sus resultados. Adicional a esto, en 2008 el Centro fue responsable de coordinar las actividades para establecer los puntos de corte que se utilizan en el proceso de calificación, así como de definir los niveles de desempeño que se han incluido en los reportes de resultados de los sustentantes en todas las aplicaciones.
5. Calificación
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
54
5.1 Confiabilidad de la prueba
Los datos de cada aplicación han permitido evaluar la confiabilidad de la prueba y tener información sobre la consistencia interna de la prueba. Para medir la estabilidad del instru-mento se calcula el Alfa de Cronbach considerando que una prueba es confiable cuando obtiene un Alfa mayor a 0.70 (Nunally & Bernstein, 1994). La confiabilidad por año de la prueba enlace Media Superior se muestra en la tabla 10.
Tabla 10. Confiabilidad enlace Media Superior 2008-2010
5.2 Establecimiento de puntos de corte y definición de niveles de desempeño
Uno de los aspectos fundamentales al elaborar un examen referido a un criterio es determinar el nivel mínimo de habilidad que garantiza que un sustentante tiene dominio sobre los contenidos de la prueba. Para ello es necesario establecer un punto de corte que permita diferenciar entre los sujetos que alcanzan determinado nivel de habilidad y los que no lo han logrado.
En el caso de la prueba enlace Media Superior se utiliza el método Bookmark o del marcador (Mitzel, Lewis, Patz y Green, 2001). Este procedimiento toma en cuenta los resul-tados empíricos de la prueba (análisis empírico) y el juicio de los expertos (análisis de juicio), con el fin de identificar los contenidos que podría responder adecuadamente un sustentante per-teneciente a las distintas categorías o niveles de habilidades que la prueba es capaz de medir.
5.2.1 Análisis empíricoPara el análisis empírico es necesario contar con los datos de la primera aplicación del instru-mento y los siguientes insumos:
Año GlobalHabilidad
MatemáticaHabilidad
Lectora
.808
.858
.852
2008
2009
2010
.832
.890
.900
.885
.924
.928
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R55
•• a) descripción de cómo está conformada la prueba: temas, subtemas, número de reactivos en cada uno
•• b) clave de respuesta correcta de cada reactivo•• c) archivo con las respuestas de los sustentantes en formato .dbf o .txt (proporcionado
por la dgep-sep).
A partir de estos datos se estiman las características métricas de los reactivos (dificultad, discriminación, índice de adivinación) con base en la tc y del modelo logístico de tres pará-metros de tri para comprobar su calidad. Entre otras cosas, este análisis permite determinar si los reactivos están funcionando de manera adecuada y si se presenta estabilidad entre las diferentes aplicaciones (estándar 3.22).
Es importante detectar si existen ítems con problemas para no tomarlos en cuenta para la calificación ni para el establecimiento de puntos de corte (anexo V). Por ejemplo, en 2008, el análisis de los reactivos con tc permitió identificar 10 reactivos con correlación biserial negativa y/o dificultad muy alta que se eliminaron de la calificación. En 2009 se des-cartaron 11 reactivos y en 2010 sólo 3.
El resto de los ítems de cada prueba operativa obtuvo parámetros estadísticos adecuados y ofrecen información válida acerca de la habilidad de los sustentantes.
5.2.2 Análisis de juicioPara llevar a cabo las tareas relacionadas con el análisis de juicio se convocó a expertos en el área de Matemáticas y Habilidad Lectora que conformaron los Comités Académicos de Establecimiento de Puntos de Corte y Definición de Niveles de Dominio.
A los especialistas se les comisiona la descripción de los conocimientos y habilidades que los sustentantes deben mostrar para clasificarse en cada nivel de dominio. A petición de la sems, la clasificación de los niveles tomó en cuenta cuatro categorías: insuficiente, elemental, bueno y excelente. Después de tener una primera aproximación cualitativa, se procedió al establecimiento de los puntos de corte operacionales.
Los miembros de comité trabajaron con los resultados del análisis empírico de la prueba y con el perfil referencial, siguiendo los pasos del método Bookmark que se mencionan a continuación:• • • Revisar los reactivos de la prueba operativa ordenados por su dificultad empírica.• • • Identificar el reactivo marcador para cada uno los niveles de dominio. La tarea de los
jueces fue, tomando en cuenta la jerarquización por dificultad, elegir el ítem o tarea que
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
56
actúa como punto de inflexión entre dos niveles de dominio. El cambio de un nivel a otro se produce cuando se identifica un reactivo que un estudiante promedio del nivel actual no puede responder. El punto de corte se establece en función del valor del parámetro b (dificultad) y no del número de reactivos que están contenidos en los con-juntos correspondiente a cada nivel de dominio. En la prueba enlace Media Superior se manejan cuatro niveles, por lo que se identificaron tres marcadores.
• • • Determinar los rangos de habilidad en función de los puntos de corte que se estable-cieron (anexo V). La estructura de la prueba enlace Media Superior se mantuvo sin cambios durante los años 2008, 2009 y 2010, motivo por el cual los puntos de corte establecidos en 2008 han servido para los tres años.
• • • Redactar un párrafo que sintetice de manera global el tipo de habilidades que caracte-rizan a los estudiantes de cada nivel de dominio.
La descripción de cada nivel de dominio complementa la información tradicional-mente expresada en puntuaciones y permite conocer los elementos cualitativos relacionados con el desempeño de los sustentantes. En los reportes de resultados se indica que la persona evaluada posee las habilidades que se describen en el nivel en que está ubicado y las de los niveles inferiores.
A continuación se transcriben los niveles de dominio que se trabajaron con el comité académico y que se presentan en los reportes de resultados de los sustentantes.
5.2.2.1 Niveles de dominio de la Habilidad Lectora
• • • Insuficiente. Eres capaz de identificar elementos que se encuentran de manera explícita en textos narrativos y expositivos, ya sea acciones, hechos, episodios, personajes o sus características. Realizas inferencias sencillas sobre las acciones de los personajes y estableces relaciones entre dos o más elementos. Identificas si la estructura de algunas partes del texto es adecuada al contenido que presenta.
• • • Elemental. Ubicas e integras diferentes partes de un texto. Reconoces la idea central y comprendes relaciones del tipo: problema–solución, causa–efecto, comparación–con-traste. Infieres el significado de palabras, así como la relación entre párrafos e ideas. Reconoces la postura del autor. Relacionas la información del texto y la que se encuen-tra en tablas.
• • • Bueno. Relacionas elementos que se encuentran a lo largo del texto y/o en glosarios. Comprendes el texto de forma completa y detallada, y sintetizas su contenido global. Infieres relaciones del tipo: problema–solución, causa–efecto, comparación–contraste.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R57
Estableces relaciones entre la postura del autor y la información que apoya su punto de vista. Por ejemplo: un hecho, un dato, el contexto, etcétera. Reconoces la función que cumplen las tablas en los textos expositivos. Evalúas la estructura del texto en relación con su contenido.
• • • Excelente. Haces inferencias complejas para construir una interpretación global del texto. Comprendes la información contenida en tablas y esquemas y la relacionas con el contenido del texto. Estableces relaciones entre argumentos y contraargumentos. Analizas si la organización, las expresiones y los recursos que utiliza el autor son ade-cuados al tipo de texto y a su destinatario.
5.2.2.2 Niveles de dominio de la Habilidad Matemática
• • • Insuficiente. Resuelves problemas donde la tarea se presenta directamente. Identificas información en esquemas o gráficas y realizas estimaciones. Efectúas sumas y restas con números enteros y traduces del lenguaje común al lenguaje algebraico. Resuelves pro-blemas en los que se requiere identificar figuras planas y tridimensionales.
• • • Elemental. Realizas multiplicaciones y divisiones con números enteros, y sumas que los combinan con números fraccionarios. Calculas porcentajes, utilizas fracciones equiva-lentes, ordenas y comparas información numérica. Estableces relaciones entre variables y resuelves problemas que combinan datos en tablas y gráficas. Aplicas conceptos simples de probabilidad y estadística. Construyes expresiones equivalentes a una ecuación al-gebraica y resuelves ejercicios con sistemas de ecuaciones lineales. Manejas conceptos sencillos de simetría y resuelves problemas que involucran un razonamiento viso-espacial.
• • • Bueno. Resuelves problemas que involucran más de un procedimiento. Realizas mul-tiplicaciones y divisiones combinando números enteros y fraccionarios. Calculas la raíz cuadrada, razones y proporciones, y resuelves problemas con números mixtos. Analizas las relaciones entre dos o más variables de un proceso social o natural y re-suelves los sistemas de ecuaciones que las representan. Identificas funciones a partir de sus gráficas para estimar el comportamiento de un fenómeno. Construyes una figura tridimensional a partir de otras e identificas características de una figura transformada. Utilizas fórmulas para calcular superficies y volumen, y reconoces los elementos de una cónica a partir de su representación gráfica.
• • • Excelente. Empleas operaciones con fracciones para solucionar problemas y resuelves combinaciones con signos de agrupación. Conviertes cantidades en sistema decimal a sexagesimal. Identificas la relación existente entre gráficas y funciones lineales o cua-dráticas, y expresas algebraicamente una representación gráfica. Aplicas conceptos
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
58
avanzados de probabilidad. Solucionas problemas con series de imágenes tridimensio-nales y aplicas conceptos de simetría. Utilizas fórmulas para calcular el perímetro de composiciones geométricas. Determinas los valores de los elementos de la circunfe-rencia, la parábola y la elipse a partir de su ecuación y viceversa; identificas la ecuación de una recta a partir de sus elementos y la aplicas para encontrar la distancia entre dos puntos. Solucionas problemas donde se aplican funciones y leyes trigonométricas.
5.2.3 Validación de los puntos de corteLos puntos de corte permiten calificar a los sustentantes y calcular el porcentaje de población que pertenece a cada nivel de dominio. Para verificar que la clasificación refleje adecuada-mente la realidad, en 2008 se llevó a cabo un proceso de validación de los puntos de corte que consiste en corroborar que éstos se encuentren claramente diferenciados en la escala de calificación y cubran el espectro de puntuaciones de manera suficiente (Gaviria, 2008). En este proceso se consideraron, por un lado, la relación entre las puntuaciones de la escala y la puntuación verdadera y, por otro, el error típico de la estimación que se obtuvo para cada punto de la escala en función del valor que en el mismo toma la función de información.
A partir del estudio de validación, se concluyó que la separación entre los puntos de corte determinados para cada una de las áreas, es adecuada según los criterios que se maneja-ron. El detalle de la metodología utilizada y una descripción más exhaustiva de los resultados se presenta en el anexo VI.
La validación cuantitativa de los puntos de corte le da mayor fortaleza a la definición cualitativa de los mismos que se desarrolla en la descripción de los niveles de dominio, y es la que se presenta en los reportes de resultados de los sustentantes.
5.3 Equiparación de las pruebas
Si bien las estrategias de ensamble de las versiones de enlace Media Superior garantizan que las versiones sean equivalentes en los que contenidos que miden, en un momento pos-terior a la aplicación pueden existir diferencias en su dificultad. Para controlar este efecto en la calificación de la prueba se recurre a una equiparación horizontal. Los métodos de equiparación son procedimientos empíricos para establecer una relación estadística entre los puntajes de dos versiones de una misma prueba. Dicha relación puede utilizarse para expresar los puntajes de una versión en términos de los puntajes de otra versión, lo que permite que los resultados de la prueba sean comparables año con año.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R59
La equiparación requiere de un diseño de recolección de datos y de una regla para transformar los puntajes de una versión a los puntajes de otra. En relación al primer aspecto se tomó en cuenta que, por cuestiones de transparencia, la prueba enlace Media Superior hace públicos todos sus reactivos después de cada aplicación. Dicha condición impide incluir reactivos ancla en las versiones operativas, por lo que se aplica de manera matricial una prueba denominada Pretest que se utiliza para calibrar los reactivos y obtener los parámetros que se fijan en cada aplicación.
El Pretest es equivalente en contenido y dificultad a la prueba operativa. Se administra de manera matricial por lo que se ensamblan formas o cuadernillos que contienen entre 18 y 25 reactivos. La suma de todas las formas se convierte en la versión operativa del siguiente año.
El Pretest se presenta a una muestra representativa de la población que aplica la prueba operativa (Diseño muestral, apartado 4.1). Los sustentantes que conforman la muestra res-ponden ambos instrumentos (la prueba operativa y el Pretest), por lo que las puntuaciones de cada prueba son escaladas en un primer momento gracias a que se aplican a la misma población. La siguiente figura ejemplifica la forma en que se recolectan los datos para la equiparación horizontal.
Figura 1. Diseño de recolección de datos: Equiparación Horizontal
La totalidad de los sustentantes responde las seis sesiones de aplicación de la prueba operativa y, de manera adicional, la muestra se somete a una séptima sesión en la que se le aplica una forma correspondiente al Pretest. La aplicación de las formas o cuadernillos del Pretest a la muestra controlada se organiza mediante un sistema de contrabalanceo, de modo
enlace-ems operativa(Aplicación censal)
Pretest(Aplicación Matricial)
140 reactivos
Forma 1
Forma 2
Forma n
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
60
que algunos sustentantes lo responden en alguna de las sesiones del primer día de aplicación, otros del segundo y un grupo más en un tercer día.
Para lograr la equivalencia de los cuadernillos del Pretest, así como la que debe existir entre la versión Pretest-operativa, las formas se ensamblan con dos bloques intercalados de cada subárea considerando que todos deben ser similares en su índice global de dificultad en tc y cantidad de reactivos. En las tablas 11 y 12 se presenta el esquema general de ensamble del Pretest.
Tabla 11. Habilidad Lectora Dificultad (tc) por forma
Tabla 12. Habilidad Matemática Dificultad (tc) por forma
El ensamble de las diferentes versiones es muy importante para brindar confianza en los procedimientos de calificación y equiparación, ya que todas deben medir el mismo cons-tructo y conservar las condiciones de aplicación, de modo que se eliminen fuentes externas que afecten la respuesta del sustentante y esta dependa únicamente de su nivel de habilidad.
Formas
Formas
Reactivos
Reactivos
Dificultad
Dificultad
2
2
18
26
53.59
40.16
1
1
22
26
55.61
40.20
3
3
19
25
54.96
40.17
4
4
18
25
54.44
40.10
5
5
23
26
55.48
40.24
6 26 40.26
7 26 40.17
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R61
Posteriormente, para equiparar los puntajes se realiza una transformación lineal, a partir del modelo logístico de tres parámetros de tri. De este modo, las puntuaciones provenientes de distintas versiones son intercambiables y todos los sustentantes son evaluados bajo el mismo criterio (estándares 4.19 y 4.20). En la tabla 13 se muestra la similaridad estadística que se ha mantenido cada año en las versiones operativas.
Tabla 13. Parámetros globales equiparados 2008-2010
El procedimiento de equiparación se explica de manera detallada en el anexo VII.
Dificultad tc Corr. Biserial tc
2009 46.75 0.325
2008 44.74 0.221
2010 48.63 0.257
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R63
Los resultados de la prueba enlace Media Superior se encuentran disponibles al público en general en diferentes medios:
• • • En la página electrónica oficial, con ligas a los reportes por alumno, por escuela y los resultados nacionales.
• • • En carteles que se distribuyen a la comunidad educativa en cada escuela.• • • En notas de prensa.
En la página electrónica se pueden revisar, durante todo el año, las características gene-rales de la prueba, las fechas de aplicación y noticias relacionadas con la evaluación. También se pueden consultar los reactivos que conformaron la prueba enlace Media Superior, así como los resultados por alumno, por escuela y por entidad federativa.
Cualquier consulta a los datos disponibles debe hacerse considerando el propósito para el que fue diseñada la prueba: brindar un diagnóstico individual y general de fortalezas y debilidades en dos habilidades básicas: lectora y matemática. Si bien enlace Media Superior forma parte del sneems, como ya se explicó, es una prueba dirigida al alumnado y no puede utilizarse para evaluar el sistema educativo, los subsistemas, las escuelas o los docentes. Por todo esto, los resultados sólo deben ser usados para conocer el nivel de dominio de los susten-tantes y planear estrategias de estudio, secuencias didácticas, campañas particulares, entre otras, que sean consecuentes con las necesidades que puedan detectarse haciendo uso de los datos.
6. Resultados
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
64
Estas consideraciones se reiteran varias veces en la página electrónica y las autoridades de la Subsecretaría se encargan de recordarlas al público en general en las conferencias y eventos de prensa. El Ceneval también hace énfasis en los alcances y limitaciones de la prueba, en todos los Comités que se organizan durante el desarrollo y mantenimiento de la prueba, y se pide a los participantes que divulguen la información para evitar malos usos de los datos y maximizar la validez de las interpretaciones de la propia evaluación (estándar 13.19).
Los resultados de las primeras tres aplicaciones se muestran en la tabla 14.
Tabla 14. Resultados aplicación enlace 2008-20108
En la tabla se presentan únicamente los resultados nacionales; sin embargo, en la pá-gina electrónica se pueden consultar los porcentajes para cada entidad federativa, tipo de bachillerato, sostenimiento y grado de marginación. Estas y otras características se utilizan para hacer estudios y tomar decisiones en cuanto a políticas públicas.
8 Datos disponibles en http://enlace.sep.gob.mx/ms/
884,663808,346 835,741
11,007
6.7
45.5
35.4
12.4
3.4
12.2
37.8
46.6
11,716
7.2
42.6
33.1
17
4.8
13.9
35.1
46.1
12,246
9.6
47.7
31.2
11.5
5.3
15.1
39.1
40.6
2008
N sustentantes
Habilidad Lectora
Habilidad Matemática
Proporción de sustentantes por nivel de dominio
N escuelas
% Excelente
% Excelente
% Bueno
% Bueno
% Elemental
% Elemental
% Insuficiente
% Insuficiente
2009 2010
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R65
6.1 Reporte de resultados
A continuación se muestra el reporte de resultados que se entregó a cada sustentante en las aplicaciones de 2008 y 2009. Desde 2010, está disponible únicamente en línea. En él se en-cuentran los datos de identificación del alumno, el objetivo de la prueba, la descripción de los niveles de desempeño y la ubicación del alumno en cada una de las habilidades evaluadas.
Aunado a estos datos, se muestra el porcentaje de alumnos por cada nivel de dominio por plantel, entidad y a escala nacional.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
66
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R67
Los datos y porcentajes que se presentan en los reportes individuales incluyen los resultados de la población que asiste a escuelas del mismo tipo de sostenimiento (público o privado), que corresponda a la modalidad de bachillerato (general, tecnológico, técnico) y grado de marginación (muy alto, alto, medio, bajo, muy bajo). La intención de presentar los porcentajes que se obtuvieron en planteles con las mismas características es evitar que se hagan comparaciones que resultarían inválidas dadas las diferencias de los bachilleratos en cuanto a recursos, propósito, etcétera; por lo mismo, se incluye un breve párrafo que explica el propósito de la prueba en cada uno de los reportes (estándares 11.6, 11.12 y 11.15).
Los cuatro niveles de dominio se describen de manera general con la intención de que el sustentante, el docente y el padre o madre de familia conozcan las fortalezas y debilidades que indica cada uno, considerando que determinado nivel implica las habilidades del o los anteriores.
Además, se pueden consultar todos los reactivos con las respuestas que el estudiante eligió y compararlas con la opción correcta; cada pregunta incluye un enunciado que describe lo que es capaz de hacer el sustentante que responde adecuadamente al reactivo.
En caso de que se requiera consultar el resultado de una escuela en particular, la liga correspondiente pedirá que se ingrese la Clave del Centro de Trabajo (cct) y que se indique el turno para el que se quiere consultar los datos. La información que se despliega incluye la ubicación, los datos generales de la escuela (tipo de sostenimiento, modalidad, grado de mar-ginación) y el número de sustentantes evaluados del último grado escolar en relación con los programados para aplicar el examen.
La posibilidad de revisar los resultados por escuela representa una ganancia para los docentes, especialmente porque cada pregunta se acompaña del porcentaje de estudiantes que la contestó incorrectamente, y se menciona la fortaleza o debilidad que los datos evi-dencian. De este modo, cada docente puede conocer aquellos contenidos y procesos que provocan más errores en su alumnado y así, mejorar su práctica educativa.
6.2 Usos y difusión de resultados
De forma independiente a la utilidad que cada sustentante o docente le pueda dar a los datos obtenidos con base en la información del reporte individual, la sems, la sep y el Ceneval organizan un seminario acerca de los usos y difusión de los resultados de la prueba.
Autoridades de cada instancia y representantes de organizaciones de la sociedad civil presentan diferentes ponencias en el seminario con el objetivo de que la comunidad en general conozca los propósitos de la prueba enlace Media Superior, sus características técnicas y la
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
68
forma en cómo puede aprovecharse no sólo en el ámbito académico, sino en planificación de políticas públicas o campañas sociales para promover actividades que favorezcan la lectura y la comprensión de las matemáticas como herramientas de la vida cotidiana.
Otra estrategia para contribuir a que los resultados de la prueba sean de utilidad es la publicación de un Manual para Docentes y Directivos que se encuentra disponible en la página electrónica de la prueba. Se hace hincapié en los propósitos, los alcances y limitaciones de enlace Media Superior, además de que se presentan sugerencias en cuanto a las actividades en plantel o en el aula que pueden organizar los docentes para mejorar las habilidades de los sustentantes.
En el manual se enfatiza el evitar las comparaciones entre alumnos, entre escuelas, y sobre todo el evitar los ejercicios de preparación exclusivamente para la prueba. Se incluye una explicación amplia de la forma en que se concibió el instrumento, entre otras cosas, como la medición de una muestra representativa de los contenidos a través de los cuales se pueden evaluar las habili-dades básicas, pero que de ninguna manera incluyen todos los temas y ejercicios que forman parte de los planes y programas. Esta idea se refuerza con la descripción de la Habilidad Lectora y la Habilidad Matemática, como ejemplos de habilidades transversales que pueden y deben ser promovidas en todas las disciplinas y asignaturas del bachillerato, ya sea con tra-bajos de investigación bibliográfica, prácticas de campo, portafolios y ensayos, entre otros.
Por algunas de las razones expuestas anteriormente, así como por el objetivo meramen-te diagnóstico de la prueba, enlace Media Superior no distribuye guías para el sustentante, únicamente se elabora anualmente el Manual para docentes y directivos.
6.3 Cuestionarios de contexto
El Ceneval aplica un cuestionario de contexto a la muestra controlada de sustentantes, maestros y directores, con el fin de recabar datos relacionados con variables de contraste específicas: subsistema educativo, nivel socioeconómico, motivación, compromiso académico, actividades extraescolares, situación laboral, recursos cognitivos y no cognitivos, trayectoria académica, características de las escuelas de procedencia y contexto familiar.
Las variables de contexto son elegidas por un Consejo Técnico conformado por espe-cialistas y autoridades de la sep. En el cuadro 2 se muestra la estructura del cuestionario de contexto de alumnos utilizada en 2010. En años anteriores se presentaron algunas variaciones en cuanto a los rubros y la cantidad de preguntas asociadas a cada uno, hasta que en 2010
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R69
se estableció una estructura que contiene un mayor abanico de variables de contexto que permiten describir a la población sustentante del examen operativo y explicar su desempeño.
Los cuestionarios de los sustentantes se aplican en una sesión de 50 minutos, mientras que los dedicados a docentes y directivos pueden ser contestados en línea. Las preguntas dirigi-das a los directores recaban información acerca de las características de la escuela, mientras que el cuestionario dirigido a los docentes se centra en variables asociadas a la función educativa.
Cuadro 2. Estructura del cuestionario de contexto para alumnos 2010
Dominio VariableÁrea
Personal
Escolar
Social
Preguntas
Total 160
Sexo 1
Datos generales
Recursos no cognitivos
Tiempo libre
Situación laboralComportamientos de riesgo
Recursos cognitivos
Trayectoria académica
Características de las escuelas de procedencia
Calidad de la escuela
Familiar
Edad 1Estado civil 1Discapacidades 5Lengua indígena 1Motivación 3Compromiso académico 10Ejercicios físicos 4Actividades extracurriculares 3Otros 5Trabajo actual 7Consumo de sustancias adictivas 10Habilidad percibida para el uso del idioma Inglés
5
4Habilidad percibida para el uso de la computadora
Preescolar 1
Secundaria 7
Secundaria 2
Tiempo utilizado en traslado 1Exigencia de la escuela 1
Estructura familiar 1Capital cultural 10Capital económico 19
Tutorías 3Calidad de los maestros 20Clima escolar 8
Nivel medio superior 17
Nivel medio superior 4
Primaria 5
Primaria 1
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
70
Los hallazgos hasta ahora han resultado interesantes. Entre otros, los datos muestran de manera consistente que las variables que mejor predicen el desempeño de los sustentantes son, en orden de importancia, las asociadas al capital cultural y económico en el dominio familiar, las relacionadas con la motivación en cuanto a recursos no cognitivos y, por último, la habilidad percibida para el uso del idioma inglés y de la computadora.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R71
La prueba enlace Media Superior fue creada con la intención de proporcionar un diagnóstico general de fortalezas y debilidades en dos habilidades básicas para la
vida, de tal forma que los datos sean útiles para mejorar la calidad de este tramo educativo trascendente en la vida profesional y académica de los individuos.
Para contribuir con un propósito tan importante y fundamental, es prioritario que se sigan lineamientos de calidad estrictos en el desarrollo de la prueba. Por ello, además de usar como base la Metodología Ceneval, se organiza cada etapa procurando el cumplimiento de los estándares internacionales de evaluación educativa que instituciones como la apa y la aera publican periódicamente.
Desde su origen, la prueba enlace Media Superior se planificó con la participación de reconocidos especialistas nacionales e internacionales; además, cada una de las decisiones importantes en su desarrollo ha sido consultada con autoridades en el tema y se ha recibido retroalimentación constante por parte de diferentes asesores.
7. Reflexiones acerca de la prueba
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
72
En cada una de las etapas de construcción de la prueba, la participación de personas con actividades y grados de profesionalización muy diferentes ha resultado enriquecedora. En los comités académicos se establecen diálogos y discusiones para llegar a acuerdos en cuanto a los contenidos que se deben evaluar para tener información válida y representativa; de la misma manera, llegar a un consenso en la redacción de especificaciones y delimitaciones implica que se intercambien muchos puntos de vista y experiencias en el plano docente, para equilibrar la dificultad de la prueba y adecuarla al nivel del alumnado de media superior. La misma experiencia de retroalimentación caracteriza a las reuniones de validación y posterior corrección de reactivos, donde los especialistas tienen que encontrar una única respuesta co-rrecta y tres distractores que, si bien son plausibles, deben ser totalmente incorrectos.
En el Ceneval, una constante es el trabajo en conjunto, tanto para los encargados de la coordinación como de quienes se ocupan de los bancos de reactivos y los análisis psicométri-cos, pues cada una de las actividades debe contribuir a los propósitos de la prueba y a la calidad de la misma. Todo el trabajo se ve materializado con la integración de diversas versiones cada año, no sólo para calificar a los sustentantes sino para verificar constantemente la calidad de los reactivos. En la prueba enlace Media Superior las formas piloto se ensam-blan y aplican con anterioridad a la versión operativa y la versión Pretest, de modo que en la aplicación definitiva se incluyen siempre los mejores ítems.
El cronograma de actividades se adapta a las necesidades de la prueba y las indicaciones de la sep-sems, de manera que en todo momento se cumpla con los lineamientos de calidad en cada fase del desarrollo de la evaluación.
Todo ello no ha evitado que la prueba sufra críticas, sobre todo por el mal uso que en muchos sectores se hace de los resultados. Como se ha mencionado, la prueba enlace no está diseñada para hacer comparaciones entre subsistemas, entre escuelas o entre docentes, y las interpretaciones que se hacen al respecto son erróneas. El diseño de la prueba corresponde con el de una evaluación diagnóstica individual, y su función principal es representar una retroalimentación para cada estudiante, de modo que conozca el nivel de dominio que posee en cada habilidad y ponga en práctica estrategias para mejorarlo.
Es común encontrar que algunos centros escolares se promocionan a sí mismos ha-ciendo uso de los buenos resultados de su alumnado en la prueba enlace. Eso carece de fundamento, el hecho de que sea posible consultar los resultados de cada cct no implica que deban compararse, pues cada centro tiene sus condiciones particulares en cuanto a número de alumnos, tipo de sostenimiento, modalidad, etcétera, además de que los resultados, po-sitivos o negativos, pueden deberse a multitud de variables que no están relacionadas con la calidad de la escuela en sí.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R73
La posibilidad de consultar los resultados año con año en la página electrónica de enlace Media Superior responde a la necesidad de tener un diagnóstico general constante que muestre las áreas de fortaleza y debilidad. Las comparaciones que pueden ser de utilidad son las que pueda hacer cada director de plantel en cuanto a los resultados año con año de su propia escuela, aunque esto de ninguna manera debe llevar a un veredicto en cuanto a las capacidades de sus docentes (ya se ha dicho que la prueba está dirigida al alumnado). Más bien puede dar indicios de las áreas acerca de las que pueden planificarse campañas internas, acti-vidades extracurriculares, entre otras.
Además de la fuente de información que representan los resultados de enlace, un propósito que se ha visto cumplido en estos tres años de aplicación ha sido la creciente con-cientización en la población acerca de la importancia de las habilidades evaluadas.
Los interesados en el nivel medio superior pueden utilizar los resultados de la prueba de diferentes formas:• • • Para mejorar la práctica educativa después de analizar los errores y aciertos más co-
munes del alumnado, así como las concepciones que poseen acerca de los contenidos evaluados en la prueba. Esto debe hacerse considerando que la prueba enlace Media Superior únicamente evalúa una muestra representativa de lo que constituye y debe promoverse como parte de la Habilidad Lectora y la Habilidad Matemática.
• • • Para planificar intervenciones en el aula, en el plantel, en un estado o en todo el país que fortalezcan el desarrollo de habilidades básicas.
• • • Para tener datos que ayuden a detectar tendencias en el plantel y contar con una línea-base que permita la comparación con los resultados de aplicaciones posteriores y esta-blecer el efecto que han tenido determinadas acciones educativas.
• • • Para caracterizar a la población de un plantel o entidad federativa en términos de su distribución por niveles de logro, siempre y cuando la proporción de alumnos evaluados sea significativa.
• • • Para promover investigaciones que detecten factores (económicos, sociales, de infra-estructura, de enseñanza aprendizaje, entre otros) asociados al nivel de logro de las distintas muestras de población, sobre las cuales puedan actuarse.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
74
7.1 Comparación con evaluaciones similares
En nuestro país existen otras pruebas que también se aplican a los estudiantes del nivel medio superior. Algunas poseen características en común con enlace Media Superior pero tienen objetivos distintos. En la tabla 15 se presentan las características de dichos instrumentos.
A partir de la tabla pueden reconocerse las diferencias que tiene enlace Media Superior con las demás pruebas; las más importantes se encuentran en su propósito y su método de aplicación. Mientras que enlace es una prueba de bajo impacto (su objetivo es meramente diagnóstico), existen otras evaluaciones que sí tienen consecuencias en la población objetivo, como la correspondiente al Acuerdo 286 Bachillerato (cuyo propósito es de acreditación) y el exani-i (que es una prueba de selección).
La evaluación internacional de pisa, el egrems y el exani-ii al que se refiere la tabla, comparten con enlace Media Superior su carácter diagnóstico; sin embargo, la primera prueba se administra únicamente a una muestra representativa de la población, mientras que las otras dos se aplican de acuerdo con las solicitudes de las instituciones. En contraste con ello, la aplicación de enlace Media Superior se caracteriza por ser censal ya que se aplica casi al 100% de la población objetivo nacional, una vez al año.
Los rasgos que comparten las seis pruebas reseñadas en la tabla tienen que ver con sus características psicométricas. Todas son evaluaciones objetivas ya que su calificación no depende de un criterio variable, además de que los controles en sus condiciones de aplicación y calificación las clasifican como pruebas estandarizadas. En todos los casos se evalúa a partir de reactivos de opción múltiple, aunque la prueba derivada del Acuerdo 286 también incluye la elaboración de un texto por parte del sustentante, y la de pisa complementa la información obtenida con los ítems cerrados con preguntas de respuesta construida.
Como se mencionó, el proceso de construcción de la prueba enlace Media Superior retomó varios aspectos de la evaluación de pisa, pero ambas evaluaciones son muy distintas en su estructura, su método de aplicación y, sobre todo, en el uso de los resultados. El Pro-grama pisa pretende comparar sistemas educativos nacionales por lo que sólo aplica una muestra de los reactivos a cada estudiante, que a su vez es seleccionado de manera aleatoria de una muestra. Los resultados se combinan en escalas globales que permiten comparar el desempeño de los países participantes. El esquema de aplicación de enlace Media Supe-rior es distinto puesto que fue diseñado únicamente para emitir un diagnóstico individual de fortalezas y debilidades, que de ninguna manera debe ser utilizado para comparar escuelas o subsistemas.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R75
Tabl
a 15
. Car
acte
rístic
as d
e lo
s in
stru
men
tos
de e
valu
ació
n pa
ra la
edu
caci
ón m
edia
sup
erio
r en
Méx
ico
(1 d
e 2)
9
enla
ceM
edia
Sup
erio
r
Eval
uar
pers
onas
.D
iagn
óstic
o in
divi
dual
de fo
rtal
ezas
y
debi
lidad
es.
Prop
ósit
o ge
nera
l y
espe
cífic
o
Eval
uar
pers
onas
. A
cred
itaci
ón d
eco
noci
mie
ntos
eq
uiva
lent
es a
l niv
el
educ
ativo
.
Eval
uar
pers
onas
. Se
lecc
ión
de e
stud
iant
es
para
el i
ngre
so a
l niv
el
med
io s
uper
ior.
Eval
uar
pers
onas
.D
iagn
óstic
o de
niv
el d
e co
noci
mie
ntos
en
áre
as e
spec
ífica
s.
Eval
uar
pers
onas
. D
iagn
óstic
o de
niv
el
dom
inio
en
cont
enid
os
gene
rale
s de
l niv
el
med
io s
uper
ior.
Eval
uar
sist
emas
ed
ucati
vos.
Dia
gnós
tico
naci
onal
.
286
Bach
iller
ato
exan
i-iex
ani-i
ieg
rem
spi
sa M
éxic
o (*
*)
Hab
ilida
des
bási
cas.
Com
pete
ncia
s di
scip
linar
es.
Cono
cim
ient
os
espe
cífic
os.
Cono
cim
ient
os
disc
iplin
ares
.Co
mpe
tenc
ias
bási
cas.
Com
pete
ncia
s di
scip
linar
es/g
enér
icas
Dom
inio
ex
plor
ado
Rest
ring
ido.
Rest
ring
ido.
Rest
ring
ido.
Rest
ring
ido.
Rest
ring
ido.
Am
plio
.Co
bert
ura
de d
omin
io
Baja
.M
edia
/Alta
.A
lta.
Med
ia/A
lta.
Med
ia/B
aja.
Med
ia/B
aja.
Sens
ibili
dad
a la
inst
rucc
ión
Cens
o.Ba
jo d
eman
da.
Bajo
dem
anda
.Ba
jo d
eman
da.
Bajo
dem
anda
.M
uest
ra.
Cobe
rtur
a de
la p
obla
ción
Alu
mna
do d
el ú
ltim
o ci
clo
de b
achi
llera
to.
Pers
onas
con
21
años
cum
plid
os.
Egre
sado
s de
educ
ació
n se
cund
aria
, as
pira
ntes
a in
gres
aral
bac
hille
rato
.
Egre
sado
s de
edu
caci
ón
med
ia s
uper
ior.
Asp
irant
es a
un
área
es
pecí
fica
de
educ
ació
n su
peri
or.
Estu
dian
tes
de 1
5 añ
os
tres
mes
es a
16
años
do
s m
eses
.
Pobl
ació
n ob
jeti
vo
140
reac
tivos
de
opci
ón m
últip
le: 5
0 de
H
abili
dad
Lect
ora
y 90
de
Hab
ilida
dM
atem
ática
.
180
reac
tivos
de
opci
ón
múl
tiple
: 28
de
Com
unic
ació
n, 6
1 de
M
atem
ática
s, 4
6 de
Ci
enci
as E
xper
imen
tale
s,
45 d
e Ci
enci
as S
ocia
les
(1ª
fase
), 20
reac
tivos
de
Com
pren
sión
Lec
tora
y
elab
orac
ión
de 1
text
o ar
gum
enta
tivo
(2ª
fase
).
80 re
activ
os d
e op
ción
múl
tiple
: 20
de R
azon
amie
nto
lógi
co-m
atem
ático
, 20
de M
atem
ática
s, 2
0 de
Ra
zona
mie
nto
Verb
al,
20 d
e Es
paño
l.
Nue
ve in
stru
men
tos
de d
ifere
ntes
áre
as d
e es
tudi
o co
n 10
0 re
activ
os
de o
pció
n m
últip
le.
180
reac
tivos
de
opci
ón
múl
tiple
y re
spue
sta
cons
trui
da, d
istr
ibui
dos
de m
aner
a. L
os ít
ems
pued
en s
er d
e Co
mpe
tenc
ia L
ecto
ra,
Mat
emáti
ca y
Cie
ntífic
a.
300
reac
tivos
de
opci
ón
múl
tiple
, 25
de c
ada
área
(B
iolo
gía,
Esp
añol
, Étic
a,
Físi
ca, F
iloso
fía, H
isto
ria,
In
form
ática
, Ing
lés,
M
atem
ática
s, M
etod
olog
ía
de la
inve
stiga
ción
, Q
uím
ica)
.
Pobl
ació
n ob
jeti
vo
9 In
form
ació
n di
spon
ible
en
http:
//w
ww
.cen
eval
.edu
.mx
y en
htt
p://
ww
w.in
ee.e
du.m
x (*
*)
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
76
Tabl
a 15
. Car
acte
rístic
as d
e lo
s in
stru
men
tos
de e
valu
ació
n pa
ra la
edu
caci
ón m
edia
sup
erio
r en
Méx
ico
(2 d
e 2)
10
enla
ceM
edia
Sup
erio
r28
6 Ba
chill
erat
oex
ani-i
exan
i-ii
egre
ms
pisa
Méx
ico
(**)
10 I
nfor
mac
ión
disp
onib
le e
n htt
p://
ww
w.c
enev
al.e
du.m
x y
en h
ttp:
//w
ww
.inee
.edu
.mx
(**)
Crite
rial
.Cr
iteri
al.
Crite
rial
.Cr
iteri
al.
Crite
rial
.N
orm
ativo
.Re
fere
nte
de c
alifi
caci
ón
Bajo
.A
lto.
Alto
.Ba
jo.
Bajo
.A
lto.
Cont
rol
de la
apl
icac
ión
Anu
al.
Tres
per
iodo
s po
r añ
o.Ca
da p
roce
so d
ead
mis
ión
a la
s in
stitu
cion
es
de b
achi
llera
to.
Bajo
dem
anda
,de
acu
erdo
con
las
solic
itude
s de
las
insti
tuci
ones
.
Bajo
dem
anda
, de
acue
rdo
con
las
solic
itude
s de
las
insti
tuci
ones
.Ca
da tr
es a
ños.
Peri
odic
idad
Impa
cto
Cuat
ro n
ivel
es
de d
omin
io:
Insu
ficie
nte,
Bue
no,
Elem
enta
l, Ex
cele
nte.
icne
(Índ
ice
Cene
val):
esca
la d
e 70
0 y
1300
pu
ntos
, con
un
límite
de
100
0 pa
ra c
onsi
dera
rse
apro
bato
rio.
Cua
tro
cate
gorí
as:
Sobr
esal
ient
e,Su
peri
or, S
ufici
ente
oN
o su
ficie
nte.
icne
(Índ
ice
Cene
val).
A
prob
ator
io o
no
apro
bato
rio.
icne
(Índ
ice
Cene
val).
Cu
atro
cat
egor
ías:
So
bres
alie
nte,
Sa
tisfa
ctor
io, E
lem
enta
l o
Sin
dict
amen
.
Esca
la c
ontin
ua c
on
med
ia e
n 50
0 pu
ntos
y
una
desv
iaci
ón tí
pica
de
100
pun
tos.
Sei
s ni
vele
s de
hab
ilida
d.
Tres
niv
eles
de
logr
o:
Elem
enta
l, Sa
tisfa
ctor
io,
Sobr
esal
ient
e.Re
sult
ados
Bajo
.A
lto.
Alto
.Ba
jo.
Bajo
.Ba
jo.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R77
La existencia de estas y otras pruebas cuyo desarrollo y aplicación se ha multiplicado recientemente ha generado conciencia en las personas acerca de la importancia de contar con indicadores y datos del desempeño de los estudiantes que permitan mejorar el trabajo que se hace en las instituciones educativas. En respuesta a la concepción de que dicho fenómeno provoca que la población esté sobreevaluada, Vidal (2009) destaca el hecho de que cada ins-trumento tiene objetivos distintos y por tanto ofrece información en diferentes esferas que puede y debe ser revisada para contribuir a la mejora de la calidad de la educación de una manera integral.
7.2 enlace Media Superior y la riems
La experiencia de evaluación de la prueba enlace ha significado aportaciones importantes que pudieran multiplicarse si se le utiliza adecuadamente. El equipo de Ceneval que trabaja en su desarrollo y mantenimiento también ha adquirido diversas enseñanzas en cuanto al cuidado y trabajo que implica una prueba de esta magnitud.
En 2011 inició una nueva etapa para la prueba, ya que fue su primera aplicación con una estructura modificada en congruencia con la riems. El cambio más importante es la inclusión paulatina de la evaluación de indicios de competencias disciplinares básicas. Para 2011, además de 81 especificaciones iguales a las utilizadas de 2008-2010, se evalúan otras 29 completamente nuevas que se abocan a elementos particulares del mcc en los campos disciplinares de Comunicación (Comprensión Lectora) y Matemáticas. En futuras aplicacio-nes se prevé seguir el modelo de enlace Básica, el cual determina una rotación anual en los campos de Ciencias; esto significa aplicar una evaluación de competencias disciplinares para los campos de 1) Ciencias Sociales y Humanidades, y 2) Ciencias Experimentales, los cuales se alternarían año con año a partir de 2013, previa aprobación del Consejo Técnico.
Con la conciencia de que todo proceso es perfectible, el Ceneval trabaja actualmente para optimizar cada una de las fases de construcción del instrumento esperando que, como hasta ahora, los resultados de la evaluación impacten en la calidad de la educación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R79
• • • Angoff, W.H. (1984). Scales, norms and equivalent scores. Princenton, NJ: Educational Testing Service.
• • • apa, aera y ncme (1999). The Standards for Educational and Psychological Testing. Washington, DC: aera Publications.
• • • Ceneval (2008). Metodología Ceneval. México: Centro Nacional de Evaluación para la Educación Media Superior, A.C.
• • • dgep (2010). Normas operativas. enlace 2010, Educación Media Superior. Unidad de Planeación y Evaluación de Políticas Educativas, sep. Disponible en http://enlace.sep.gob.mx/ms/docs/EMS2010_Normas_Operativas.pdf
• • • Dorans, N.J. (1990). Equating methods and sampling designs. Applied Measurement in Education, 3, 3-17.
• • • Downing, S. y Haladayna, T. (eds.) (2006). Handbook of test development. NJ: Lawrence Erlbaum Associates.
• • • Freudenthal, H. (1983). Didactical Phenomenology of Mathematical Structures. Mathematics Education Library. Chicago: D. Reidel Publishing Company.
• • • Gaviria, J. (2008). Informe de validación de puntos de corte en las pruebas de Matemáticas y Comprensión Lectora de enlace Media Superior. Universidad Complutense de Madrid, Documento Impreso.
• • • Gravemeijer, K y Terwel, J. (2000). Hans Freudenthal, un matemático en Didáctica y teoría curricular. Journal of Curriculum Studies, 32, 6, pp.777-796.
• • • Mitzel, H.C., Lewis, D.M., Patz, R.J., and Green, D.R. (2001). The bookmark procedure: Psychological perspectives. En G.J. Cizek (ed.), Setting performance standards: Concepts, methods and perspectives. Mahwah, NJ: Lawrence Erlbaum.
• • • Moulton, N. (2007). One Ruler, Many Tests: A Primer on Test Equating. eds Publications, disponible en http://www.eddata.com/resources/publications/
• • • Niss, M. (1999). Aspects of the nature and state of research in mathematics education. Educational Studies in Mathematics, 40, 1-24.
• • • Nunnally J.C., y Bernstein, T.H. (1994). Psychometric theory. New York: McGraw-Hill.• • • oecd (2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework for pisa
2006. Paris: ocde.• • • Pajares, R., Sanz, A., y Rico, L. (2004). Aproximación a un modelo de evaluación: el proyecto
Pisa 2000. Madrid: Ministerio de Educación, Cultura y Deporte.• • • Steen, L. (1990). On the Shoulders of Giants: New Approaches to Numeracy. National Re-
search Council, Washington, D.C.: National Academy Press.• • • simce (2005). Diseño de instrumentos con metodología de enseñanza de habilidades. Chile: Copiapó.• • • Treffers, A. (1987). Three Dimensions. A Model of Goal and Theory Description in Mathematics
Instruction: The Wiskobas Project. Dordrecht: Kluwer Academic Publishers.• • • Vidal, R. (2009). ¿Enlace, Exani, Excale o pisa? México: Ceneval. Disponible en http://
archivos.ceneval.edu.mx/archivos_portal/3065/Enlace_Exani_Excali_Pisa.pdf• • • Vidal, R. et al. (2000). Manual Técnico del Centro Nacional de Evaluación para la Educación
Superior. México: Ceneval.
Referencias
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R81
Anexo IGrupos de Trabajo
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
82
Lic. Miguel Ángel Martínez Espinosa
Lic. Ana María Aceves Estrada
Lic. Elena Verdugo Quiñones
M. en C. Daffny Rosado Moreno
Ing. Roberto Peña Resendiz
Ing. Carlos Goñi Carmona
Dr. Eugenio González
Dr. José Luís Gaviria
M. en A. Ed. Maricruz Moreno Zagal
Dra. Rosamaría Valle-Gómez Tagle
Dra. Carmen Villatoro Alvaradejo
Dra. Teresa Bracho González
Dra. Lucía Monroy Cazorla
Subsecretario de Educación Media Superior. sep.
Directora General de Evaluación, dgep. sep.
Coordinadora de Asesores. sems.
Coordinador Sectorial de Desarrollo Académico. sems.
Director de Evaluación de Políticas y Sistemas Educativos. sep.
Director de Evaluación y Análisis del Proceso Educativo. sep.
Asesor externo de Ceneval. iea-ets.
Asesor externo de sep. Universidad Complutense.
Directora General Académica. anuies.
Directora General de la dgee. unam.
Coordinadora del Bachillerato a Distancia. unam.
Profesora investigadora. flacso.
Directora General Adjunta Técnica y de Investigación. Ceneval.
Lic. Miguel Ángel Martínez Espinosa
Lic. Ana María Aceves Estrada
Lic. Elena Verdugo Quiñones
M en C. Daffny Rosado Moreno
Ing. Roberto Peña Resendiz
Dra. Margarita María Zorrilla Fierro
Dra. Annette Santos del Real
Mtro. Rafael Santiago Vidal Uribe
Dra. Rocío Llarena de Thierry
Subsecretario de Educación Media Superior. sep.
Directora General de Evaluación, dgep. sep.
Coordinadora de Asesores. sems.
Coordinador Sectorial de Desarrollo Académico. sems.
Director de Evaluación de Políticas y Sistemas Educativos. sep.
Directora General. inee.
Directora General Adjunta. inee.
Director General. Ceneval.
Directora General Adjunta de Programas Especiales. Ceneval.
Consejo Directivo
Consejo Técnico
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R83
Mtra. Ma. Lourdes Oliver Conde
Lic. Mariana Godínez Morales
Mtro. Felipe Mejía Rodríguez
Lic. Martha P. Martín Ramírez
Lic. Diego Valenzuela Vázquez
Mtro. Cesar Darío Fonseca
Dra. Celia Díaz Agüero
Dra. Sylvia Margarita Rojas Ramírez
Dra. Margarita Peón Zapata
Mtro. Marco Antonio López
Mtro. Miguel Ángel León Hernández
Biol. Rodrigo Nava Mora
Lic. María Isabel Segura Gortarés
Lic. Gilberto Castillo Peña
Mtro. Leonardo Martínez Galván
Mtro. Igor Rodríguez Ugaldez
Dr. Fernando Brambila
Dr. Luis Fernando Magaña Solis
Mtro. Salvador Zamora Muñoz
dgeti
cosnet
dgep
dgeta
dgeta
dgeti
Asesora independiente
unam
inee
dgeta
inee
dgcytm
cecyt
dgb
dgep
conalep
unam
unam
unam
Comités Académicos para el Diseño
Comité Académico para la Validación de contenidos y especificaciones
Habilidad Lectora
Habilidad Lectora
Habilidad Matemática
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
84
Dra. Celia Díaz Agüero
Dra. Sylvia Margarita Rojas Ramírez
Dra. Nancy Mazón Parra
Dr. Luis Fernando Magaña Solis
Mtro. Salvador Zamora Muñoz
Asesora independiente
unam
unam
unam
unam
Comité Académico para el establecimiento de puntos de corte y definición de niveles de dominio
Habilidad Lectora
Habilidad Matemática
Dr. Eugenio González
Mtro. Edgar Andrade
Lic. Gustavo Rodríguez
Dr. José Luis Gaviria
iea-ets
inee
inee
Universidad Complutense, Madrid
Asesores externos
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R85
Alberto Saavedra MirandaAlejandro Rojas González Araceli Hernández PérezArmando Axayácatl Viloria CoronaBeatriz Ramírez PeñaBenedicto Priego Hernández Camerina Medina Sáenz Carmen Luz MartínezClaudia Patricia Padilla RomeroEdith Serrano MaldonadoEnrique Arronte RosalesGenoveva Brambila SánchezGladys Isabel Yerbes OrdóñezGloria Castellanos HernándezGloria Elena Schmelling VillaseñorGloria Hortensia Mondragón GuzmánGloria Luz Hernández PadillaGriselda Cid AgamaGuillermo Aguilar FernándezHildelisa ArceIrma Anselma Alvarado SánchezJorge Toledo SalasJosé Antonio Rivera SorianoJosé de Jesús Velázquez Rendón José Pedro Hernández AcostaJuan Manuel Rodríguez San JuanJulián Domingo España Solís Laura Elena Gómez CruzLeticia Vega Montoya Ma. de Jesús Barboza MoránMa. del Carmen González RubíMa. del Carmen Hernández González Ma. del Carmen Larumbe Radilla Ma. del Corazón de Jesús Huerta Franco Ma. Catalina Ramírez BonillaMa. Elena Chávez MoralesMa. Guadalupe Sandoval CornejoMa. Ofelia Villeda HidalgoMa. Teresa Herrera DelgadoMarcela Vega GarcíaMarco Antonio Flores VargasMario Castillo Sánchez HidalgoMartha Galindo BecerraMiguel Ángel García Cueto
Preparatoria 6, unamcetis 35cecyt, ipnColegio Montessorifca, unamCentro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles”cbtis 114IndependientePreparatoria 5, unamCCH Azcapotzalco, unamInstituto Carlos PellicerColegio de BachilleresCentro de Estudios Tecnológicos del Mar 02, CampecheColegio de BachilleresUniversidad Autónoma de MorelosCCH Naucalpan, unamUniversidad Justo SierraamoreColegio Méxicocbtis 201amoreulsaColegio de BachilleresPreparatoria LuzacColegio de MontaignacPreparatoria Villa de Cortéscbtis 107conalepUniversidad etacIndependienteColegio de BachilleresDirección General de Ciencia y Tecnologías del Mar, Ensenadacetis 116Centro de Enseñanza Técnica Industrialcch Vallejo, unamColegio de BachilleresconalepColegio de Bachillerescbetis 40cetis 03Colegio de BachilleresUniversidad Simón Bolívarcch Sur, unamIndependiente
Comité Académico de elaboración de reactivos
Habilidad Lectora
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
86
Miguel Ángel Jiménez RobledoMiguel Ángel Ortiz LunaMiguel Villaseñor TrinidadMónica Karla Pérez ViverosNorma Angélica Reséndiz HernándezOctavio Cano SilvaOfelia Mulliert Carlín Olimpia Escalona SotoOralia Prado Govea Óscar Benítez HernándezRaúl Zavala Cortés Rocío Rodríguez Benítez Rosalía Duarte ArgándarRosalía Mendizábal IzquierdoRosalía Sonia Guerrero GarcíaRosana Patricia Montalvo HinojosaSalvador Saulés EstradaSandra Cara CamarenaSandra Carreto CabreraSergio Gabriel Gamero Jiménez Susana Ortega LunaTeresa Espinosa ContrerasThelma Alcántara AyalaTomás Gontran López CansecoVictoria Araceli Ibarra Soto
Colegio de BachilleresCentro de Estudios de Bachillerato “Juana Inés de Asbaje”conalepColegio de BachilleresColegio de BachilleresIndependienteIndependienteColegio de BachilleresCentro de Estudios Tecnológicos Aguas Continentales (Jalisco)unitecColegio de Bachillerescbta 88Preparatoria 6, unamPreparatoria 5, unamIndependienteCentro de Estudios de Bachillerato “José Vasconcelos”enep, unam enep, unamCCH Oriente, unamColegio de BachilleresColegio de BachilleresamoreColegio BritánicoCentro de Estudios de Bachillerato “José Vasconcelos”cetis 71
Comité Académico de elaboración de reactivos
Habilidad Lectora
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R87
Aidée Guevara MaycotteAlejandra Calvo FloresAlejandro Espino GonzálezAlejandro Olea DíazAlejandro Raúl Reyes EsparzaAlfredo EncisoAmalia Sánchez BarreraAna María García ZúñigaAraceli Guzmán TristánArmando Carlos Meza RomeroArmando Castillo NievesArmando Jesús Velasco SorianoArturo Martínez EspitiaCarlos Flores ArvizoCésar Augusto Santamaría VergaraCésar Esteban Mejía AcevedoColbert Jerónimo LópezDavid Simón Contreras RivasEdmundo Jorge Alejandro Lara CastilloEduardo Basurto HidalgoEduardo Guadalupe Tellez Carmona Efraín Nava AlvarezEleazar López CruzEugelio Gerónimo LópezFausto Gómez LorenceFelipe Huerta OreaFidel Alejandro Cortés LorenzoFrancisco Javier Cortés CruzFrancisco Javier Olivares GonzálezFrancisco Pliego LópezFrancisco Torres PlacidoGenoveva Olgín RamírezGerardo Luna SotoGilberto Orozco MayrenGuillermo Tinoco OjedaGustavo Peralta EnríquezHeriberto MarínIsrael Díaz GarcíaJaime Nieves MedranoJavier Cervantes SantiagoJavier Villanueva RamosJesús Alejandro Arreola HernándezJoel Camacho SalazarJosé Enrique Maciel
CONALEPFacultad de Ciencias, UNAMCentro de Estudios de Bachillerato “Dr. Ignacio Chávez”Dirección Operativa 5, DGBCCH Azcapotzalco, UNAMColegio de BachilleresCONALEPCETIS 102AMORECCH Sur, UNAMCBTIS 215Colegio de BachilleresIndependienteCentro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles”CONALEPCentro de Estudios de Bachillerato “José Vasconcelos”Universidad Tecnológica de NezahualcóyotlColegio de BachilleresPreparatoria Mixcoac ValleCINVESTAVCONALEPColegio de BachilleresENEP 6, UNAMColegio de BachilleresCCH Sur, UNAMColegio de BachilleresCBTIS 145Colegio de BachilleresColegio de BachilleresCONALEPFacultad de Ciencias, UNAMCCH Oriente, UNAMUniversidad Justo SierraCentro de Bachillerato Tecnológico Agropecuario 39Bachillerato de la Universidad Autónoma del Estado de MorelosCentro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles”Preparatoria 5, UNAMPreparatoria 2, UNAMUniversidad Autónoma de QuerétaroColegio de BachilleresULSAVocacional, IPNCETIS 131CINVESTAV, IPN
Comité Académico de elaboración de reactivos
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
88
José Fernando Maldonado HernándezJosé Hilario CidJosé Humberto López SevillaJosé Juan Nieves MedranoJosé Juan RodríguezJosé Luis Alvarado ChávezJosé Manuel Pérez CoronaJosé Miguel García MuñozJosé Salvador Mendieta OsorioJosueth Vázquez RománJuan Francisco Hernández CruzJuan Gerardo Luna SotoJuan Manuel Lozano VieyraJuan Manuel Osorio FernándezJuan Manuel Rodríguez MarínJulio César García de Alba IbarraJulio García ValenciaJulio Hernández HernándezKesia Paola Audiffred UriegaLaura Angélica Hernández MartínezLilia Montoya GutiérrezLuis Miguel Ramírez MartínezLuis Rafael de la O SorianoLuz Adriana Bolaños GarcíaMa. Crisalda Valdéz MartínezMa. Elena García SalgueroMa. Zolayma Alcalá CastañedaMarciano Espinosa FloresMarcos Belisario González LoriaMario Aldana SugarazoMaritza Pescador RiveraMiguel Agustín Castañeda MirandaMiguel Arcángel Núñez TorresNelson Muriel TorreroOscar Guadalupe Tovar ContrerasOscar Nelson López LópezPatricia Rangel OntiverosPatricio Luna RamalesRaymundo García SamudioRebeca Juárez SalomónRita Ochoa CruzRocío Rodríguez RodríguezRogelio Toledo ToledoRoque Ruíz López
conalepprefecocbtis 260Universidad Autónoma de Querétaroamoreenep 6, unamUniversidad Justo Sierracetis 50Preparatoria 5, unamcetis 50conalepUniversidad InsurgentesPreparatoria PanamericanaCentro de Estudios de Bachillerato “Lic. Jesús Reyes Heroles”ulsaCentro de Enseñanza Técnica IndustrialUniversidad Insurgentesenep 6, unamIndependienteIndependientePreparatoria 5, unamcetis 163cbta 88cetis 109Colegio de BachilleresIndependienteconalepCentro de Estudios Tecnológicos del Mar 05, Salina Cruz, Oaxacacetis 118Colegio de BachilleresFacultad de Ciencias, unamColegio de BachilleresCentro de Estudios Tecnológicos del Mar 16, La Paz, Baja CaliforniaFacultad de Ciencias, unamPreparatoria 5, unamEscuela Preparatoria Federal por Cooperación “Antonio Audirac”conalepprefecocch Vallejo, unamfes Zaragoza, unamUniversidad Autónoma de QuerétaroColegio de MontaignacCentro de Estudios de Bachillerato “Dr. Ignacio Chávez”cbtis 59
Comité Académico de elaboración de reactivos
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R89
Rubén Telésforo JiménezSalvador González MendietaSergio Agustín Brambila HortaSilvia de la Vega HernándezSonia Elizabeth Ruelas MorenoVictor Agustín Sosa GómezVíctor Manuel Talamante Estrada
Colegio de BachilleresIndependienteCentro de Enseñanza Técnica IndustrialPreparatoria 7, unamprefecocbtis 6Centro de Estudios Tecnológicos del Mar 18, Acapulco, Guerrero
Comité Académico de elaboración de reactivos
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
90
Araceli Hernández Pérez
Alejandro Vega Solís
Adriana Reyes-Márquez Hernández
Edith Serrano Maldonado
Francisco Javier Ortiz Ramos
Guadalupe Salcedo Gutiérrez
Gloria Elena Schmeling Villaseñor
Gloria Hortensia Mondragón Guzmán
Gloria Luz Hernández Padilla
Gloria Castellanos Hernández
Ma. Catalina Ramírez Bonilla
Ma. Martha Acosta y Carrasco
Mario Agustín Jesús Castillo Sánchez Hidalgo
Marcela Vega García
Martha Galindo Becerra
Mónica Karla Pérez Viveros
Ramón López Valdepeña
Roberto Hernández Álvarez
Rocío Edith González García
Sergio Centeno García
Sandra Obdulia Carreto Cabrera
cecyt, ipn
Universidad Autónoma de Querétaro
Colegio de Bachilleres
cch Azcapotzalco, unam
Colegio de Bachilleres
Colegio de Bachilleres
Universidad Autónoma de Morelos
cch Naucalpan, unam
Universidad Justo Sierra
Colegio de Bachilleres
cch Vallejo, unam
cch Oriente,unam
Preparatoria Panamericana
cetis 03
cch Sur, unam
Colegio de Bachilleres
Universidad Marista
Colegio de Bachilleres
Universidad Autónoma de Querétaro
Universidad Autónoma de Querétaro
Colegio de Bachilleres
Comité Académico de validación de reactivos
Habilidad Lectora
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R91
Alejandro Raúl Reyes Esparza
Armando Jesús Velasco Soriano
Bernardo Tarango Frutos
Erick Mier Moreno
Fausto Gómez Lorence
Francisco Javier Cortés Cruz
Genoveva Olguín Ramírez
Guadalupe Mercedes Rodríguez
Guillermo Tinoco Ojeda
Héctor Barajas Valdez
Israel Díaz García
Jaime Nieves Medrano
Jesús Alejandro Arreola Hernández
José Juan Nieves Medrano
José Manuel Pérez Corona
Josueth Vázquez Román
Juan Manuel Lozano Vieyra
Mario Aldana Sugarazo
Nelson Muriel Torrero
Rebeca Juárez Salomón
Rita Ochoa Cruz
Raymundo García Zamudio
Víctor Agustín Sosa Gómez
cch Azcapotzalco, unam
Colegio de Bachilleres
Universidad Marista
Aprendizaje Matemático, amat
cch Sur, unam
Colegio de Bachilleres
cch Oriente, unam
Colegio de Bachilleres
Universidad Autónoma de Morelos
Aprendizaje Matemático, amat
Preparatoria 2, unam
Universidad Autónoma de Querétaro
Instituto Politécnico Nacional
Universidad Autónoma de Querétaro
Universidad Justo Sierra
cetis 50
Preparatoria Panamericana
Colegio de Bachilleres
Facultad de Ciencias, unam
fes Zaragoza, unam
Universidad Autónoma de Querétaro
cch Vallejo, unam
Colegio de Bachilleres
Comité Académico de validación de reactivos
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R93
Anexo IIDatos psicométricos de los reactivos piloteados
De acuerdo con lo mencionado en el apartado de Revisión Cualitativa, los ítems que se aplican en las versiones Operativas son piloteados con un año de anticipación.
En la siguiente tabla se presentan los datos psicométricos generales de las pruebas piloto aplicadas en 2007, 2008 y 2009.
Como puede observarse en la aplicación de 2009 se piloteó la mayor cantidad de reac-tivos, ya que fue necesario probar ítems de dos nuevas áreas disciplinares cuya introducción en la prueba Operativa está actualmente en estudio.
En las siguientes páginas se muestra un ejemplo de cómo se manejan las tablas estadís-ticas donde se reportan los datos psicométricos de los reactivos.• • • La columna Tipo de texto, en el caso de Habilidad Lectora, y Contenido, para Habilidad
Matemática, indica las habilidades a evaluar en cada área.• • • La columna Ítem contiene el identificador del reactivo.• • • La columna cve muestra la opción de respuesta correcta a cada reactivo.• • • Las columnas agrupadas en Estadísticos comprenden los datos correspondientes al
porcentaje de alumnos que contestaron correctamente al ítem, los datos obtenidos con Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En tc la columna dif indica la dificultad obtenida y la columna cpb contiene la correlación punto biserial de cada reactivo. En tri se identifica la discriminación del reactivo con A, la dificultad con B y el azar con C.
Correlación biserial media (tc)
Reactivos elaborados
Reactivos validados
Reactivos piloteados
Dificultad media (tc)
Coeficiente de discriminación (tri)
Coeficiente de dificultad (tri)
Reactivos con parámetros óptimos
2007
2010
1389
45.5
570
0.201
1.248
1.286
270
2008
3112
2505
1561
47.2
0.200
1.055
1.185
578
2009
4379
4332
3590
37.6
0.123
0.595
1.247
1890
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
94
10718107201072710730107341073710741107521075511213100721007310075100761007710080100821008310714107151071710725107281072910731107361074010745107471075310756107591076210089100931009710098101031010410106
DCBAACBADCBCDACBCDCCCBADACBCDBADCADDABAD
49.6082.2057.6047.5057.802.30
61.8041.1069.2061.9089.874.148386845
56.532.444.877
73.372.937.467.635.585.930.253.525.928.653.624.624.391.557.978.556.888.360.248.8
0.2870.1690.1860.0480.097-0.0930.1730.2020.2040.3270.1890.2250.2070.1870.1860.1910.3390.3770.2410.4170.4170.2160.2760.3730.1010.3370.0690.3090.0770.1440.3340.195-0.0060.3920.4030.4590.3610.4120.2210.274
0.756-2.2330.2222.5850.571
0.0951.241-0.918-0.283-2.18-0.860.8151.527-0.5841.2940.2760.9311.082-0.963-0.763-1.1261.184-0.5282.811-1.4993.4240.5763.6571.9330.6562.1367.536-1.735-0.142-1.064-0.063-1.53
-0.4050.484
6.3190.5920.5620.2630.374
0.6960.8020.6491.2581.05
0.8780.7232.1160.7590.96
1.8862.57
1.0711.6421.6340.72
1.0471.2320.4911.49
0.8651.37
0.7411.7422.5170.9670.2492.2391.3451.7181.1621.98
0.6130.895
0.3390.2140.1990.2080.234
0.2660.1660.1630.1200.2130.2450.1730.29
0.2060.2540.2480.13
0.2290.1030.1130.1690.1450.1410.1810.1620.2520.2670.1970.2150.33
0.1170.1290.1110.0870.0620.1040.1230.1030.131
Tipo de texto Ítem cvedif cpb
tc triEstadísticos
b a c
ApelativoApelativoApelativoApelativoApelativoApelativoApelativoApelativoApelativoApelativo
ArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativo
ExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativo
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R95
10515104771035910243105631043210821100271049710211105191041410508113031109211332104291048410521105301040710532102141009911378102501012611036108111098611011103961024911150110891104311265110681103711090
BDDDDBBBBBDBBCCCBDDBBDAAADCDAADCDCBCCBAA
65.7035.6031.2058.3031.7045.9051.8071.7047.8072.0054.5058.5056.4067.5016.8047.5052.9017.3016.7035.7043.0043.6041.1033.9055.4034.4056.605.50
19.9022.2018.2019.8027.7026.3029.6034.3022.6029.9030.2016.20
0.3970.5250.4880.3490.4610.2010.1340.3760.3830.2990.3850.3660.4230.3400.0320.3130.3710.1750.003-0.0250.1690.2300.1550.0400.2210.2950.1510.1040.0120.0500.058-0.0180.0820.1040.1090.0500.0500.031-0.005-0.033
-0.1860.6680.8560.6110.9101.3641.866-0.6890.575-0.6300.231-0.049-0.009-0.3763.1800.3930.4242.4165.3115.5071.2080.6411.7303.5180.5080.9330.4532.6095.7886.0316.1037.5953.7151.3921.2544.1846.2665.4666.2099.323
1.7872.9733.6532.3444.1101.9201.5761.4561.8341.1901.6881.4781.8501.6161.8401.0721.9041.5200.5850.1860.9901.0171.0970.7221.0171.4460.6282.4370.2830.2440.2870.2040.3291.0080.9430.2060.3120.2950.2490.225
0.2320.1000.1140.3870.1400.3530.4550.1420.2080.2200.1920.1500.1250.1860.1560.1020.2390.1200.1240.1270.2170.1050.2830.2740.2600.0960.2310.0370.0400.0410.0370.0290.0560.0310.0350.0640.1120.1540.1490.060
Contenido Ítem cvedif cpb
tc triEstadísticos
b a c
CantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidad
Cambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y Relaciones
Espacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y Forma
Matemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas Básicas
Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R97
Anexo IIIParámetros versión operativa 2008
La siguiente tabla técnica de la prueba enlace Media Superior Operativa 2008 se utilizó para el establecimiento de los puntos de corte que sirvieron para la ubicación de los
sustentantes en los diferentes niveles de dominio en las primeras tres aplicaciones. Asimismo, estos datos se utilizaron para los posteriores estudios de equiparación.
La tabla contiene los siguientes datos en el orden en que se presentaron los ítems a los sustentantes:• • • Contenido. En el caso de Habilidad Lectora indica el tipo de texto y en Habilidad
Matemática el contenido matemático a evaluar. • • • Ítem. Presenta el identificador del reactivo.• • • Estadísticos. Las columnas agrupadas comprenden los datos psicométricos de los
reactivos en Teoría Clásica (tc) y Teoría de Respuesta al Ítem (tri). En TC la colum-na dif indica la dificultad obtenida y la columna cpb contiene la correlación punto biserial de cada reactivo. En tri se identifica la discriminación del reactivo con A, la dificultad con B y el azar con C.
• • • cov. Contiene el valor obtenido de la covarianza de cada reactivo.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
98
dif cpb b a c
tc tri
Estadísticos
10727107341075210755112131122011223112351123810073100751007710080100821052010526105391054010542105151042310359102361096810432107931041210497102111051010003100231037110419100041021511299104211027610996
0.1860.0970.2020.2040.3270.1320.2850.3580.2410.2250.2070.1860.1910.3390.1850.1970.2770.3350.1200.3970.5120.4880.2390.3150.2010.3510.2890.3830.2990.1430.2690.2920.1800.26
0.4410.3620.1440.2830.3510.277
57.6057.8041.1069.2061.9021.7048.6056.6077.8074.1048.0068.0045.0056.5034.0054.9051.4048.8024.5065.7037.7031.2036.4031.4045.9043.5061.3047.8072.0028.8034.8046.1038.9043.2061.4057.7031.0067.6023.5046.90
0.2220.5711.241-0.918-0.2832.2820.718-0.072-1.193-0.8600.815-0.5841.2940.2761.7050.4650.8350.3732.834-0.1860.4870.8561.5611.3001.3640.831-0.2990.575-0.6301.9151.4790.7711.7461.230-0.138-0.0911.959-0.3601.3641.073
0.5620.3740.8020.6491.2581.3258.1261.4150.9810.8780.7230.7590.9601.8861.7510.8602.0551.3060.8641.7872.8213.6531.9531.7281.9201.9950.9591.8341.1902.9211.5051.1772.2151.4611.9131.6722.0881.3541.8881.542
0.1990.2340.1660.1630.1200.1440.3280.0980.1920.2450.1730.2060.2540.2480.2520.2290.3360.1330.1580.2320.0520.1140.2710.1620.3530.2260.1230.2080.2200.2480.2150.1950.3270.2730.1620.1110.2560.2120.0890.298
1.5150.9082.0261.2322.09
1.0011.7782.6321.5861.4731.5891.5371.3062.2241.4221.2581.7952.1510.8252.2872.2912.2751.2541.5541.2182.0061.5472.1661.9580.6641.5051.7471.0811.2192.485
2.21.0161.4881.5851.513
Contenido Ítem
ApelativoApelativoApelativoApelativoApelativoApelativoApelativoApelativoApelativo
ArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativoArgumentativo
CantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidadCantidad
cov
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R99
dif cpb b a c
tc tri
Estadísticos
11114109421102610738112651127311081113271132510269102721027510444104451045310459104681119111193111971120811231112361055510936108031037811311105231047610519104141057410296104081130410429104841042210212
0.3180.3180.1280.0460.0500.0350.0530.0610.1130.2380.2390.2540.2180.4570.2390.3420.0400.3560.4300.4540.2080.4930.3460.1980.3300.1700.2060.0210.1290.0790.3850.3660.3090.2160.1830.3050.3710.1750.0640.226
51.9020.8030.5036.8022.6022.9031.4030.2030.1047.0041.1035.8059.8059.0045.9065.0035.9054.1077.4071.2055.2076.5049.6057.3056.0026.7029.6024.8014.1033.8054.5058.5040.2079.3043.9049.8052.9017.3033.1040.50
0.6611.5442.3632.4976.2663.9581.9262.1771.4360.7790.9551.172-0.1700.0450.854-0.5374.2880.350-0.980-0.515-0.059-0.6950.2320.0480.3862.2191.9612.6092.9182.3530.231-0.0490.748-1.1060.7870.3060.4242.4162.1091.240
1.7311.9781.4642.3240.3120.3480.4820.4530.6570.8560.6591.7290.6271.9720.8011.0140.2261.6971.6161.7750.5252.2541.0500.7241.5121.3641.5143.6841.2811.9001.6881.4781.6221.3170.7781.4941.9041.5203.9751.110
0.2890.0940.2540.3480.1120.0280.0280.0280.0070.1690.0790.1890.1530.1890.1590.1010.1160.2210.1100.1870.0900.1940.0790.1590.2630.1950.2140.2410.1010.3040.1920.1500.1380.1780.1120.1340.2390.1200.3080.207
2.0161.4660.5630.5660.6530.0140.191-0.1770.0891.3981.3111.6161.2042.2431.2651.5350.1171.8371.53
1.7430.9931.8971.8081.5722.0350.93
1.1320.2
0.6370.5672.2572.1541.9441.4341.3391.9752.16
0.6790.5651.52
Contenido Ítem
CantidadCantidadCantidadCantidad
Matemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas Básicas
NarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativoNarrativo
Cambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y Relaciones
cov
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
100
dif cpb b a c
tc tri
Estadísticos
10509112921024811028102461045811042110551104911044109901097111056108931090310905109081091110913109161091910921109231092410926109271124411248112501125110214100991137811047103451031710156103981022611138
0.1480.2280.3160.2510.2660.0150.2000.1340.0850.1310.1370.1340.1050.3080.3620.2760.2400.2010.3020.3150.3170.2100.2190.3110.3570.1690.3290.1820.4400.2540.1550.0400.2210.2550.1630.0290.1620.2250.1340.162
34.7045.5036.2031.2034.9034.9028.4057.5055.8036.4026.1037.1022.1052.6079.3052.1038.2045.3060.6046.6081.4038.5041.1063.8062.7054.1050.0022.0061.9041.8041.1033.9055.4027.6062.9029.1049.6044.6049.7041.20
1.7880.9101.1361.4491.2423.7591.9200.7660.0030.9231.6801.1642.4540.618-1.1030.8391.2751.4010.2210.610-1.2771.4741.411-0.427-0.1810.7430.7491.843-0.1971.1551.7303.5180.5081.376-0.4163.5191.3650.8061.2681.485
2.8291.2991.7572.4292.4191.2121.7660.6130.4851.0031.0121.5080.8151.3271.2481.3000.8460.7821.0960.9721.1061.4601.0870.8941.1620.5071.6902.0761.5371.2521.0970.7221.0171.2050.7611.0771.8330.9050.8011.470
0.2940.2240.1880.2120.2150.3340.2120.2960.1160.0670.0810.1890.0890.2630.1980.3060.1390.2440.2760.1380.2330.2550.2390.1370.1840.2180.2790.1510.1450.2240.2830.2740.2600.0780.1380.2630.3930.1460.2880.289
1.1431.6011.8781.3991.6840.4880.8881.2811.04
0.8361.1121.5560.6641.7121.49
1.5221.3711.1721.5161.7531.3171.3831.3041.5051.7840.9511.9651.1312.2311.4521.1390.6961.6211.4991.37
0.5041.4471.6351.3011.324
Contenido Ítem
Cambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesCambios y RelacionesMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas Básicas
ExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivoExpositivo
Espacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y Forma
cov
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R101
dif cpb b a c
tc tri
Estadísticos
1107610554105331130511330110291080910129109471053211057107351081110986105771038210264111501108911006
0.1120.1700.2530.2800.1670.0880.1630.1100.2570.2300.0840.0240.0120.0500.0790.1440.1090.1040.1090.019
21.3044.7057.6063.4051.4027.6054.4051.5040.3043.6033.3024.8019.9022.2032.7035.9034.9026.3029.6027.40
2.8091.198-0.070-0.1210.6603.1120.5581.2850.9980.6411.5614.7425.7886.0313.0031.5180.8851.3921.2544.113
1.1880.7261.0151.1880.6330.7500.6640.5001.6821.0173.6500.2860.2830.2440.2812.2570.9291.0080.9430.267
0.1630.1920.1260.2230.1800.1890.2170.2490.2090.1050.2690.0500.0400.0410.0340.2700.0220.0310.0350.029
0.5771.1851.6431.4831.6190.6780.9760.7511.7651.7011.5680.3760.2720.3960.8331.1991.6180.8670.4450.635
Contenido Ítem
Espacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y FormaEspacio y Forma
Matemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas BásicasMatemáticas Básicas
cov
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
102
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R103
Anexo IVMarco Muestral
Levantamiento de datos de la prueba
Introducción
En marzo de 2009, se llevó a cabo la administración de la prueba enlace Media Superior (Evaluación Nacional del Logro Académico en Centros Escolares) a alumnos del
nivel medio superior (bachillerato). La prueba enlace ms consta de 140 reactivos: 50 para medir la habilidad lectora y 90 para medir la habilidad matemática. A cada alumno evaluado se le proporciona un reporte de resultados, en el cual se identifica su nivel de dominio para cada una de las áreas evaluadas. La prueba se aplica de manera censal. Esta aplicación se lleva a cabo en 6 sesiones, distribuidas en dos días (tres sesiones por día)
Con la finalidad de tener un control más estricto sobre la aplicación, se seleccionó una muestra representativa a la que además de aplicarle la prueba enlace ms, también le fueron suministradas, de forma matricial, tres pruebas: pretest, alfa y gama, además del cuestionario de contexto.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
104
Los reactivos de cada una de las pruebas (pretest, alfa y gama) se distribuyeron en 6 formas. En total se conformaron 18 formas; las cuales se aplicaron en un tercer día, esto es, en dos días se aplicó la prueba enlace ms y en un tercer día se aplicaron las formas de las tres pruebas adicionales, todo esto tomando en cuenta un contrabalanceo.
El presente documento tiene por objetivo describir la metodología utilizada para selec-cionar los planteles o cct que conforman la muestra, además de describir como se calculan los factores de expansión. Es importante mencionar que la selección de las escuelas que conformaron la muestra se hace tomando como referencia las bases de datos enviadas por la sems y la dgep. Una de ellas proporciona la información relacionada con entidad, datos de ubicación del cct, modalidad del bachillerato, tipo de sostenimiento y la cantidad de alumnos que presentan la prueba enlace; y otra los datos de nivel de urbanidad del cct
A continuación se hace una descripción general del marco muestral que se utilizó en 2008 y 2009. El documento del 2008 fue elaborado por expertos del inee y el del 2009 fue realizado por Ceneval y avalado por el inee. El marco muestral de 2008 fue avalado en sesión de Consejo Técnico. Para 2009 se utilizaron los mismos dominios de estudio pero se selec-cionaron otras escuelas. Más adelante se describen las diferencias con el marco muestral de 2010 realizado por la empresa Investigaciones Sociales, Políticas y de Opinión Pública, S. A. de C. V a petición de la sems.
Objetivo del marco muestral
Con los datos obtenidos de la aplicación de los distintos instrumentos a la muestra contro-lada de estudiantes se pretende:• • • obtener los valores psicométricos de los reactivos que se utilizarán para la calificación1
• • • equiparar la prueba enlace Media Superior año con año con la aplicación del Pretest• • • obtener información a partir de los cuestionarios de contexto• • • realizar investigaciones adicionales que solicita la sep o instituciones usuarias.
1 En la primera aplicación, los datos de la muestra se utilizaron además para determinar los puntos de corte.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R105
Población Objetivo
La población objetivo son los alumnos que estén en el último año de bachillerato que se en-cuentren en cualquiera de las siguientes modalidades educativas:• • • Bachillerato General• • • Bachillerato Técnico• • • Bachillerato Tecnológico
Los alumnos del último año de bachillerato se determinan de la siguiente manera:• • • Si son bachilleres anuales, se evaluarán a los del último año.• • • Si son bachilleres semestrales, con ingreso anual, se evaluarán a los de sexto semestre.• • • Si son bachilleres semestrales, con ingreso semestral, se evaluarán a los de quinto y
sexto semestre.• • • Si son cuatrimestrales con entrada anual, se evaluarán a los del último cuatrimestre.• • • Si son cuatrimestrales con entrada cuatrimestral, se evaluarán a los de los tres últimos
cuatrimestres.
Para efectos del proceso de muestreo, se define a la escuela como la unión de cct y turno. Por ejemplo: si un cct cuenta con dos turnos, cada uno de los turnos se considera como una escuela o unidad primaria de muestreo. Para el proceso de selección de escuelas no se tomó en cuenta aquellas que tienen menos de 10 alumnos.
Estratos muestrales
La estratificación de la población consiste en agrupar a elementos de iguales características según criterios previamente establecidos. La estratificación de poblaciones se realiza en las primeras etapas del diseño muestral, ya que ésta ayudará a la selección de la misma. Un marco muestral generalmente esta estratificado en relación con una o más características. Las va-riables a ser objeto de análisis para la estratificación de los elementos de la población deben proporcionar información discriminante, es decir, que identifiquen y aíslen a estos elementos en relación con otros. De la misma manera, las variables seleccionadas para la estratificación de los sujetos deben ir con relación al estudio, es decir que la estratificación propuesta ayude a diferenciar a los distintos grupos de personas sobre la base de los objetivos del estudio que se realizará.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
106
Características de los estratosLas características esenciales en la creación de los estratos son que éstos deben tener homo-geneidad interna, es decir que todos los integrantes posean una serie de características que los convierten en similares. La otra característica fundamental es que exista heterogeneidad entre los diferentes estratos construidos, es decir que los elementos de diferentes estratos se diferencian los unos de los otros. Los elementos de un estrato deberán ser mutuamente excluyentes en relación con los elementos de otros estratos, es decir que no se puede perte-necer a dos o más estratos a la vez. En este sentido uno de los objetivos de la construcción de estratos es disminuir el error de muestreo y permitir el cálculo de los parámetros.
La estratificación de la población surge naturalmente de la combinación de las entida-des federativas con la clasificación de tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad de las escuelas como a continuación se presenta.
Al definir esta división de la población existen estratos que no contienen alumnos, los cuales se eliminan.
Cálculo de tamaño de muestra
El cálculo de tamaño de muestra se realiza bajo la consideración de que se van a estimar determinados estadísticos. Con la muestra se pretende estimar medias poblacionales del ren-dimiento escolar escalado con un modelo tri.
No
Iden
tifica
do
Tipo de urbanidad
Tipo de bachillerato General
Público Público Público Privado Privado Privado
Tecnológico Técnico
Tipo de sostenimiento
Entidad n n n n n n n n n n n n n n n n n
No
Iden
tifica
do
Rura
l
Rura
l
Rura
l
Rura
l
Rura
l
Rura
l
Urb
ano
Urb
ano
Urb
ano
Urb
ano
Urb
ano
Urb
ano
No
Iden
tifica
do
No
Iden
tifica
do
No
Iden
tifica
do
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R107
Por otra parte, se calcula la proporción de respuestas correctas para cada reactivo y para este aspecto se consideran proporciones de respuesta a cada uno de ellos de 0.5, en donde la varianza del estimador es máxima.
Para calcular el tamaño de la muestra considerando que se estimará la proporción de respuesta a cada reactivo se utiliza la siguiente expresión.
(1)
En donde:n0 = Número de alumnos necesarios para la estimación de un reactivo.deff = Efecto de diseño.TNR = Tasa de no respuesta de alumnos.δ = Error de muestreo máximo admisible.P = Proporción de la población.z = Cuantil de distribución normal estándar que deja un área de a la derecha de él.N = Tamaño de la población.
Tomando en cuenta el diseño matricial de las pruebas, el número total de alumnos necesario está dado por la siguiente fórmula:
(2)
En donde:n = número de alumnos necesarios para la estimación de todos los reactivos de la prueba.C = Número de cuadernillos en la prueba.A = Número de apariciones de un reactivo en los cuadernillos.
En este diseño se considera que α =0.05, es decir z =1.96 lo cual fija el nivel de con-fianza de los intervalos en 95%. C =18 cuadernillos, A =1 apariciones cada 18 cuadernillos y como porcentaje de falta de respuesta de los alumnos se usa tnr =5% dada la existencia de escuelas pequeñas. Se fijó el efecto de diseño debido al muestreo en deff =1.2 que es un valor promedio que efectivamente ha aparecido en otras evaluaciones.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
108
El estimador de P tiene su varianza máxima cuando P =0.5 por lo que se fija y se usa como margen de seguridad para los otros valores estimados de P diferentes a 0.5. Se esta-bleció como criterio general que en cada dominio de estudio las estimaciones resultantes alrededor de las proporciones tuvieran un error de muestreo máximo de 5% correspondiente a una confianza del 95%.
Distribución de la muestra
En todos los casos, los alumnos se agrupan en la muestra de manera proporcional a la cantidad de alumnos en cada uno de los estratos. La distribución se describe con la siguiente relación:
(3)
En donde:nh = Es el número de alumnos en muestra para el estrato muestral hn = Es el número de alumnos en muestra.Nh = Es el número de alumnos del último año de bachillerato en el estrato h.N = Es el número de alumnos en la población.
La distribución de la muestra se realiza tomando en cuenta:•• 1. el total de alumnos de la población•• 2. el total de alumnos de cada tipo de bachillerato•• 3. el total de alumnos de cada entidad
Factores de expansión
Para fines de las investigaciones relacionadas con la aplicación de la prueba enlace ms se calculan los factores de expansión. Los pesos muestrales o factores de expansión son pon-deradores que asociados a los datos son necesarios para garantizar la confiabilidad de los re-sultados. Esto ha permitido corroborar que la muestra utilizada en cada año de aplicación es representativa de la población de estudio y por tanto, las estimaciones estadísticas derivadas de ella resultan confiables.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R109
El factor de expansión se puede interpretar como la cantidad de alumnos de la población que representa un estudiante de la muestra. Bajo el diseño muestral unietápico, los pesos muestrales por estrato para cada uno de los alumnos son los siguientes.
(4)
Donde:whij = Peso muestral del alumno j de la escuela i en el estrato h.h = 1,…, H.H = Cantidad de estratos en la población.NhI = Cantidad de escuelas en la población del estrato h.nhI = Cantidad de escuelas en muestra del estrato h.i = 1,…, NhI.
Diferencias del marco muestral 2010 con los años anteriores
Debido a las necesidades de la sems, el diseño muestral para la prueba 2010 fue realizado por una institución especializada ajena al Ceneval. El esquema conserva variables como la población objetivo, el esquema de selección y el cálculo de los factores de expansión utili-zando las mismas herramientas estadísticas; sin embargo, hay algunas diferencias que vale la pena mencionar:• • • La propuesta del dominio de estudio a nivel Entidad (con niveles de desagregación
como el tipo de bachillerato, tipo de sostenimiento y nivel de urbanidad) fue rechazada debido a la dificultad que conlleva calcular muestras representativas, dada la variabili-dad de características dentro de cada una de las entidades y la proporción que repre-senta para el resto del país.
• • • Se agregan tres estratos: centros de trabajo con menos de ocho alumnos, centros de Bachillerato en Arte y las instituciones que habían participado en años anteriores, pero no habían confirmado su participación al momento de establecer el diseño muestral.
En la siguiente tabla se muestran las características generales de cada uno de los marcos muestrales utilizados para llevar a cabo las aplicaciones controladas de enlace, Pretest y Cuestionarios de Contexto.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
110
Niveles de desagregaciónMarco
MuestralEstratos
Escuelas seleccionadas
Alumnos
2009 353 2184 220,233
2008 320 2003 301,483
2010 313 2072 283,245
41. Nacional2. Nacional por tipo de bachillerato,
nacional por tipo de sostenimiento y nacional por nivel de urbanidad3. Estatal4. Estatal por tipo de bachillerato, estatal
por tipo de sostenimiento y estatal por nivel de urbanidad
41. Nacional2. Nacional por tipo de bachillerato,
nacional por tipo de sostenimiento y nacional por nivel de urbanidad3. Estatal4. Estatal por tipo de bachillerato, estatal
por tipo de sostenimiento y estatal por nivel de urbanidad
21. Nacional2. Nacional por tipo de bachillerato,
nacional por tipo de sostenimiento y nacional por nivel de urbanidad
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R111
Anexo VEstablecimiento de los puntos de corte
y generación de algoritmo de calificación
El presente anexo describe el procedimiento con el cual se califica y dictamina a los sustentantes que presentaron la prueba enlace Media Superior, haciendo uso de
la metodología Bookmark para el establecimiento de puntos de corte y la definición de los niveles de dominio.
Es importante mencionar que el algoritmo de calificación con el que se obtienen los puntajes de habilidad que se presentan en las siguientes páginas se aplicó con base en los datos de la muestra controlada.1 Los resultados obtenidos están sujetos a las condiciones de la apli-cación y, por tanto, son estimaciones que pueden diferir de los resultados que se obtienen de manera censal.
1 Para el análisis se consideraron a los sustentantes que contestaron el 85% o más de la prueba, por lo tanto el tamaño de la muestra con que se trabajó es 98,849
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
112
La prueba enlace Media Superior fue construida para evaluar dos habilidades: Habi-lidad Lectora y Habilidad Matemática, con 50 y 90 reactivos respectivamente, por lo tanto, el dictamen de los sustentantes se realiza para cada una de las áreas que lo conforman.
Para llevar a cabo el proceso de calificación se realizó lo siguiente:• • • Estimación de los parámetros del reactivo, dificultad, discriminación, azar y de la ha-
bilidad de los sustentantes con base en la Teoría de Respuesta al Ítem (tri), así como el cálculo del porcentaje de respuestas correctas de los sustentantes y la correlación punto biserial de los reactivos.
• • • El análisis de los reactivos se hizo con base en los datos de la muestra y se dejaron fuera los reactivos que obtuvieron una correlación punto biserial negativa y los reactivos con dificultad extrema. En la Tabla 1 se muestran los reactivos que se eliminaron por área.
Tabla 1. Reactivos eliminados que no se consideraron para calificación 2008
• • • Establecimiento de los puntos de corte para cada una de las áreas del examen. Para ello se definieron conceptualmente los niveles de dominio en los cuales se ubicaría a cada sustentante que presentó la prueba enlace Media Superior, (Insuficiente, Elemental, Bueno y Excelente); después, se establecieron los puntos de corte para cada categoría a partir del método Bookmark o del marcador.
TC
%_RCN_Resp
CorrNÍtemÁrea
Habilidad Matemática
Comprensión Lectora
Posición en versión CPBIS DISC DIF AZAR
TRI
Parámetros Estadísticos
57 10468 98849 37457 37.90 0.007 0.041 16.185 0.057
30 10510 98849 30820 31.20 0.020 0.027 38.055 0.069
46 11273 98849 20268 20.50 -0.094 0.001 22.449 0.006
47 11081 98849 24712 25.00 0.047 2.180 3.160 0.243
48 11327 98849 27813 28.10 -0.059 0.001 15.876 0.006
49 11325 98849 26155 26.50 0.025 0.081 22.685 0.146
68 11311 98849 30109 30.50 -0.045 0.008 126.644 0.048
86 10458 98849 34144 34.50 0.056 0.290 6.641 0.247
133 10811 98849 22368 22.60 0.018 0.048 27.642 0.023
139 11089 98849 26703 27.00 0.001 0.025 45.115 0.030
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R113
Nivel de Dominio
Nivel de Dominio
Reactivo Marcador
Reactivo Marcador
Puntos de corte (habilidad)
Puntos de corte (habilidad)
Elemental
Elemental
21
33
Insuficiente
Insuficiente
7
10
Menores o iguales que -0.916000
Menores o iguales que -0.053000
Mayores o iguales que 1.455001
Mayores o iguales que 2.018001
0.096000
1.176000
1.455000
2.018000
0.096001
1.176001
-0.915999
-0.052999
Bueno
Bueno
42
53
Excelente
Excelente
–
–
En las Tablas 2 y 3 se muestran los rangos obtenidos por área en el 2008, que son los mismos que se utilizaron en 2009 y 2010 para asegurar la comparabilidad de la prueba.
Como se puede observar los puntos de corte incluyen seis decimales esto permite que todas las habilidades que resultan de la calificación con el programa bilog se ubiquen en alguna de las categorías de manera más precisa.
Tabla 2. Rangos de habilidad en Habilidad Lectora
La calificación censal la lleva a cabo la dgep, al igual que la ubicación de los sustentantes en los niveles de dominio de acuerdo con la habilidad que obtuvieron.
Tabla 3. Rangos de habilidad en Habilidad Matemática
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R115
Anexo VIValidación de puntos de corte
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
116
Informe de validación de puntos de corte en las pruebas de Matemáticas y Comprensión Lectora de Enlace Media Superior
José Luis Gaviria Soto Universidad Complutense de Madrid
México, 10 de Septiembre de 2008
IntroducciónEn este informe se hace un estudio de validación empírica de los puntos de corte determinados para las pruebas de ‘Español’ y ‘Matemáticas’ de tercero de Bachillerato del programa de evaluación ‘Enlace Media Superior’.
Dado que la posición de los puntos de corte para los Niveles de Logro determina com-pletamente el porcentaje de alumnos en cada uno de ellos, es muy importante asegurarse de que la información que se proporciona refleja adecuadamente la realidad y no es un artefacto del procedimiento de cálculo.
Los Niveles de Logro tienen necesariamente un componente intrínsecamente valorativo y, de algún modo, subjetivo o arbitrario. Efectivamente, que el resultado obtenido por un estudiante se considere insuficiente, elemental, bueno o excelente depende en gran parte de las expectativas que tengamos. Por eso la determinación de los puntos de corte es un proceso delicado y sujeto siempre a discusión. La mayor parte de los procedimientos consisten en acuerdos entre expertos que deben justificar sus decisiones. Una vez justificadas esas decisiones es posible hacer un juicio que se base en evidencia empírica acerca de la congruencia de las decisiones adoptadas.
SupuestosPara juzgar lo adecuado de los puntos de corte partimos del supuesto básico de que la prueba refleja adecuadamente los conocimientos, destrezas o habilidades necesarios para demostrar el nivel adecuado de competencia en tercero de Bachillerato.
Asumimos además que cuando los expertos han determinado los puntos de corte se han basado en el contenido de los reactivos que componen la prueba y que han determinado zonas de la escala en las que el nivel de dominio de los alumnos que se encuentran en cada una de ellas se diferencia claramente del nivel de dominio de otros alumnos que están en niveles superiores o inferiores.
Nuestro juicio pretende ser empírico, es decir, debemos comprobar si es posible clasi-ficar adecuadamente a los sujetos utilizando los puntos de corte definidos por los expertos.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R117
Para ello estos puntos de corte deben estar claramente diferenciados en la escala, suficiente-mente alejados unos de otros y cubriendo razonablemente bien el espectro de puntuaciones que corresponde a la escala.
ProcedimientoEl procedimiento empleado para esta valoración se basa en dos puntos de vista:• • • por un lado nos fijamos en la relación entre las puntuaciones de la escala y la puntuación
verdadera;• • • por otro lado nos fijamos en el error típico de estimación que se obtiene para cada
punto de la escala en función del valor que en el mismo toma la función de información.
Los puntos de corte son valores de la escala de habilidad cuyas propiedades derivan del modelo tri bajo el que se ha construido. Dado que este tipo de escalas tienen un origen y una unidad de medida arbitrarios es todavía más difícil juzgar lo adecuado de los puntos de corte basándose en los valores de los mismos. Pero como ya hemos establecido entre los supuestos que los ítems de la prueba reflejan adecuadamente los conocimientos o habilidades que deben poseer los alumnos, podemos basarnos en la relación entre la escala de habilidades y la puntuación verdadera para hacer algunos juicios.
En efecto, una propiedad del modelo tri es que para cada alumno la suma de sus pro-babilidades de responder correctamente a cada uno de los reactivos es igual a la puntuación verdadera, es decir, al número de respuestas correctas que obtendría ese alumno si el test le midiese sin error. Si conociésemos la medida en el rasgo latente de θ1 entonces T1 es
Cuando lo que tenemos es una estimación de θ1 entonces
Esta relación la vemos empíricamente en las figuras 1• y 2. En ellas tenemos el diagrama de dispersión de la relación entre las puntuaciones en las respectivas habilidades latentes y el número de respuestas correctas en cada una de las pruebas. En el eje de ordenadas tene-mos el número de respuestas correctas observadas. Para cada valor de la habilidad latente
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
118
los valores observados se distribuyen por encima y por debajo del valor esperado, que es la puntuación verdadera.
En las dos nubes de puntos de estas figuras puede apreciarse que la dispersión es mayor en la parte izquierda, lo que evidencia que en esa zona, especialmente en la prueba de Mate-máticas, la cantidad de información es menor, por lo que se obtienen estimaciones con mayor incertidumbre.
La incertidumbre con la que se produce la estimación de un parámetro determinado está en relación inversa con la cantidad de información de que se dispone. Cada reactivo en cada una de las pruebas proporciona una cantidad de información que es función de θ. De este modo la función de información del reactivo i viene dada por:
La información que proporcionan todos los ítems del test es la suma de la de cada uno de ellos.
En la ilustración 3 y 4 podemos ver las funciones de información de los reactivos de Comprensión Lectora y de la prueba completa, respectivamente. Del mismo modo en las ilustraciones 5 y 6 tenemos lo mismo respecto de las Matemáticas.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R119
Ilustración 1. Relación entre la Habilidad Matemática y el número de respuestas
correctas en Matemáticas
Ilustración 2. Relación entre la Habilidad Lectora y el número de respuestas
correctas en Lectura
-2,000000 ,000000 2,000000 4,000000
Habilidad
Num
_res
pues
tas
80,00
60,00
40,00
20,00
,00
50,00
40,00
30,00
20,00
10,00
,00
-2,000000 ,000000 2,000000 4,000000
Habilidad
Num
_res
pues
tas
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
120
Ilustración 3. Función de información de los reactivos de Comprensión Lectora
Ilustración 4. Función de información de la prueba de Comprensión Lectora
-3.2
00-3
.079
-2.9
58-2
.836
-2.7
15-2
.594
-2.4
73-2
.362
-2.2
30-2
.109
-1.9
88-1
.867
-1.7
46-1
.624
-1.5
03-1
.382
-1.2
61-1
.140
-1.0
18-0
.897
-0.7
76-0
.655
-0.5
34-0
.412
-0.2
91-0
.170
-0.0
49 0
.072
0.1
94 0
.315
0.4
36 0
.557
0.6
78 0
.800
0.9
21 1
.042
1.1
63 1
.284
1.4
06 1
.527
1.6
48 1
.769
1.8
90 2
.012
2.1
33 2
.254
2.3
75 2
.496
2.6
18 2
.739
2.8
60 2
.981
3.1
03 3
.224
3.3
45
Función de Información de la Prueba. Habilidad lectora 2008
Func
ión
de In
form
ació
n
Habilidad
8
7
6
5
4
3
2
1
0
Habilidad
Func
ión
de In
form
ació
n
1.2
1
0.8
0.6
0.4
0.2
0
-3.2
00-3
.079
-2.9
58-2
.836
-2.7
15-2
.594
-2.4
73-2
.362
-2.2
30-2
.109
-1.9
88-1
.867
-1.7
45-1
.624
-1.5
03-1
.382
-1.2
61-1
.140
-1.0
18-0
.897
-0.7
76-0
.655
-0.5
34-0
.412
-0.2
91-0
.170
-0.0
49 0
.072
0.1
94 0
.315
0.4
36 0
.557
0.6
78 0
.800
0.9
21 1
.042
1.1
63 1
.284
1.4
06 1
.527
1.6
48 1
.769
1.8
90 2
.012
2.1
33 2
.254
2.3
75 2
.496
2.6
18 2
.739
2.8
60 2
.981
3.1
03 3
.224
3.3
45
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R121
Ilustración 5. Función de información de los reactivos de Matemáticas
Ilustración 6. Función de información de la prueba de Matemáticas
-3.2
00
-3.0
79-2
.958
-2.8
36-2
.715
-2.5
94-2
.473
-2.3
62-2
.230
-2.1
09-1
.988
-1.8
67-1
.746
-1.6
24-1
.503
-1.3
82-1
.261
-1.1
40-1
.018
-0.8
97-0
.776
-0.6
55-0
.534
-0.4
12-0
.291
-0.1
70-0
.049
0.0
72 0
.194
0.3
15 0
.436
0.5
57 0
.678
0.8
00 0
.921
1.0
42 1
.163
1.2
84 1
.406
1.5
27 1
.648
1.7
69 1
.890
2.0
12 2
.133
2.2
54 2
.375
2.4
96 2
.618
2.7
89 2
.860
2.9
81 3
.103
3.2
24 3
.345
Habilidad
Func
ión
de In
form
ació
n
1.4
1.2
1
0.8
0.6
0.4
0.2
0
Func
ión
de In
form
ació
n
Habilidad
25
20
15
10
5
0
-3.2
00-3
.079
-2.9
58-2
.836
-2.7
15-2
.594
-2.4
73-2
.362
-2.2
30-2
.109
-1.9
88-1
.867
-1.7
46-1
.624
-1.5
03-1
.382
-1.2
61-1
.140
-1.0
18-0
.897
-0.7
76-0
.655
-0.5
34-0
.412
-0.2
91-0
.170
-0.0
49 0
.072
0.1
94 0
.315
0.4
36 0
.557
0.6
78 0
.800
0.9
21 1
.042
1.1
63 1
.284
1.4
06 1
.527
1.6
48 1
.769
1.8
90 2
.012
2.1
33 2
.254
2.3
75 2
.496
2.6
18 2
.739
2.8
60 2
.981
3.1
03 3
.224
3.3
45
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
122
Una primera cosa que hay que destacar es que en la prueba de Matemáticas la mayor cantidad de información está en la parte derecha de la escala. Esto quiere decir que la distin-ción entre los alumnos de los niveles de logro ‘Bueno’ y ‘Excelente’ se hace con mayor precisión que entre los alumnos de los niveles ‘Insuficiente’ y ‘Elemental’ y ‘Elemental’ y ‘Bueno’.
En Comprensión Lectora la cantidad de información está más distribuida, aunque alcanza valores más bajos, entre otras cosas porque esta prueba tiene un número mucho menor de reactivos. Por eso la distinción entre los cuatro niveles tiene una precisión similar.
Estudio de los puntos de corte
Dado el porcentaje tan elevado de alumnos situados en el nivel ‘Insuficiente’, el punto de corte más crítico es precisamente el que separa los niveles de ‘Insuficiente’ y ‘Elemental’.
Si este punto está demasiado a la derecha, un gran número de alumnos serán indebida-mente asignados al nivel ‘Insuficiente’.
Si este punto está demasiado a la izquierda un gran número de alumnos con un nivel de desempeño muy bajo será clasificados como de nivel ‘Elemental’.
Para valorar lo adecuado del primer punto de corte comenzamos por definir un punto al que denominamos ‘Punto de Partida’.
La prueba constaba de reactivos de cuatro alternativas de respuesta y una sola correcta. Como consecuencia, un alumno que hubiese contestado completamente al azar toda la prueba tendría una esperanza de respuestas correctas igual a un cuarto del número de ítems. En el caso de la prueba de Matemáticas ese valor es 20,25, ya que la prueba consta de 81 reactivos. En el caso de Español es de 12,25, ya que la prueba consta de 49 reactivos.
Es evidente por tanto que un alumno que obtuviese sólo 20,25 respuestas correctas en Matemáticas o 12,25 en Español tiene un nivel de conocimientos o de habilidades equivalente a los de un alumno que sin saber nada hubiese contestado al azar.
Es posible saber cuál es la puntuación en la escala de habilidad que corresponde a ese número de respuestas correctas ya que como hemos visto en el punto anterior hay una correspondencia entre la puntuación del rasgo latente y la puntuación verdadera.
Para cada reactivo tenemos los valores estimados de sus parámetros por lo que es posible calcular cuál es la puntuación verdadera que corresponde a en estos dos tests a cada valor la escala de habilidad. Con esos valores es posible obtener una estimación de la pun-tuación verdadera. De este modo sabemos que en Matemáticas a la puntuación verdadera de
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R123
20,25 corresponde una puntuación de habilidad de -1,966, mientras que en Español a 12,25 corresponde una habilidad de -2,67. Estos dos son los que denominamos punto de partida.
Estos puntos nos sirven para valorar la posición del primer punto de corte. En una primera aproximación, no tendría ningún sentido que el primer punto de corte estuviese a la izquierda o muy cerca del punto de partida. Es evidente que un alumno con número de respuestas correctas equivalentes a responder al azar está en un nivel de logro insuficiente.
Pero por otra parte si el primer punto de corte se aleja en exceso del punto de partida entonces tal vez estemos exigiendo demasiados conocimientos o habilidades para acceder al nivel elemental.
En las tablas 1 y 2 podemos ver la correspondencia entre los puntos de corte y las pun-tuaciones verdaderas respectivas. También podemos ver el porcentaje de respuestas correctas que les corresponde y el incremento en respuestas correctas que supone el pasar de un punto de corte al siguiente.
Por definición el punto de partida se toma como la puntuación de habilidad y pun-tuación verdadera que corresponde a un porcentaje de respuestas correctas igual a 1/n° alternativas.
En el caso de Matemáticas el punto de partida es -1,966. El primer punto de corte está en -0,053, y le corresponde una puntuación verdadera de 28,71, es decir, 8,46 respuestas co-rrectas por encima del punto de partida. Podemos decir que no parece una exigencia excesiva el tener aproximadamente 9 respuestas correctas por encima de las que cabría esperar al res-ponder por azar para ingresar en el nivel de logro ‘Elemental’. El incremento en respuestas correctas entre los otros dos puntos de corte está entre 12 y 13.
Tabla 1. Puntos de corte de Matemáticas 30 de Bachillerato
Punto de partida
Primer punto de corte
Segundo punto de corte
Tercer punto de corte
Matemáticas
Porcentaje
-1,966 -0,053 1,176 2,018
20,25 28,71 41,54 54,07
0,25 0,3544 0,51284 0,6675
8,46 12,83 12,53
Puntuación de habilidad
PuntuaciónVerdadera
Incremento sobre punto
anterior
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
124
Tabla 2. Puntos de corte de Lectura 30 de Bachillerato
Punto de partida
Primer punto de corte
Segundo punto de corte
Tercer punto de corte
Español
Porcentaje
-2,67 .-0,916 0,096 1,455
12,25 19,16 26,29 36,76
0,25 0,391 0,53653 0,7502
6,91 7,13 10,47
Puntuación de habilidad
PuntuaciónVerdadera
Incremento sobre punto
anterior
En Lectura el número de reactivos es de 49, por lo que el 25% es 12,25. Otra vez, un alumno que respondiese correctamente 12 reactivos está produciendo un resultado equi-valente al que se obtendría si hubiese contestado todo el test al azar. El incremento en respuestas correctas desde el punto de partida hasta el primer punto de corte es de 7, aproxi-madamente. La diferencia entre el primer punto de corte y el segundo es también de 7, y del segundo al tercero de 10,47.
Por lo anterior podemos decir que basándonos en la relación entre el rasgo latente y la puntuación verdadera la distribución de los puntos de corte en las dos escalas parece muy razonable.
La distancia de los puntos de corte entre sí, y del primer punto de corte con el punto de partida puede juzgarse también basándonos en la función de información. En efecto, en cada punto de la escala hay una relación entre la cantidad de información del test y el error típico de estimación del parámetro en ese punto.
En las figuras 7 y 8 tenemos representada la distribución en la estimación de los puntos de corte. En la distribución correspondiente al punto de partida hemos sombreado la zona de las puntuaciones que quedan a la derecha del punto de corte más dos errores típicos. Como vemos el primer punto de corte queda muy cerca de ese límite. De hecho la probabilidad de que al estimar una puntuación en la escala de habilidad igual al punto de partida, la estimación
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R125
obtenida sea mayor o igual al primer punto de corte es 0,055 para Matemáticas. Por otra parte la probabilidad de que un sujeto con una puntuación de habilidad igual al primer punto de corte se le estimase una puntuación menor o igual al punto de partida es de 9,68475E-06. Para Español esas cifras son 0,03884637 y 0,00013097 respectivamente.
Podemos interpretar estas cifras del siguiente modo: un alumno que tenga una habilidad como máximo igual al punto de partida, tiene una probabilidad de ser asignado al nivel de logro ‘Elemental’ de 0,055 en Matemáticas y de 0,038 en Español; la probabilidad de que un sujeto que tenga como mínimo una habilidad igual a la del primer punto de corte tiene una probabilidad de estar realmente por debajo del punto de partida de 9,68x10-6 en Matemáticas y de 0,00013 en Español.
Ilustración 7. Densidad de probabilidad de la estimación alrededor de los puntos
de corte en Matemáticas
1,8
1,6
1,4
1,2
1
0,8
0,6
0,4
1,2
0
-3
-2.9
-2,7
-2,6
-2,4
-2,3
-2,1 ,2
-1,6
-1,7
-1,5
-1,4
-1,2
-1,1
-0,9
-0,8
-0,6
-0,5
-0,3
-0,2 0
0,1
5 0
,3 0
,45
0,6
0,7
5 0
,9 1
,05
1,2
1,3
5 1
,5 1
,65
1,8
1,9
5 2
,1 2
,25
2,4
2,5
5 2
,7 2
,85 3
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
126
Ilustración 8. Densidad de probabilidad de la estimación alrededor de los puntos
de corte en Comprensión Lectora
Del mismo modo podemos juzgar la separación de los puntos de corte entre sí. Entre dos niveles consecutivos hay siempre una gran superposición de áreas. Por ejemplo, dado el primer punto de corte, en el caso extremadamente favorable de que el error de estimación sea muy pequeño, la mitad del área de la distribución se encontrará sobre el nivel de logro ‘Elemental’. Y así con cada punto de corte. Por ello para juzgar lo separado de los puntos de corte es más adecuado observar cuál es área de la distribución que está más allá del siguiente punto, es decir, dos niveles de logro más allá.
En las tablas 3 a 5 tenemos las áreas mencionadas. En la 3 y la 5 vemos el área de cada distribución que recae en dos niveles de logro más allá En la 4 y la 6 vemos el área que recae dos niveles por debajo. Es muy interesante comprobar que ésta es siempre mucho más pequeña. Esto se debe a que tanto en la prueba de Comprensión Lectora como en la de Matemáticas la mayor cantidad de información se encuentra a la derecha de la escala. Por eso es siempre más probable que sea mejor clasificado un sujeto con puntuación de habilidad alta que otro de habilidad más baja. Podemos comprobar que en todos los casos, excepto en uno, el valor de probabilidad es menor que 0,05. En el caso restante el valor es muy próximo al 5 por ciento.
1.2
1
0.8
0.6
0.4
0.2
0
-3
-2.9
-2,7
-2,6
-2,4
-2,3
-2,1 ,2
-1,6
-1,7
-1,5
-1,4
-1,2
-1,1
-0,9
-0,8
-0,6
-0,5
-0,3
-0,2 0
0,1
5 0
,3 0
,45
0,6
0,7
5 0
,9 1
,05
1,2
1,3
5 1
,5 1
,65
1,8
1,9
5 2
,1 2
,25
2,4
2,5
5 2
,7 2
,85 3
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R127
Tabla 3. Probabilidades de ser clasificado dos niveles por encima en Comprensión Lectora
Tabla 5. Probabilidades de ser clasificado dos niveles por encima en Matemáticas
Tabla 4. Probabilidades de ser clasificado dos niveles por debajo en Comprensión Lectora
Comprensión Lectora
Matemáticas
Comprensión Lectora
Probabilidad de que estando por debajo de Punto de partida sea Clasificado como ‘Elemental’
Probabilidad de que estando por debajo de Punto de partida sea Clasificado como ‘Elemental’
Probabilidad de que estando en el primer Punto de Corte obtenga una estimación inferior al Punto de Partida
0,03884637
0,05517635
0,00013097
Probabilidad de que estando por debajo de primer Punto de Corte sea clasificado como ‘Bueno’
Probabilidad de que estando por debajo de primer Punto de Corte seaClasificado como ‘Bueno’
Probabilidad de que estando en el segundo Punto de Corte obtenga una estimación inferior al Primer Punto de Corte
0,01759606
0,00313079
0,00400921
Probabilidad de que estando por debajo de segundo Punto de Corte sea clasificado como ‘Bueno’
Probabilidad de que estando por debajo de segundo Punto de Corte seaClasificado como ‘Bueno’
Probabilidad de que estando en el tercer Punto de Corte obtenga una estimación inferior al segundo Punto de Corte
0,00018519
0,00090651
0,0001053
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
128
Tabla 6. Probabilidades de ser clasificado dos niveles por debajo en Matemáticas
Matemáticas
Probabilidad de que estando en el primer Punto de Corte obtenga una estimación inferior al Punto de Partida
9,68 1475E-06
Probabilidad de que estando en el segundo Punto de Corte obtenga una estimación inferior al Primer Punto de Corte
2,7907E-06
Probabilidad de que estando tercer Punto de Corte obtenga una estimación inferior al segundo Punto de Corte
0,00100023
Conclusiones y recomendaciones
Analizados los puntos de corte determinados para las pruebas de Comprensión Lectora y Matemáticas y sus respectivas distancias en términos de la puntuación verdadera corres-pondiente y en términos de unidades de error típico de estimación, la separación entre ellos parece adecuada según los criterios que se han manejado.
Si damos por supuesto que la prueba refleja adecuadamente el dominio de evaluación, entonces podemos concluir que la posición de los puntos de corte es adecuada en las dos pruebas analizadas.
Probablemente es la posición del primer punto de corte la que más puede preocupar, ya que estamos indicando que los alumnos por debajo de ese punto tienen un nivel insufi-ciente de conocimientos. Pues bien, los análisis que hemos realizado nos permiten afirmar que si se mantiene el supuesto de que el contenido de las pruebas refleja adecuadamente el dominio que evaluamos, el primer punto de corte no es en absoluto excesivamente alto.
Las recomendaciones que haremos tienen que ver con la función de información.En efecto, esta primera versión de las pruebas ha servido para determinar la escala y
los puntos de corte. Pero hemos podido observar que la mayor cantidad de información se encuentra en la parte derecha de la distribución. Esto quiere decir que nuestras estimaciones tienen mayor precisión para los sujetos de capacidad relativamente alta, es decir, los que se encuentran en los niveles ‘Bueno’ y ‘Excelente’, pero menor en los otros dos. Sin embargo en la población evaluada la mayor parte de los individuos se encuentra en los niveles ‘In-suficiente’ y ‘Elemental’. Por eso en las evaluaciones subsiguientes, si se mantiene la distri-bución de los reactivos como en la actual, será difícil captar adecuadamente los incrementos
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R129
que pudiesen producirse en los individuos de esos niveles. Por ese motivo se recomienda que, manteniéndose los mismos niveles de corte para el futuro, se redistribuyan sin embargo las dificultades de los reactivos, de modo que se incluyan más reactivos que midan adecuada-mente en la parte inferior de la distribución para poder captar adecuadamente los cambios que puedan darse.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R131
Anexo VIIEquiparación
La equiparación por población que se realiza para la prueba enlace Media Superior tiene como objetivo igualar la escala de calificación de los sustentantes año con año
de modo que los resultados en cada aplicación sean comparables.Para la realización de este proceso se seleccionó el método de equiparación por trans-
formación lineal a partir del modelo logístico de tres parámetros de tri. La importancia de elegir este modelo logístico reside en el tipo de reactivos que utiliza la prueba (opción múl-tiple, con una sólo respuesta correcta) y la intención de generar un dictamen de la habilidad de los sustentantes. Esto último se relaciona con que, al ser un modelo de variables latentes, se asume que la respuesta de un sustentante a un reactivo depende únicamente del grado en que posee el atributo que se quiere medir (timss, 2003), en este caso su habilidad lectora o matemática. A través del cálculo de la dificultad, la discriminación y la pseudo-adivinación asociada a los ítems se puede describir la probabilidad de respuesta de los estudiantes y, por tanto, estimar su habilidad.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
132
Otra de las ventajas de realizar la equiparación partiendo de tri reside en el principio de invarianza, el cual reitera que la habilidad de los sustentantes no depende de la muestra de reactivos que les fueron presentados y, por su parte, los parámetros obtenidos de los reacti-vos son independientes a la distribución de habilidad de los sustentantes. Como resultado, la dificultad de las distintas versiones de la prueba puede variar moderadamente una de la otra siempre y cuando se cumplan los siguientes requerimientos: a) todas las versiones deben medir el mismo constructo y la confiabilidad de ambas debe ser similar; b) las puntuaciones escala obtenidas deben ser independientes de la prueba de referencia; c) las puntuaciones de ambos instrumentos pueden intercambiarse y d) la ecuación o tabla de equivalencia obtenida debe ser independiente del grupo de sujetos utilizados para derivarla (Angoff, 1984).
En el caso de enlace Media Superior, todas las pruebas Operativas y el Pretest se con-forman con reactivos que miden las mismas habilidades, cada uno de ellos tiene características específicas que no dependen del grupo de reactivos con los que es aplicado, y siempre se man-tiene el orden de presentación de los mismos para este factor no afecte el patrón de respuesta.
El Pretest se caracteriza por:•• 1. conformarse por una serie de cuadernillos, que en su conjunto constituye la prueba
operativa del año siguiente,•• 2. administrarse de manera matricial a una muestra controlada seleccionada bajo el método
de muestreo aleatorio estratificado unietápico (v. anexo V), y•• 3. ser útil para equiparar las pruebas año con año, pues a través de la aplicación de este
instrumento se obtienen los datos psicométricos de los reactivos que se anclan.
En el siguiente esquema se presenta de manera gráfica el proceso de equiparación.
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R133
Form
a 1
Form
a 2
Form
a 3
Form
a n
Mue
stra
Mue
stra
Mue
stra
Mue
stra
Form
a 1
Form
a 2
Form
a 3
Form
a n
Mue
stra
Mue
stra
Mue
stra
Mue
stra
2008
2009
2010
Prue
ba e
nlac
e M
edia
Supe
rior
200
8 (A
plic
ació
n Ce
nsal
)
Se o
btien
en lo
s pa
rám
etro
s es
tadí
stico
s a,
b y
c d
e lo
s re
activ
os
y se
fija
n pa
ra c
alib
rar
el
Pret
est 2
009
Se c
alib
ra fi
jand
o lo
s pa
rám
etro
s a,
b y
c d
e la
pru
eba
enla
ce M
edia
Su
peri
or 2
008
y se
ob
tiene
n lo
s pa
rám
etro
s a,
b y
c fi
jan
para
ca
libra
r la
prue
ba e
nlac
e M
edia
Sup
erio
r 20
09
Se c
alib
ra fi
jand
o lo
s pa
rám
etro
s a,
b y
c
del P
etes
t 200
9 y
se
obtie
nen
los
pará
met
ros
a, b
y c
que
se
fijan
par
a ca
libra
r el
Pre
test
201
0
Se c
alib
ra fi
jand
o lo
s pa
rám
etro
s a,
b y
c d
el
Pete
st 2
010
y se
ob
tiene
n lo
s pa
rám
etro
s a,
b y
c q
ue s
e fij
an p
ara
calib
rar
el P
rete
st 2
011
Se c
alib
ra fi
jand
o lo
s pa
rám
etro
s a,
b y
c d
e la
pru
eba
enla
ce M
edia
Su
peri
or 2
009
y se
ob
tiene
n lo
s pa
rám
etro
s a,
b y
c q
ue s
e fij
an p
ara
calib
rar l
a pr
ueba
enl
ace
Med
ia S
uper
ior
2010
Prue
ba e
nlac
e M
edia
Supe
rior
200
9 (A
plic
ació
n Ce
nsal
)
Prue
ba e
nlac
e M
edia
Supe
rior
201
0 (A
plic
ació
n Ce
nsal
)
Pret
est 2
009
(Apl
icac
ión
Mat
rici
al)
Pret
est 2
010
(Apl
icac
ión
Mat
rici
al)
Toda
la p
obla
ción
Toda
la p
obla
ción
Toda
la p
obla
ción
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
134
Escalamiento
Para poder equiparar las puntuaciones entre las distintas versiones de la prueba, es necesario ubicar los parámetros estimados en una escala común, a este procedimiento se le conoce como escalamiento. El método de escalamiento utilizado en este caso es una transformación lineal de los parámetros, es decir, teniendo como base los parámetros obtenidos de la primera versión de la prueba, se ajustan las puntuaciones de las siguientes pruebas a la escala común por medio de modelos lineales de aplicación sencilla y que no requieren transformaciones complicadas.
Para lograr la transformación lineal, hay que transformar cada uno de los tres paráme-tros en una escala común (Cook y Eignor, 1992):
Tomando como base el modelo de tres parámetros de la tri:
Dónde:Pi (θ) = Probabilidad de un examinado con una habilidad (θ) en contestar correctamente el reactivo ibi = Dificultad del reactivo iai = Discriminación del reactivo ici = Pseudo-adivinación del reactivo ie = Base de los logaritmos naturales (2,7183).
Transformamos los parámetros de habilidad de forma lineal a través del siguiente mo-delo lineal simple:
Dónde:θ*
a = a la habilidad del sustentante en escalaA = la pendiente de la transformación linealθa = a la habilidad del sustentante estimada en el modelo triB = es la raíz de la transformación lineal
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R135
Para el parámetro a (discriminación)
Dónde:a*
i = a la discriminación en escalaai = a la discriminación estimada en el modelo tri
Para el parámetro b (dificultad)
Dónde:b*
i = a la discriminación en escalabi = a la discriminación estimada en el modelo tri
Puesto que el parámetro c (pseudo- adivinación) se toma de la probabilidad de acertar el reactivo correctamente por el simple hecho de dar una respuesta, es localizado en el eje Y del modelo y no necesita ser transformado a la escala. Sin embargo, éste se fija para la calibra-ción ya que es parte de los parámetros con los que se obtienen las P(θ) de cada sustentante.
Igualación de calificaciones entre pruebas
Una vez que los parámetros son puestos en una escala común, las habilidades calculadas de los alumnos evaluados con ambas pruebas serán equivalentes, es decir si dos sustentantes en distintas aplicaciones, mostraran habilidades que los ubicaran dentro del mismo nivel de dominio (ver anexo VI), ambos poseen las habilidades equivalentes descritas en ese nivel.
Revisión de resultados
En primer lugar se realiza un análisis libre (sin estadísticos previos) de la prueba para obtener los parámetros estadísticos de los reactivos. Con este análisis se calcula correlación bivariada
MA
NU
AL
TÉCN
ICO
EN
LACE
MED
IA S
UPE
RIO
R
136
y se realizan gráficas de dispersión para los parámetros a, b y c. Asimismo se obtiene la habi-lidad de los sustentantes y se grafican en un histograma.
En segundo lugar se hace un análisis fijando los parámetros y se calcula nuevamente la correlación bivariada y se realizan gráficas de dispersión para los parámetros a, b y c y se obtiene la habilidad de los sustentantes y se corrobora la distribución de las habilidades a partir del ajuste de los parámetros equiparados.
Una vez que se ha equiparado la prueba de enlace Media Superior y se obtiene la habilidad de los sujetos, se asigna el nivel de dominio de acuerdo con los Puntos de Corte establecidos.
Referencias
• • • Brennan, R.J. (2006). Chained Linear Equating. casma Technical Note. Center for Advanced Studies in Measurement and Assessment. Universidad de Iowa: IA. Dispo-nible en http://www.education.uiowa.edu/casma/documents/clinearreport3.pdf
• • • Cook, L., & Eignor (1992). irt Equating Methods. items: The Instructional Topics in Educational Measurement Series, module 10 (fall 1991). Disponible en http://www.ncme.org/pubs/items/17.pdf
• • • Livingston, S. (2004). Equating Test Scores (Without irt). Educational Testing Service: Princeton, NJ.
• • • Moulton, N. (2007) One Ruler, Many Tests: A Primer on Test Equating. eds Publica-tions, disponible en http://www.eddata.com/resources/publications/
• • • timss (2003). Technical Manual. timms & pirls International Study Center, Lynch School of Education: Boston, MA.
www.ceneval.edu.mx
![manual tecnico factoringcampanha.cadastropositivo.com.br/relato/download/manual_tecnico... · 7 [Digite texto] [Digite texto] [Digite texto] LAYOUT SIMPLIFICADO SERASA EXPERIAN O](https://static.fdocuments.net/doc/165x107/5bf5d2cc09d3f279228c13b3/manual-tecnico-7-digite-texto-digite-texto-digite-texto-layout-simplificado.jpg)
