Laura Delgado Maldonado Departamento de Análisis Psicométrico

Laura Delgado Maldonado

Departamento de Análisis Psicométrico

LOS INFORMES DE RESULTADOS DE LOS EGEL COMO HERRAMIENTA DE

RETROALIMENTACIÓN PARA LAS IES: CONTENIDO Y POSIBILIDADES DE USO.

Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL

06 y 07 de diciembre de 2007Campeche, Campeche

Sesión del 6 de diciembreHorario: 12:30-14:00hrs.

– Presentación y explicación de la lógica del trabajo para las dos

sesiones (12:30-12:40)

– Ponencia (12:40-13:20)

– Sesión de preguntas y respuestas (13:20-13:40)

– Aplicación de cuestionario de opinión a las IES usuarias (13:40-14:00)

Sesión del 7 de diciembre

Horario: 9:30-12:30hrs.

– Bienvenida y explicación de la dinámica de la sesión (9:30-10:00)

– Análisis y valoración crítica de la visión y propuesta del Ceneval:

Sugerencias y observaciones de las IES usuarias (10:00-12:00)

– Formulación de conclusiones (12:00-12:30)

Programa de actividades

Desde 1994, año en que se aplica por primera vez el EGEL,

el Ceneval entrega:

Un reporte individual de resultados para el sustentante.

Un reporte global de resultados para la institución usuaria.

Archivo electrónico de los resultados por institución usuaria.

Reportes de resultados

Informe Anual Institucional

Objetivos

Característicasgenerales

Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de

contextoy resultados en el EGEL

Informes EGELNueva generación

Reportes de EGEL



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Reportes global de resultados del EGEL para la IES de procedencia



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Archivo electrónico de resultados del EGEL para la IES de procedencia

Como parte del Compromiso institucional del Ceneval en proporcionar una atención esmerada a sus IES usuarias, en el 2006 se elaboraron por primera vez los Informes anuales institucionales de las 33 licenciaturas en las que se aplica el EGEL.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional

En total:

Se entregaron informes a más de 300 IES y a más de 600 planteles.

Para su elaboración se consideraron a 74,569 sustentantes, que representaron al 99.5% de la población total del 2006.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional

http://egel.ceneval.edu.mx



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional: acceso a través

del minisitio de los EGEL

La evaluación no es un fin en sí mismo, sino un medio.

La evaluación tiene sentido si posibilita la elaboración de políticas educativas y programas que incrementen la calidad académica.

Para diseñar y establecer políticas y programas eficaces deben realizarse inferencias válidas a partir de la información obtenida.

El manejo de datos e información para formular juicios y valoraciones debe estar fundamentado técnicamente para poder tomar decisiones, establecer líneas de acción y políticas educativas.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional: lineamientos

La difusión de resultados debe considerar las características técnicas de la evaluación, que se derivan, a su vez, del propósito que persiguen. Por lo que no siempre es conveniente hacer juicios acerca de alumnos, instituciones académicas o sistemas escolares.

Instrumentos deMedición:

EGEL y Cuestionario

de Contexto

Generación de datose

Información general

Inferencias yConclusiones

Diseño de programas y

Políticas educativas



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional: lineamientos

Proporcionar a las instituciones usuarias:

Información descriptiva de la población sustentante

(demográficas, socioeconómicas, entre otras).

Información de los sustentantes respecto a su

rendimiento en la prueba.

Información respecto al conjunto de egresados de las

distintas IES usuarias.

Lo anterior con la finalidad de proporcionar elementos para la toma de decisiones respecto a programas y políticas educativas.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional: objetivos

Descripción del EGEL.

Resultados en el EGEL, expresados en puntuaciones y en

niveles de desempeño.

Relación entre las variables de contexto y los resultados

en el EGEL, considerando tanto los niveles de desempeño,

como las puntuaciones obtenidas.

Datos descriptivos de la población que sustentó el EGEL.

Anexos en donde se presenta la información desagregada

por IES de procedencia.

El informe cuenta con los siguientes apartados:



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Informe anual institucional: características generales



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Descripción del EGEL: Atributos como instrumento de evaluación

Resultados expresados en puntuaciones. Permiten identificar

las áreas (o subáreas) de mayor dificultad para los egresados

y que pueden estar representando un nodo crítico para

alcanzar niveles de desempeño superiores a los observados.

Resultados expresados en niveles de desempeño. Permiten

establecer la proporción de egresados que en cada IES

alcanzó un nivel de desempeño satisfactorio o sobresaliente,

teniendo como referente adicional la forma como se distribuyó

el conjunto de la población sustentante que presentó el

EGEL.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados en el EGEL

Los resultados de los sustentantes se presentan en dos

vertientes:

700

750

800

850

900

950

1000

1050

1100

1150

1200

1250

1300

ASPECTOS DEL EXAMEN

MÍNIMO PERCENTIL 25 MEDIANA(PERCENTIL 50)

PERCENTIL 75 MÁXIMO



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados expresados en puntuaciones

7007508008509009501000105011001150120012501300

ASPECTOS DEL EXAMEN





Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados expresados en puntuaciones



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados expresados en Niveles de desempeño

59.9%

4.7%

35.4%

No Satisfactorio o Sin Testimonio (ST)

Testimonio de Desempeño Satisfactorio (TDS)

Testimonio de Desempeño Sobresaliente (TDSS)

700

750

800

850

900

950

1000

1050

1100

1150

1200

1250

1300





Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados por IES expresados en puntuaciones



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Resultados por IES expresados en Niveles de desempeño

94.790.0

86.184.2

81.8

76.876.7

71.469.468.8

62.561.8

60.760.559.9

58.357.8

56.856.055.8

52.050.0

48.848.848.6

46.245.7

44.344.043.2

39.536.6

31.730.1

24.517.5

10.013.9

15.8

23.223.3

28.630.6

28.134.4

37.634.5

36.835.4

36.741.043.2

40.332.6

46.050.0

46.539.0

41.346.2

48.644.3

52.045.9

44.243.9

61.061.4

71.467.5

4.7

3.711.6

2.0

4.712.2

5.7

4.010.8

16.319.5

7.38.4

4.115.0

77.180.4

22.019.6

18.2

5.3

3.13.1

0.64.9

2.6

1.2

7.7

5.0

11.4

10.1

0.8

0% 20% 40% 60% 80% 100%

IES 1634 (38)IES 1074 (210)

IES 1158 (36)IES 73 (57)

IES 1185 (148)IES 1264 (46)

IES 71 (118)IES 2006 (69)IES 1176 (30)

IES 914 (35)IES 1543 (36)

IES 929 (32)IES 41 (32)

IES 1090 (165)IES 917 (206)IES 1297 (76)

NACIONAL (3411)IES 1167 (120)

IES 1179 (83)IES 1515 (44)

IES 1076 (134)IES 12 (43)

IES 921 (50)IES 895 (34)IES 898 (43)

IES 1293 (41)IES 899 (109)IES 1521 (39)IES 1019 (35)

IES 908 (88)IES 1021 (50)IES 1295 (37)IES 1292 (43)IES 1660 (41)IES 1194 (41)

IES 905 (83)IES 1159 (49)

IES 928 (40)

PORCENTAJE DE SUSTENTANTES .

ST TDS TDSS

Datos sociodemográficos:

Sexo. Estado civil. Lengua materna. Edad.

Ingresos económicos:

Ingreso personal. Ingreso familiar.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Datos descriptivos

Condición laboral de los sustentantes que trabajan:

Tipo de organización en que trabaja. Sector económico en el que trabaja. Horas de trabajo a la semana. Tipo de trabajo. Puesto o cargo que desempeña. Relación del empleo con sus estudios de licenciatura.

Motivos por los cuales NO trabajan los sustentantes.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Datos descriptivos

Escolaridad de los sustentantes:

Modalidad de la licenciatura. Años en que concluyó sus estudios de licenciatura. Promedio en licenciatura. Estudios posteriores a la licenciatura.

Escolaridad de los padres:

Nivel máximo de estudios de la madre. Nivel máximo de estudios del padre.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Datos descriptivos



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Datos descriptivos

Trabaja

SI53.2%

NO46.8%

RELACIÓNTOTAL DE

SUST.% RELACIÓN

TOTAL DE SUST.

%

ALTA 1904 44.88 AGRICULTURA 36 0.86MEDIANA 1867 44.01 GANADERÍA 15 0.36ESCASA 385 9.08 SILVICULTURA Y PESCA 6 0.14

INEXISTENTE 86 2.03 INDUSTRIAS EXTRACTIVAS 38 0.90

n=4242 INDUSTRIAS DE LA TRANSFORMACIÓN369

8.79

CONSTRUCCIÓN213

5.07

HORASTOTAL DE

SUST.%

INDUSTRIA ELÉCTRICA, CAPTACIÓN Y SUMINISTRO DE AGUA POTABLE 45

1.07

HASTA 16 305 7.17 COMERCIO 1147 27.31DE 17 A 20 334 7.85 TRANSPORTES Y COMUNICACIONES 175 4.17

DE 21 A 40 1612 37.90SERVICIO PARA INSTITUCIONES, EMPRESAS, PERSONAS Y HOGARES 1318

31.38

MÁS DE 40 2002 47.07 SERVICIOS SOCIALES Y COMUNALES 143 3.40

n=4253 OTRO 695 16.55

n=4200

RELACIÓN ESTUDIOS - EMPLEO SECTOR ECONÓMICO EN EL QUE TRABAJA

HORAS DE TRABAJO A LA SEMANA

n=8,021

Otro de los apartados que constituyen los informes es el referente a la relación entre las variables de contexto y los resultados en el EGEL.

Las variables de contexto que se exploraron son:

Sexo. Promedio en la licenciatura. Edad. Escolaridad de los padres. Condición laboral: trabaja o no trabaja. Ingreso familiar y/o personal.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Variables de contexto y resultados en el EGEL



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de




Sustentantes desagregados por el promedio en

licenciatura en niveles de desempeño.

66.7%

34.6%

22.5%

29.6%

48.1%

52.4%

15.5%25.1%

42.3%

49.9%

3.7% 9.5%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

DE 6.0 A 6.9(27)

DE 7.0 A 7.9(1205)

DE 8.0 A 8.9(4807)

DE 9.0 A 10.0(1765)

PO

RC

EN

TA

JE D

E S

US

TE

NT

AN

TE

S Testimonio de Desempeño

Sobresaliente (TDSS)

Testimonio de DesempeñoSatisfactorio (TDS)

No Satisfactorio o SinTestimonio (ST)



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de




Los informes buscan enfatizar:

Que la información proporcionada sea útil para el

diseño de políticas educativas por parte de las

instituciones.

Más explícitos con respecto a las conclusiones e

inferencias pertinentes.

La información en términos cualitativos más que

cuantitativos, lo cual conlleva a una distinta

aproximación de análisis estadístico de la información.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de



Los informes anuales institucionales en la nueva generación de EGEL

Pueden utilizarse independientemente de cómo se

distribuyen los datos.

Pueden emplearse tanto para muestras grandes como

para muestras muy pequeñas.

Son más convenientes para datos categóricos.

Dado el énfasis en lo cualitativo sobre lo cuantitativo se

plantea el uso de la estadística no-paramétrica, como una

aproximación más idónea para el análisis de este tipo de

datos, ya que las pruebas no paramétricas:



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de




No satisfactorio

Satisfactorio

Sobresaliente

El énfasis de la nueva generación de los EGEL es establecer

categorías cualitativas más que diferencias cuantitativas entre los

sustentantes.

Es poder decir qué caracteriza a los

sustentantes que se encuentran en un

determinado nivel de desempeño.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de




Los informes de la nueva generación de EGEL enfatizarán:

Aspectos cualitativos de los sustentantes (niveles de

desempeño).

Los inferencias adecuadas a partir del tipo de datos

obtenidos.

El uso de la estadística no paramétrica.



Objetivos


Descripción EGEL

Resultados EGEL

Datos descriptivos

Variables de




Laura Delgado Maldonado

Departamento de Análisis Psicométrico

[email protected]

GRACIAS

Laura Delgado Maldonado Departamento de Análisis Psicométrico

Documents

Transcript of Laura Delgado Maldonado Departamento de Análisis Psicométrico