ESTUDIOS

Medición de Preparación Universitaria con SABER PRO: Un examen de la

validez predictiva

Estudios sobre calidad de la educación en Colombia

► Working paper

ICFES. 2014. Todos los derechos de autor reservados ©.

Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislación nacional e internacional. No se autoriza su reproducción, utilización ni explotación a ningún tercero. Solo se autoriza su uso para fines exclusivamente académicos. Esta información no podrá ser alterada, modificada o enmendada.

Presidente de la RepúblicaJuan Manuel Santos Calderón

Ministra de Educación NacionalGina María Parody d’Echeona

Viceministra de Educación SuperiorNatalia Ariza Ramírez

Directora GeneralXimena Dueñas Herrera

Secretaria GeneralMaria Sofía Arango Arango

Director de EvaluaciónJulián Patricio Mariño von Hildebrand

Director de Producción y OperacionesEdgar Rojas Gordillo

Subdirectora de Análisis y DivulgaciónSilvana Godoy Mateus

Jefe Oficina Asesora de Comunicaciones y MercadeoSandra Milena García Villamizar

Jefe Oficina Asesora de Gestión de Proyectos de InvestigaciónAdriana Molina Mantilla

Elaboración del documento*:Jorge Andrés MoralesEdwin Cuellar*Basado en el trabajo elaborado por Matthew Gaertner y Katie McClarty. Pearson Research and Innovation Network.

Diagramación:Melisa Castellanos

Bogotá, D.C., diciembre de 2014

3

Resumen

La prueba SABER 11° tiene dentro de sus propósitos el proveer información a las instituciones de educación superior, que les permita seleccionar a los candidatos idóneos para sus programas de formación basándose en el estado de las competencias de éstos, al finalizar grado once. Respondiendo a la necesidad de evaluar constantemente sus procesos de evaluación, y en el marco de su programa de investigación el ICFES ha decidido emprender una línea de investigación que dé cuenta de la validez predictiva de sus evaluaciones.

Para ello y con la colaboración de algunas instituciones de educación superior de diversas regiones de Colombia, en el primer semestre de 2012, se llevó a cabo una aplicación especial de SABER PRO que pretendía lograr una aproximación a lo que sería el examen SABER 11° rediseñado (combinando competencias genéricas de SABER PRO y algunas áreas del núcleo común de SABER 111°). Esta aplicación constituye uno de los primeros pasos del ICFES en su propósito de rediseñar la prueba SABER 11 con el fin de lograr una alineación con el examen de salida de la educación superior SABER PRO. Este documento describe la metodología empleada en el estudio, presenta un análisis de los resultados obtenidos y ofrece unas conclusiones iniciales.

4

Introducción

SABER 11° es una evaluación estandarizada que se centra en la evaluación de competencias entendidas como un “SABER hacer en contexto” o, en otras palabras, movilizar conocimientos y habilidades hacia la actuación en una situación concreta. De acuerdo con el Decreto 869 de marzo de 2010, el examen de Estado de la educación media - SABER 11°- tiene como fin comprobar el grado de desarrollo de las competencias de los estudiantes que están por terminar undécimo grado. Con base en la información generada, el examen cumple diversos propósitos para diferentes actores del sistema educativo: a los estudiantes, les proporciona elementos para su autoevaluación y el desarrollo de su proyecto de vida; a las instituciones de educación superior, les da información para seleccionar candidatos idóneos para sus programas de formación y hacer seguimiento de su evolución académica; a los establecimientos educativos, le sirve de referencia para sus procesos de autoevaluación y orientación de sus prácticas pedagógicas; y a las autoridades educativas, para construir indicadores de calidad que apoyen las decisiones de política pública.

Desde 2009, el ICFES ha trabajado en una transformación del examen SABER 11° que garantice una mejor alineación con los exámenes de educación básica SABER 3°,5° y 9° y el examen SABER PRO, para poder consolidar un sistema nacional de evaluación estandarizada. Con ello se busca darle coherencia al sistema, apoyando la articulación general de la educación, y potencializar el uso de las mediciones de las evaluaciones, al permitir evaluar el desarrollo en cada nivel de formación.

Un aspecto fundamental para lograr la consolidación del sistema es tener unos ejes de evaluación a lo largo de toda la formación. De acuerdo con los lineamientos y estándares establecidos por el Ministerio de Educación Nacional y con los desarrollos y capacidades logísticas actuales, estos ejes deben incluir la competencia de lectura, el razonamiento cuantitativo, las competencias ciudadanas y el inglés. De la misma manera, se deben integrar las pruebas de Biología, Física y Química en una sola de Ciencias Naturales que incluya además los elementos de Ciencia, Tecnología y Sociedad promulgados en los estándares.

Como parte de la investigación de soporte para la transformación del examen SABER 11° y gracias al apoyo de varias universidades de distintas regiones del país, se realizaron aplicaciones especiales de las pruebas de competencias genéricas de SABER PRO (lectura crítica, razonamiento cuantitativo y competencias ciudadanas) a los estudiantes que recién habían ingresado a la educación superior y por lo tanto presentaron SABER 11° . El objetivo del levantamiento de esta información fue evaluar la capacidad de las pruebas del examen SABER 11° y el examen SABER 11° rediseñado para predecir los resultados académicos de los estudiantes que ingresan a la educación superior, durante los cuatro (4) primeros semestres de

5

sus programas académicos. Desde el primer semestre de 2012 se hicieron 3 aplicaciones de las pruebas genéricas de SABER PRO a estudiantes recién ingresados a la educación superior con el fin de obtener puntajes aproximados del examen SABER 11° rediseñado. A continuación se describen las pruebas de competencias genéricas aplicadas.

Tabla 1. Pruebas de competencias genéricas aplicadas

Lectura crítica• Leer analítica y reflexivamente.

• Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor.

• Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar su intencionalidad.

Componentes:

• Ubicar información• Establecer relaciones• Construir representación global • Analizar y evaluar críticamente

Razonamiento Cuantitativo• Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos.

• Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias.

Componentes:

• Interpretación• Formulación• Evaluación

Competencias Ciudadanas• Conocer y comprender la Constitución Política de Colombia:

• Comprender qué es la Constitución• Conocer los derechos y deberes que la Constitución consagra• Conocer la organización del Estado

• Valoración de argumentos: analizar y evaluar la pertinencia y solidez de un enunciado.

• Multi-perspectivismo: reconocer, contrastar y valorar distintas perspectivas.

•Pensamiento sistémico: comprender que los fenómenos sociales y sus soluciones son multidimensionales y reconocer interacciones entre estas dimensiones.

6

En este documento se presenta el análisis de los datos obtenidos en la primera aplicación, realizada al inicio del primer semestre de 2012, donde se contó con la participación de la Pontificia Universidad Javeriana de Bogotá, la Universidad de Bogotá Jorge Tadeo Lozano, la Universidad Francisco de Paula Santander, la Universidad de Los Andes, la Universidad de San Buenaventura de Cali y la Universidad Tecnológica de Bolívar. Cabe anotar que este estudio es el inicio de una línea de investigación que tiene como objetivo evaluar la capacidad predictiva de las pruebas para explicar el rendimiento de los estudiantes al ingresar a la educación superior.Los resultados mostrados en el documento son tomados del trabajo de Matthew Gaertner y Katie McClarty para el IV Seminario Internacional de Investigación sobre Calidad de la Educación

7

Objetivo y metodología

Objetivo

Analizar la relación existente entre los puntajes de las pruebas de SABER 11°, SABER PRO y las calificaciones de los estudiantes al ingresar a alguna de las seis universidades que participaron del estudio.

Metodología

Para este estudio se propuso comparar la validez predictiva de dos pruebas: por un lado, el examen SABER 11°, utilizando la suma de los puntajes obtenidos en las pruebas de matemáticas, lenguaje, ciencias sociales, biología, química y física; por otro lado, se utilizó una aproximación al examen rediseñado a través de una combinación de resultados en el examen SABER PRO y SABER 11° El siguiente gráfico explica cómo se obtuvieron los puntajes aproximados del examen rediseñado:

Gráfica 1. Combinación de puntajes SABER PRO y SABER 11° para SABER 11° rediseñado

SABER 11° SABER PRO SABER 11° Rediseñado

Matemáticas

Ciencias Sociales

Química Física

Razonamiento Cuantitativo

Lectura crítica

Competencias Ciudadanas

Matemáticas

Lectura crítica

Competencias ciudadanas

Ciencias NaturalesBiología

8

En el caso de los puntajes del examen rediseñado de matemáticas y competencias ciudadanas, se realizó un promedio entre los dos componentes señalados en el gráfico anterior, es decir, el puntaje aproximado del examen SABER 11° rediseñado corresponde a un promedio del puntaje de la prueba de matemáticas obtenido en SABER 11° y el puntaje obtenido en la prueba de razonamiento cuantitativo de SABER PRO aplicada al iniciar la educación superior. Todos los puntajes fueron estandarizados para poder realizar este tipo de cálculos. Como puntaje aproximado para la prueba de ciencias naturales en el examen rediseñado se tomó el promedio de las pruebas de biología, química y física de SABER 11°.

De acuerdo con el análisis de varianza preliminar, realizado con los datos del primer semestre de 2012, un 12% de la varianza en las calificaciones universitarias se debe a que en la muestra se encuentran diferentes universidades. Por lo tanto, los métodos de análisis multinivel, que proporcionan herramientas adecuadas para estimar las asociaciones de las covariables a nivel de estudiante y las calificaciones de los estudiantes al inicio de su educación universitaria, son los más apropiados (Singer & Willett, 2003). Para este estudio las variables a nivel de estudiantes corresponden al puntaje obtenido en las pruebas de competencias genéricas y de SABER 11° tal como se señaló en el gráfico anterior; igualmente se incluye una medida del nivel socio-económico, INSE1. El modelo empleado obedece a una expresión de la forma:

Yij= π0j + π1j SABERij+ π2j INSEij + εij

π0j= γ0+ξ0j

π1j= γ1 π2j= γ2

La variable respuesta Yij representa al promedio general en el primer semestre del estudiante i en la universidad. SABERij. e INSEij corresponden a las puntuaciones de SABER 11° y el INSE a nivel de estudiante. γ0, γ1 y γ2 son efectos fijos, mientras que ξ0j es un efecto variable, representando la desviación de la universidad j al promedio general. En todas las estimaciones se emplean los dos resultados de interés (SABER 11° y aproximación al SABER 11° rediseñado) de forma independiente, es decir, se ajustan los modelos separadamente con los puntajes de cada uno de ellos. La variable INSE es incluida en todos los modelos.

Para este estudio sólo se comparan las pruebas que evalúan competencias similares. Específicamente, las competencias de SABER 11°: matemáticas, lenguaje y ciencias sociales se comparan con razonamiento cuantitativo, lectura crítica y competencias ciudadanas respectivamente. Por otra parte, debido a que muchas de estas competencias son 1El Índice de Nivel Socio-económico, INSE, es una medida construida con base en una metodología de componentes princi-pales a partir de la información recolectada en el formulario de inscripción. Específicamente, se emplea la ocupación y edu-cación de los padres, los ingresos del hogar y su estrato económico proyectados sobre el primer eje factorial, el cual explica el 60% de la inercia total

9

desarrolladas con mayor intensidad dependiendo del área de estudios de los programas, se ajustan los modelos por separado con respecto a los grupos de referencia2.

Con base en los resultados de los ajustes de los modelos y dado que el interés es evaluar el poder predictivo de las pruebas, el estudio se enfoca en realizar las comparaciones en términos del porcentaje de varianza explicada por los modelos. Con tal fin se emplea una estadística de ajuste denominado, pseudo−R2.

Datos

El estudio utiliza los puntajes de la aplicación de SABER 11° las pruebas genéricas de SABER PRO aplicadas a estudiantes que acababan de entrar a la educación superior, el promedio general ponderado de las primeras notas en la universidad y la información socioeconómica de 1.833 estudiantes de la Pontificia Universidad Javeriana de Bogotá, la Universidad Jorge Tadeo Lozano, la Universidad Francisco de Paula Santander, la Universidad de Los Andes, la Universidad de San Buenaventura de Cali y la Universidad Tecnológica de Bolívar. En la tabla 2 se puede observar el número de estudiantes que participaron de cada universidad y su distribución en los grupos de referencia.

No se consideraron estudiantes que presentaran el SABER 11° antes de 2010, con el fin de evitar la inclusión de resultados que pudieran distorsionar los análisis. El número final de estudiantes pasa a ser 1.369. La distribución de estudiantes para cada institución no varía de manera importante.

2 Un grupo de referencia es la agrupación de programas con características similares para los que se definen una oferta de combinaciones de módulos de competencias específicas y entre los que se compararán los resultados de la evaluación. Los grupos de referencia son definidos por el ICFES según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco.

10

Tabla 2. Número de estudiantes en cada una de las universidades participantes por grupo de referencia

Tadeo Lozano

Javeriana Los Andes S.Buenaventura DistritalTecnológica de Bolívar

Total

Administración y Afines 32 159 37 215 15 458

Técnicos en Administración y

turismo36 20 56

Arquitectura y urbanismo 31 4 20 60 22 137

Técnicos en Artes-diseño-

comunicación14 14

Bellas Artes y Diseño 40 6 46

Ciencias Naturales y Exactas 21 26 46 93

Ciencias Sociales 4 33 73 7 117

Derecho 27 5 60 55 147

Economía 13 19 70 1 103

Ingeniería 64 274 23 115 63 539

Técnicos en Ingeniería, Industria

y Minas36 36

Medicina 2 69 71

Salud 16 16

Total 214 289 572 248 404 106 1.833

11

Resultados

Para obtener una medida general de cada una de las pruebas de SABER 11°, se calculó un puntaje total que corresponde a la suma de los puntajes de cada una. En la primera fila de la tabla 3 se muestra que esa medida general, calculada a partir de los puntajes de las pruebas de SABER 11°, explica el 27% del rendimiento académico en la universidad, mientras que ese porcentaje se estima en un 30% para la suma de los puntajes aproximados del examen SABER 11° rediseñado. De manera similar, razonamiento cuantitativo parece ser una medida que se aproxima un poco más al desempeño en educación superior que la que se obtiene con la prueba de matemáticas, ya que para la prueba rediseñada el R2 ajustado es de 24% y en matemáticas de SABER 11° es de 21%. Sin embargo, la diferencia mayor se presenta al contrastar la prueba de ciencias sociales con la de competencias ciudadanas sugiriendo que la prueba genérica predice mejor en 4 puntos porcentuales más que la prueba realizada a los estudiantes en SABER 11°.

Tabla 2: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluyen los totales de las pruebas aproximadas del SABER 11° rediseñado

y de SABER 11° como variables explicativas (R2 ajustado).

SABER 11° rediseñado

SABER 11° SAT* ACT**

Puntaje total 0,30 0,27 0,18*Razonamiento cuantitativo 0,24 0,21 0,23 MatemáticasLectura crítica 0,21 0,19 0,22 LenguajeCompetencias ciudadanas 0,27 0,23 Ciencias sociales

Ciencias Naturales0,17 Biología

0,23 0,22 Química0,21 Física

* College admision Exam, Estados Unidos** College Readiness Assessment, Estados Unidos

Los puntajes aproximados de las prueba de SABER 11° rediseñado explica ligeramente mejor las calificaciones obtenidas en éstas seis universidades e incluso es tan buena como la de las prueba SAT en Estados Unidos y mucho mejor que la prueba ACT: el puntaje general de la prueba ACT explica un 18% las calificaciones de los estudiantes, mientras que en el estudio realizado por el ICFES, el total de las pruebas rediseñadas explica el 30%, una importante diferencia en términos del R2 ajustado.

12

Sin embargo, no en todos los grupos de referencia se presenta un aumento de la predictibilidad. Medicina, salud y economía reflejan una notable reducción en este factor. La diferencia más importante se presenta en medicina, donde el puntaje total de SABER 11° disminuye en un 60% su predictibilidad comparado con los puntajes aproximados del examen SABER 11° rediseñado. No obstante, en medicina, estas dos pruebas no reflejan gran relevancia para explicar el desempeño en la universidad, como en el resto de grupos de referencia. Esto se puede evidenciar en que el puntaje total de SABER 11° explica tan solo el 12% del promedio en la universidad, mientras que en los demás grupos, este porcentaje supera 20%. Es también importante observar que ésta diferencia es considerablemente mayor en medicina, debido a que en las demás áreas de la salud, el porcentaje de varianza explicado por las aproximaciones de las pruebas rediseñadas, comparado con SABER 11°, se reduce en tan solo 12%.

La capacidad predictiva de las dos pruebas es considerable en los grupos de referencia de técnicos en artes-diseño-comunicación y en administración y turismo: el porcentaje de varianza que explica el modelo en el grupo de artes supera el 80% y en administración el 52%. No obstante, cabe anotar que un índice de nivel socio-económico es incluido en todos los modelos y que esta predictibilidad no es exclusiva del desempeño en cualquiera de los dos grupos de referencia.

Tabla 3: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye el puntaje total de las aproximaciones a las pruebas del SABER 11° rediseñado o de SABER 11° como variable

explicativa (R2 ajustado por grupo de Referencia).

SABER 11° rediseñado SABER 11° Diferencia/SABER 11°

Ciencias naturales y exactas 0,42 0,31 0,36Técnicos en administración y turismo

0,66 0,52 0,27

Arquitectura y urbanismo 0,20 0,16 0,23Bellas artes y diseño 0,42 0,37 0,15Derecho 0,40 0,36 0,13Técnicos en artes - diseño - comunicación

0,88 0,80 0,11

Ciencias sociales 0,54 0,50 0,07Ingeniería 0,37 0,39 -0,04Administración y afines 0,44 0,47 -0,06Economía 0,50 0,56 -0,09Salud 0,60 0,68 -0,12Medicina 0,12 0,29 -0,60

13

Los análisis anteriores, fueron realizados a partir de la suma de todos los puntajes de las pruebas aproximadas del SABER 11° rediseñado y de SABER 11° como una medida general para evaluar la predictibilidad de cada una de ellas. Es importante aclarar que los currículos de los programas no se relacionan de la misma forma con las pruebas individuales. Por ejemplo, la prueba de matemáticas podría estar más asociada con los temas abordados en la universidad en ingeniería que en medicina. Una forma de tener en cuenta este efecto es incluyendo dentro de las variables independientes a la prueba de matemáticas como la medida de SABER 11° y razonamiento cuantitativo como la medida de SABER 11° rediseñado.

La inclusión de estas dos variables en el modelo señalan una capacidad de predicción uniforme de estos dos componentes (ver tabla 4). En los grupos de referencia diferentes a arquitectura y urbanismo y medicina, razonamiento cuantitativo explica entre el 30% y 55% del puntaje promedio general en la universidad, y en administración y turismo esta relación alcanza el 64%. La prueba de matemáticas guarda niveles inferiores de predictibilidad en 2 de los 12 grupos de referencia de la muestra comparado a los obtenidos a partir de la prueba de razonamiento cuantitativo; para 5 de los 12 grupos la prueba de matemáticas predice menos del 30% el desempeño en la universidad mientras que con la prueba rediseñada tan sólo 2 grupos están por debajo de este nivel.

Adicionalmente, este análisis sugiere que los constructos evaluados en la prueba de razonamiento cuantitativo se encuentran más asociados con el promedio en la universidad en la mitad de los grupos de referencia; en la otra mitad la predictibilidad de estas dos pruebas es prácticamente la misma.

Nótese también que el porcentaje de predictibilidad en los grupos de referencia de técnicos en administración y turismo, técnicos en artes-diseño-comunicación, e ingeniería, permanecen prácticamente invariantes cuando se incluye el puntaje conjunto de la prueba o el puntaje de razonamiento cuantitativo; y que en el grupo de referencia de salud, la prueba genérica predice dos veces mejor el rendimiento del estudiantes que la prueba de matemáticas, pasando de explicar un 26% con matemáticas a un 55% con razonamiento cuantitativo.

14

Tabla 4: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye Razonamiento Cuantitativo o Matemáticas como variable explicativa (R2 ajustado por grupo de Referencia)

Razonamiento cuantitativo Matemáticas Diferencia/MatemáticasSalud 0,55 0,26 1,07Técnicas en Administración y turismo

0,64 0,37 0,73

Medicina 0,24 0,15 0,62Economía 0,33 0,24 0,37Administración y afines 0,41 0,32 0,26Ciencias naturales y exactas 0,39 0,33 0,20Derecho 0,30 0,28 0,07Ingeniería 0,35 0,33 0,06Bellas artes y diseño 0,37 0,35 0,05Arquitectura y urbanismo 0,18 0,18 0,03

Ciencias sociales 0,38 0,39 -0,02Técnicas en Artes - diseño - comunicación

0,88 0,93 -0,05

Igual que con razonamiento cuantitativo y matemáticas, también es llevado a cabo un análisis con lectura crítica y lenguaje. Se incluyen los puntajes de estas dos pruebas separadamente como puntajes de PRO y SABER 11°, al igual que en los análisis anteriores, se incluye el INSE y se calculan los seudo−R2 ajustado como medida de predictibilidad (ver tabla 5). Los resultados señalan que la prueba genérica supera en predictibilidad a la de lenguaje en únicamente 3 de los 12 grupos de referencia y se presenta una ligera diferencia en Bellas artes y diseño y Arquitectura y urbanismo. En Ingeniería, Ciencias naturales y exactas, Economía y Administración y afines se presenta una desventaja considerable con respecto a la prueba anterior, no obstante, nótese que esta diferencia relativa es inflada especialmente por la baja magnitud de la predictibilidad en cualquiera de esas dos componentes.

15

Tabla 5: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye lectura crítica o lenguaje como variable explicativa (R2 ajustado por grupo de Referencia).

Lectura crítica Lenguaje Diferencia/LenguajeTécnicas en Administración y turismo

0,77 0,38 1,04

Ciencias sociales 0,34 0,19 0,77Técnicos Artes - diseño - comunicación

0,58 0,38 0,51

Derecho 0,37 0,33 0,13Bellas artes y diseño 0,40 0,38 0,05Arquitectura y urbanismo 0,16 0,17 -0,08Ingeniería 0,27 0,30 -0,10Ciencias naturales y exactas 0,21 0,28 -0,25Economía 0,24 0,33 -0,28Técnicos Administración y afines 0,18 0,25 -0,29

Salud 0,04 0,11 -0,65Medicina 0,00 0,03 -0,93

Este mismo análisis se realizó con las pruebas de ciencias sociales y competencias ciudadanas, reflejando que en 6 de los 12 grupos existe una ventaja al aplicar la segunda (ver tabla 6).

En el grupo de referencia de ciencias sociales, la prueba de competencias ciudadanas cuenta con una mayor capacidad de predicción con respecto a la prueba de ciencias sociales en SABER 11°, superando en dos veces la proporción obtenida por esta última. Sin embargo el grupo donde el puntaje de competencias ciudadanas tiene un efecto mayor es el de ciencias naturales y exactas, dado que esta prueba junto con el nivel socio-económico predice el 50% de los resultados en la universidad mientras que la prueba de SABER 11° predice el 31%.

16

Tabla 6 Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye Competencias ciudadanas o Ciencias Sociales como variable explicativa

(seudo R2 ajustado por grupo de Referencia).

Competencias Ciudadanas Ciencias Sociales Diferencia/SocialesCiencias sociales 0,30 0,15 1,04Ciencias naturales y exactas 0,50 0,31 0,63Bellas artes y diseño 0,35 0,25 0,36

Administración y afines 0,33 0,26 0,25Derecho 0,32 0,26 0,20Técnicos Artes - diseño – comunicación

0,16 0,13 0,19

Ingeniería 0,31 0,31 -0,01Economía 0,45 0,46 -0,02Arquitectura y urbanismo 0,18 0,19 -0,06Técnicos en Administración y turismo

0,31 0,47 -0,33

Salud 0,31 0,76 -0,59Medicina 0,00 0,07 -0,95

17

Conclusiones

• En general, las pruebas aproximadas del examen SABER 11° rediseñado permiten una mejor predicción del desempeño académico universitario con respecto a las pruebas de SABER 11° Esto significa que la estructura del examen incluyendo competencias genéricas tiene un mayor poder predictivo del desempeño de los estudiantes durante los primeros semestres de la universidad. Las tres pruebas del examen rediseñado predicen mejor que las correspondientes de SABER 11°

• La estructura de examen incluyendo competencias genéricas no solo predice mejor el desempeño académico de los universitarios de la muestra, sino que además, supera los niveles de predictibilidad de las pruebas SAT y ACT en los componentes evaluados por cada una de ellas.

• En los grupos de referencia de administración y turismo, derecho y bellas artes y diseño el examen rediseñado presenta una ventaja en el porcentaje de predicción de los resultados en la universidad, salvo en la prueba de razonamiento cuantitativo. Las demás pruebas del examen rediseñado explican un porcentaje más alto de la varianza de los resultados en los grupos de referencia de ciencias sociales y técnicos en artes-diseño-comunicación que las obtenidas con las actuales pruebas de SABER 11°

• En el grupo de referencia de Ciencias naturales y exactas la aproximación de las pruebas del SABER 11° rediseñado tienen una alta capacidad de predecir el desempeño académico, a pesar de que con la prueba de lectura crítica, no se obtienen los mismos niveles de predictibilidad de los alcanzados con la prueba de lenguaje.

• La prueba de razonamiento cuantitativo es una de las pruebas que explica mejor el desempeño de los estudiantes universitarios con respecto a su prueba análoga en SABER 11° En todos los grupos de referencia esta prueba aproximada a la rediseñada refleja mejores resultados que la de matemáticas en términos de su predictibilidad, excepto por artes-diseño-comunicación y ciencias sociales que presentan cambios no significativos en el porcentaje de predicción al incluir razonamiento cuantitativo o matemáticas en el modelo.

• Aunque a partir de los resultados del análisis por grupo de referencia se puede concluir que con lectura crítica no se obtiene un mayor porcentaje de predicción en un gran número de grupos, los niveles de predicción en los que se refleja una mejoría, superan a los calculados con la prueba de competencias ciudadanas.

18

• En los grupos de referencia de salud, medicina, economía, ingeniería, administración y turismo, las pruebas aproximadas de competencias ciudadanas y lectura crítica del SABER 11° rediseñado no superan el nivel de predicción de los resultados a los obtenidos con las pruebas de ciencias sociales y lenguaje de SABER 11°, respectivamente.

19

Calle 17 No. 3-40 • Teléfono:(57-1)338 7338 • Fax:(57-1)283 6778 • Bogotá - Colombiawww.icfes.gov.co