Evaluación del Aprendizaje 2

Escuela de Graduados en Educacin Tecnolgico de Monterrey Evaluacin del aprendizaje Nombre de la actividad: Actividad 4.2 Realizar y entregar la tercera fase del proyecto: aplicacin de instrumento, anlisis y elaboracin del reporte de resultados

Profesora Titular: Dra. Katherina E. Gallardo Profesora Tutor: M.T.E. Sara Tapia Vallejo

Equipo 166: Alexander Antonio Guilln Pinto Erick Martnez Gmez Laura Icela Gonzlez Prez Mnica Arias Crisstomo Matriculas: A01312212, A01312229, A01301921, A01308544 Mxico y Colombia 20 de noviembre de 2011

Introduccin Antes de presentar los resultados obtenidos en la actividad final del curso Evaluacin del Aprendizaje, se recordar el contexto en el que se realiz la actividad, adems de recalcar el propsito de la misma: Realizar los procesos de aplicacin y anlisis de resultados de los instrumentos planeados y diseados. En este orden de ideas, La Fundacin Universitaria San Martn, Centro de Atencin Tutorial CAT de la ciudad de Valledupar, departamento del Cesar en Colombia, fue el escenario seleccionado para proponer instrumentos de evaluacin del aprendizaje. El diseo de estos, se fundament en primera instancia en la identificacin de objetivos de aprendizaje previamente elaborados en el marco de la Nueva Taxonoma de Marzano y Kendall, de tal forma que stos objetivos se convirtieran en el eje fundamental para el diseo de la prueba objetiva con la incorporacin de elementos diagnsticos, sumativos y formativos del curso de Preclculo que se imparte en el primer semestre de los Programas Profesionales de Administracin de Empresas, Contadura Pblica e Ingeniera de Sistemas. Ahora bien, dentro de este proceso de diseo de instrumentos que propenden una evaluacin significativa del aprendizaje, se presentaron dos instrumentos complementarios al anteriormente mencionado los cuales fueron: El reporte que permite evaluar el aprendizaje a travs de la presentacin escrita de resultados, que para esta caso presenta un enfoque formativo dado que cumple la finalidad de encontrar alternativas de solucin de problemas en el rea de matemticas y el portafolio que permite evaluar el aprendizaje, como metodologa alternativa a aquellas de corte cuantitativo, se trata de un procedimiento de evaluacin de trayectorias de aprendizaje, que se basa en las ejecuciones y logros que el alumno alcanza durante el proceso de enseanza aprendizaje. Es de2

importancia recalcar que estos instrumentos fueron evaluados por jueces expertos en el tema, los cuales se seleccionaron de la planta docente del CAT Valledupar de la Fundacin Universitaria San Martn. As pues, la presentacin de resultados iniciar con el anlisis de la prueba objetiva, que abordar el anlisis del aprendizaje de los alumnos y el anlisis de las caractersticas psicomtricas del instrumento, a continuacin se presentarn los instrumentos en su versin mejorada y se determinarn las conclusiones donde se exponen las ideas de cierre del proceso fundamentadas en la teora as como los aprendizajes generados a partir del desarrollo de esta actividad y finalmente se presentan los diferentes soportes de evidencias del proceso, requeridos por la actividad. Desarrollo Un anlisis de la prueba objetiva. El reporte de los resultados de la prueba objetiva debe responder a las siguientes preguntas. Un anlisis acerca del aprendizaje de los alumnos: 1. Qu calificaciones obtuvo cada alumno (en escala 0-100)? Las calificaciones de los alumnos servirn como punto de partida para el anlisis y que en realidad se consideran mediciones de nivel de intervalo. Para este caso el rango es de 0 a 100. Tabla 1. Calificaciones obtenidas por los alumnosCdigo Alumno Calificacin A1 48 A2 76 A3 60 A4 84 A5 52 A6 60 A7 76 A8 44 A9 28 A10 20

Cdigo Alumno Calificacin

A11 72

A12 16

A13 56

A14 52

A15 28

A16 44

A17 32

A18 28

A19 72

A20 60


A21 80

A22 16

A23 68

A24 36

A25 88

A26 32

A27 64

A28 48

A29 64

A30 28


A31 80

A32 56

A33 76

A34 76

A35 80

A36 60

A37 44

A38 60

A39 60

A40 56

3


A41 60

A42 72

A43 84

A44 76

A45 88

A46 52

A47 64

A48 68

A49 64

A50 52

2. Cules son las medidas de tendencia central? Promedio (media aritmtica): 57,2 Mediana: Moda: 60,0 Con estas medidas se describe el grupo en su totalidad, de tal manera que se encuentra un nmero nico que representa el promedio o lo tpico del conjunto de calificaciones. En este instrumento cuando se realiz el conteo de los datos, se trabaj con datos no agrupados para efectos de clculos de las diferentes medidas de tendencia central, de tal forma que la metodologa de clculo se expone a continuacin: Media aritmtica: Es el promedio aritmtico de los datos, el cual se obtuvo de la suma de las diferentes calificaciones, divido en los 50 exmenes. ; 57,2 60,0

De este dato se deduce que el promedio est cercano al valor mnimo para aprobar que sea de 60. Mediana Es el valor que ocupa el lugar central de todos los datos cuando stos estn ordenados de menor a mayor. Si la serie tiene un nmero impar de medidas la mediana es la puntuacin central de la misma. Si la serie tiene un nmero par de puntuaciones la mediana es la media entre las4

dos puntuaciones centrales, para este caso las calificaciones 25 y 26, que reportan un puntaje de 60. De tal forma que la media aritmtica entre estas dos puntuaciones es de 60, este resultado favorece mayormente el desempeo del grupo evaluado pues muestra que el promedio para este caso coincide con el valor mnimo para aprobar el examen. Moda La moda es el valor que ocurre con mayor frecuencia en un conjunto de datos. Se puede observar que el dato que se presenta con mayor frecuencia es 60, por lo tanto este es el valor de la moda. Igual que en el caso anterior, este resultado favorece mayormente el desempeo del grupo evaluado pues muestra que el promedio para este caso coincide con el valor mnimo para aprobar el examen. 3. Cules son las medidas de dispersin? Las distribuciones de frecuencia de las calificaciones difieren no slo en sus promedios, sino tambin en su grado de variabilidad (dispersin). Se describirn tres medidas de variabilidad: el rango, la varianza y la desviacin estndar. De stas, la desviacin estndar es la medida de variabilidad ms popular y ms apropiada cuando la media aritmtica o rango es el promedio reportado. Para propsitos de comparacin e interpretacin, las calificaciones crudas pueden convertirse a calificaciones estndar z, percentil y otras calificaciones transformadas. Las medidas de variabilidad son una medida del promedio o tendencia central no proporciona, por s misma, una descripcin analtica adecuada de una muestra de calificaciones. Para este caso las medidas de dispersin son las siguientes: Rango: 72,0 Desviacin estndar: 19,2

5

Varianza: 370,08 Para el Rango se toma como base la nota mnima y la mxima, que en este caso es 16,0 y 88,0 respectivamente. El rango sale de restar los dos valores anteriormente descritos. La desviacin estndar es la raz cuadrada de la varianza que son tomadas en unin con todas las calificaciones de los alumnos y nos dice cunto tienden a alejarse los puntajes del promedio que en este caso es el rango, es decir, cuanto se alejan de 72,0. La varianza es definida como la esperanza del cuadrado de la desviacin de dicha variable respecto a su media. Es el resultado de la divisin de la sumatoria de las calificaciones entre cada dato y su media aritmtica elevadas al cuadrado, y el nmero total de datos. Y se encarga de medir la variabilidad de las calificaciones, es una medida de dispersin. Aiken, L, (2003). 4. Cul es el rango del grupo? Calificacin Mayor Calificacin Menor = 88 16 = 72 De este dato se puede concluir que no existen alumnos que presentes resultados nulos pero que tampoco se encuentran estudiantes que hayan alcanzado todos los aciertos. Igualmente se concluye que la diferencia entre el alumno que obtuvo el mejor calificacin y el alumno que obtuvo la ms baja calificacin es de 72 puntos. Este valor es de suma importancia ya que informa acerca de cmo estn distribuidos los datos de una serie, analizando cmo se encuentran de concentrados o de dispersos, por lo que el rango se puede clasificar como una medida de dispersin. Surez, F. (1996). 5. Cul es el coeficiente de sesgo del grupo? Una situacin comn es una distribucin de calificaciones con sesgo positivo (pocas calificaciones altas y muchas calificaciones bajas), la cual representa los resultados de una prueba que quiz era demasiado difcil. Menos comn es una distribucin con sesgo negativo (muchas

6

calificaciones altas y pocas calificaciones bajas), la cual ocurre cuando una prueba es demasiado sencilla. Cada vez que la distribucin de frecuencia de un grupo de calificaciones muestra un sesgo marcado en una direccin positiva (a la derecha) o negativa (a la izquierda), se considera que la mediana es una medida mejor y menos sesgada de la tendencia central que la media aritmtica. En este caso el coeficiente de sesgo fue de -0,47. Dnde determina el grado de asimetra de la evaluacin. 6. Cul es el coeficiente de curtosis del grupo? Para este caso el coeficiente de curtosis es: - 0,58. La curtosis caracteriza la elevacin o el achatamiento relativo de una distribucin, comparada con la distribucin normal. Una curtosis positiva indica una distribucin relativamente elevada, mientras que una curtosis negativa indica una distribucin relativamente plana. Entonces para interpretar este resultado se tiene presente la explicacin expresada en DeCarlo (1997), donde una distribucin platicurtica tiene una menor concentracin de valores alrededor de la media, por lo que se recomienda centrar el anlisis en estadsticos de dispersin como la mediana o la moda, para describir ms asertivamente al grupo. 7. Representacin de la distribucin de calificaciones mediante un histograma. Es una distribucin de frecuencias de calificaciones que es representada grficamente, para elaborar un histograma, primero deben determinarse los lmites exactos de los intervalos de calificacin. Los lmites exactos de un intervalo se calculan restando .5 del lmite inferior y sumando .5 al lmite superior del intervalo. Despus de que se han calculado los lmites exactos de todos los intervalos, la frecuencia correspondiente a cada intervalo se representa como una barra vertical con una anchura que se extiende sobre los lmites exactos y una altura proporcional al

7

nmero de calificaciones que cae en el intervalo. El histograma no es ms que la representacin grfica de las frecuencias vs las calificaciones. Como se muestra a continuacin. Grafico 1. Calificaciones alumnos Tabla 2. Calificaciones alumnosCalificaciones 0-20 20.01-40 40.01-60 60.01-80 80.01-1004

Histograma20 18 16 14 12 10 8 6 4 2 0

19 17

Frecuencias

Frecuencias 3 7 19 17 4

7 3

0-20

20.01-40

40.01-60

60.01-80

80.01-100

Calificaciones

Grafico 2. Calificaciones alumnosHistograma16 14 12

Tabla 3. Calificaciones alumnosCalificaciones 16-28 28.01-40 40.01-52 52.01-64 64.01-76 76.01-88 88.01-100088.01-100

14 10 7 3

Frecuencias

10 8 6 4 2 0 16-28 28.01-40

9 7

Frecuencias 7 3 9 14 10 7 0

40.01-52

52.01-64

64.01-76

76.01-88

Calificaciones 8. Representacin de la distribucin de calificaciones mediante un polgono de frecuencias.

La representacin de los polgonos de frecuencia se construye conectando el punto medio de cada intervalo de clase, donde el rea total bajo la curva es igual al rea total bajo el histograma correspondiente, en conclusin sea a travs de histogramas o polgonos de frecuencia, el significado de los datos se puede comunicar ms efectivamente por medio de esta clase de grficos. A continuacin se muestran los correspondientes polgonos de frecuencia para esta actividad, partiendo de dos intervalos de clase especificados.

8

Grafico 3. Calificaciones alumnos

Tabla 4. Calificaciones alumnosCalificaciones 0-20 20.01-40 40.01-60 60.01-80 80.01-100 Frecuencias 3 7 19 17 4

Grafico 3. Calificaciones alumnos

Tabla 5. Calificaciones alumnosCalificaciones 16-28 28.01-40 40.01-52 52.01-64 64.01-76 76.01-88 88.01-100 Frecuencias 7 3 9 14 10 7 0

Anlisis acerca de las caractersticas psicomtricas del instrumento: 1. Cul es el ndice de dificultad de cada reactivo? La primera medida para evaluar la calidad de un elemento de prueba es su dificultad para el grupo. El ndice de dificultad de los tems, p, es la proporcin o porcentaje de estudiantes en el grupo de anlisis que respondi correctamente. El ndice de dificultad puede ser interpretado, con los expresados en proporciones que van desde 0,00 hasta 1,00 y los expresados en porcentajes que van desde 0 a 100, de la siguiente manera:

9

Tabla 6. Escalas de ndices de dificultadProporcin Porcentaje Muy difcil .00 - .49 0% - 49% Bastante difcil .50 - .69 50% - 69% Moderadamente fcil .70 - .89 70% - 89% Muy fcil .90 - 1.00 90% - 100%

Cuanto mayor sea el valor de p, o ndice de dificultad, ms fcil es el elemento para el grupo. (Carey, 2001) A continuacin, se describe el ndice de dificultad de cada uno de los reactivos correspondiente a la prueba: Tabla 7. ndices de dificultad por reactivos.Reactivo ndice de dificultad Reactivo ndice de dificultad Reactivo ndice de dificultad R1 0.62 R11 0.68 R21 0.56 R2 0.70 R12 0.56 R22 0.66 R3 0.58 R13 0.44 R23 0.70 R4 0.52 R14 0.52 R24 0.58 R5 0.72 R15 0.58 R25 0.50 R6 0.44 R16 0.62 R7 0.66 R17 0.60 R8 0.76 R18 0.56 R9 0.46 R19 0.38 R10 0.52 R20 0.38

2. Cules son los reactivos ms fciles y cules los ms difciles? Considerando lo anterior, la dificultad de un reactivo se entiende como la proporcin de personas que responden correctamente un reactivo de una prueba. Entre mayor sea esta proporcin, menor ser su dificultad. Para esta prueba los reactivos ms difciles fueron el R6, R19, R13, y R20. La prueba no presento reactivos muy fciles; sin embargo, los moderadamente fciles fueron el R2, R5, R8 y R23. 3. Cul es el ndice de discriminacin de cada reactivo? El anlisis del ndice de discriminacin se basa en la suposicin de que los estudiantes que reciben altas puntuaciones en la prueba general, obtienen mejores calificaciones en una base de elemento por elemento de los estudiantes que reciben bajos puntajes en la prueba general. Un ndice de discriminacin del tem permite a un profesor determinar si el rendimiento de los estudiantes en trminos individuales es compatible con sus rendimientos en general.

10

El ndices de discriminacin pueden variar -1,00 a 1,00 de la siguiente manera:

Mximo negativo discriminacin. Entre mayor y menor grupos de puntuacin -1.0 . No discrimina 0. Mximo positivo discriminacin. Entre mayor y menor grupos de puntuacin 1.0. Un ndice de discriminacin de 1,00 para un elemento indica la discriminacin positiva

mxima entre los ms altos y los estudiantes de menor puntuacin. Para observar este tipo de ndice, todos los estudiantes en el grupo de puntuacin ms alta tendran respuestas correctas, mientras que todos los estudiantes en el grupo de menor puntuacin tendran que perder el punto. Un ndice de 0.00 indica que el elemento no discrimina en absoluto entre las ms altas puntuaciones y las ms bajas de los estudiantes. Cuando el mismo nmero de estudiantes en cada grupo responde a un tema correctamente, el resultado es un ndice de discriminacin de 0.00. Discriminacin negativa mxima es de -1,00, lo que resulta cuando todos los estudiantes en el grupo de menor puntuacin responden correctamente a un tem y todos los estudiantes en la parte superior de puntuacin del grupo te lo pierden. En general, los altos ndices de discriminacin negativa reflejan los problemas. (Carey, 2001) Para la prueba de Precalculo, Se obtuvieron los siguientes resultados. Tabla 8. ndices de discriminacin por reactivos.Reactivo ndice de discriminacin Reactivo ndice de discriminacin Reactivo ndice de discriminacin R1 0.53 R11 0.47 R21 0.53 R2 0.47 R12 0.67 R22 0.53 R3 0.47 R13 0.27 R23 0.60 R4 0.40 R14 -0.07 R24 0.60 R5 0.40 R15 0.47 R5 0.53 R6 0.20 R16 0.53 R7 0.33 R17 0.80 R8 0.40 R18 0.67 R9 0.40 R19 0.33 R10 0.40 R20 0.53

4. Cules son los reactivos que mejor y que peor discriminan?11

Partiendo de la informacin consignada anteriormente, los reactivos que mejor discriminan son: R17, R18, R12, R23 y R24, porque reportan los ndices de discriminacin positivos ms altos para la prueba, determinando que para estos reactivos obtuvieron mayores aciertos los estudiantes del grupo que logro mejores calificaciones. Se puede detectar que el reactivo R14 es el que peor discrimina; debido a que reporta un ndice negativo, indicando que para dicho reactivo lograron ms aciertos el grupo de estudiantes que obtuvo las calificaciones ms bajas. De acuerdo a Ebel y Frisbie, (1986, citados por Backhoff, E., Larrazolo, N. y Rosas, M., 2000), mencionan la siguiente regla de dedo para determinar la calidad de los reactivos, en trminos del ndice de discriminacin. La Tabla 1, muestra los valores D y su correspondiente interpretacin. Asimismo, en la tabla se sealan las recomendaciones para cada uno de estos valores.

Tabla 9. Poder de discriminacin de los reactivos segn su valor DD= >0,39 0,30 0,39 0,20 0,29 0,00 0,19 < -0,01 Calidad Excelente Buena Regular Pobre Psima Recomendaciones Conservar Posibilidades de mejorar Necesidad de revisar Descartar o revisar a profundidad Descartar definitivamente

De acuerdo a la tabla, los reactivos R7 y R19 contemplan la posibilidad de mejorarlos; a la vez existe la necesidad de revisar los reactivos R6 y R13 y se descarta el reactivo R14. 5. Qu resultados arroj el anlisis de distractores?

12

A continuacin, se presentan los resultados del nmero de estudiantes que se inclinaron por cada una de las opciones correspondientes a cada reactivo, la respuesta correcta se encuentra resaltada. Tabla 10. Resultados de estudiantes que se inclinaron por opciones de respuesta.Nmero de 1s: Nmero de 2s: Nmero de 3s: Nmero de 4s: Nmero de 1s: Nmero de 2s: Nmero de 3s: Nmero de 4s: Nmero de 1s: Nmero de 2s: Nmero de 3s: Nmero de 4s: R1 9 31 3 7 R11 34 8 7 1 R21 11 6 5 28 R2 4 6 5 35 R12 6 28 11 5 R22 33 6 5 6 R3 29 16 1 4 R13 22 22 3 2 R23 2 35 8 5 R4 1 6 26 17 R14 11 7 6 26 R24 11 29 5 5 R5 36 6 8 0 R15 29 7 8 6 R25 8 14 3 25 R6 3 22 13 12 R16 4 10 31 5 R7 13 1 33 3 R17 30 6 5 9 R8 38 6 4 1 R18 7 5 10 28 R9 13 12 2 23 R19 19 9 14 8 R10 9 10 26 5 R20 8 8 19 15

El ndice utilizado para analizar la respuesta es la proporcin de estudiantes que seleccionan cada respuesta incorrecta, el distractor elegido por una gran parte del grupo, posiblemente, refleja ideas equivocadas, y los distractores no elegidos pueden reflejar las opciones consideradas ilgicas por los miembros del grupo. Distractores no elegidos o elegidos por uno: R3 distractor 3, R4 distractor 1, R8 distractor 4, R5 distractor 4, R7 distractor 2, R8 distractor 4 y R11 distractor 4= Reflejan opciones consideradas ilgicas. Distractores elegidos por ms de 15: R3 distractor 2, R4 distractor 4, R13 distractor 1, R19 distractor 3 y R20 distractor 4= Reflejan ideas equivocadas. A continuacin se describe el anlisis de todos y cada uno de los reactivos:

13

R1: para este reactivo los distractores A y D resultaron atractivos, ya que un 18% y 14% respectivamente de los estudiantes lo seleccionaron; mientras que para el distractor C un 6% de los estudiantes lo selecciono. R2: para este reactivo los distractores B y C resultaron atractivos, ya que un 12% y 10% respectivamente de los estudiantes lo seleccionaron; mientras que para el distractor A un 8% de los estudiantes lo selecciono. R3: para este reactivo el distractor B resulto muy atractivos, ya que un 22% de los estudiantes lo selecciono; mientras que los distractores C y D el 2% y 8% respectivamente de los estudiantes lo selecciono. R4: para este reactivo los distractores B y D resultaron atractivos, ya que un 12% y 34% respectivamente de los estudiantes lo seleccionaron; mientras que el distractor A solo fue seleccionado por el 2% de los estudiantes. R5: para este reactivo los distractores B y C resultaron atractivos, ya que un 12% y 16% respectivamente de los estudiantes lo seleccionaron; por su parte el distractor D, fue inefectivo porque no resulto atractivo para ninguno de los estudiantes 0%. R6: para este reactivo los distractores C y D resultaron atractivos, ya que un 26% y 24% respectivamente de los estudiantes lo seleccionaron; mientras que el distractor A solo fue seleccionado por el 6% de los estudiantes. R7: para este reactivo el distractor A resulto muy atractivos, ya que un 26% de los estudiantes lo selecciono; mientras que los distractores B y C, solo el 2% y 6% respectivamente de los estudiantes lo selecciono.

14

R8: para este reactivo el distractor B resulto atractivo, ya que un 12% de los estudiantes lo selecciono; mientras que para los distractores C y D, solo el 8% y 2% respectivamente de los estudiantes los seleccionaron. R9: para este reactivo los distractores A y B resultaron atractivos, ya que un 26% y 24% respectivamente de los estudiantes lo seleccionaron; mientras que para el distractor C un 4% de los estudiantes lo selecciono. R10: para este reactivo los distractores A, B y D resultaron atractivos, ya que un 18%, 20% y 10% respectivamente de los estudiantes lo seleccionaron. R11: para este reactivo los distractores B y C resultaron atractivos, ya que un 16% y 14% respectivamente de los estudiantes lo seleccionaron; por su parte el distractor D, solo obtuvo un 2% de estudiantes que lo seleccionaron. R12: para este reactivo los distractores A, C y D resultaron atractivos, ya que un 12, 22% y 10% respectivamente de los estudiantes lo seleccionaron. R13: para este reactivo el distractor A resulto sper atractivo, ya que un 44% de los estudiantes lo selecciono; mientras que los distractores C y D, solo el 6% y 4% respectivamente de los estudiantes lo selecciono. R14: para este reactivo los distractores A, B y C resultaron atractivos, ya que un 22%, 14% y 12% respectivamente de los estudiantes lo seleccionaron. R15: para este reactivo los distractores B, C y D resultaron atractivos, ya que un 14%, 16% y 12% respectivamente de los estudiantes lo seleccionaron. R16: para este reactivo los distractores B y D resultaron atractivos, ya que un 20% y 10% respectivamente de los estudiantes lo seleccionaron; por su parte el distractor A, solo obtuvo un 8% de estudiantes que lo seleccionaron.

15

R17: para este reactivo los distractores B, C y D resultaron atractivos, ya que un 12%, 10% y 18% respectivamente de los estudiantes lo seleccionaron. R18: para este reactivo los distractores A, B y C resultaron atractivos, ya que un 14%, 10% y 20% respectivamente de los estudiantes lo seleccionaron. R19: para este reactivo los distractores B, C y D resultaron atractivos, ya que un 18%, 28% y 16% respectivamente de los estudiantes lo seleccionaron. R20: para este reactivo los distractores A, B y D resultaron atractivos, ya que un 16%, 16% y 30% respectivamente de los estudiantes lo seleccionaron. R21: para este reactivo los distractores A, B y C resultaron atractivos, ya que un 22%, 12% y 10% respectivamente de los estudiantes lo seleccionaron. R22: para este reactivo los distractores B, C y D resultaron atractivos, ya que un 12%, 10% y 12% respectivamente de los estudiantes lo seleccionaron. R23: para este reactivo los distractores C y D resultaron atractivos, ya que un 16% y 10% respectivamente de los estudiantes lo seleccionaron; mientras que el distractor A solo fue seleccionado por el 4% de los estudiantes. R24: para este reactivo los distractores A, C y D resultaron atractivos, ya que un 22%, 10% y 10% respectivamente de los estudiantes lo seleccionaron. R25: para este reactivo los distractores A y B resultaron atractivos, ya que un 16% y 28% respectivamente de los estudiantes lo seleccionaron; mientras que para el distractor C un 5% de los estudiantes lo selecciono. 6. Cul es el valor de KR-20 del instrumento en lo general? El K-R20 suele oscilar entre 0,00 y 1,00, aunque los valores negativos son posibles. Un KR-20 con un ndice de 0.00 no refleja la consistencia interna de una prueba, y la obtencin de un

16

valor de esta instruccin despus de baja es muy poco probable. ndices superiores a 0.90 reflejan una excelente fiabilidad de consistencia interna. Los ndices cerca de 0,80 con frecuencia se obtienen de las pruebas en el aula que miden habilidades complejas y que se administran a grupos heterogneos de alumnos. (Carey, 2001) Para la prueba objetiva realizada se obtuvo un KR-20 = 0.78. 7. Qu se puede decir acerca de la confiabilidad de este instrumento? La confiabilidad de un instrumento de medicin se refiere al grado en que su aplicacin repetida al mismo sujeto u objeto, produce iguales resultados. Hernndez, Fernndez y Baptista (1997, citado por Silva, M. y Brain, M. 2006). De acuerdo al resultado indicado a travs del KR-20, el instrumento presenta una confiabilidad de consistencia interna alta, lo que indica que su aplicacin en condiciones similares permite obtener resultados similares. 8. Qu se puede decir acerca de la validez de este instrumento? De acuerdo a Silva, M. y Brain, M. (2006), la validez de un instrumento debe de tener las siguientes caractersticas: Evidencia relacionada con su contenido que hace alusin a que se plantea exactamente el fenmeno que se pretende medir y se presentan todas las formas bajo las cuales el fenmeno se pude ubicar y se lleva a cabo mediante revisin terica de la bibliografa correspondiente. Evidencia relacionada con el constructo: Se refiere al grado en que una medicin se relaciona consistentemente con otras mediciones. Un constructo es una variable medida y que tiene lugar dentro de una teora o esquema terico., donde el proceso de validacin est relacionado con la teora. Entre ms elaborado y comprobado se encuentre el marco terico

17

que apoye a la hiptesis, la validacin del constructo puede arrojar mayor luz sobre la validez de un instrumento de medicin. Evidencia relacionada con el criterio: Se relaciona con la eficacia que tiene un instrumento para predecir conductas especficas en determinadas situaciones y establece la validez de un instrumento de medicin comparndola con algn criterio externo. Por lo anterior se puede mencionar que el instrumento utilizado tiene un alto grado de validez, debido a que se estructur con base a un marco terico de matemticas y se realizaron los constructos de acuerdo a lo esperado para los alumnos de primer semestre de los Programas de Administracin de Empresas, Contadura Pblica e Ingeniera de Sistemas, en cuanto a un examen de teora de conjuntos. 9. En general, qu fortalezas y debilidades tiene este examen? Las fortalezas, se identifican a partir del rango del grupo de la calificacin mayor calificacin menor = 88 16 = 72, donde se tiene la posibilidad de afirmar que la complejidad de medir la habilidad del tema de acuerdo a las expectativas para el porcentaje de estudiantes propensos a responder correctamente es acertada debido a que los alumnos que han presentado este examen son alumnos que no son especialistas en el tema de matemticas, por lo que las caractersticas del rendimiento del grupo para identifican si el grupo es heterogneo u homogneo. De acuerdo a la proporcin de estudiantes que respondieron correctamente en un grupo muy heterogneo siempre es menor que el esperado para un grupo homogneo de alumnos de alto rendimiento. Otras fortaleza que presenta el examen, es que aborda especficamente lo esencial de los temas tratados; as como la claridad expuesta en cada uno de los reactivos y sus opciones de

18

respuesta, permitiendo que el estudiante exponga sus habilidades y avances en el aprendizaje de los temas. El examen a su vez garantiza la objetividad al momento de la calificacin. Las debilidades que se detectaron tomando como referencia los ndices de dificultad, de discriminacin y el de distractores son: De acuerdo a la regla de Ebel y Frisbie, (1986, citados por Backhoff, E., Larrazolo, N. y Rosas, M., 2000), considerando el ndice de discriminacin, se mejorarn los reactivos R7 y R19, revisar R6 y R13 y descartar o revisar ms a profundidad el R14. De acuerdo al ndice de dificultad los reactivos ms difciles fueron R6, R19, R13, y R20, donde se debe evaluar el grado de dificultad. De acuerdo al ndice de distractores, los distractores no elegidos o elegidos por uno: R3 distractor 3, R4 distractor 1, R8 distractor 4, R5 distractor 4, R7 distractor 2, R8 - distractor 4 y R11 distractor 4 = Reflejan opciones consideradas ilgicas = Reflejan opciones consideradas ilgicas y distractores elegidos por ms de 15: R3 distractor 2, R4 distractor 4, R13 distractor 1, R19 distractor 3 y R20 distractor 4= Reflejan ideas equivocadas. 10. Hay algn reactivo que requiera ser reconsiderado? Qu sugerencias concretas se haran para mejorarlo? Para determinar los reactivos que sern reconsiderados y las sugerencias concretas para mejorarlos, se decidi trabajar en las debilidades que presenta la prueba subjetiva: Al ndice de discriminacin, y utilizando la regla de Ebel y Frisbie, (1986, citados por Backhoff, E., Larrazolo, N. y Rosas, M., 2000), los reactivos a mejorar son R7 y R19, revisar R6 y R13 y descartar o revisar ms a profundidad el R14.

19

De acuerdo al ndice de dificultad los reactivos ms difciles fueron R6, R19, R13, y R20, donde se debe evaluar el grado de dificultad.

De acuerdo al ndice de distractores, los distractores no elegidos o elegidos por uno: R3 distractor 3, R4 distractor 1, R8 distractor 4, R5 distractor 4, R7 distractor 2, R8 distractor 4 y R11 distractor 4= Reflejan opciones consideradas ilgicas = Reflejan opciones consideradas ilgicas y distractores elegidos por ms de 15: R3 distractor 2, R4 distractor 4, R13 distractor 1, R19 distractor 3 y R20 distractor 4= Reflejan ideas equivocadas.

Anlisis de la prueba objetiva de los instrumentos. El reporte de los resultados a partir del juicio de expertos con respecto a los instrumentos para la evaluacin formativa debe responder a las siguientes preguntas. Anlisis acerca de las respuestas de los jueces y as como presentacin de mejoras a los instrumentos para la evaluacin formativa. 1. Cules fueron las respuestas de los jueces para cada criterio? A continuacin se presentan las rubricas con las respectivas respuestas por cada uno de los jueces: Tabla 11. Respuestas por la Dra. Flor Manuela Ariza Molina, Coordinadora Acadmica.Rubrica para la valoracin del reporte Criterio Justificacin de su uso Descripcin Se sustenta la importancia de aplicar a travs de un foro de discusin un reporte en equipo por medio de la estrategia didctica PBL y la resolucin de ejercicios matemticos con el mtodo Plya. El instrumento permite abordar la temtica correspondiente a los objetivos de aprendizaje, y por ende evidenciar sus logros. Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo

Relacin con los objetivos de aprendizaje

20

Integracin del mtodo de Plya

Resulta til como estrategia para la resolucin de problemas y como medio para el desarrollo de habilidades y de la comprensin matemtica.

Relacin con la evaluacin formativa

El desarrollo del producto permite regular el proceso de enseanza-aprendizaje

Incorporacin de Estrategia didctica

La estrategia didctica Aprendizaje basado en problemas, permite a los alumnos abordar problemas y fomentar el aprendizaje colaborativo. El porcentaje asignado en la rbrica permite valorar el aprendizaje de cada uno de los alumnos.

Valoracin del producto

En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo

Rubrica para la valoracin del portafolio Criterio Justificacin de su uso Descripcin Evala los distintos tipos de contenidos, Se sustenta la importancia de aplicar un portafolio. Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo


El instrumento permite abordar la temtica correspondiente a los objetivos de aprendizaje, y por ende evidenciar sus logros.






La estrategia didctica Aprendizaje basado en problemas, permite a los alumnos abordar problemas y fomentar el aprendizaje colaborativo.

21


El porcentaje asignado en la rbrica permite valorar el aprendizaje de cada uno de los alumnos.

En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo

Tabla 12. Respuestas por el Dr. Sal Enrique Vides Gmez, Tutor en las reas de Matemticas y Estadstica de los Programas de Administracin de Empresas, Contadura Pblica e Ingeniera de Sistemas.Rubrica para la valoracin del reporte Criterio Justificacin de su uso Descripcin Se sustenta la importancia de aplicar a travs de un foro de discusin un reporte en equipo por medio de la estrategia didctica PBL y la resolucin de ejercicios matemticos con el mtodo Plya. El instrumento permite abordar la temtica correspondiente a los objetivos de aprendizaje, y por ende evidenciar sus logros. Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo









Rubrica para la valoracin del portafolio

22

Criterio Justificacin de su uso

Descripcin Evala los distintos tipos de contenidos, Se sustenta la importancia de aplicar un portafolio.

Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo










Tabla 13. Respuestas por el Magister Ing. Nelson Ovidio Cceres Muoz, Tutor en las reas de Matemticas y estadstica de los Programas de Administracin de Empresas, Contadura Pblica e Ingeniera de Sistemas.Rubrica para la valoracin del reporte Criterio Justificacin de su uso Descripcin Se sustenta la importancia de aplicar a travs de un foro de discusin un reporte en equipo por medio de la estrategia didctica PBL y la resolucin de ejercicios matemticos con el mtodo Plya. El instrumento permite abordar la temtica correspondiente a los objetivos de aprendizaje, y por ende evidenciar sus logros. Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo


23








Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo

Rubrica para la valoracin del portafolio Criterio Justificacin de su uso Descripcin Evala los distintos tipos de contenidos, Se sustenta la importancia de aplicar un portafolio. Escala Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo








La estrategia didctica Aprendizaje basado en problemas, permite a los alumnos abordar problemas y fomentar el aprendizaje colaborativo.

24


El porcentaje asignado en la rbrica permite valorar el aprendizaje de cada uno de los alumnos.

Completamente en desacuerdo Completamente de acuerdo De acuerdo Ni de acuerdo ni en desacuerdo En desacuerdo Completamente en desacuerdo

2. Cules tuvieron ms coincidencias? En trminos generales, los Jueces coincidieron y resaltaron los instrumentos en cuanto a su estructura, teniendo en cuenta la fusin de diversas estrategias y procedimientos para llevarlos a cabo; por lo tanto, los instrumentos de evaluacin formativa son pertinentes. Cabe resaltar diversas aportaciones que los jueces consideran como positivas de los instrumentos:

El estudiante logra tener conocimientos de que se espera de l al terminar de realizar los instrumentos.

Ayudan a contextualizar los aprendizajes de los estudiantes y a darles sentidos. Proporcionan informacin valiosa sobre el grado de significatividad del aprendizaje, de acuerdo a los objetivos establecidos.

Exigen un nivel de anlisis durante la interactividad de su ejecucin. Fusionan la estrategia de aprendizaje y el mtodo de Plya, permitiendo que la resolucin de problemas mediante procedimientos, no sean evaluados como acontecimientos memorsticos; sino que se evalan cualitativamente en cuanto se desarrolla la ejecucin, porque se tiene en cuenta el conocimiento y grado de comprensin de los pasos involucrados en el procedimiento, el uso funcional, flexible y reflexivo del procedimiento.

Determinan el grado de dominio que se pretende que los estudiantes logren con respecto a la temtica abordada.

3. Qu cambios o precisiones se realizaron, por ende, ante sus recomendaciones?25

En cuanto al tem que se manifiesta en desacuerdo, la nica y acertada sugerencia consiste en reemplazar el trmino ejercicios por problemas, teniendo en cuenta que para resolver un ejercicio, se aplica un procedimiento rutinario que lo lleva a la respuesta; mientras para resolver un problema, se hace una pausa, reflexiona y hasta puede ser que se ejecuten pasos originales que no se haban ensayado antes para dar la respuesta. Por lo tanto, en la descripcin correspondiente al instrumento Reporte, se reemplazo el termino ejercicios por problemas; esto para que compagine la estrategia con el mtodo de Plya. Se realizaron los siguientes cambios para mejorar los reactivos: Tabla 14. Cambios a reactivos de opcin mltiple

26

# de Mejora 1 2

# de Reactivo 3 3 4

# de Distractor 3 2 1 4 4

Causa Distractor refleja opcin ilgica. Distractor refleja ideas equivocadas. Distractor refleja opcin ilgica. Distractor refleja ideas equivocadas. Distractor refleja opcin ilgica. Es difcil y no discrimina.

4 5 6 7 8 9 10 11

4 5 6 7 8 11 13 14

2 4 4 1

No discrimina y el distractor refleja opcin ilgica. Distractor refleja opcin ilgica. Distractor refleja opcin ilgica. Es difcil, no discrimina y el distractor refleja ideas equivocadas. De acuerdo al ndice de discriminacin debe descartarse y cambiarse por otro en su totalidad.

12 13

19 20

3 4

Es difcil, no discrimina y el distractor refleja ideas equivocadas. Es difcil y el distractor refleja ideas equivocadas.

A continuacin se presenta la prueba objetiva con los cambios sugeridos: Figura 1. Prueba objetiva mejorada

1.

Cul de las siguientes sentencias pertenece a la ley conmutativa? a. b. c. d. (A unin B) unin C = A unin (B unin C). A unin B = B unin A. A unin (B interseccin C) = (A unin B) interseccin (A unin C). A unin conjunto vaco = A.

27

2.

Cul de las siguientes afirmaciones es la correcta? a. b. c. d. Los elementos se designan con letras minsculas y maysculas. Los elementos que pertenecen al conjunto se representan por puntos exteriores a la curva. Los elementos que no pertenecen al conjunto se representan por puntos interiores a la curva. Los conjuntos se designan con letras maysculas.

3.

La forma correcta de representar grficamente un nmero racional es: a. 0 b. -1 c. 0 d. 1Justificacin 1 Justificacin 2 Justificacin 3 Ubicacin en la Nueva Taxonoma de Marzano y Kendall.2

/3 1 1 0.5 2 1 0Representa los numeros enteros. Forma basica de representacion en la recta. Representa numeros irracionales. [B1, 1.1 ].

-2/3 0

4.

La definicin {xR/ a

Evaluación del Aprendizaje 2

Documents

Transcript of Evaluación del Aprendizaje 2