Modelos de Validación y Confiabilidad en Pruebas de Admisión
-
Upload
director-vladimir-carrion-ramos -
Category
Documents
-
view
10.249 -
download
3
description
Transcript of Modelos de Validación y Confiabilidad en Pruebas de Admisión
MODELOS DE VALIDACIÓN Y CONFIABILIDAD DE PRUEBAS Y
EXÁMENES DE ADMISIÓN
Lic. Mario Lic. Mario PossoPosso [email protected]@hotmail.com
PRUEBAS DE ADMISIPRUEBAS DE ADMISI ÓÓNN¿¿Ingresare?Ingresare?
[email protected]@hotmail.com
OBJETIVOOBJETIVO
�� DAR A CONOCER LOS MODELOS DE DAR A CONOCER LOS MODELOS DE VALIDACIVALIDACI ÓÓN Y CONFIABILIDAD DE N Y CONFIABILIDAD DE PRUEBAS Y EXPRUEBAS Y EX ÁÁMENES DE ADMISIMENES DE ADMISIÓÓNN
�� DETERMINAR LOS MODELOS DE DETERMINAR LOS MODELOS DE VALIDACIVALIDACI ÓÓN Y CONFIABILIDAD MN Y CONFIABILIDAD M ÁÁS S USADOS EN LOS EXAMENES DE USADOS EN LOS EXAMENES DE ADMISION Y PRUEBAS DE ADMISION Y PRUEBAS DE SELECCISELECCIÓÓNN
[email protected]@hotmail.com
IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
Institute of Higher Education, Shanghai Jiao Tong University,
IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
PRUEBAS DE SELECCIPRUEBAS DE SELECCI ÓÓNN
MEDICION MEDICION EDUCATIVAEDUCATIVA
Se puede medir las facultades
mentales y predecir
Comportamientos
INDIRECTA:INDIRECTA:
C.I, R.E o A o M
Medir:Medir: Asignar Numerales
a objetos o eventos de
acuerdo a reglas
- Indicadores: Prom, Capac.- Escalas: N, O, R, I - Validez - Confiabilidad
o
[email protected]@hotmail.com
Pruebas
Orales
Escritas
Elaborar
Respuestas
Elegir
Respuestas
Ensayo Libre
Ensayo Guiado
Respuesta breveDirecta
Incompleta
Alternativa simpleAlternativa triple
Alternativa múltipleDirecta
Combinada
Apareamiento
Estructuración autónoma
Estructuración cerrada
Discusión o Debate
TomarDecisión
[email protected]@hotmail.com
Capacidad de un instrumento para obtener y Capacidad de un instrumento para obtener y proporcionar informaciproporcionar informacióón directa y efectiva. n directa y efectiva.
VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS
Trata de garantizar que el Trata de garantizar que el testtest constituye constituye una muestra adecuada y representativa del una muestra adecuada y representativa del contenidocontenido que que ééste pretende evaluar.ste pretende evaluar.-- Definir tipos de contenidos y capacidad.Definir tipos de contenidos y capacidad.-- Muestra representativa de contenidosMuestra representativa de contenidos
VALIDACIVALIDACIÓÓN DE CONTENIDO:N DE CONTENIDO:
VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBASValidez del Contenido para la Elaboración de Reacti vos de Evaluación
Universidad: X Prueba : General
Área o AsigTODASTODAS
Temas:RM y V, RM y V, MtMt, CN, , CN, HumHum y Ly L
ObjetivoMEDIR CONOCMEDIR CONOC
Hipótesis (Ho): “Los conocimientos de los estudiantes que terminan el año en Pre X, se pueden medir, indiciariamente,
mediante pruebas de selección múltiple confiables y válidas, en constructo,teniendo en cuenta los contenidos básicos de los Silabus
Capacidad General,Capacidades Específicas:
Matriz de ConsistenciaUniverso: Local X, Y, Z
Identifica AnalizaAplicaCompara Sintetiza JuzgaArgumenta
SILABUSSILABUS
Matriz de ConsistenciaMatriz de ConsistenciaContenidos
Capacidades RM RV Mat C.Na Huma Legua Total
Identifica 44 44 44 44 44 44 24
Compara 33 33 33 44 33 44 20
Argumenta 33 44 33 44 44 44 22
Aplica 55 55 55 44 33 33 25
Analiza 33 44 33 33 55 55 23
Sintetiza 33 55 33 55 55 33 24
Juzga 22 22 22 22 22 22 12
Nº de ítems 23 27 23 26 26 25 150
Elaborado por: Tiempo de Prueba: 3 [email protected]@hotmail.com
INDICADORES
OPERATIVIZACIOPERATIVIZACIÓÓN DE LA EVALUACIN DE LA EVALUACIÓÓN N DE CAPACIDADESDE CAPACIDADES
CAPACIDAD
GENERAL
Capacidad específica
Capacidad específica
Capacidad específica
Capacidad específica
REACTIVOS
Grandes
propósitos
Procesos que
involucra la
capacidad
Evidencia
observable del
aprendizaje
Tareas que se
ejecuta para
evidenciar el
aprendizajeMED – DCN, 2007
Matriz de ConsistenciaMatriz de ConsistenciaContenidos
Capacidades2º Estrc.Atómo
4º UndQum Masa
6º Este-quiometria
9º QuímOrgán
Total
Identifica 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8
Compara 2 (T y A) 2 (T y A) 2 (T y A) 1 T 7
Argumenta 2 (T y A) 1 T 2 (T y A) 2 (T y A) 7
Aplica 2 (T y A) 2 (T y A) 1 A 2 (T y A) 7
Analiza 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8
Sintetiza 2 (T y A) 2 (T y A) 1 T 2 (T y A) 7
Juzga 1 A 2 (T y A) 2 (T y A) 1 A 6
Nº de ítems 13 13 12 12 50
Elaborado por: Tiempo de Prueba: 1 [email protected]@hotmail.com
EJEMPLO EN SECUNDARIAEJEMPLO EN SECUNDARIAI) La relación correcta entre capacidad, pregunta y respuesta es:
1) Identificar – El ángulo de inclinación axial de la tierra es a) 2º b) 23,4º c) 24º d) 97,9º e) N.A
2) Análisis – El número de ángulo de inclinación axial varia por a) La forma de traslación de una estrella b) La Traslación de ese planetac) La Forma de que ese planeta se formo d) N.A e) T.A
3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es: a) Estrella Roja b) Estrella azul c) Enana blancad) Pulsar e) Quasar
4) Síntesis – Lo que causa que el Sol es se convierta en rojo es:a) Los años de la estrella b) La cantidad de Helioc) La cantidad de hidrógeno d) N.A e) Cantidad de Iones
5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene:a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5
IDENTIFICAR
VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS
Trata de garantizar la existencia de un Trata de garantizar la existencia de un constructoconstructopsicolpsicolóógico que subyaga y dgico que subyaga y déé sentido y significado a sentido y significado a las puntuaciones del las puntuaciones del testtest. . Modo de evaluar:Modo de evaluar:AnAnáálisis Factorial y Matriz lisis Factorial y Matriz multimmultiméétodotodo--multirrasgomultirrasgo
VALIDACIVALIDACIÓÓN CONSTRUCTO:N CONSTRUCTO:
VALIDACIVALIDACIÓÓN PREDICTIVAN PREDICTIVA
Pronostica CAPACIDAD. Se correlaciona resultados Pronostica CAPACIDAD. Se correlaciona resultados obtenidos mediante Series Temporales con uno o obtenidos mediante Series Temporales con uno o mmáás de un grupo. Aplicar varias pruebas que midan s de un grupo. Aplicar varias pruebas que midan lo mismo a Un aula o Varias aulas, y ver Relacilo mismo a Un aula o Varias aulas, y ver Relacióón.n.
VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS
Se mide en forma sucesiva el desempeSe mide en forma sucesiva el desempeñño del o del estudiante en relaciestudiante en relacióón con una prueba o tarea n con una prueba o tarea especespecíífica. Anfica. Anáálisis Estadlisis Estadíístico stico CorrelacionalCorrelacional: :
a) Correlacia) Correlacióón Por Rangos (n Por Rangos (rhorho))
b) Correlacib) Correlacióón Por Puntuaciones Netas (r)n Por Puntuaciones Netas (r)
VALIDACIVALIDACIÓÓN CONCURRENTE:N CONCURRENTE:
O ValidaciO Validacióón por Referencia a un Criterio.n por Referencia a un Criterio.Finalidad:Finalidad: Contar con un mecanismo de Contar con un mecanismo de comprobacicomprobacióón conductual para emitir juicios y n conductual para emitir juicios y tomar decisiones.tomar decisiones.
VALIDACIVALIDACIÓÓN FUNCIONAL:N FUNCIONAL:
VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBASC
orre
laci
Cor
rela
cióó n
Por
Ran
gos
(n
Por
Ran
gos
( rhorh
o ))Puntuación en: Lugar o Rango Diferencia d
Prueba (X) Criterio (Y) Prueba (RX) Criterio (RY) Lugares (D) D*D
10 6 19 19 0 00
20 20 2 1,5 0,5 0,250,25
15 15 12 11 1 11
14 10 15,5 18 -2,5 6,256,25
19 20 4,5 1,5 3 99
20 18 2 5,5 -3,5 12,2512,25
18 19 6,5 3,5 3 99
17 17 8 7,5 0,5 0,250,25
15 16 12 9 3 99
13 13 17,5 16 1,5 2,252,25
15 13 12 16 -4 1616
18 17 6,5 7,5 -1 11
15 13 12 16 -4 1616
20 19 2 3,5 -1,5 2,252,25
19 18 4,5 3,5 1 11
14 15 15,5 11 4,5 20,2520,25
13 14 17,5 13,5 4 1616
16 15 9 11 -2 44
15 14 12 13,5 -1,5 2,252,25
9 4 20 20 0 00
Suma (D)Suma (D) 128128
)1(
*61
2
2
−−=
∑NN
RD
rho
)120(20
128*61
2 −−=rho
90,07980
7681 =−=rho
[email protected]@hotmail.com
Cor
rela
ciC
orre
laci
óó n P
or P
untu
acio
nes
Net
asn
Por
Pun
tuac
ione
s N
etas
Puntuación en: Puntuación al Cuadrado Prueba por
Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)
Abel 10 6 100 36 60
Aldo 20 20 400 400 400
Ary 15 15 225 225 225
Blas 14 10 196 100 140
Popper 19 20 361 400 380
Elba 20 18 400 324 360
Morgan 18 19 324 361 342
Mario 17 17 289 289 289
Flor 15 16 225 256 240
Hugo 13 13 169 169 169
DeVries 15 13 225 169 195
Lino 18 17 324 289 306
Lila 15 13 225 169 195
Irma 20 19 400 361 380
Juan 19 18 361 324 342
Nino 14 15 196 225 210
Nora 13 14 169 196 182
Olga 16 15 256 225 240
Réne 15 14 225 196 210
Rosa 9 4 81 16 36
Sumas 315 296 5151 4730 4901
Promedio 15,75 14,8
Desviac 3,16 4,29
yx SS
YXN
XY
r*
*−=
∑
22
−= ∑∑
N
X
N
Xs
1,320
315
20
51512
=
−=xs
2,420
296
20
47302
=
−=ys
92,02,4*1,3
8,14*75,1520
4901
=−
=rPearson
VALIDEZ PREDICTIVAVALIDEZ PREDICTIVALa UNI compara los desempeLa UNI compara los desempeñños finales de los alumnos os finales de los alumnos de 1de 1ºº aañño en un curso o en un curso AlgebraAlgebra (A) con los obtenidos en (A) con los obtenidos en su Examen de Admisisu Examen de Admisióón (EA). Muestra: 10 estudiantes; n (EA). Muestra: 10 estudiantes; A: Puntajes de 1 a 100 para EA: de 200 a 800. A: Puntajes de 1 a 100 para EA: de 200 a 800. Resultados Excel:Resultados Excel:
AlumAlum A B C D E F G H I JEA (X) 650 710 682 700 691 705 666 690 709 715
A (Y) 75 87 85 83 80 92 78 81 90 90
Coeficiente de: a) Spearman: b) Pearson: Interpretación: El EA es un procedimiento para
el futuro desempeño de los alumnos de A.
0,83 0,87
buen
vaticinar
[email protected]@hotmail.com
ANANÁÁLISIS DE LISIS DE ÍÍTEMSTEMS
Grado de EficienciaDe los ítems
I.DI.D == NcNcNtNt
* Intervalos:* Intervalos:0,00 0,00 –– 0,50 Muy F0,50 Muy F áácilcil0,51 0,51 –– 0,60 F0,60 Fáácilcil0,61 0,61 –– 0,70 0,70 ModeradoModerado0,71 0,71 –– 0,80 Dif0,80 Dif íícilcil0,81 0,81 –– 100 Muy dif100 Muy dif íícilcil
GRADO DEGRADO DEDIFICULTADDIFICULTAD
INDICE DE INDICE DE DISCRIMINACIDISCRIMINACIÓÓNN
I.DsI.Ds = = A A –– BBN N
DEBE SER DEBE SER >> 0,250,25RelaciRelacióón entre ID y n entre ID y IDsIDs
Las ID > de 0,8 Las ID > de 0,8
Carece de Carece de IDsIDs
[email protected]@hotmail.com
ÍÍndice Dificultad (ndice Dificultad (I.DI.D) )
I B (N) I.D
1 4 24 0,16667
2 5 24 0,20833
3 9 24 0,37500
4 22 24 0,91667
5 12 24 0,5000
6 7 24 =7/24
…
98 18 24 =18/24
99 15 24 =15/24
100 16 24 =16/24
AulaAula AA u
mar
posr
oj@
hotm
ail.c
omm
arpo
sroj
@ho
tmai
l.com
ÍÍndice de Discriminacindice de Discriminacióón (n (I.DsI.Ds))
II AA BB NN I.DsI.Ds
1 6 1 10 0,5
2 7 1 10 0,6
3 10
4 10
5 10
6 10
7 10
8 10
9 10
10 10
AulaAula AA u
I.DsI.Ds = = A A –– BB = = 6 - 1 = 5 = 0,5N N 10 10
[email protected]@hotmail.com
PRUEBAS CONFIABLESPRUEBAS CONFIABLES
RhoRho = 1 = 1 –– 6*EDR6*EDR
Aplicar el mismo instrumento2 veces a un mismo grupo.
Comparar mediante rho .Dificultad: Cambio conductual
Denota estabilidad yConstancia de los puntosVariación no significativa
TABLA DE EBELTABLA DE EBEL MMÉÉTODO DE PRUEBATODO DE PRUEBAREITERADAREITERADA
)1(
*61
2
2
−−=
∑NN
RD
rho
PSICO-METRIA
PRUEBAS CONFIABLESPRUEBAS CONFIABLES
Debe ser Debe ser >> 0,60 0,60
−
−= ∑
2
2
11 t
i
s
s
k
kr
m
mt r
rr
+=
1
2º1
MMÉÉTODO PORTODO PORBIPARTICIBIPARTICI ÓÓNN
1º Varianzas similar
2º Diferente Varianza
KR20KR20
COEFICIENTES DE COEFICIENTES DE CONFIABILIDADCONFIABILIDAD
KuderKuder –– RichardsonRichardson Alpha de Alpha de CrobachCrobach
KR21KR21
( )
−
−=
2s*m-k m
1*1 kk
kr
2
2
1 s
pqs
k
kr
−
−=
SPSSSPSS >> 0,80 0,80
+−=2
22
2112º2
ts
ssr
GuttmanGuttman
EJEMPLOS DE APLICACIEJEMPLOS DE APLICACIÓÓNN
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTALAlberto 1 1 1 0 1 0 1 1 0 0 4 2 6Betty 0 1 1 1 1 1 0 0 1 0 3 3 6
Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5
Federico 1 1 0 1 0 0 1 0 0 0 2 2 4Grover 0 0 0 0 0 0 1 0 1 1 2 1 3Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5Juana 1 1 1 1 1 0 1 0 1 0 5 2 7
Media uVarianza s
PAR: I2+I4+I6+I8+I10
IMP: I1+I3+I5+I7+I9
= 0,76
Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5 ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía
[email protected]@hotmail.com
KURDER KURDER –– RICHARDSON (KR21)RICHARDSON (KR21)Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTALAlberto 1 1 1 0 1 0 1 1 0 0 6Betty 0 1 1 1 1 1 0 0 1 0 6
Carmen 1 0 1 0 1 1 1 1 0 1 7Dionisio 1 1 1 1 1 0 1 1 1 1 9Estelita 1 1 1 0 0 0 0 1 1 0 5
Federico 1 1 0 1 0 0 1 0 0 0 4Grover 0 0 0 0 0 0 1 0 1 1 3Hurtado 1 1 1 1 1 1 1 1 1 1 10Isabel 0 1 0 1 0 1 1 0 1 0 5Juana 1 1 1 1 1 0 1 0 1 0 7Suma 7 8 7 6 6 4 8 5 7 4 62
p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6
p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16
Prom : 06,2
Var: 4,62= 0,59
KR20KR20 = 0,54
ALFA CRONBACHALFA CRONBACHAlumnos 1 2 3 4 5 6 Total
Alberto 3 3 2 0 2 2 12
Bartola 2 0 0 0 1 1 4
Cristian 5 2 1 1 3 2 14
Dayana 4 1 2 1 4 0 12
Elmer 1 2 1 0 1 1 6
Federico 3 3 2 0 4 2 14Desviació
n 1,29 1,06 0,74 0,47 1,25 0,74
Varianza 1,66 1,12 0,55 0,22 1,56 0,55
S2 = 15,21
Σ = 5,66
Calificación no
dicotomica= 0,75
[email protected]@hotmail.com
PRUEBAS CONFIABLESPRUEBAS CONFIABLESEDUMÉ-TRICA
q
p
s
Xpr
tbisp *.
−=
Orientado para Clasificar,en Categorías Los Logros de Aprendizaje. En forma estable.
CATEGORÍAS DE APRENDIZAJE
PUNTUACIÓN DECORTE
( )
( )
−+
−+
−
−=
∑
22
222
2
*1
1 Mit
Mitt
i
aLXs
LXss
s
k
kr
Cronbach - Livingston
EJEMPLOS DE APLICACIEJEMPLOS DE APLICACIÓÓNN
r (Pearson) = 0,70 Pi = 70 y PE = 42
Cov (X, Y) = 0,70*21,03*23,36 = 343,88
77,627
52,443=cr = 0,71
Ojo: Leer datos del taller
EJEMPLOS DE APLICACIEJEMPLOS DE APLICACIÓÓNNPreg 1º 2º 3º 4º Puntuación LMi
Max Puntos 2 2 4 8 Total 10 ptsAbel 2 0 2 4 8 NLDAldo 2 0 2 8 12 LDAry 2 1,5 4 6 13,5 LDBlas 2 1,5 2 2 7,5 NLD
Popper 2 0 3 2 7 NLDElba 2 0 0 0 2 NLD
Morgan 2 0 3 4 9 NLDMario 2 0 3 4 9 LDFlor 2 0 0 6 8 NLD
Hugo 2 1,5 4 2 9,5 NLDDesviación 0 0,81 1,34 2,27 u = 8,75 P = 12,16Varianza 0 0,65 1,79 5,15 s = 3,00 p = 0,30
Suma s = 7,59 q = 0,70
−=70,0
30,0*
3
75,816,12.bisprq
p
s
Xpr
tbisp *.
−= = 0,73
[email protected]@hotmail.com
Antes de aplicar un Instrumento:Antes de aplicar un Instrumento:Porcentaje MPorcentaje Míínimo:nimo:1. Del total de ítems para una evaluación.2. De Objetivos por lograr.3. Uniforme del total de ítems para cada objetivo4. Diferenciado del total de Ítems para cada objetivo5. Puntuación según competencia.6. Grado de complejidad por ítems.7. Relación entre relevancia de objetivo y comple-
jidad de los Ítems.
Formas para determinarFormas para determinarNiveles de Logro Niveles de Logro MinimoMinimo ((LmiLmi))
[email protected]@hotmail.com
MODELOS MMODELOS MÁÁS USADOSS USADOS
Los tipos de pruebas más comunes en el Perú, son analizados generalmente, en tesis, mediante el Índice de dificultad y de discriminación, son estandarizados con Alfa Cronbach, Kurder Richarson 20 y 21, y validación más usada es la de Constructo, de Contenido, y la Concurrente y a veces la Predictiva .
[email protected]@hotmail.com
BIBLIOGRAFÍA
1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de
Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2.
http://redie.uabc.mx/vol2no1/contenido-backhoff.html
2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de
Educación, Perú.
3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria,
Julio/Diciembre, vol. 4, número 002, México.
4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.
6) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall
Hispanoamericana.
7) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.),
Educational Measurement. Washington, DC: American Council on Education.
8) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales
de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú
9) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.
10) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos,
procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.
MUCHAS
GRACIAS
[email protected]@hotmail.com httphttp ://marposroj1976.://marposroj1976. blogspot.comblogspot.com //
http://investigando.org/educandos/