Lectura Automática de Instrumentos de Medida Mediante Técnicas ...
TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte...
-
Upload
marcos-roman-gonzalez -
Category
Education
-
view
149 -
download
4
Transcript of TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte...
TÉCNICAS E INSTRUMENTOS PARA LA
RECOGIDA DE INFORMACIÓNTema 2: Características técnicas de los instrumentos de medida
(Parte II)
Asignatura Obligatoria (OB) de 2º curso
Grado en Pedagogía
Comprender la utilidad de la medición en educación
Saber calcular la dificultad, discriminación/homogeneidad y análisis de los distractores de un ítem; y fiabilidad y validez de un test
Saber calcular la unidimensionalidad de un test
Diferenciar la TCT de la TRI
Calcular los parámetros de un ítem desde la TRI
Interpretar la información de los parámetros y características de un ítem desde la TRI
Objetivos
Tema 2 – Características técnicas de los instrumentos de medida
Características técnicas de los instrumentos de medida
Tema 2 – Características técnicas de los instrumentos de medida
Hablaremos de las características técnicas de los instrumentos de medida, sobre todo en lo referente a
los ítems que los componen
Teoría Clásica de los Test (TCT)
Los resultados dependen de la muestra elegida
Los resultados se expresan en
relación al grupo normativo
Teoría de Respuesta al Ítem (TRI)
Los resultados son invariantes a
la muestra elegida
Pero exige un importante tamaño de
muestra (n>300)
Teoría de Respuesta al Ítem (TRI)
Tema 2 – Características técnicas de los instrumentos de medida
“La Teoría de Respuesta al Ítem (TRI) intenta brindar
una fundamentación probabilística al problema de medir
constructos latentes (no observables) y considera al ítem
como unidad básica de medición (…)
(…) La puntuación de una prueba en el modelo clásico
(TCT) estima el nivel de un atributo (aptitud, rasgo de
personalidad, interés, etc…) como la sumatoria de
respuestas a ítems individuales, mientras que la TRI se
centra exclusivamente en el ítem”
Teoría Clásica de los Test (TCT) vs. Teoría de Respuesta al Ítem (TRI)
Tanto la TCT como la TRI abordan el mismo problema:
tratar de calcular el error cometido al medir variables de
naturaleza psicopedagógica, pero…
TCT
• Puntaje Verdadero (V)
• Lineal X= V+e
• Las características métricas (fiabilidad y validez) son del test en su conjunto, y están referidas al grupo normativo.
• A posteriori.
TRI
• Aptitud (θ)
• Exponencial
• Las características métricas son de cada ítem, y son invariantes a la muestra elegida. Basta comprobar el ajuste al modelo con una muestra grande (n>300).
• A priori.
Supuestos y Postulados de la TRI
Tema 2 – Características técnicas de los instrumentos de medida
• La respuesta al ítem está determinada exclusivamente por una variable, denominada rasgo latente (modelos unidimensionales)
Unidimensionalidad
• La probabilidad de responder correctamente a un ítem es independiente de la probabilidad de responder a otro cualquiera.
Independencia Local
Supuestos y Postulados de la TRI
Tema 2 – Características técnicas de los instrumentos de medida
Postulados básicos de la TRI
El resultado de un individuo en un ítem es explicado por un rasgo latente o aptitud (θ).
A medida que la aptitud (θ) aumenta, también aumenta la probabilidad (P) de responder correctamente el ítem.
La función que relaciona ambas cosas P(θ) se llama función característica del ítem o curva característica del ítem (CCI).
P(θ) es una función monótona creciente.
Modelos desde la TRI
Tema 2 – Características técnicas de los instrumentos de medida
Nos centraremos en los modelos donde la CCI obedece a una función logística
En concreto veremos el modelo de Rasch de 1, 2 y 3 parámetros
Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
El parámetro θ se expresa estandarizado (media 0, desviación 1), y su recorrido
fundamental va desde -3 a +3.
El parámetro b viene expresado en la misma escala que θ, y en este modelo el
valor de b se corresponde al valor de θ para el cual P(θ) = 0,5.
Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
b=0
Ejercicio 1. Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un
ítem con b=0. ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con
una aptitud θ = -1? ¿Y con θ = 0? ¿Y con θ = 2? [Tomamos D=1,7]
Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 2. Supuesto un modelo TRI de Rasch de un solo parámetro. La CCI de
la izquierda corresponde al “ítem 1”, y la CCI de la derecha corresponde al “ítem
2”. ¿Cuál de los dos ítems tiene un mayor índice de dificultad?
Modelo de Rasch de 2 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
a = índice de discriminación del ítem
b=0,75 a=0,4 b=0,75 a=2,4
Modelo de Rasch de 2 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
b=0,75 a=0,4 b=0,75 a=2,4
Ejercicio 3. Supuesto un modelo TRI de Rasch de dos
parámetros. Para un sujeto con un nivel de aptitud θ = 1 ¿Cuál
es la probabilidad de acertar el ítem de la izquierda? ¿Y el ítem
de la derecha? [Tomamos D=1,7]
Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
En este modelo se añade el parámetro “c”, que
representa la probabilidad de acertar el ítem por azar, es
decir la probabilidad que tienen de acertar el ítem sujetos
con θ−∞
Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 4. ¿Cuál de los tres ítems cuyas CCI se
representan tiene una mayor probabilidad de ser
acertado por azar?
Ítem A
Ítem B
Ítem C
Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 5. Supuesto un modelo TRI de tres
parámetros. Dado un sujeto con un nivel de aptitud θ=0,
¿cuál es su probabilidad de acertar un ítem si a=1,5;
b=0,5; y c=0,1? ¿y si “c” se eleva hasta c=0,3?
[Tomamos D=1,7]
Calibración y Ajuste al Modelo TRI
Tema 2 – Características técnicas de los instrumentos de medida
Al proceso de estimación de los parámetros de los modelos TRI se
le denomina calibración, y necesita de muestras muy grandes
(n>300).
Para realizar el proceso de calibración:
1. Se debe optar por un modelo determinado (p.e., Rasch de 1, 2 ó
3 parámetros).
2. Se deben estimar los parámetros correspondientes a cada ítem
(se hace por procedimientos informático-matemáticos complejos,
que quedan fuera de la asignatura).
3. Calcular-confirmar la precisión de dichas estimaciones mediante,
por ejemplo, la bondad de ajuste de las curvas CCI construidas a
los datos.
Calibración y Ajuste al Modelo TRI
Tema 2 – Características técnicas de los instrumentos de medida
RE = Residuos estandarizados
Conforme RE aumente peor será el ajuste de las curvas a los datos.
Normalmente se fija un valor máximo de RE = 1,96 a partir del
cual se rechazaría el ajuste y, por tanto, la CCI construida
Calibración y Ajuste al Modelo TRI
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 6 (p. 79-80 del libro)
En la tabla adjunta se muestran los resultados de 60
escolares en un ítem de comprensión lectora.
Los resultados se han agrupado en 6 intervalos según
su puntuación en la variable latente θ.
Los parámetros estimados para un modelo logístico
de tres parámetros fueron: a=0,5; b=0,6; c=0,1
[Se considera D=1,7].
Se toma criterio de ajuste que ningún residuo
estandarizado supere en valor absoluto a 1,96.
¿Se ajusta el modelo construido del ítem a los datos
recogidos?
Aplicaciones de la TRI
Tema 2 – Características técnicas de los instrumentos de medida
• Construcción de conjuntos de ítems de propiedades métricas conocidas.
• Luego escoges los ítems en función de tu objetivo de medición (p.e., evaluación de aprendizajes, selección de personal, detección de altas capacidades…)
Bancos de ítems
• Se adaptan al nivel de aptitud del sujeto.
• Maximizan la precisión de la información que da el test sobre el sujeto (minimizan el error).
• Dicho de otra manera, pueden conseguir la misma precisión que otros test no adaptativos, pero a través de un menor número de ítems.
Test adaptativos