ESCUELA POLITÉCNICA NACIONAL - Repositorio...

1

ESCUELA POLITÉCNICA NACIONAL

FACULTAD DE INGENIERÍA DE SISTEMAS

DESARROLLO DE UN MÓDULO DE EVALUACIÓN DE CONOCIMIENTOS MEDIANTE EL USO DE ALGORITMOS

ADAPTATIVOS, PARA LA GENERACIÓN DE CUESTIONARIOS DINÁMICOS.

PROYECTO PREVIO A LA OBTENCIÓN DEL TÍTULO DE INGENIERO EN

SISTEMAS INFORMÁTICOS Y DE COMPUTACIÓN

CEVALLOS VENEGAS DANIEL RENÉ

[email protected]

IBARRA RUANO JOSÉ DIEGO

[email protected]

DIRECTOR: ING. CARLOS MONTENEGRO

[email protected]

Quito, Mayo 2012

II

DECLARACIÓN

Nosotros Cevallos Venegas Daniel René e Ibarra Ruano José Diego declaramos

bajo juramento que el trabajo aquí descrito es de nuestra autoría; que no ha sido

previamente presentada para ningún grado o calificación profesional; y, que

hemos consultado las referencias bibliográficas que se incluyen en este

documento.

A través de la presente declaración cedemos nuestros derechos de propiedad

intelectual correspondientes a este trabajo, a la Escuela Politécnica Nacional,

según lo establecido por la Ley de Propiedad Intelectual, por su Reglamento y por

la normatividad institucional vigente.

Cevallos Venegas Daniel René Ibarra Ruano José Diego

III

CERTIFICACIÓN

Certifico que el presente trabajo fue desarrollado por Cevallos Venegas Daniel

René e Ibarra Ruano José Diego bajo mi supervisión.

Ing. Carlos Montenegro

DIRECTOR DE PROYECTO

IV

AGRADECIMIENTO

Quiero agradecer primeramente a Dios, ya que

sin Él y sin su guía y dirección no hubiera

podido llegar a donde estoy. A mi familia por

todo el apoyo que me supieron brindar en todo

momento y de todas las formas.

Muchas gracias Señor tú eres el autor y el

responsable de que este aquí, gracias por tu

fuerza y tu ánimo sin ellos no lo hubiera logrado.

Gracias mamita, gracias papito, gracias ñañito,

gracias porque juntamente con Dios siempre

creyeron en mí y me enseñaron a creer en mí.

Daniel

V

AGRADECIMIENTO

En el camino hacia la cumbre se han presentado

muchos obstáculos pero gracias a la fortaleza de todos

quienes han estado junto a mí, se han superado.

Primero que todo agradezco a Dios por permitirme

escribir estas líneas, y por la bendición de llegar a la

finalización de este gran sueño.

A mis padres José y Elisa, por su ejemplo de

humildad, trabajo y esfuerzo.

A mis hermanos David y Daniel, por su paciencia,

alegría y fuerza.

A mi Rosita por su apoyo, cariño y confianza.

A mi amigo e incondicional compañero de las batallas

Daniel C. por su nobleza y temple.

A todos los integrantes de mi familia ya que siempre

su consejo me ha impulsado a conseguir las metas

propuestas.

A todos mis amigos de la AEIS 2007.

Y a todos mis panas guerreros buena nota, con los que

hemos pasado inolvidables momentos, en aquellos

geniales lugares que han sido testigo de nuestros

triunfos y fracasos, algunos de ellos siguen la lucha

hasta el día de hoy, otros ya no están.

Ah y a los ñoños sin ellos faltaría motivación.

Diego

VI

DEDICATORIA

Quiero dedicar este trabajo a Dios quien hizo

todo esto posible. Todo lo que he logrado lo

rindo hoy a Ti eres lo más importante de mi

vida.

A mi mamita por ser siempre la mejor mamá del

mundo, por todos los detalles que hizo por mí y

que muchos no pueden ver y que me

permitieron ser lo que soy.

A mi papito por siempre ver en mí lo grande que

Dios puso en mi interior, por ayudarme, por

darme y enseñarme lo necesario para ser un

buen hombre y seguir adelante y no rendirme.

A mi ñañito por cuidarme desde siempre, por

motivarme, por tenerme paciencia y ser siempre

en quien puedo confiar, por dejar de ver por sí

mismo y ver primero por mi y mi familia.

A todos que aquellos que creyeron en mí y me

impulsaron a seguir adelante y a continuar.

Daniel

VII

DEDICATORIA

Al maestro Jesús y mí amada Stma. Virgencita de

“El Quinche”, a quienes estoy encomendado desde

siempre, los mismos que me han permitido saltar

cada barrera en mi vida.

Va para mi madre Rosa Elisenia Ruano Bravo, por

todo su amor, apoyo y entrega en toda mi vida,

para ti este logro. ¡Madrecita de mi vida!

Va para mi Padre José Ibarra, y mis hermanos,

porque siempre me alentaron y jamás dudaron que

podría lograrlo. ¡Dioslespague!

A ti mijita Rosita, por brindarme, tu cariño, tu

estímulo comprensión y paciencia, para que

pudiera terminar este sueño los mismos que son

evidencia de tu gran amor. ¡Gracias!

Diego

VIII

TABLA DE CONTENIDO

DECLARACIÓN ...................................................................................................... 2

CERTIFICACIÓN .................................................................................................... 3

AGRADECIMIENTO ............................................................................................... 4

AGRADECIMIENTO ............................................................................................... 5

DEDICATORIA ....................................................................................................... 7

TABLA DE CONTENIDO ........................................................................................ 8

ÍNDICE DE TABLAS ............................................................................................. 13

RESUMEN ............................................................................................................ 14

INTRODUCCIÓN .................................................................................................. 15

CAPITULO I. PROCESO DE EVALUACIÓN AUTOMÁTICA ................................. 1

1.1 MÉTODOS DE EVALUACIÓN ................................................................ 1

1.2 DESCRIPCIÓN DE METODOLOGÍAS ...................................................... 4

1.3 TEORÍA DE RESPUESTA AL ÍTEM (TRI) ................................................. 5

1.3.1 Fundamentos ........................................................................................ 6

1.3.2 Curva característica del ítem (CCI) ...................................................... 7

1.4 TEST ADAPTATIVOS INFORMATIZADOS (TAI) .................................... 10

1.5 VENTAJAS E INCONVENIENTES DE LOS TAI...................................... 14

1.6 VENTAJAS DE LA TRI RESPECTO CON LA TEORÍA CLÁSICA ............ 15

CAPITULO II. DESCRIPCIÓN DEL ALGORITMO ............................................. 22

2.1 MODELO LOGÍSTICO DE UN PARÁMETRO (MODELO DE RASCH) .... 23

2.2 MODELO LOGÍSTICO DE DOS PARÁMETROS. ................................... 25

2.3 MODELO LOGÍSTICO DE TRES PARÁMETROS ................................... 26

2.4 ESTIMACIÓN DE PARÁMETROS............................................................ 27

2.5 FUNCIÓN DE INFORMACIÓN ................................................................. 33

2.6 PROCEDIMIENTOS DE ARRANQUE ...................................................... 37

2.7 MÉTODO DE SELECCIÓN DE PREGUNTA ............................................ 37

IX

2.8 MÉTODO DE PARADA ............................................................................ 38

CAPITULO III DESARROLLO Y PRUEBAS ....................................................... 40

3.1 HERRAMIENTAS DE SOFTWARE .......................................................... 40

3.2 EXPLICACIÓN DE LA ARQUITECTURA DEL APLICATIVO ................... 42

3.3 IMPLEMENTACIÓN DEL ALGORITMO AL APLICATIVO TAI-WEB ........ 43

3.3.1 Algoritmo adaptativo de evaluación .................................................... 43

3.3.2 Incorporación del algoritmo adaptativo al código fuente. .................... 46

3.3.3 Aplicación de algoritmo....................................................................... 49

3.4 PANTALLAS DESCRIPTIVAS DEL PROCESO DE EVALUACIÓN. ........ 54

3.4.1 Como administrador ........................................................................... 54

3.4.1.1 Descripción de los archivos necesarios para el aplicativo .... 61

3.4.2 Para la sesión usuario ........................................................................ 67

3.5 PRUEBAS DE CAJA NEGRA ................................................................... 72

3.6 PRUEBAS DE CAJA BLANCA ................................................................. 78

3.7 PRUEBAS DE RENDIMIENTO ................................................................. 82

CAPITULO IV. CONCLUSIONES Y RECOMENDACIONES .............................. 86

4.1 CONCLUSIONES ..................................................................................... 86

4.2 RECOMENDACIONES ............................................................................. 89

BIBLIOGRAFÍA .................................................................................................... 91

ANEXOS ............................................................................................................. 933

GLOSARIO DE TÉRMINOS ................................................................................. 93

X

ÍNDICE DE FIGURAS

Figura 1.1 Curva característica de un Ítem. ................................................................................... 8

Figura 1.2 Parámetros de la curva característica de un Ítem. ......................................................... 9

Figura 1.3 Modelo del algoritmo de un TAI .................................................................................. 11

Figura 2.1 Datos de ejemplo. ...................................................................................................... 22

Figura 2.2 Curva de Probabilidad contra nivel de rasgo ............................................................... 24

Figura 2.3 Modelo logístico de dos parámetros. .......................................................................... 26

Figura 2.4 Modelo logístico de tres parámetros ........................................................................... 27

Figura 2.5 Probabilidad de acertar el primer Ítem ......................................................................... 29

Figura 2.6 Probabilidad de acertar el segundo Ítem ...................................................................... 30

Figura 2.7 Curva de verosimilitud ................................................................................................ 31

Figura 2.8 Curva función de información de dos Ítems ................................................................. 35

Figura 2.9 Curva función de información ...................................................................................... 36

Figura 3.1 Diagrama de la arquitectura del aplicativo................................................................... 41

Figura 3.2 Formato del archivo Preguntas. ................................................................................. 43

Figura 3.3 Formato del archivo Respuestas. ............................................................................... 44

Figura 3.4 Formato del archivo Parámetros. ................................................................................ 44

Figura 3.5 Modelo de adaptación al código fuente I ...................................................................... 45

Figura 3.6 Modelo de adaptación al código fuente II ..................................................................... 46

Figura 3.7 Modelo de adaptación al código fuente III .................................................................... 47

Figura 3.8 Modelo de adaptación al código fuente IV ................................................................... 48

Figura 3.9 Diseño del algoritmo .................................................................................................... 49

Figura 3.10 Diseño de la interfaz de presentación. ...................................................................... 52

Figura 3.11 Diseño interfaz de login. ............................................................................................ 54

Figura 3.12 Validación de campos............................................................................................... 55

Figura 3.13 Diseño interfaz de menú. .......................................................................................... 55

Figura 3.14 Diseño de interfaz Inicio. ........................................................................................... 56

Figura 3.15 Diseño de cuadro consulta de Banco de preguntas.................................................. 56

Figura 3.16 Diseño de consulta banco de preguntas total. ........................................................... 57

XI

Figura 3.17 Diseño de interfaz Creación de bancos de preguntas. .............................................. 57

Figura 3.18 Validación de campos............................................................................................... 58

Figura 3.19 Validación de ingreso de creación de bancos de preguntas. ..................................... 58

Figura 3.20 Creación satisfactoria del banco. .............................................................................. 59

Figura 3.21 Consulta de bancos creados..................................................................................... 59

Figura 3.22 Consulta de carga de preguntas al banco seleccionado. ........................................... 60

Figura 3.23 Modelo de carga de archivos de preguntas. .............................................................. 60

Figura 3.24 Características de los archivos de carga. .................................................................. 61

Figura 3.25 Ejemplo de archivos cargados al aplicativo. .............................................................. 62

Figura 3.26 Validación de carga. ................................................................................................. 63

Figura 3.27 Confirmación de carga al aplicativo .......................................................................... 63

Figura 3.28 Consulta de carga de preguntas. .............................................................................. 64

Figura 3. 29 Creación de cuestionarios. ...................................................................................... 64

Figura 3.30 Parametrización de cuestionario. .............................................................................. 65

Figura 3.31 Ejemplo de validación del cuestionario. .................................................................... 65

Figura 3.32 Selección de cuestionario .......................................................................................... 66

Figura 3.33 Login Usuario. .......................................................................................................... 67

Figura 3. 34 Selección de cuestionario. ...................................................................................... 67

Figura 3. 35 Respuestas al cuestionario seleccionado por el usuario. .......................................... 68

Figura 3.36 Validación de respuestas. ......................................................................................... 69

Figura 3.37 Diseño de reporte final con resultados. ..................................................................... 69

Figura 3. 38 Mensajes de recomendaciones. ............................................................................... 71

Figura 3.39 Validación de cuestionario ya contestado. ................................................................ 71

Figura 3. 40 Pruebas funcionales I. ............................................................................................. 72

Figura 3. 41 Pruebas funcionales II. ............................................................................................ 78

Figura 3.42 Pruebas funcionales III. ............................................................................................ 79

Figura 3.43 Pruebas funcionales IV. ........................................................................................... 80

Figura 3.44 Pruebas de rendimiento ............................................................................................ 81

Figura 3.45 Pruebas de rendimiento II ........................................................................................ 83

Figura 3.46 Pruebas de rendimiento III ....................................................................................... 84

XII

Figura 3.47 Pruebas de rendimiento III ....................................................................................... 85

XIII

ÍNDICE DE TABLAS

Tabla 1.1 Comparativas Teoría clásica y Teoría de respuesta al Ítem……………………………21

Tabla 2.1 Valores del número de Ítems y valor de theta para un parámetro…………………...32

Tabla 3.1 Formato archivo de preguntas……………………………………………………………..61

Tabla 3.2 Formato archivo respuestas………………………………………………………………..62

Tabla 3.3 Formato archivo parámetros………………………………………………………………..62

Tabla 3.4 Representación formato de presentación de datos finales…………………………...70

Tabla 3.5 Resultados pruebas con respuestas aleatorias………………………………………….. 73

Tabla 3.6 Resultados pruebas con respuestas incorrectas……………………………………….74

Tabla 3.7 Resultados pruebas con respuestas verdaderas………………………………………75

Tabla 3.8 Resultados con las respuestas falsas……………………………………………………76

Tabla 3.9 Resultados pruebas con respuestas correctas…………………………………………77

XIV

RESUMEN

En este trabajo se implementa un Test Adaptativo Informatizado (TAI) para

evaluar conocimientos. Este modelo de evaluación se apega a estándares

internacionales para ingreso a escuelas militares, de tecnología y sociología.

De acuerdo a las respuestas que el estudiante presente en cada pregunta, el TAI

debe inferir el nivel de conocimiento del evaluado; de esta manera, si el

estudiante evaluado es sobresaliente el número de preguntas será menor que el

número de preguntas que deberá contestar un estudiante de nivel medio o bajo.

Además, la aplicación le brinda la oportunidad a un estudiante de nivel medio o

bajo, mediante la contestación de un mayor número preguntas mejorar su

puntaje en la calificación final.

De esta forma, el proceso de evaluación se puede realizar en su totalidad con

ayuda del computador, dejando para el profesor o el administrador, la creación y

calibración de los bancos de preguntas y la interpretación y uso de los resultados

obtenidos. Además, los test adaptativos administrados por ordenador reducen

significativamente la longitud de los test, a la vez que proporcionan estimaciones

del nivel de conocimiento cuya precisión es al menos tan buena como las

obtenidas con los test tradicionales.

XV

INTRODUCCIÓN

En la actualidad las evaluaciones en los distintos tópicos de las materias que

forman parte de las carreras de ingeniería, no aprovechan todo el potencial de los

estudiantes debido a que la calificación obtenida por un estudiante en una

determinada área del conocimiento no puede demostrar toda la capacidad del

mismo.

Por tal razón se ha construido una herramienta que evalué de una manera

diferente.

En el primer capítulo se describe toda la teoría que se debe aplicar para lograr la

construcción del test adaptativo informatizado.

En el segundo capítulo se hace un análisis de los modelos de algoritmos

existentes y se toma el modelo de tres parámetros para realizar la implementación

del nuevo algoritmo.

En el tercer capítulo se implementa la construcción del algoritmo adaptativo

haciendo uso de la arquitectura de modelo vista controlador, la cual es más

eficiente para la implementación del algoritmo diseñado, luego de realizar la

calibración se exponen una serie de pruebas que abalizan el correcto

funcionamiento del mismo.

En el cuarto capítulo se presentan las distintas conclusiones y recomendaciones

que fueron el resultado de la realización del presente trabajo.

1

CAPITULO I. PROCESO DE EVALUACIÓN AUTOMÁTICA

1.1 MÉTODOS DE EVALUACIÓN

En la actualidad la evaluación es un tema de trascendental importancia en la

educación a todo nivel. Es un proceso que involucra no solo al evaluado sino a

todo el conjunto de actores que intervienen en el proceso educativo, esto implica

la obtención e interpretación de la información para ser posible la emisión de un

juicio de valor que permita la orientar la toma de decisiones, es por ello que se

requiere alcanzar determinados niveles de calidad para aprovechar así recursos,

tiempos y esfuerzos de todos los participantes.

Por esta razón la evaluación ha permitido hoy en día modificar procesos y

programas en la educación. No obstante el proceso de evaluación de estudiantes

es una tarea aun compleja principalmente debido a la subjetividad de la misma.

Evaluación del aprendizaje

La evaluación del aprendizaje, consiste en el mejoramiento de la calidad de la

enseñanza, razón por la cual se ha podido modificar sensiblemente aspectos

como los programas de enseñanza, los procesos de selección además de la

propia definición del concepto de evaluación.

Actualmente varias definiciones coinciden en reconocer, como procesos básicos

de la evaluación, a la recogida de información y a la emisión de un juicio

valorativo.

No obstante, existen discrepancias en la extensión del concepto, y por tanto del

proceso evaluativo en su totalidad, en lo que se refiere a la inclusión o no del

juicio valorativo y de la toma de decisiones derivadas de la información y

valoración que se realizan, así como de la ejecución de esas decisiones y sus

resultados.

2

Existe una característica importante en la evaluación del estudiante la misma que

consiste en la interrelación que se establece entre el evaluador y el evaluado.

Por esto el objeto sobre quien recae la evaluación es otra persona ya sea

individual o en grupo la misma que pasa a formar parte de la acción y co-participa

en mayor o menor medida con el proceso de evaluación de aquí que el evaluado

tenga la capacidad de devenir a su propio evaluador.

La evaluación constituye un proceso de comunicación interpersonal cumpliendo

todas las características y presentando diversos problemas propios de la

comunicación humana.

La comprensión de la evaluación del aprendizaje como comunicación es vital

para entender por qué sus resultados no dependen sólo de las características del

"objeto" que se evalúa, sino, además, de las peculiaridades de quien(es)

realiza(n) la evaluación y, de los vínculos que establezcan entre sí. Asimismo, de

las características de los mediadores de esa relación y de las condiciones en que

se da la misma.

Instrumentos de evaluación

Existen varias técnicas e instrumentos con sus respectivos recursos para verificar

si las competencias y logros propuestos se han alcanzado entre estos se

encuentran dos puntos:

La técnica de observación utiliza:

· Emparejamiento

· Escalas de rango

· Rubrica

La técnica de desempeño utiliza:

· Pregunta objetiva

· Debate

· Ensayo

· Proyecto

· Solución de problemas

3

· Pruebas de múltiple opción

· Selección de alternativas constantes

Las técnicas de observación son auxiliares de las técnicas de desempeño, estas

técnicas se debe tener en cuenta que deben ser objetivas confiables y precisas.

Las tareas de evaluación deben coincidir con lo que se ha ensenado, los criterios

de evaluación deben estar claramente comprendidos por los evaluados, los

evaluados deben saber que sus resultados van a ser comparados con los

requerimientos establecidos.

Se tienen las pruebas de múltiple opción que se componen de un conjunto de

preguntas claras y precisas, en general de limitada elección por parte del

evaluado.

Pruebas de selección simple

Se caracterizan por presentar una sola respuesta correcta.

Pruebas de selección de repuestas con alternativas constantes

Se deben determinar la veracidad o negación de las preguntas propuestas. Y esta

es la selección que se tomado como fundamento para la implementación del

presente algoritmo.

Pruebas de emparejamiento

Son las que están conformadas por dos listas con datos a emparejar entre

premisas y respuestas.

4

1.2 DESCRIPCIÓN DE METODOLOGÍAS

TIPOS DE TEST

El modelo más desarrollado es la Teoría Clásica iniciada por el autor Spearman,

que es un modelo de regresión lineal con dos variables cuyo supuesto

fundamental es que el puntaje x de una persona en un test es la suma del puntaje

verdadero de esta persona más un error:

X = C + e.

El segundo modelo, surgido en los años 60 para complementar el primero, se

debe a el autor Cronbach y otros, y es el llamado de la Generalizabilidad que

gracias al uso especifico del análisis de variancia hace posible analizar las

distintas fuentes de error que se presentan en los puntajes mediante los

conceptos de faceta, que es un término introducido por Cronbach para designar

cada una de las características de la situación de medición que puede modificarse

de una ocasión a otra y por tanto, hacer variar los resultados obtenidos (por

ejemplo los ítems de un test, las formas de codificar las respuestas, las

situaciones de examen, entre otros).

El tercer modelo es la Teoría de Respuesta al Ítem (TRI), inicialmente conocida

como Teoría del Rasgo Latente (TRL) o también como Teoría de Respuesta al

Reactivo (TRR). Su nombre es debido a que se consideran los ítems como las

unidades básicas de los test.

De lo anterior se puede rescatar que una ventaja de considerar otros enfoques es

la oportunidad de estimar mediciones psicológicas adicionales que no pueden ser

proporcionadas por la teoría clásica. Es importante tomar en cuenta, que el

enfoque de la TRI, no contradice ni los supuestos ni las conclusiones

fundamentales de la teoría clásica.

5

Son solo enfoques que dan información adicional, si es que la metodología

empleada y los requisitos adicionales se cumplen. Por ello el carácter de estos

modelos, es complementario a los de la teoría clásica.

En el presente proyecto para la evaluación de cada uno de los capítulos se

aplicará la Teoría de Respuesta al Ítem (TRI) para lo cual es necesario conocer

los modelos logísticos parametrizados, los métodos de estimación del nivel de

aptitud y los métodos de selección de preguntas.

1.3 TEORÍA DE RESPUESTA AL ÍTEM (TRI)

La Teoría de Respuesta al Ítem (TRI) es una conceptualización, que partiendo de

ciertos conceptos básicos de medición y usando las herramientas de la estadística

y la matemática, busca encontrar una descripción teórica para explicar el

comportamiento de los datos empíricos derivados de la aplicación de un

instrumento psicométrico. Los parámetros estimados por el modelo permiten

entonces evaluar la calidad técnica de cada uno de los ítems o reactivos por

separado y del instrumento como un todo y a la vez estimar el nivel que cada

examinado, o evaluado presenta en el tema de estudio a ser calificado.

En un modelo de TRI se asume que hay una variable latente (θ), no observable

directamente y que se desea estimar para cada examinado a partir de las

respuestas suministradas por éste en el instrumento de medición. Además se

asume que para cada ítem o pregunta el comportamiento de las respuestas dadas

por los examinados puede ser modelado mediante una función matemática que se

denomina Curva Característica del Ítem o CCI.

Existen dos aplicaciones informáticas en Psicometría las cuales son los Test

Óptimos (TO) y Test Adaptativos Informatizados (TAIs). Un Test Óptimo es un test

fijo, que se aplica a todos los evaluados, cuyos ítems se seleccionan de un banco

calibrado para que cumpla determinadas condiciones psicométricas o

restricciones respecto a los contenidos que debe incluir. Dependiendo de los

objetivos de la aplicación, en la construcción del TO pueden enfatizarse aspectos

6

diferentes como la precisión global del test, la precisión asociada a un punto

concreto de la escala de habilidad o su validez de contenido.

Por otro lado, un TAI es básicamente un test administrado por computador donde

la presentación de cada ítem y la decisión de finalizar el test se toman de forma

dinámica basándose en la respuesta del alumno y en la estimación de su nivel de

conocimiento. En otros términos, un TAI es un algoritmo iterativo que comienza

con una estimación inicial del nivel de conocimiento del alumno.

* La Teoría de Respuesta al Ítem tiene como objetivo obtener mediciones que no

varíen en función del instrumento utilizado, disponer de instrumentos de medida

que no dependen de los objetos medidos, es decir, que sean invariantes respecto

a los sujetos evaluados y avances técnicos como funciones de información de los

ítems y del test, errores típicos de medida diferentes para cada nivel de la variable

medida y el establecimiento de bancos de ítems con parámetros estrictamente

definidos. *

Por esto la TRI, es un modelo estadístico que relaciona la probabilidad de

respuesta a un reactivo (ítem) en función a un parámetro específico del ítem y el

nivel de rasgo latente que presenta un determinado sujeto.

1.3.1 Fundamentos

El objetivo principal de la TRI es “conseguir medidas invariantes respecto de los

sujetos medidos y de los instrumentos utilizados” (Muñiz, 1997, p.17). En la

unificación de estos dos conceptos, separación de parámetros e in-varianza de los

mismos, está la clave del éxito de esta teoría. Para conseguir estos objetivos, la

TRI desarrolla un conjunto de modelos matemáticos que comparten esta idea

central, es decir, todos asumen que la probabilidad de que una persona emita una

determinada respuesta ante un ítem puede ser descrita en función de la posición

de la persona en el rasgo o aptitud latente (variable que suele denominarse

genéricamente con la letra griega θ) y de una o más características de ítem

(índice de dificultad, de discriminación, probabilidad de acertar por azar). Es por

ello, que los principales supuestos de esta teoría son proposiciones referidas a la

naturaleza del rasgo que se pretende medir (supuesto de unidimensionalidad del

7

espacio latente) y a las relaciones que se esperan entre las respuestas de los

ítems (independencia local).

Esta teoría constituye un nuevo enfoque ya que permite superar algunas de las

limitaciones de la antigua Teoría clásica de los test.

Se pretende obtener la puntuación que corresponda a una persona en una

determinada dimensión del conocimiento, basándose en aspectos como su

inteligencia, su nivel en un cierto rasgo de personalidad, su dominio en cierta

materia, entre otros.

La ventaja de la TRI, es que mide la habilidad del examinado y la dificultad de los

ítems en la escala, lo que facilita su comparación. Se trata del intervalo de valores

(-∞, + ∞), con el valor de 0 como punto medio. Si se considera representado en

una recta horizontal, los ítems más fáciles aparecerán a la izquierda del eje y los

más difíciles a la derecha. De igual manera, los sujetos con menor habilidad se

situarían más a la izquierda que aquellos con mayor destreza.

1.3.2 Curva característica del ítem (CCI)

Como ya se ha señalado, existe una relación funcional entre los valores de la

variable que miden los ítems y la probabilidad de acertar éstos, y de ahí que un

objetivo de la TRI sea establecer la mejor función que ajuste esta relación, es

decir, una función que dé cuenta de la relación entre la probabilidad de acertar el

ítem con la localización en el rasgo de los sujetos; en concreto, esa relación

puede ser expresada mediante una función (ver figura 1.1) de regresión no lineal

que une cada valor en el rasgo con la puntuación medida condicionada en el ítem,

que, en el caso de ítems dicotómicos, coincide con la probabilidad condicionada al

nivel de θ de acertar el ítem.

Esta función de enlace recibe el nombre de Curva Característica del ítem (CCI),

Huella del ítem o Función de Respuesta al Ítem (Lord y Stocking, 1988, Fischer,

1995). Cada ítem está caracterizado por una CCI particular y propia, es decir, las

CCI de los ítems que miden una determinada variable θ no son iguales, aunque

8

comparten determinadas formas generales como se verá más adelante. La forma

particular de cada CCI depende de los parámetros o características de cada ítem.

Bajo esta teoría las características del ítem son independientes de la distribución

de la aptitud en la población de sujetos. Lo que implica que la CCI también es

igualmente invariante o independiente del objeto medido. Dado que relaciona la

localización de los sujetos en el rasgo con sus respuestas, también es útil para

realizar inferencias en el sentido opuesto, es decir, de las respuestas de los

sujetos a su localización en el rasgo, que es el objetivo del proceso de medida.

En la TRI cada ítem se define por una función matemática que relaciona la

probabilidad de una respuesta correcta y la habilidad del estudiante, la curva

característica del ítem proporciona para cada ítem la probabilidad de que un

alumno, dependiendo de su habilidad responda correctamente.

Figura 1.1 Curva característica de un Ítem

Fuente: http://innoevalua.us.es/files/irt.pdf, Modelos de Medición: Desarrollos actuales, supuestos, ventajas e inconvenientes. Pág.: 9.

9

Aunque las características de los ítems pueden ser numerosas, en particular son

tres los parámetros que se suelen proponer para la obtención de las CCIs, (véase

la figura 1.2):

Figura 1.2 Parámetros de la curva característica de un Ítem Fuente: http://innoevalua.us.es/files/irt.pdf, Modelos de Medición: Desarrollos actuales,

supuestos, ventajas e inconvenientes. Pág.: 9.

Parámetro a

El parámetro a se le denomina índice de discriminación del ítem, y representa la

magnitud del cambio en la probabilidad de acertar el ítem conforme varía el nivel

de habilidad. Su valor es proporcional a la pendiente de la recta tangente a la CCI

en el punto de inflexión de ésta.

Parámetro b

El parámetro b se corresponde con el valor en la abscisa (escala de habilidad (θ))

del punto de máxima pendiente de la CCI. Se le denomina índice de dificultad

del ítem, y es un parámetro de localización del ítem que representa la posición de

la CCI en relación al nivel de habilidad (θ) necesario para obtener una

probabilidad de acierto P (θ)= (1+c)/2.

10

Parámetro c

El parámetro c es el índice de pseudo-azar del ítem, representa la probabilidad de

acertar de los sujetos que desconocen la respuesta correcta, es decir, es el valor

de P(θ) cuando θ tiende a su valor mínimo (- ∞).

Parámetro d

El parámetro d representa la probabilidad de que los sujetos con aptitud alta no

contesten correctamente a la pregunta (por fallos no debidos a la falta de aptitud).

La CCI queda definida cuando se especifican estos tres parámetros y se adopta

una determinada función matemática para conformar la curva.

1.4 TEST ADAPTATIVOS INFORMATIZADOS (TAI)

Un Test Adaptativo Informatizado (TAI), es una prueba construida para fines de

evaluación académica o psicológica, cuyos ítems se presentan y responden a

través del uso del ordenador, siendo su característica fundamental, el irse

adaptando al nivel de competencia / habilidad /dominio, que va manifestado el

sujeto sometido a evaluación, siendo sus elementos básicos:

a) Un banco de ítems con propiedades académicas o psicométricas conocidas.

b) Un procedimiento que establezca la manera de comenzar y finalizar la prueba,

así como la forma en la que se seleccionaran de manera progresiva los mejores

ítems.

c) Un método estadístico de estimación de los niveles de rasgo.

Cualquier tipo de Test se administra siguiendo un algoritmo de aplicación, esto es,

respetando unas reglas que definen cual es el orden en que se le van a presentar

los ítems al evaluando. Aunque existen multitud de algoritmos diferentes, todos

ellos tienen una característica común, y es que se definen en base a respuestas

como ¿Cuál es el primer ítem que se va a administrar?, ¿Qué ítem se va a

administrar después de cada respuesta?, ¿Cuándo se deja de administrar los

ítems?

11

El algoritmo para el caso de un test convencional de lápiz y papel es sencillo,

simplemente se comienza por el primer ítem de la hoja, se continúa respondiendo

el siguiente ítem de la secuencia, y se finaliza cuando no quedan más preguntas

por contestar.

De hecho es en el caso de los TAI cuando la complejidad en los algoritmos de

aplicación se hace patente, porque la secuencia de ítems administrados no se

conoce a priori, sino que depende de las respuestas que el examinado ha dado a

ítems previos.

La ilustración de la figura 1.3, presenta el diagrama de flujo de la aplicación de un

TAI.

ARRANQUE(INICIO)

Presentación del primerÍtem

Respuesta

Estimación Provisional

¿Fin del TAI?

Estimación definitiva

Selección y presentacióndel siguiente Ítem

Figura 1.3 Modelo del algoritmo de un TAI

Fuente:http://aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/tai_aristidesvara.pdf, Pág.: 49.

12

La mayoría de los TAI siguen estrategias de selección de ítems denominados

como estrategias de ramificación variable, lo que significa que se realiza una

estimación del nivel de rasgo tras la respuesta dada a cada uno de los ítems, a

partir de la cual se seleccionará el siguiente ítem a presentar.

Una vez calibrados los ítems, la aplicación de este tipo de test requiere un

algoritmo que incluya:

a) Un procedimiento para determinar el primer ítem a presentar: su elección

dependerá de si se dispone o no de información previa del estudiante o sujeto a

evaluarse. En el caso de que se disponga de la misma, ésta puede considerarse

como predictiva del nivel de rasgo a evaluar y realizar estimaciones mediante

regresión para decidir el primer nivel que se asignará a cada evaluando. Si no se

dispone de información alguna, puede comenzarse con una prueba de acceso,

permitir que el evaluando elija un nivel inicial, o elegir un ítem al azar de dificultad

media.

b) Un método estadístico para estimar después de cada respuesta un nivel de

rasgo provisional y la precisión asociada a dicha estimación, entre los que se

puede mencionar el método de máxima verosimilitud o el de métodos bayesianos.

Ambos métodos presentan una serie de inconvenientes, entre los cuales, se

puede mencionar para el primero de los casos el que no proporciona estimaciones

finitas mientras un evaluando tiene un patrón de respuestas constante, y en caso

del segundo de los métodos, se podría mencionar que la estimación del nivel de

rasgo no depende únicamente del rendimiento del sujeto en particular, sino de los

valores de media y varianza que se asignan a la distribución a priori del rasgo en

la población de estudio.

c) Un algoritmo para la selección sucesiva de ítems: En este caso, para un nivel

de rasgo estimado de forma provisional, se seleccionará el siguiente de los ítems

mediante dos posibles criterios: el criterio de máxima información, consistente en

seleccionar, de un banco de ítems en particular, aquel con mayor nivel de

información para el nivel de rasgo actual estimado, consistente en elegir el ítem

que proporciona una varianza menor de la distribución posterior del nivel de

13

rasgo. Este último criterio se fundamenta en el supuesto de distribución normal a

priori de los niveles de rasgo en la población.

No obstante, ambos criterios presentan un inconveniente común, y no es otro que

el hecho de presentar muchas veces los ítems mas discriminativos, lo cual puede

tener como consecuencia que dichos ítems se difundan entre los evaluados,

poniendo en riesgo la seguridad del mismo test y por tanto, la validez de las

puntuaciones estimadas a partir de los de las respuestas de los evaluados.

d) Un criterio para finalizar la presentación de ítems: esto es, la estimación

definitiva del rasgo estudiado para el evaluando. Las posibilidades existentes son:

Un criterio de longitud variable, el cual detiene la aplicación cuando el error típico

de medida desciende de un valor determinado, un criterio de longitud fija,

consistente en parar el test tras la presentación de un determinado número de

ítems, el tercer criterio seria una combinación de los dos anteriores, y por último,

el cuarto criterio, procedimiento especial de longitud variable, que consiste en

dejar de presentar ítems cuando el nivel de rasgo estimado se aleja

significativamente del punto de corte pre-establecido.

La elección de uno u otro, dependerá de los objetivos de la aplicación en cuestión.

El núcleo fundamental de un algoritmo adaptativo consiste en establecer la

estrategia de selección progresiva de ítems que facilite una estimación precisa del

nivel de rasgo con la presentación de un número reducido de ítems para cada

evaluando.

En resumen, la aplicación se inicia con una determinada estrategia de arranque,

que consiste en establecer de alguna forma el nivel de rasgo inicial que se asigna

al evaluando y que determina de esta manera cual será el primer ítem que se

presentará. Después de que se produzca la primera respuesta al ítem, mediante

procedimientos bayesianos o de máxima verosimilitud, se realiza una primera

estimación del nivel de rasgo evaluado. Aquí también se emplean procedimientos

derivados de la TRI para seleccionar el segundo de los ítems a presentar al

evaluando, considerando que sea apropiado para el primer ítem provisionalmente

aceptado.

14

De todo esto se desprende que, en cada paso del proceso, se procederá a la

selección y presentación sucesiva de ítems, considerando el patrón de

respuestas, aciertos o fallos, que se dan a los ítems precedentes para la

estimación del nivel de rasgo provisional en ese preciso momento de la aplicación

de los TAI.

No obstante, se requiere además, de algún criterio para dar por terminada la

secuencia de presentación de ítems, que normalmente viene establecido por la

consecución de un determinado grado de precisión o el establecimiento de una

determinada longitud del mismo.

1.5 VENTAJAS E INCONVENIENTES DE LOS TAI

La administración de estos test informatizados, presentan varias ventajas técnicas

indiscutibles (Prieto y Clbs. 1993):

Permite el almacenamiento de los datos sin etapas previas de codificación,

escritura, entre otras. Posibilita la calificación inmediata de los sujetos en distintas

variables, modelos de puntuación y compensaciones.

Permite el diseño y el empleo de test adaptados al sujeto.

Facilita el registro de tiempo de latencia de la respuesta a cada ítem y de otras

variables. Este aspecto es de importancia para el desarrollo de los test en base a

la actitud de cada sujeto, a partir del enfoque del procesamiento de la información.

Los efectos negativos que la fatiga del evaluando pueda generar se reduce

considerablemente.

Además se reduce considerable el tiempo de administración.

No obstante, también llevan consigo una serie de inconvenientes, los cuales se

relacionan, en la mayoría de los casos, en lo referente al costo de los mismos,

tanto de la aplicación en si, como lo que ello supone, tales como el mantenimiento

y renovación de bancos de ítems, y sobre todo en determinados ámbitos de la

aplicación, es decir, el empleo de forma adecuada a una amplia muestra de

estudio, no solo a unos pocos sujetos cada un cierto periodo de tiempo, entre

otros, el cual indica que, la aplicación de test adaptativos sólo resulta

auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es

15

difícil de medir sin el uso de un ordenador, cuando el test ha de ofrecerse de

forma continuada y no solo unas pocas veces al año, entre otras.

Los TAIs son las pruebas que aportan mayor precisión en la estimación de la

medida.

Se reduce el número de ítems en la aplicación y en consecuencia el tiempo de

aplicación.

Permiten la incorporación de nuevos contenidos utilizando formatos de ítem

multimedia.

Se reduce el error típico de medida a lo largo del continuo de medida.

Limitaciones

· No es posible revisar ni modificar las respuestas dadas.

· Se precisa disponer de grandes bancos de ítems para mantener la

seguridad de los TAIs.

· Es difícil mantener la seguridad de los tests puesto que los ítems que más

discriminan son aplicados con mayor frecuencia que los otros.

· La selección de los ítems se realiza a partir de sus propiedades

estadísticas, siendo difícil realizarla atendiendo a la validez de contenido.

· Exigen un mayor esfuerzo en la construcción y aplicación que los tests

convencionales.

1.6 VENTAJAS DE LA TRI RESPECTO CON LA TEORÍA CLÁSICA

a) La principal limitación consiste en que las características del test y las

puntuaciones de las personas no pueden ser separados: Se define la puntuación

de una persona como el número de preguntas que acierta, y la dificultad de un

ítem como la proporción de personas que lo responden correctamente en un

determinado grupo. Esto tiene una serie de consecuencias negativas:

b) Las características de los ítems dependen del grupo de personas en el que se

han aplicado. Por ejemplo, en un supuesto caso donde se requiera conocer el

índice de dificultad de un determinado ítem que mida conocimientos de

16

Inteligencia artificial, dicho índice será diferente si se lo aplica en un grupo de

estudiantes de arquitectura o en estudiantes de psicología, es dependiente de

establecer a quién se encuentra dirigido el TAI.

c) La puntuación de una persona depende del conjunto particular de ítems

administrados.

La puntuación que una persona obtenga será diferente si le se aplica dos test que

midan la misma característica pero cuyo nivel de dificultad sea diferente. Esto

hace difícil comparar dichas puntuaciones, que sólo podrán interpretarse en

relación al test en el que fueron obtenidas.

Frente a la TC, una de las propiedades de la TRI es su invarianza, en un doble

sentido:

Invarianza de los ítems respecto a posibles diferentes distribuciones de la

habilidad o del rasgo (en lo sucesivo nivel de habilidad y de rasgo serán

sinónimos), e invarianza de la habilidad medida a partir de diferentes conjuntos de

ítems. Si las condiciones de aplicación de la TRI se cumplen, ha de ocurrir lo

siguiente:

- Sea cual sea la distribución de los niveles de rasgo se obtendrán las mismas

estimaciones de los parámetros de los ítems. Esta propiedad se cumple también

en otros ámbitos.

Por ejemplo, en Estadística, si se cumplen los supuestos de la regresión lineal, se

llega a los mismos parámetros cuando se ajusta la recta de regresión a toda la

población o sólo a parte de ella.

Análogamente, los parámetros de los ítems deberán ser los mismos si éstos se

han aplicado a un grupo de personas con alto nivel de rasgo, o a un grupo con

niveles bajos. Es decir, los parámetros de los ítems serán los mismos sea cual

sea la distribución de los niveles de habilidad de la muestra en los que se han

aplicado.

- El nivel de habilidad de una persona puede ser obtenido a partir de conjuntos de

ítems distintos. Algunas de las aplicaciones de la TRI descansan precisamente en

esta propiedad.

17

b) Una segunda limitación tiene con ver el error de medida. La TC supone que el

error de medida es una propiedad del test y, por lo tanto, igual para todos los

sujetos, independientemente de cuál sea su puntuación. Por el contrario, la TRI

permite obtener la precisión con la que cada persona es medida.

La TRI permite superar estas y otras limitaciones de la TC mediante unos

supuestos fuertes y restrictivos, y una metodología más compleja, que requiere

establecer modelos matemáticos, la estimación de sus parámetros, enjuiciar el

ajuste entre datos y modelos, entre otros.

Las ventajas más destacables de la TRI son las referidas a la invarianza de

parámetros, el tratamiento dado al error de medida, el estatus científico de la

misma, y la interpretación de las puntuaciones y sus aplicaciones prácticas (Fisher

y Molenaar, 1995; Hambleton y Swaminathan, 1985; Martínez-Arias, 1995; Muñiz,

1997b; Lord, 1980; Rasch, 1960):

La invariabilidad de parámetros posibilita que, si el modelo ajusta a los datos, las

características del test no dependan de la muestra en la que es analizado y las

medidas de los sujetos no dependan del test utilizado.

El error de medida varía en los diferentes niveles del rasgo, pudiéndose conocer

dónde se mide con mayor o menor precisión mediante la función de información

que, además, permite evaluar la contribución individual de los ítems.

El mayor estatus científico procede de la posibilidad de contrastar empíricamente

los supuestos en los que se sustenta, y también del nivel de medida alcanzado

que permite construir escalas de intervalo.

La versatilidad para interpretar los resultados hace que se pueda aplicar tanto a

test normativos como a test referidos al criterio. Puesto que la habilidad de los

sujetos y la dificultad de los ítems están en la misma escala, es posible dar una

puntuación en esa escala, describir lo que son capaces de hacer y ofrecer

información diagnostica.

Las aplicaciones prácticas comprenden numerosos aspectos, entre los que

destacan la elaboración de bancos de ítems, la construcción de test con

propiedades conocidas, la generación automática de ítems, los test adaptativos

18

informatizados, el análisis del funcionamiento diferencial de los ítems y la

equiparación de puntuaciones.

Sin embargo, no todo son ventajas, también presenta limitaciones. Entre las más

destacables se señalan las siguientes:

El elevado tamaño muestral. Los modelos de la TRI requieren muestras grandes

para que las estimaciones de los parámetros sean estables (Hambleton y Rogers,

1991). Y el problema es todavía mayor cuando se trabaja con ítems de formato de

respuesta politómica, donde el número de parámetros a estimar se multiplica por

el número de alternativas de respuesta. En casos en que sólo se disponga de

muestras pequeñas lo más recomendable (Lord, 1983) es tratar de ajustar los

modelos más parsimoniosos, que son aquellos que pertenecen a la familia de

modelos de Rasch.

Los supuestos de los modelos son exigentes. La utilización de supuestos más

fuertes restringe su aplicabilidad porque muchas veces no se cumplen o se

cumplen sólo parcialmente (Lord y Stocking, 1988). Uno de los problemas más

inquietantes es la unidimensionalidad, puesto que todos los ítems implican algún

grado de multi-dimensionalidad. La combinación de rasgos adicionales con la

dimensión principal en cantidades o proporciones desconocidas en los ítems

dificulta la interpretación de los parámetros y, en general, de lo que se está

midiendo. Esto puede afectar más a unas aplicaciones que otras, como aquéllas

que usan diferentes ítems para medir a distintos estudiantes o sujetos.

La complejidad de la estimación de los parámetros de los modelos. Este problema

afecta especialmente a los modelos multiparamétricos (2 y 3 parámetros) y a los

modelos multidimensionales. Sin embargo, mientras los métodos de estimación

de máxima verosimilitud marginal y los métodos bayesianos parecen haber

reducido el problema en los modelos multiparamétricos, los modelos

multidimensionales continúan presentando dificultades en este aspecto (Wright y

Stone, 1979; Hambleton, 1994b; Maydeu, 1996).

En resumen, todas estas ventajas, en su conjunto, suponen una clara mejora

respecto a los planteamientos del modelo clásico y son, sin lugar a dudas, las

mejores razones para justificar el carácter hegemónico que actualmente tiene este

19

modelo. La TRI se presenta como un marco ilimitado de referencia para resolver

problemas de medición.

La principal ventaja potencial sobre la TC es la invarianza de los puntajes de la

prueba y de las características de las preguntas.

La posibilidad de construir curvas de información para cada ítem lo que permite la

optimización de la selección de las preguntas para una prueba con objetivos

específicos.

Proporciona métodos alternativos para la detección de sesgos en las preguntas.

Análisis diferenciado, para la presentación de la siguiente pregunta.

Proporciona métodos alternativos para la realización de procesos de equating,

proceso por el cual dos pruebas se hacen comparables.

Sin embargo, todas las ventajas anteriores se pierden cuando no se cumplen los

requisitos y en muchas ocasiones la naturaleza de las disciplinas medidas

impide el cumplimiento de los supuestos lo que hace aconsejable no usar la TRI.

Se dice que la teoría revisada los enunciados de la TC son más bien débiles, en

el sentido que son generales, su fuerza está en su generalidad, se pueden aplicar

a situaciones variadas.

Por su parte, los supuestos de la TRI son más fuertes, más restrictivos, se

sacrifica generalidad para ganar precisión predictiva.

El precio a pagar es la exigencia que los datos cumplan supuestos específicos.

Ante la eterna disyuntiva entre generalidad y precisión, a la que toda

metodología científica se enfrenta, la TC da más peso a la generalidad y la TRI a

la precisión.

En consecuencia, ambos enfoques están obligados a entenderse, en provecho

de los usuarios. Esto implica usar las teorías en forma complementaria.

20

En la presente implementación de un algoritmo adaptativo se referencia

especialmente a la TRI, apoyándose en la TC en forma complementaria. Para ello

se realizan los análisis de cada pregunta. Lo anterior permite contar con mayor

información en el momento de seleccionar las preguntas que formarán parte de

cada una de las pruebas, lo que, a su vez, contribuye a que la medición realizada

sea cada vez más precisa y válida. Esto da sustento al propósito de las

evaluaciones.

En la tabla 1.1 se presenta un resumen comparativo entre las dos teorías base del

algoritmo implementado:

21

Fundamentos Teoría Clásica Teoría de Respuesta al Ítem

Modelo Lineal No Lineal

Énfasis Test Ítem

Invarianza de las

propiedades de los Test No Si

Invarianza de las

mediciones No Si

Relación Ítem-Test Sin Especificar Curva Característica del Ítem

Escala de Puntuaciones

Entre cero y la

máxima puntuación

del Test

Entre - ∞ y + ∞

Descripción de los Ítems Índices de dificultad y

de discriminación Parámetros a, b, c

Errores de medida

Error común de

medida para toda la

muestra

Función de información

(depende del nivel de aptitud)

Fundamentos Débiles (Fácil de

cumplir por los datos)

Fuertes (difíciles de cumplir por

los datos)

Tamaño de la muestra

Funciona

correctamente con

muestras entre 200 y

500 sujetos

aproximadamente

Funciona correctamente hasta

más de 500 sujetos pero

depende del modelo.

Tabla 1.1 Comparativas Teoría clásica y Teoría de respuesta al Ítem

Fuente: Realizado por los autores.

22

CAPITULO II. DESCRIPCIÓN DEL ALGORITMO

En el presente capitulo se ejecutarán los pasos teóricos señalados en el capitulo

anterior apegados a un ejemplo ilustrativo.

Para el ejemplo es necesario iniciar asumiendo que se tiene un test que mide la

inteligencia y que ha sido aplicado a una cantidad de 100.000 personas.

Ahora tomando el supuesto que la menor y mayor puntuación obtenidas en el

test son 50 y 150. Se va a representar el rendimiento en un ítem concreto de la

siguiente forma: Se toma una primera muestra de todas las personas que han

obtenido la puntuación 50 (Se asume que son 132).

Se revisa cuantas personas de las anteriores han acertado el ítem,

(Suponiendo que han sido sólo 5) ahora se calcula la proporción (5/132 = 0.04).

Se realiza lo mismo con los que obtuvieron en el test 51 puntos (y se tiene la

proporción, se supone que es igual a 0.15), con las que obtuvieron en el test 100

(la proporción fue 0.45), con las que se obtuvieron 150 (la proporción fue 0.99). La

figura 2.1 presenta la proporción de aciertos en el grupo de personas que obtuvo

en el test 50 puntos, es decir de 51 a 150.

Figura 2.1 Datos de ejemplo.

Fuente: http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristid

esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág.: 3.

23

En este ejemplo se puede apreciar que cuanto mayor es el cociente intelectual de

las personas, mayor es la proporción de aciertos en el ítem. A una puntuación de

100 le corresponde una proporción de 0.45; mientras que a una de 150 le

corresponde una proporción de 0.99.

En la figura 2.1 se tiene una curva característica del ítem (CCI) empírica, pero la

TRI necesita resumir la información que contiene cada CCI empírica en una

fórmula o modelo en el que uno, dos o tres valores resuman la información

contenida en la CCI empírica. En la aplicación de la TRI, un paso muy importante

es optar por un modelo (o fórmula) que sea una buena descripción del

rendimiento en los ítems.

A continuación hay que revisar los modelos que podrían dar cuenta de una

distribución como la presentada en la figura 2.1. Los modelos de CCI más

utilizados en la práctica son los logísticos de uno, dos y tres parámetros.

2.1 MODELO LOGÍSTICO DE UN PARÁMETRO (MODELO DE

RASCH)

Este es el modelo más simple de todos. Se le llama también modelo de Rasch. El

mismo que se basa en que la probabilidad de acertar un ítem depende solamente

del nivel de dificultad de dicho ítem y del nivel de la persona en la variable

medida (nivel de rasgo o habilidad). La expresión matemática es:

=

Donde:

P (θ): Probabilidad de acertar el ítem si el nivel de rasgo es θ.

θ: Nivel de habilidad del sujeto.

b: Índice de dificultad del ítem.

e: Base de los logaritmos neperianos (2.718)

D: Constante (D = 1.7 ó 1).

24

El nivel de habilidad del sujeto (θ) puede definirse en cualquier escala (en la figura

2.1 se ha hecho uso de la escala de cociente intelectual). No obstante, en las

mejores prácticas, se utiliza una escala típica, con media cero, varianza uno y un

rango de valores entre -3.0 y 3.0.

El índice de dificultad (b) es aquel valor de θ para el cual P(θ)= 0.5. Por tanto,

cuanto mayor sea "b" más difícil es el ítem. En la figura 2.2, se han representado

dos CCIs. En la primera, la que está más a la izquierda, el valor de θ al que

corresponde P(θ)= 0.5 es aproximadamente -0.95.

Por lo tanto, la dificultad del primer ítem es b1= -0.95. En el segundo ítem, el valor

de θ al que corresponde P(θ)= 0.5 es aproximadamente 0.6. Por lo tanto, la

dificultad del segundo ítem es b2= 0.6. La figura 2.2, representa que la

probabilidad de acertar el ítem es sistemáticamente menor en el ítem 2 que en el

ítem 1. El ítem 2 es más difícil que el uno, y sus índices de dificultad así lo

muestran (b2 > b1).

Figura 2.2 Curva de Probabilidad contra nivel de rasgo


esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág.: 4.

25

2.2 MODELO LOGÍSTICO DE DOS PARÁMETROS.

Este modelo presenta un segundo parámetro que indica la capacidad

discriminativa del ítem:

=

Donde “a” es el índice de discriminación del ítem.

El parámetro “a” indica la mayor o menor inclinación o pendiente de la CCI cuando

θ=b. Normalmente los valores de "a" oscilan entre 0,3 y 2.5, y se suelen

considerar ítems "discriminativos" los que tienen valores "a" mayores de uno.

En la figura 2.3, se observa la CCI de dos ítems de igual dificultad (b1= b2= 0.75),

la principal diferencia entre ellos es que el ítem 2 (situado a la derecha), cuando θ

= 0.75, tiene una pendiente mucho mayor (a2 = 2.4) que la del ítem 1 (a1 = 0.4).

Como la pendiente es tan alta, las personas con θ > 0.75 tienen casi todas ellas

una muy alta probabilidad de acertar el ítem 2 (y casi todas estas personas lo

acertarán), y las personas con θ < 0.75 tienen casi todas ellas una probabilidad

próxima a cero de acertarlo (y casi ninguna lo acertará). Por lo tanto, el ítem 2

discrimina entre los que tienen θ > 0.75 y los que tienen θ < 0.75.

Se verifica que, el ítem 1 tiene muy poca pendiente cuando θ= 0.75. En

consecuencia, aunque la mayoría de las personas con θ > 0.75 lo acertarán,

muchas lo fallarán (pues la probabilidad de acierto es claramente inferior a uno).

Igualmente, aunque la mayoría de las personas con θ < 0.75 fallarán el ítem,

muchas lo acertarán, pues la probabilidad de acierto es claramente superior a

cero. En el ítem 1 la probabilidad crece muy suavemente a medida que aumenta θ

por lo que no es buen discriminador entre las personas con θ > 0.75 y las que

tienen θ < 0.75.

26

Figura 2.3 Modelo logístico de dos parámetros.


esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 5.

2.3 MODELO LOGÍSTICO DE TRES PARÁMETROS

El siguiente modelo implementa dos parámetros "a" y "b" un tercero, "c", que

representa la probabilidad de acertar el ítem al azar. Exactamente "c" es el valor

de P(θ) para valores extremadamente bajos de θ. La expresión matemática es la

siguiente:

En la figura 2.4, se puede observar la CCI de varios ítems con los mismos valores

de a (1) y b (0), pero distintos valores de parámetro “c” (c1= 0, c2= 0.15 y c3=

0.30).

27

Figura 2.4 Modelo logístico de tres parámetros



2.4 ESTIMACIÓN DE PARÁMETROS

El primer paso es seleccionar un modelo de TRI, luego de esto, hay que aplicar el

test a una muestra amplia, estimar los parámetros de cada ítem y el Nivel de

habilidad del sujeto (θ), esto a partir de la matriz de respuestas obtenidas. Si se

tiene, por ejemplo, diez ítems que miden un mismo rasgo, se los puede aplicar a

una muestra de 300 personas. La matriz de datos tendrá 300 filas, siendo cada

fila la secuencia de unos (aciertos) y ceros (errores) de cada persona de la

muestra. Si se quiere aplicar el modelo logístico de tres parámetros, se tendrá

que estimar los 30 parámetros de los ítems (es decir, "a", "b" y "c" de cada ítem) y

300 parámetros de las personas (los 300 valores de "θ", uno por persona). La

estimación de parámetros es el paso que permite llegar de las respuestas

conocidas de las personas, a los valores desconocidos de los parámetros de los

ítems y de los niveles de rasgo, es decir conocer las características de un

parámetro poblacional, a partir del conocimiento de la muestra.

28

Para obtener las estimaciones se aplica fundamentalmente el método de máxima

verosimilitud. La lógica general de la estimación consiste en encontrar los valores

de los parámetros que hagan más probable la matriz de respuestas obtenida.

Si por ejemplo se lanza una moneda diez veces y se obtiene siete caras, el

estimador máximo-verosímil del parámetro "p" (probabilidad de cara de la

moneda) es 7/10= 0.7, como se demuestra en los libros de estadística. El

resultado "siete caras en diez lanzamientos" es poco compatible con que la

probabilidad de cara sea 0.1, ó 0.2. De hecho, la probabilidad de obtener siete

caras y tres cruces es prácticamente cero si p= 0.1 o si p= 0.2.

Dicha probabilidad pasa a ser 0.117 si p= 0.5, y alcanza el máximo valor (0.267)

cuando p= 0.7.

El estimador máximo-verosímil proporciona el valor de "p" bajo el que tiene

máxima probabilidad de que el suceso que se ha encontrado.

En la TRI, el procedimiento de estimación sigue una lógica similar. Se obtienen las

estimaciones de los parámetros y de los niveles de θ con los que la matriz de

datos encontrada, tiene la máxima compatibilidad.

Por ejemplo, si se tiene un test compuesto por tan sólo dos ítems, y se lo aplica a

una persona. Se presume también que acierta el primero y falla el segundo. A

partir de estas respuestas, la estimación máximo-verosímil de su nivel de

habilidad θ, se puede explicar de forma grafica en la figura 2.5, (en este ejemplo,

para simplificar la explicación, se supone que los parámetros de los ítems son

conocidos).

Como la persona ha acertado el primer ítem, se puede calcular, mediante su CCI

(tomando en cuenta que los parámetros del ítem son conocidos), la probabilidad

de que esto ocurra para cada nivel de habilidad θ.

La figura 2.5muestra curva para un ítem cuyo único parámetro es b1 = -0.7:

29

Figura 2.5 Probabilidad de acertar el primer Ítem


esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 9. Si la persona del ejemplo sólo hubiera respondido a ese ítem, a partir de la figura

2.5, se puede ver que no existe un único valor de nivel de habilidad θ, para el que

la probabilidad del suceso encontrado (acierto en el primer ítem) sea máxima. Por

el contrario, son infinitos los valores de θ que para los que la CCI alcanza el valor

máximo 1.

Como la persona ha fallado el segundo ítem, a partir de su CCI se puede calcular

la probabilidad de que esto ocurra para cada uno de los valores de θ. En concreto,

como la probabilidad de fallar (Q) se puede obtener a partir de la probabilidad de

acertar (Q = 1-P), se puede representar la probabilidad de error en el segundo

ítem, no es la CCI del ítem 2, pues para cada valor de θ se ha representado la

probabilidad de error y no la de acierto, como exige la CCI.

Se tiene como premisa que el único parámetro del ítem 2 es b2 = 1.

30

Figura 2.6 Probabilidad de acertar el segundo Ítem


esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 10. En la figura 2.6 se representa que es más probable que fallen el ítem los sujetos

con niveles bajos de habilidad que los sujetos con niveles altos (cosa bastante

lógica). Por lo tanto, si el sujeto sólo hubiese respondido a este ítem, de nuevo

son infinitos los valores de θ que maximizan la probabilidad del suceso

encontrado (error en el segundo ítem).

Como hecho ha respondido a dos ítems, el valor estimado de θ para este sujeto

sería aquel que haga más probable el resultado obtenido (acertar el primer ítem y

fallar el segundo). Según el supuesto de independencia local, ambos sucesos son

independientes y, por lo tanto, la probabilidad de que ocurran ambos

conjuntamente es igual al producto de las probabilidades de acertar el primero

(P1) por la de fallar el segundo (Q2). Si se representa gráficamente la función

L = (P1)(Q2) para cada valor de θ, correspondiente al ejemplo que se ha venido

comentando, se obtendría una curva parecida a la indicada en la figura 2.7:

31

Figura 4 Curva de verosimilitud


esvara.pdf, Introducción a la teoría de la respuesta al ítem. Pág. 10. En este caso se observa que la θ que hace más probable el resultado obtenido

(acierto en el primer ítem y fallo en el segundo) es algo mayor que cero. De

hecho, 0.15 será la θ estimada para este sujeto.

En general, una persona responderá a un número de ítems mayor de dos y

producirá una particular secuencia de unos y ceros. La probabilidad de obtener tal

secuencia de aciertos y errores se puede escribir como:

Donde:

R: Resultado en cada ítem (1, acierto; 0, fallo)

P: Probabilidad de acierto en cada ítem

Q: Probabilidad de error en cada ítem (Q= 1-P).

La θ estimada por el método de máxima verosimilitud será el valor de θ para el

que la anterior expresión alcanza su máximo valor.

32

Si se aplica lo anterior al siguiente ejemplo. Un test consta de 4 ítems, cuyos

parámetros, según el modelo de Rasch, son -1, 0, 1 y 2. Una persona completa el

test y acierta los tres primeros ítems y falla el cuarto. Obtenga el valor de la

función de verosimilitud, L, para los siguientes valores de θ: -3, -2, -1, 0, 1 y 2.

Aplicando la fórmula del modelo de Rasch (o de un parámetro), se obtiene la

probabilidad de acierto para cada ítem y cada uno de los valores de θ:

P(θ)

Items b θ =-3 θ =-2 θ =-1 θ =0 θ =1 θ =2 θ =3

1 -1 0.03 0.15 0.5 0.85 0.97 0.99 0.99

2 0 0.01 0.03 0.15 0.5 0.85 0.97 0.99

3 1 0.01 0.01 0.03 0.15 0.5 0.85 0.97

4 2 0.01 0.01 0.01 0.03 0.15 0.5 0.85 Tabla 2.1 Valores del número de Ítems y valor de theta para un parámetro.



La función de verosimilitud, L, al haber acierto en los 3 primeros ítems y fallo en el

último, será la siguiente:

Aplicando la fórmula anterior a cada uno de los valores de θ se obtienen los

siguientes resultados:

L(3) = (0.99)(0.99)(0.97)(1-0.85) = 0.14

L(2) = (0.99)(0.97)(0.85)(1-0.50) = 0.41

Los restantes valores de L son L(1)= 0.35, L(0)= 0.06, L(-1) = L(-2) = L(-3) = 0.0.

Por lo tanto, de los siete valores de θ considerados, el valor que maximiza L es θ

= 2.

33

Cuando se trata de estimar en una situación real el nivel de rasgo, no se hace una

búsqueda restringida a unos cuantos valores, se necesita hallar el valor de θ que

maximiza L de entre todos los posibles valores, no sólo de entre unos pocos.

En el caso de la TRI no existen fórmulas que permitan obtener las estimaciones

de manera directa. En el ejemplo de las monedas se sabe que el estimador

máximo-verosímil de la proporción poblacional es la proporción muestral. En la

TRI, al no existir tales fórmulas, las estimaciones se obtienen por métodos

numéricos, mediante programas de ordenador. En el caso más general se

establece una función L que depende de los parámetros de los ítems y de los

niveles de rasgo. Los programas de ordenador contienen algoritmos que

encuentran el conjunto de estimaciones para el que la función L alcanza el valor

máximo. Los parámetros de los ítems y los niveles de rasgo de las personas

serán los valores dados por el programa de ordenador para una matriz de

respuestas particular.

En la Teoría Clásica, una vez aplicados unos ítems a un conjunto de personas, se

puede obtener la puntuación de cada persona en el test combinando las

puntuaciones en los ítems del test.

En la TRI, una vez que se han aplicado los ítems, se genera la matriz de

respuestas que contiene los aciertos y fallos de cada persona en cada ítem del

test.

2.5 FUNCIÓN DE INFORMACIÓN

Una vez aplicado un conjunto de ítems y estimado el nivel de habilidad de un

sujeto, la TRI permite calcular el error típico de estimación (Se) de esa persona

en el test aplicado. Esto es una diferencia fundamental con la TC, que asume que

el error es el mismo para todos los sujetos.

El error típico de estimación indica la precisión con que se ha estimado θ. A mayor

error, menos precisión. Su tamaño depende de varios factores:

1- Número de ítems aplicado: En general, al aumentar la longitud del test

disminuye (Se).

34

2- La capacidad discriminativa de los ítems: Al aumentar el parámetro "a"

disminuye (Se).

3- La diferencia entre "b" y θ: Cuanto más próximo a θ esté el índice de dificultad

de los ítems (b), menor será (Se).

Por su parte, el error típico de estimación de θ es la desviación típica de las

puntuaciones θ estimada, es decir,

.

Donde (Se) constituye el valor mas importante puesto que este valor permitira

obtener el valor del error.

El error típico de estimación permite obtener el intervalo confidencial en el que,

con probabilidad predeterminada, se ha de encontrar el nivel de habilidad de la

persona. En concreto, si a la "θ" estimada de una persona se suma y se resta

(1.96) Se, se obtienen los extremos del intervalo en el que, con probabilidad 0.95,

se encontrará su verdadero nivel de rasgo.

Por ejemplo, si la θ estimada es 0.8 y su error típico de estimación es 0.22,

entonces, el nivel de rasgo de dicha persona se encuentra entre 0.37 (pues 0.8-

(1.96)(0.22)= 0.37) y 1.23 (pues 0.8+(1.96)(0.22) = 1.23), con probabilidad 0.95.

La función de información del test aplicado se define como la inversa de Var(θ),

es decir:

Por lo tanto,

35

Cuanto mayor sea I(θ) menor será Se y, por tanto, mayor la precisión de la

estimación de θ. Si se calcula I(θ) para todos los niveles de θ y se representa

gráficamente se obtiene una curva como la que muestra la figura 2.8:

Figura 2.8 Curva función de información de dos Ítems


esvara.pdf, Introducción a la teoría de la respuesta al ítem Pág. 14. Se observa que este test (compuesto por dos ítems, cuyos parámetros son a1=

1.5, b1 = -0.7 a2= 1 y b2 = 2) aporta más información para valores de θ en torno a

-0.5.

La FI tiene importancia en la utilización de los test, ya que permite elegir aquel

que aporte más información en el intervalo de θ que se pretende medir.

También es útil en la construcción del test. A partir de un banco de ítems

calibrados (es decir, de los que se ha estimado sus parámetros) se pueden

seleccionar aquellos que permitan que la FI se ajuste a unos objetivos

determinados.

Todos los conceptos anteriores referidos a la función de información del test son

aplicables también a cada uno de los ítems por separado. De hecho la FI del test

36

no es más que la suma de las FFII de cada uno de los ítems que lo componen. En

concreto la FI de un ítem sería:

Se observa que la única diferencia con la FI del test es que ha desaparecido el

signo de sumatorio.

Al igual que con el test completo, se puede representar gráficamente la FI de los

ítems y ver a que nivel de θ proporcionan más información. La figura 2.9, muestra

la función de información de los dos ítems que forman el test y la función de

información del test.

Figura 2.9 Curva función de información



Esto permite elegir los ítems más adecuados en cada momento en función de las

necesidades. Por ejemplo, si se quiere llevar a cabo una selección de personal en

la que sólo se va a elegir unos pocos sujetos competentes, a partir de un banco

37

de ítems previamente calibrado, se podría elegir aquellos ítems que proporcionan

más información para niveles altos de θ. Esto permite reducir enormemente el

número de ítems de un test sin perder precisión al estimar θ.

2.6 PROCEDIMIENTOS DE ARRANQUE

Para determinar cuál será el primer ítem al cual se enfrentara el evaluado, la

elección entre una u otra dependerá de la información previa que se disponga la

misma que está relacionada con el nivel manifestado en otros test, con esto se

puede considerar una predicción del nivel de rasgo que interesa y hacer

estimaciones mediante regresión para decidir el primer nivel que se asignará a

cada evaluando.

Ahora si se desconoce el rendimiento previo del evaluado, se elige al azar el

primer ítem para cada evaluado, (entre los que tienen dificultad media para el

nivel educativo a evaluar) para evitar que se repita la secuencia inicial en

diferentes estudiantes; si se dispone de una evaluación previa de los alumnos en

otros test aplicados con anterioridad, se realiza una estimación mediante

regresión y el Test Adaptativo Informativo empieza con un ítem ajustado en

complejidad al nivel de rasgo estimado en la regresión; en otras ocasiones se lo

utiliza como información previa las calificaciones en las asignaturas que se

relacionan con los diversos test o el rendimiento medio del nivel educativo actual

del evaluado.

2.7 MÉTODO DE SELECCIÓN DE PREGUNTA

Un test adaptativo selecciona el siguiente ítem que va a ser presentado en cada

momento en función del nivel estimado del conocimiento del alumno y de las

respuestas a los ítems previamente administrados. Seleccionar el mejor ítem

puede mejorar la precisión en la estimación del nivel de conocimiento y reducir la

longitud del test.

Ya desde que se decide arrancar el TAI mediante un procedimiento concreto,

entra en funcionamiento uno de los componentes fundamentales del algoritmo,

38

que consiste en establecer la forma de elegir el siguiente ítem a presentar

después de estimar el nivel de rasgo provisional de un evaluando.

Mientras éste lee un ítem y piensa sobre su respuesta, el algoritmo realiza los

cálculos oportunos para determinar cuál será el siguiente ítem a administrar si se

acierta o falla el ítem actual. De esta forma, el tiempo transcurrido entre la emisión

de una respuesta y la presentación del siguiente ítem resulta imperceptible para el

sujeto.

Los procedimientos de selección de los ítems han experimentado importantes

mejoras con el transcurso de los años. Los primeros TAIs establecían

procedimientos de selección de ítems bastante rígidos.

Prácticamente cualquier procedimiento actual de selección de ítems sigue una

estrategia de nivel múltiple con ramificación variable, que permite actualizar el

nivel de rasgo estimado para una persona después de responder progresivamente

a los ítems que se le presentan.

2.8 MÉTODO DE PARADA

La heurística debe incluir también un procedimiento para dar por concluida la

prueba; para considerar que una estimación provisional del nivel de rasgo es la

que se va a tomar como estimación definitiva para el evaluando. Las posibilidades

que se tienen son cuatro:

a) El criterio de longitud variable, que consiste en detener la aplicación cuando el

error típico de medida desciende de un valor predeterminado,

b) El criterio de longitud fija, que consiste en parar el test cuando se presentan un

número determinado de ítems,

c) Hacerlo mediante un criterio que combina los dos precedentes, y

d) Un procedimiento especial de longitud variable, que consiste en dejar de

presentar ítems cuando el nivel de rasgo estimado se aleja significativamente del

punto de corte establecido.

39

El procedimiento de longitud variable es viable ya que da estimaciones con la

misma precisión.

Se recomienda utilizarlo cuando las consecuencias de la evaluación son

especialmente importantes para las personas. Para que el nivel de precisión se

mantenga evitando prolongar demasiado el test, se utiliza un criterio mixto.

Generalmente aplicado para obtener resultados de calificación de la evaluación.

Cuando los evaluados tienen un nivel de rasgo próximo al punto de corte

establecido por los especialistas necesitarán responder a un mayor número de

ítems para así poder determinar con cierto nivel de confianza que su estimación

está por encima o por debajo de dicho punto de corte.

40

CAPITULO III DESARROLLO Y PRUEBAS

3.1 HERRAMIENTAS DE SOFTWARE

Las herramientas de software necesarias para el funcionamiento de la aplicación

que implementa el algoritmo son las siguientes:

- El motor de base de datos MySQL versión 5.5 es un sistema de

administración de base de datos relacional, en el que se puede manipular

una gran cantidad de datos y de diferente variedad además debido a la

seguridad que presta en su sistema de privilegios y contraseñas el cual

permite verificación basada en el host, ya que todo tráfico de contraseñas

esta encriptado cuando se conecta con un servidor, además presenta

compatibilidad con varios lenguajes de programación como Java, C, Perl,

PHP (que es lenguaje que maneja este aplicativo), entre otros.

- El lenguaje de programación es PHP versión 5.2 es un lenguaje de

programación código abierto que puede ser desplegado en la mayoría de

los servidores web como Apache e ISAPI y en casi todos los sistemas

operativos y plataformas, tiene capacidad de conexión con la mayoría de

los motores de base de datos que se utilizan en la actualidad.

- Zend Framework versión 1.11.1 es un framework de código abierto para el

desarrollo de aplicaciones y servicios web con PHP 5. Zend Framework se

implementa utilizando el 100% código orientado a objetos. Posee

arquitectura de acoplamiento flexible que ofrece una solución robusta y de

alto rendimiento de la aplicación de MVC (modelo, vista, controlador).

- El servidor web Apache versión 2.2 es un servidor web de código abierto,

multiplataforma, modular y extensible que puede trabajar con los lenguajes

de programación PHP, Perl, Python, Ruby.

41

El modelo entidad relación que se utiliza para el funcionamiento del aplicativo que

implementa el algoritmo se presenta en la figura 3.1:

Figura 3.1 Diagrama de la base de datos

Fuente: Diseño realizado por los autores.

Se debe aclarar que es la aplicación la que se encarga de controlar la integridad

referencial.

42

3.2 EXPLICACIÓN DE LA ARQUITECTURA DEL APLICATIVO

El presente aplicativo presenta una arquitectura de tres capas (Modelo, Vista

Controlador), debido a que es una aplicación web, donde la vista es una página

HTML con código que provee de datos dinámicos a la página y el controlador que

es el responsable de recibir los eventos de entrada desde la vista, Descripción de

las funciones de las tres capas:

Modelo

Es el objeto que representa los datos del programa. Maneja los datos y controla

todas sus transformaciones. El Modelo no tiene conocimiento específico de los

Controladores o de las Vistas, ni siquiera contiene referencias a ellos. Es el propio

sistema el que tiene encomendada la responsabilidad de mantener enlaces entre

el Modelo y sus Vistas, y notificar a las Vistas cuando cambia el Modelo.

Vista

Es el objeto que maneja la presentación visual de los datos representados por

el Modelo, genera una representación visual del modelo y muestra los datos al

usuario. Interactúa con el modelo a través de una referencia al mismo.

Controlador

Es el objeto que proporciona significado a las órdenes del usuario, actuando sobre

los datos representados por el modelo. Cuando se realiza algún cambio, entra en

acción, bien sea por cambios en la información del modelo o por alteraciones de

la vista. Interactúa con el modelo a través de una referencia al propio Modelo.

43

DIAGRAMA DE LA ARQUITECTURA

BC

Figura 3.2 Diagrama de la arquitectura de el aplicativo


3.3 IMPLEMENTACIÓN DEL ALGORITMO AL APLICATIVO TAI-

WEB

3.3.1 Algoritmo adaptativo de evaluación

Para el presente diseño del algoritmo adaptativo se ha tomado como referencia el

modelo de tres parámetros descrito anteriormente esta selección se la realizo en

base a que es el modelo en el cual se tienen más parámetros de configuración y

de esta manera son más fiables los resultados obtenidos.

Para el funcionamiento del aplicativo es necesario que previamente se carguen al

mismo los archivos necesarios que son tres:

Archivo de preguntas.- Este archivo está conformado parámetros el primero

que hace referencia al enunciado de la pregunta con un total de 200, para realizar

una evaluación lógica se han colocado preguntas del tema de Matemática sobre

Modelo

(Lógica del algoritmo y Manejo de

Datos)

Controlador

(Lógica de la aplicación)

Vista

(Presentación de datos al usuario) Enlace

BDD

Capa Persistente

44

el capítulo de multiplicación, el segundo es el tipo de respuesta es decir si es

Verdadero o Falso.

Figura 3.3 Formato del archivo Preguntas. Fuente: Diseño realizado por los autores.

Archivo de respuestas.- Al igual que el anterior archivo debe presentar ciertas

características en este archivo se encuentran las respuestas a las preguntas y la

valoración.

Figura 3.4 Formato del archivo Respuestas. Fuente: Diseño realizado por los autores.

45

Archivo de parámetros, aquí se cargan los datos de discriminación, de dificultad y

del azar.

Figura 3.5 Formato del archivo Parámetros. Fuente: Diseño realizado por los autores.

Luego de haber cargado correctamente todos los archivos necesarios para el

funcionamiento del aplicativo es necesaria la aplicación de un TAI que requiere

un algoritmo que incluya:

1.- El procedimiento para determinar el primer Ítem a presentar es mediante una

selección aleatoria del número de preguntas del banco de datos

2.- El método estadístico para estimar después de cada respuesta el nivel de

rasgo provisional y la precisión asociada a dicha estimación, es el método de

máxima verosimilitud y la estimación del error estándar basándose en el cálculo

de la varianza.

3.- El algoritmo para la selección sucesiva de ítems, es el método de máxima

información del ítem que se basa en la maximización de la función de información

del ítem obtenida a través del método de máxima verosimilitud

4.- Se incluye un método para controlar la distinción de cada Ítem para evitar que

un ítem se presente dos veces en el mismo cuestionario

46

5.- Un criterio para finalizar la presentación de ítems.

Los criterios para finalizar la presentación de ítems son:

a) Máximo número de ítems alcanzado, este punto puede ser controlado de

acuerdo a los criterios que sean necesarios para realizar la evaluación.

b) Cuando el error de estimación del nivel de aptitud (θ) es menor que el error

estándar definido para el cuestionario (entre 0 y 1)

3.3.2 Incorporación del algoritmo adaptativo al código fuente.

El desarrollo de la aplicación que implementa el algoritmo para el test adaptativo

esta sobre la arquitectura de tres capas: modelo, vista, controlador.

Figura 5 Diseño de la arquitectura

Fuente: Diseño realizado por los autores. La capa de modelo se encargar de la conexión con la base de datos, de albergar

la lógica del algoritmo y de validaciones para la aplicación. La capa de

47

controladores se encarga de la lógica de la aplicación y la capa de vistas maneja

la construcción de las interfaces.

La capa de controladores contiene 5 controladores:

- BancosController: Se encarga de la gestión de bancos de ítems, tanto

como la consulta y creación de Bancos de Ítems, así como de la carga de

preguntas, respuestas y sus respectivos parámetros.

- CuestionarioController: Se encarga de la gestión de los cuestionarios,

creación de cuestionarios y manejo del cuestionario adaptativo con la

implementación del algoritmo adaptativo.

- ErrorController: Se encarga del manejo y control de errores en la aplicación

- IndexController: Se encarga de la carga inicial de la aplicación.

- LoginController: Se encarga de la parte de autenticación de usuarios y

manejo de sus respectivas sesiones.

Figura 3.7 Diseño de la arquitectura II


48

La capa de modelo contiene varios archivos que se encargan de distintas

validaciones para la aplicación, y además contiene que se encarga de lógica para

la implementación del algoritmo y cual es invocado por el controlador en el

momento de su ejecución.

Figura 3.8 Diseño de la arquitectura III

Fuente: Diseño realizado por los autores. En la capa de vistas se encuentran las distintas interfaces que maneja cada

controlador respectivamente.

49

Figura 3.9 Diseño de la arquitectura IV


3.3.3 Aplicación de algoritmo

El algoritmo adaptativo como tal se encuentra manejado por el controlador

CuestionarioController el cual en el momento inicial del cuestionario antes de

mostrar la primera pregunta, que es generada por un número aleatorio enmarcado

dentro del número de preguntas de que consta el banco de ítems, se encarga de

generar los valores de theta (nivel de aptitud) dentro de los que trabajará el

algoritmo, este rango va desde -3 hasta 3, para mayor exactitud en las tareas de

cálculo los valores generados dentro de este rango cambian en 0,1 lo que permite

obtener un total de 70 valores para theta.

Una vez generado este rango mientras aparece la primera pregunta se procede a

realizar los cálculos probabilísticos en los cuales el algoritmo se apoya para poder

determinar el nivel de aptitud y la pregunta correspondiente, estos cálculos son

50

manejados en la capa de modelo por la clase denominada (TAI). Los cálculos

realizados en esta etapa son:

- Probabilidad de acertar un ítem: en el cual se realiza el cálculo por cada

ítem y por cada valor de theta

- Probabilidad de errar un ítem: en el cual se realiza el cálculo por cada ítem

y por cada valor de theta

- Derivada de la probabilidad de acertar un ítem: en el cual se realiza el

cálculo por cada ítem y por cada valor de theta

- Función de Información: en el cual se realiza el cálculo por cada ítem y por

cada valor de theta

Todos estos cálculos son almacenados temporalmente para poder ser utilizados

por el algoritmo durante el desarrollo del cuestionario.

Cuando el evaluado contesta la primera pregunta presentada el algoritmo entra en

operación, primero verificando si el número de preguntas que se han contestado

es menor o igual al número de preguntas máximo parametrizado para el

cuestionario en caso de serlo se toma el id de la pregunta y la respuesta a la

misma, con estos valores se procede a calcular la Máxima Verosimilitud para de

esta manera poder obtener el nivel de aptitud aproximado. Para este proceso se

verifica la veracidad de la respuesta, dependiendo de ello, se busca ya sea dentro

de los valores de probabilidad de errar o probabilidad acertar, teniendo como

referencia el id de la pregunta cuál de los 70 valores generados es el máximo, una

vez obtenido este valor de theta se procede al cálculo de error en la estimación de

este nivel de aptitud trabajando para ello además con los valores de Función de

Información calculados para el ítem. Realizado este proceso se tiene el nivel de

aptitud que maximiza la Función de Información, en este punto el algoritmo toma

ese valor para realizar los cálculos para encontrar el id de la pregunta, tomando el

máximo valor calculado, verificando primero que no haya sido una pregunta

contestada previamente por el usuario, con lo que si de ser el caso se

seleccionará el id de la pregunta seguidamente con mayor valor.

Obtenido el id de la pregunta el algoritmo primero verifica si el error de estimación

de theta calculado permanece mayor al error de estimación de theta

51

parametrizado para el cuestionario si es así usará el id de pregunta obtenido y

presentará la respectiva pregunta y nuevamente iniciará el ciclo hasta que

encuentre que el número de preguntas contestadas sea el número máximo de

preguntas parametrizadas para el cuestionario o hasta que el error de estimación

de theta sea menor al error de estimación de theta parametrizado para el

cuestionario, con lo cual el algoritmo devuelve el nivel de aptitud para el evaluado

para el cuestionario contestado.

El flujo de datos que realiza el presente algoritmo adaptativo se ilustra en el

diagrama de la figura 3.10:

53

Figura 3.10 Diseño del algoritmo


54

3.4 PANTALLAS DESCRIPTIVAS DEL PROCESO DE

EVALUACIÓN.

3.4.1 Como administrador

Luego de haber realizado correctamente la instalación del aplicativo, se digita en

el url del navegador la dirección del proyecto

http://localhost/ProyectoTA/public/login/login, se debe indicar que el aplicativo

funciona sobre los navegadores Internet Explorer de la versión 7 en adelante,

Mozilla Firefox de la versión 3.0 en adelante, y Google Chrome hasta la versión

20.0.1132.47, para la demostración se emplea el navegador Google Chrome, para

lo cual luego de digitar la dirección se presiona la tecla enter y se obtiene la

pantalla indicada en la figura 3.11:

Figura 3.11 Diseño de la interfaz de presentación.


Ahora se ingresa el usuario administrador y su contraseña, se presiona clic sobre

el botón login y se entra a la sesión de administrador

55

Figura 3.12 Diseño interfaz de login.


Si el usuario no ingreso correctamente los datos, si el nombre de usuario o la

contraseña se quedaron en blanco los campos se encuentran validados como se

presenta en la pantalla indicada en la figura 3.13:

Figura 3.13 Validación de campos.

Fuente: Diseño realizado por los autores. En la sesión de administrador el aplicativo presenta las opciones de:

· Consultar bancos,

· Crear nuevo banco,

· Cargar preguntas al banco y

· Crear cuestionario.

56

Figura 3.146 Diseño interfaz de menú.

Fuente: Diseño realizado por los autores. Para la selección de Consultar bancos:

En esta selección se presenta todos los bancos que se encuentran cargados en el

aplicativo, al tomar uno de ellos se obtendrá una consulta especifica de un banco

Figura 3.15 Diseño de interfaz Inicio.


57

Figura 3.16 Diseño de cuadro consulta de Banco de preguntas.

Fuente: Diseño realizado por los autores. O a su vez si se toma la selección “todos” se visualizará una consulta general, en

la cual se presentan la especificación del nombre del banco, la descripción, la

categoría y si se encuentra cargado con preguntas o no.

Figura 3.17 Diseño de consulta banco de preguntas total.


Para la selección crear nuevos bancos:

Se selecciona la opción Crear nuevo banco y el aplicativo presenta los siguientes

campos nombre, descripción y categoría como se aprecia en la pantalla indicada

en la figura 3.18:

58

Figura 3.18 Diseño de interfaz Creación de bancos de preguntas.

Fuente: Diseño realizado por los autores. Ahora se ingresan los campos requeridos y se presiona Crear banco para

validarlo, si existen errores de ingreso como son dejar los campos en blanco la

aplicación presenta los mensajes de error para corregirlos.

Figura 3.19 Validación de campos.

Fuente: Diseño realizado por los autores. Luego de realizar las correcciones en los ingresos se presiona Crear Banco

59

Figura 3.20 Validación de ingreso de creación de bancos de preguntas.

Fuente: Diseño realizado por los autores. El aplicativo presenta el mensaje de creación del banco como se observa en la

figura 3.21.

Figura 3.21 Creación satisfactoria del banco.


Al ser validado la creación, se realiza la consulta de los bancos para verificar la

existencia del nuevo banco.

60

Figura 3.22 Consulta de bancos creados.


Al hacer clic sobre el banco nuevo se obtendrá la consulta del mismo como se

observa en la figura 3.23.

Figura 3.23 Consulta de carga de preguntas al banco seleccionado.

Fuente: Diseño realizado por los autores. Para la selección de cargar preguntas al banco:

Se selecciona la opción cargar preguntas al banco y la pantalla que se presenta

enseña un primer combo con el nombre del banco al cual se cargará las

preguntas

61

Figura 3.24 Modelo de carga de archivos de preguntas.


3.4.1.1 Descripción de los archivos necesarios para el aplicativo

Para cargar los requerimientos necesarios al aplicativo es necesario hacer uso de

un archivo de preguntas, un archivo de respuestas y un archivo de parámetros,

todos estos archivos deben ser de tipo Excel, con la extensión (.csv), esto porque

los archivos de texto de valores separados por comas (.csv), son en los que el

carácter de coma (;) separa normalmente cada campo de texto.

Los datos deben comenzar desde la fila 1 columna1

Archivo Preguntas:

Para que la plataforma pueda asimilar la información del archivo en forma correcta

es necesario que el archivo Excel que se vaya a subir sea de extensión .csv, esto

debido a que esta extensión permite a los datos contenidos dentro del archivo

puedan reconocerse, el archivo debe contar con el formato indicado en la tabla

3.1.

Preg

un

ta

En

un

ciado

Valo

r

Tip

o

Op

ción

1

Op

ción

2

Op

ción

n

Path

arch

ivo d

e im

agen

(O

pcio

nal)

Verdad/falso Preg. 2 8*5 =44 1 VF

Opción múltiple

Preg. 3 8*5 es 1 OM Igual a 25

Igual a 40

Path C:\\img.jpg

Tabla 3.1 Formato archivo de preguntas


62

El campo “Path archivo de imagen (Opcional)” que se presenta en la tabla 3.1 es requerido si el enunciado de la pregunta necesita la inclusión de una imagen y debe incluir la palabra path

Archivo Respuestas:

Respuesta Valor

Verdad/falso F 1

Opción Múltiple Literal (Ej.: a) 1

Tabla 3.2 Formato archivo respuestas.


Archivo Parámetros

Este archivo debe presentar las características mostradas en tabla 3.3

Discriminación (a) Dificultad (b) Azar(c)

0,1 1 0,5

Tabla 3.3 Formato archivo parámetros.


En las figuras 3.25 y 3.26 se pueden apreciar el proceso de selección de archivos

Figura 3.25 Características de los archivos de carga.


63

Figura 3.26 Ejemplo de archivos cargados al aplicativo.

Fuente: Diseño realizado por los autores. Una vez que los archivos se encuentren cargados se debe presionar el botón

cargar banco y se va a presentar la confirmación de la creación del banco de

preguntas, si algún archivo no se encuentra cargado serán validos con un

mensaje de error como se observa en la figura 3.27:

Figura 3.27 Validación de carga.

Fuente: Diseño realizado por los autores. Después de hacer un correcto ingreso de los archivos requeridos y de presionar

cargar bancos el aplicativo presenta una descripción de las características de los

datos que contienen cada uno los registros que han sido ingresados si toda la

información es válida se presiona cargar banco para finalizar el proceso de carga

de bancos.

64

Figura 3.28 Confirmación de carga al aplicativo

Fuente: Diseño realizado por los autores. Para realizar la consulta de que el banco ha sido creado se regresa al menú de

administrador y se consulta los cuestionarios creados en las diferentes

características que presenta el cuadro se puede apreciar en la figura 3.29 que en

el campo de cargado con preguntas aparece “SI”.

Figura 3.29 Consulta de carga de preguntas.


Para la selección Crear cuestionario.

La presente selección permite parametrizar el cuestionario a continuación se

explica en qué consiste cada uno de sus puntos:

65

Luego de tomar la selección de crear cuestionario el aplicativo presenta los

campos mostrados en la figura 3.30.

Figura 3.30 Creación de cuestionarios.


Se debe ingresar un nombre para el cuestionario, luego una descripción para el

mismo, estos dos campos son de información luego se debe escoger el banco de

preguntas para la presente demostración se debe tomar el banco que

previamente fue creado:

Figura 3.31 Parametrización de cuestionario.


66

Se selecciona el banco PRUEBA y se sigue con la parametrización del Error

Estándar.

A continuación se detallará la explicación del parámetro valor de Theta inicial.

Luego de ingresar estos parámetros se ingresa el Máximo número de ítems esto

quiere decir el número máximo de preguntas que el evaluado tendrá que contestar

de acuerdo a los criterios de evaluación que se presentan en el cuestionario y al

nivel de exigencia que la materia y el profesor lo refieran.

Para la presente demostración se ha ingresado un máximo de 25 preguntas para

realizar la evaluación, finalmente se presiona crear cuestionario

Figura 72 Ejemplo de validación del cuestionario.


Ahora el aplicativo ha creado el cuestionario con su respectivo banco de

preguntas y su parametrización, ahora el evaluado debe ingresar y tomar el

cuestionario de nombre INFORMÁTICA, para continuar el proceso de evaluación

automática.

67

Figura 3.33 Selección de cuestionario creado.


3.4.2 Para la sesión usuario

El presenta aplicativo no maneja la creación de usuarios por tal razón, para

realizar este proceso se lo debe hacer mediante la base de datos, para las

pruebas realizadas se han creado usuarios de prueba.

Con los usuarios de prueba creados se realizará la presentación del proceso de

evaluación, se usará el usuario diego:

Figura 3.34 Login Usuario.


68

Después de realizar la validación del usuario y su contraseña se presenta la

selección del cuestionario se escoge al creado anteriormente en la sesión de

administrador y se inicia con el proceso de evaluación:

Figura 3.35 Selección de cuestionario.

Fuente: Diseño realizado por los autores. Al iniciar el cuestionario el aplicativo presenta una pregunta al azar, esto para

determinar el nivel de conocimiento de entrada del evaluado, este elige desde su

percepción la habilidad que tiene la misma que lo llevara a un nivel inicial de

partida entre un conjunto de valores cualitativos prestablecidos dentro de los

rangos establecidos en los valores parametrizados. El rango elegido

corresponderá al valor que tome θ en la elección de la primera pregunta.

Luego de tomar el cuestionario se presiona Iniciar y el aplicativo presenta la

primera pregunta del cuestionario seleccionado:

69

Figura 3.36 Respuestas al cuestionario seleccionado por el usuario.

Fuente: Diseño realizado por los autores. Ahora empieza el proceso de evaluación al tomar una opción es decir si la

afirmación presentada es falsa o verdadera, no se puede presionar el botón enviar

sin antes haber seleccionado una opción el aplicativo presenta un mensaje de

error:

Figura 3.37 Validación de respuestas.

Fuente: Diseño realizado por los autores. Después de llenar una de los dos opciones se presiona el botón enviar y el

aplicativo presenta la siguiente pregunta para continuar el proceso de evaluación,

cabe señalar que las preguntas no se repiten, hasta la finalización de la

evaluación

70

Con estas características continua el proceso de evaluación hasta que el

algoritmo lo finalice sea por el conocimiento del evaluado o por el número de

preguntas parametrizado anteriormente, luego del proceso se presenta un informe

final al evaluado para que asimile en qué punto se encuentran sus conocimientos

respecto al tema evaluado, para esto el aplicativo presenta en pantalla el nombre

del usuario el nombre del cuestionario el número de preguntas la calificación final,

la calificación sobre 10 el tiempo y el nivel de aptitud obtenido por evaluado

Datos Presentados Descripción

Nombre del usuario Se presenta el nombre del evaluado

Nombre del cuestionario Se presenta el nombre del cuestionario

Número de preguntas Se presenta el número de preguntas

que el evaluado contesto antes de

finalizar el cuestionario

Calificación final Se presenta la calificación final sobre el

rango de aptitud que se ha

parametrizado en el algoritmo.

Calificación sobre 10 Se presenta el puntaje equivalente

sobre 10 puntos.

Tiempo Se presenta el tiempo en minutos y

segundos que el evaluado se demoro

en contestar el cuestionario

Nivel de aptitud obtenido por evaluado Se presenta el nivel de aptitud obtenido

y lo coloca en una tabla descriptiva de

su significado pintando la fila donde se

encuentra información sobre su

resultado obtenido y despliega un

recuadro de recomendaciones finales

para el evaluado.

Tabla 3.4 Representación formato de presentación de datos finales

Fuente: Realizado por los autores.

71

Figura 88 Diseño de reporte final con resultados. Fuente: Diseño realizado por los autores.

Figura 99 Mensajes de recomendaciones. Fuente: Diseño realizado por los autores.

72

Después de visualizar el resultado y las recomendaciones que presenta el

aplicativo se puede salir de la evaluación y volver a la selección de cuestionarios

en caso que el evaluado requiera contestar otro cuestionario.

Si el usuario intenta volver a contestar el cuestionario ya evaluado el aplicativo

presenta un mensaje de error como el que se presenta en la figura 3.40:

Figura 3.40 Validación de cuestionario ya contestado.


3.5 PRUEBAS DE CAJA NEGRA

Se realizaron las pruebas de funcionamiento del algoritmo con los siguientes

criterios de evaluación:

1.- Con Respuestas intercaladas es decir aleatorias.

2.- Con todas las respuestas incorrectas.

3.- Con todas las respuestas verdaderas.

4.- Con todas las respuestas falsas.

5.- con todas las respuestas correctas.

73

Res

pu

esta

s al

eato

rias

Tab

la 3

.5 R

esu

ltad

os

pru

ebas

co

n r

esp

ues

tas

alea

tori

as.

Fu

ente

: R

ealiz

ado

po

r lo

s au

tore

s.

Se

gú

n l

os

resu

ltad

os

ob

teni

dos

en

la p

rue

ba a

lea

tori

a s

e p

ue

de

inte

rpre

tar

qu

e el

alg

oritm

o r

eq

uier

e u

n m

ayo

r n

úm

ero

de

pre

gu

nta

s p

ara

en

con

trar

el

nive

l d

e a

ptit

ud d

el

eva

lua

do,

po

r e

nd

e e

l al

gor

itmo

tie

nd

e a

te

rmin

ar

po

r el

nú

me

ro m

áxi

mo

de

íte

ms

pe

rmiti

do p

ara

el

cue

stio

na

rio.

Po

r ta

l ra

zón

se

pu

ed

e a

pre

cia

r q

ue

el e

rror

de

est

ima

ció

n d

el n

ivel

de

ap

titud

se

vuel

ve

alto

.

Se

pu

ed

e a

pre

cia

r qu

e e

l e

rro

r e

stá

nd

ar

pa

ram

etr

iza

do

, el

ran

go

de

va

lore

s de

(te

ta,

Niv

el

de

ap

titu

d),

y el

val

or

inic

ial d

e T

eta

no

inci

de

n e

n e

l de

sem

pe

ño

del

alg

ori

tmo

.

ran

go

th

eta

(-3,

3)

(-2,

2)

(-1,

1)

(-3,

1)

(-1,

3)

thet

a in

icia

l 0

0 0

-1

1

erro

r 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8

No

. Pre

gu

nta

s 2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

8

thet

a -1

,9

-1,9

-1

,9

-1,7

-2

-1

,9

1

1

1

-1

-1,1

-0

,9

-1

1,2

3

erro

r 2

,78

73

2,5

84

2 2

,70

13

1,8

29

1 2

,37

1 2

,27

55

0,6

85

5 0

,63

63

1,8

69

9 2

,40

56

2,4

55

5 2

,36

34

1,9

11

2 0

,96

37

0,7

77

2

thet

a P

rom

edio

-2

,56

-2,4

9 -2

,57

-1,0

8 -1

,78

-1,7

3 0

,81

1,0

6 -0

,88

-2,2

-2

,3

-2,2

3 -0

,92

0,8

3 2

,33

3

74

Tod

as la

s re

spu

esta

s in

corr

ecta

s

Tab

la 3

.6 R

esu

ltad

os

pru

ebas

co

n r

esp

ues

tas

inco

rrec

tas.

Fu

ente

: R

ealiz

ado

po

r lo

s au

tore

s.

Se

gú

n l

os

resu

ltad

os

obte

nid

os

en

la

pru

eba

ale

ato

ria

se

pue

de

in

terp

reta

r q

ue

el

algo

ritm

o r

eq

uie

re u

n t

ota

l n

úm

ero

de

pre

gu

nta

s p

ara

me

triz

ad

as

par

a e

nco

ntra

r e

l niv

el d

e a

ptit

ud

de

l eva

lua

do,

ya

qu

e t

rata

de

est

abl

ece

r el

niv

el d

e a

ptit

ud

a p

art

ir

de

re

spu

est

as

equi

voca

da

s,

po

r e

nd

e

el

alg

oritm

o

tien

de

a

te

rmin

ar

po

r el

n

úm

ero

m

áxi

mo

d

e

íte

ms

pe

rmiti

do

pa

ra

el

cue

stio

na

rio.

Po

r ta

l ra

zón

se

pu

ed

e a

pre

cia

r q

ue

el e

rro

r d

e e

stim

aci

ón

del

niv

el d

e a

ptit

ud s

e v

ue

lve

má

s a

lto q

ue

en

la p

rueb

a

an

teri

or.

Se

pu

ed

e a

pre

ciar

que

el

erro

r e

stá

nda

r p

ara

me

triz

ad

o,

el r

an

go

de

val

ore

s de

(te

ta,

Niv

el d

e a

ptit

ud

), y

el

valo

r in

icia

l de

Tet

a

no

inci

de

n e

n e

l de

sem

pe

ño

del

alg

ori

tmo

.

ran

go

th

eta

(-3,

3)

(-2,

2)

(-1,

1)

(-3,

1)

(-1,

3)

thet

a in

icia

l 0

0 0

-1

1

erro

r 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8

No

. Pre

gu

nta

s 2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

thet

a

-3

-3

-3

-2

-2

-2

-1

-1

-1

-3

-3

-3

-1

-1

-1

erro

r 3

,05

45

3,0

29

7 2

,80

8 -1

,92

2,3

62

2,3

98

1 1

,86

7 1

,87

98

1,9

04

9 2

,88

89

2,9

61

5 3

,03

91

1,8

83

5 1

,83

95

1,6

61

2

thet

a P

rom

edio

-2

,88

-2,8

9 -2

,88

2,3

28

4 -1

,92

-1,9

-0

,96

-0,9

6 -0

,95

-2,9

2 -2

,91

-2,9

2 -0

,92

-0,9

2 -0

,92

75

Tod

as la

s re

spu

esta

s ve

rdad

eras

Tab

la 3

.7 R

esu

ltad

os

pru

ebas

co

n r

esp

ues

tas

verd

ader

as.

Fu

ente

: R

ealiz

ado

po

r lo

s au

tore

s.

Se

gú

n l

os

resu

ltad

os

ob

teni

do

s e

n la

pru

eb

a s

e p

ued

e i

nte

rpre

tar

qu

e e

l al

go

ritm

o s

e v

e a

fect

ad

o p

orq

ue

al

ten

er t

oda

s la

s

resp

ue

sta

s ve

rda

de

ras

alg

una

s d

e el

las

son

corr

ect

as

lo q

ue le

fa

cilit

a a

l al

gori

tmo

la

ob

ten

ción

del

niv

el d

e a

ptit

ud,

por

ello

en

cie

rto

s in

terv

alo

s d

e T

eta

el a

lgor

itmo

te

rmin

a a

nte

s d

el n

úm

ero

to

tal d

e í

tem

s p

erm

itid

o p

ara

el c

ue

stio

nari

o.

Pa

ra q

ue

est

o s

e d

é ti

en

e in

cide

nci

a e

l va

lor

del e

rror

est

ánd

ar

pa

ram

etr

izad

o y

los

ran

go

s d

e t

eta

qu

e s

on

má

s a

mp

lios.

Deb

ido

a q

ue

tie

ne m

ás

am

plit

ud

de

do

nde

de

term

ina

ra e

l niv

el d

e a

ptit

ud

lo q

ue n

o s

uce

de e

n r

an

go

s d

e t

eta

má

s co

rto

s d

on

de

casi

sie

mp

re t

erm

ina

ra p

or

el n

úm

ero

má

xim

o d

e í

tem

s.

ran

go

th

eta

(-3,

3)

(-2,

2)

(-1,

1)

(-3,

1)

(-1,

3)

thet

a in

icia

l 0

0 0

-1

1

erro

r 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8

No

. Pre

gu

nta

s 2

5

8

25

6

1

1

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

thet

a

2,7

2

,8

-0,2

-0

,2

2

2

-0,4

-0

,1

-0,2

0

,4

0,4

-0

,6

2

-0,6

-0

,6

erro

r 0

,68

5

5

0,6

36

3

0,6

20

3

0,5

6

1

0,4

31

0,4

07

0,3

7

8

0,3

2

1

0,3

0

5

0,2

80

9

0,2

46

7

0,2

13

8

0,1

39

2

0,1

89

4

0,0

9

8

thet

a

Pro

med

io

0,2

09

5

0,4

47

6

1,4

1

,4

0,4

93

8

0,7

36

5

1,4

1

1

1,3

9

6

1,4

0

8

1,7

45

1,7

45

1,4

12

0,3

21

1,4

37

1,4

3

7

76

Ad

em

ás

com

o r

esu

ltad

o d

e l

o a

nte

rior

el a

lgo

ritm

o p

ue

de

est

abl

ece

r el

err

or

de e

stim

aci

ón d

e t

eta

co

n u

n v

alor

po

r d

eb

ajo

de

las

pru

eba

s a

nte

rio

res

lo q

ue

imp

lica

un

a m

ayo

r e

xact

itud

en

el n

ivel

de

ap

titu

d o

bte

nid

o.

Tod

as la

s re

spu

esta

s fa

lsas

Tab

la 3

.8 R

esu

ltad

os

con

las

resp

ues

tas

fals

as.

Fu

ente

: R

ealiz

ado

po

r lo

s au

tore

s.

Se

gú

n l

os

resu

ltad

os

ob

teni

do

s e

n la

pru

eb

a s

e p

ued

e i

nte

rpre

tar

qu

e e

l al

go

ritm

o s

e v

e a

fect

ad

o p

orq

ue

al

ten

er t

oda

s la

s

resp

ue

sta

s fa

las

alg

una

s d

e e

llas

son

cor

rect

as

lo q

ue

le f

aci

lita

al a

lgor

itmo

la

ob

ten

ción

de

l niv

el d

e a

ptitu

d,

por

ello

en

cie

rto

s

inte

rvalo

s d

e (

θ),

el a

lgor

itmo

te

rmin

a a

nte

s de

l nú

me

ro t

ota

l de

íte

ms

pe

rmiti

do

pa

ra e

l cu

estio

nari

o.

Pa

ra q

ue

est

o s

e d

é ti

en

e in

cid

en

cia

el v

alo

r de

l err

or e

stá

nda

r p

ara

me

triz

ado

y lo

s ra

ng

os

de

te

ta q

ue

so

n m

ás

am

plio

s.

Deb

ido

a q

ue

tie

ne

má

s a

mp

litud

de

do

nde

de

term

ina

ra e

l niv

el d

e a

ptit

ud

lo q

ue

no

su

cede

en

ra

ng

os

de (

θ),

m

ás

cort

os

do

nd

e

casi

sie

mp

re t

erm

ina

ra p

or

el n

úm

ero

má

xim

o d

e í

tem

s.

ran

go

th

eta

(-3,

3)

(-2,

2)

(-1,

1)

(-3,

1)

(-1,

3)

thet

a in

icia

l 0

0 0

-1

1

erro

r 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8

No

. Pre

gu

nta

s 2

2

25

2

5

25

2

5

25

2

5

25

2

5

25

2

5

25

2

1

9

4

thet

a

3,0

-2

.6

-2,7

-2

-2

-2

-1

-1

-1

-2

,6

-2,6

-2

,7

3

2,3

3

erro

r 0

,19

92

2,8

28

5 2

,56

32

2,4

08

0 2

,40

84

2,4

08

3 1

,91

51

1,9

20

4 1

,87

75

2,6

53

5 2

,63

74

2,5

91

5 0

,19

85

0,4

73

8 O

,62

66

thet

a P

rom

edio

2

,56

36

-2,6

1 -2

,46

-1,7

1 -1

,71

-1,7

1 -0

,96

-0,9

6 -0

,96

-2,4

6 -2

,42

-2,4

2

,88

57

2,2

77

8 2

,45

77

Tod

as la

s re

spu

esta

s co

rrec

tas

Tab

la 3

.9 R

esu

ltad

os

pru

ebas

co

n r

esp

ues

tas

corr

ecta

s.

Fu

ente

: R

ealiz

ado

po

r lo

s au

tore

s.

Se

gú

n lo

s re

sulta

dos

ob

teni

dos

en

la p

rue

ba

se

pu

ed

e in

terp

reta

r q

ue e

l alg

ori

tmo

al r

eci

bir

resp

ue

sta

s co

rre

cta

s p

ue

de

ca

lcul

ar

el n

ivel

de

ap

titud

(th

eta

), d

e u

na

form

a m

ás

ráp

ida

y p

reci

sa lo

qu

e im

plic

a q

ue

no

ne

cesa

ria

me

nte

alc

anza

ra e

l nú

me

ro m

áxi

mo

de

pre

gu

nta

s p

ara

me

triz

ada

s p

ara

el c

ue

stio

nari

o.

Cu

an

do

los

ran

go

s d

e t

het

a s

on

má

s co

rto

s y

el e

rro

r e

stá

nd

ar

par

am

etr

iza

do

es

má

s p

eq

ue

ño

se

re

qui

ere

un

nu

me

ro m

as

de

pre

gu

nta

s p

ara

det

erm

ina

r el

niv

el d

e a

ptit

ud

, m

ien

tra

s q

ue

cu

an

do

el r

an

go

de

the

ta e

s m

ás

am

plio

au

n cu

and

o e

l e

rro

r e

stá

nd

ar

est

e p

ara

me

triz

ado

con

val

ore

s ba

jos

re

qui

ere

un

me

no

r n

úm

ero

de

íte

ms,

sin

em

ba

rgo

es

clar

o q

ue e

l nu

me

ro d

e í

tem

s re

qu

erid

os

de

pen

de

ne

cesa

riam

en

te d

el e

rror

de

l val

or

est

án

dar

par

am

etr

iza

do

.

Deb

ido

a l

o m

en

cio

nad

o a

nte

riorm

en

te e

l e

rro

r d

e e

stim

aci

ón

del

niv

el d

e a

ptit

ud

se

en

cue

ntr

a d

ent

ro d

e n

ivel

es

rela

tiva

me

nte

ba

jos

lo q

ue

indi

ca q

ue e

xist

e u

na

ma

yor

pre

cisi

ón

al d

ete

rmin

ar

el n

ivel

de

ap

titud

.

ran

go

th

eta

(-3,

3)

(-2,

2)

(-1,

1)

(-3,

1)

(-1,

3)

thet

a in

icia

l 0

0 0

-1

1

erro

r 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8 0,

2 0,

5 0,

8

No

. Pre

gu

nta

s 2

1 5

4

2

5 1

1 6

2

5 2

5

19

25

2

5

19

2

1

5

3

thet

a

3

3

3

2

2

2

1

1

1

1

1

1

3

3

3

erro

r 0

.19

72

0.4

77

8

0.5

83

6

0.3

12

3

0.4

94

3

0.7

36

3

0.7

05

9

0.7

05

7

0.7

93

0

0.7

10

5

0.7

10

8 0

.79

51

0

.19

55

0.4

63

7

0.7

65

7

thet

a P

rom

edio

2

.85

71

2

.4

2.2

50

0

1.9

2 1

.81

82

1

.66

7

0.9

6

0.9

6

0.9

47

4

0.9

2

0.9

2

0.8

94

7

2.9

04

8 2

.6

2.3

3

78

3.6 PRUEBAS DE CAJA BLANCA

Para describir el proceso funcional de la aplicación se realizara el análisis del

diagrama de secuencia que ejecuta el presente algoritmo:

Figura 3.41 Pruebas funcionales I.

Se inicia el cuestionario y se realiza la pregunta si es o no el primer ítem.

Si es el primer ítem la aplicación genera por única vez durante toda la sesión de

evaluación, el rango de valores de Theta de 3 a -3, con intervalos de 0,1 lo que da

un total de 70 posibles valores, luego de esto la aplicación carga el banco de

preguntas que se encuentra guardado en la base de datos basándose en el id del

79

cuestionario, en este momento el algoritmo procede a generar un muero aleatorio

dentro del rango de preguntas cargadas anteriormente para poder presentar el

primer ítem.

Figura 3.42 Pruebas funcionales II.

Con los parámetros cargados y las preguntas cargadas el algoritmo realiza los

cálculos estadísticos estáticos para cada pregunta (Probabilidad de acertar ítem,

probabilidad de errar la función de información del ítem, entre otros ) es necesario

aclarar que los parámetros de las preguntas deben estar en los rangos sugeridos

en el capitulo tres del presente trabajo, para que no ocasione errores de cálculo,

luego de esto la aplicación requiere averiguar si el numero de pregunta

presentada es menor al máximo número de ítems permitidos para el cuestionario.

Si es no la aplicación requiere averiguar si el número de pregunta presentada es

menor al máximo número de ítems permitidos para el cuestionario.

Ahora si el número de pregunta presentada es mayor o igual al máximo número

de ítems permitidos para el cuestionario, este finaliza.

Si el número de pregunta presentada es menor al máximo número de ítems

permitidos para el cuestionario, la aplicación averigua si el error de estimación de

(θ) es mayor o igual que el error estándar parametrizado.

Si el error de estimación de (θ), es menor o igual que el error estándar

parametrizado, la aplicación finaliza el cuestionario.

80

Si el error de estimación de (θ), es mayor que el error estándar parametrizado, la

aplicación presenta el ítem.

Figura 3.43 Pruebas funcionales III.

Ahora se averigua si la respuesta es correcta en caso de ser así, el algoritmo

recupera los valores calculados para la probabilidad de ACERTAR el ítem, si la

respuesta es incorrecta el algoritmo recupera los valores calculados para la

probabilidad de ERRAR el ítem, luego de esto se procede a calcular la máxima

verosimilitud para el ítem contestado una vez hecho esto la aplicación averigua si

es la primera pregunta de ser así obtiene el (θ), o nivel de actitud inicial de la

base de datos de no ser así la obtiene del cálculo hecho al obtener la máxima

verosimilitud del ítem, con este cálculo anteriormente realizado se obtiene la

primera estimación del error estándar luego con el valor de (θ), proporcionado se

calcula la función de información del ítem una vez realizado este cálculo se

procede a buscar el valor

81

Figura 3.44 Pruebas funcionales IV.

que maximiza esta función dentro de los cálculos realizados, ahora la aplicación

debe averiguar si el valor obtenido corresponde a un ítem que ya ha sido

presentado o contestado previamente si ya ha sido contestado el algoritmo debe

buscar el siguiente valor máximo de los cálculos realizados y va a presentar el

ítem correspondiente este proceso lo realizara de ser necesario hasta encontrar el

valor máximo de un ítem no contestado luego de lo cual procederá a asignar el

valor máximo calculado al ítem presentado, si no la aplicación debe presentar el

ítem seleccionado y repetirá el proceso hasta que el numero de ítems

presentados sea mayor o igual al número de ítems parametrizados para el

cuestionario.

82

3.7 PRUEBAS DE RENDIMIENTO

Como un valor agregado a el presente trabajo, luego de realizar las pruebas de

caja negra y de caja blanca, se ha sometido al aplicativo a trabajar en una intranet

con una cantidad de 50 usuarios concurrentes, y el aplicativo se desarrollo

correctamente y sin ningún inconveniente de orden técnico, al realizar un análisis

más amplio se observa que el algoritmo se ve afectado en el tiempo de respuesta

o latencia, cuando sobrepasa los 100 usuarios conectados al mismo tiempo y con

una determinada condición de la intranet.

Para probar el desempeño del aplicativo se ha hecho uso de la herramienta

VPerformer en su modo de prueba, mediante la cual se han obtenido resultados

del uso del algoritmo, ya que puede medir las características de rendimiento de la

aplicación mediante la grabación y reproducción de scripts automatizados que

simulan una gran cantidad de usuarios virtuales concurrentes.

Ademas, se realiza la medicion del aplicativo mientras se encuentra funcionando

es decir analiza el rendimiento paralelamente, con el usuario que esta

contestando el test adaptativo informatizado:

83

Figura 3.45 Pruebas de rendimiento

En el gráfico de la figura 3.45 se puede apreciar un eje de coordenadas en el cual

se representa las diferentes ejecuciones que realiza el aplicativo contra el tiempo,

esto permite realizar una valoración del desempeño del algoritmo, tomando en

consideración que mientras más bajo se encuentren los tiempos de respuesta por

cada transaccion que ejecute el algoritmo, en el aplicativo la presentacion de cada

ítem será más rápida incluso la presentación del reporte final será más óptima.

Igualmente su desempeño en un ambiente con mas usuarios independientemente

de la infraestructura tecnológica, se encontrará en niveles muy aceptables de

desempeño

84

Figura 3.46 Pruebas de rendimiento II

El gráfico de la figura 3.46 se refiere a carga vs rendimiento se desarrolla sin

problemas en tiempos normales, si el aplicativo es evaluado con una mayor

cantidad de usuarios y con un banco de preguntas mucho más robusto depende

mucho la infraestructura donde se encuentre alojada la aplicación, para las

pruebas realizadas en este capitulo se puede apreciar que el rendimiento es

constante y al final se observa un incremento en la carga esto se refiere a que se

finalza el test y se presentan los resultados en la interface final.

85

Figura 3.47 Pruebas de rendimiento III

En el gráfico mostrado en la figura 3.47 se presentan diferentes mediciones en

base al tiempo de respuesta de los componentes el primero hace referencia a las

transacciones por usuario, el segundo al total de usuarios conectados y cabe

resaltar que para esta prueba haciendo uso de conexiones concurrentes se tiene

un rendimiento muy bueno, y el tercero presenta los hits por segundo, al

analizarlos todos los procesos se encuentran constantes y no presentan un

considerable efecto sobre los recursos del equipo servidor.

86

CAPITULO IV. CONCLUSIONES Y RECOMENDACIONES

4.1 CONCLUSIONES

· Los modelos revisados en este trabajo han supuesto el mayor avance

tecnológico en los últimos años sobre la medición psicológica y educativa.

No son la verdad absoluta, pero han introducido nuevos lineamientos, con

claras aplicaciones en la práctica, de hecho la mayoría de los estudios

propuestos consultados para la realización de este trabajo se han basado

en el uso de los test adaptativo informatizado (TAI).

· La Teoría de respuesta al Ítem (TRI), aporta un enfoque para analizar las

características de los ítems. En otras palabras, permite analizar la dificultad

y discriminación de los ítems, así como la posibilidad de contestar

correctamente un ítem de forma azarosa. Junto con estos elementos, la

TRI permite conocer la estructura de un ítem a través de su Curva

Característica, además, determina la función de información, que permite

valorar la precisión de la estimación que realiza el test.

Estos elementos son especialmente útiles en el ámbito de la educación y la

personalidad, cuando se trabajan con pruebas objetivas de evaluación y

diagnóstico. En estos campos es útil tener información tanto de la eficacia

del instrumento de evaluación, como del resultado de la propia evaluación

en las personas.

· La tecnología puede ser una herramienta útil en los aspectos más

mecánicos del proceso de evaluación y, aunque se intuye la potencialidad

en estos medios, es necesario que existan criterios pedagógicos explícitos

que guíen su aplicabilidad.

De cara al futuro cercano el uso de estos modelos se verá potenciado a

medida que aumenten y se extiendan los bancos de ítem, imprescindibles

para una aplicación coherente de los modelos.

87

· El principal logro de los Test adaptativos informatizados (TAI), es que con

pocos ítems (veinte, más o menos) se pueden conseguir precisiones en la

medición comparables o mejores que las obtenidas en test no adaptativos

mucho más largos. Esto es así porque en los TAI sólo se administran ítems

auténticamente informativos para determinar el nivel de rasgo de la

persona y se evitan los ítems demasiados fáciles o difíciles, que apenas

informan sobre el nivel de rasgo.

· Los Test adaptativos informatizados (TAI), proporcionan ventajas frente a

los procedimientos clásicos de evaluación, pero hay que tener en cuenta

que su implantación no resulta fácil, pues el hecho de tener que calibrar el

banco de ítems a partir de grandes muestras de sujetos, no siempre resulta

viable e incluso ha llegado a frustrar muchos proyectos e iniciativas

dirigidas hacia la construcción de este tipo de test. En definitiva, el proceso

de desarrollar un TAI es más complejo que redactar un conjunto de ítems

en un soporte informático y administrarlos mediante algún tipo de software,

pudiendo llegar a requerir varios años de trabajo.

· Para que un proceso de evaluación sea exitoso depende del aplicativo de

software empleado, así como también de la calidad de las preguntas que

componen el banco de ítems, por lo tanto el proceso de creación de ítems

debe ser realizado con herramientas para realizar un análisis clásico de

ítems como el que provee la teoría de respuesta de ítems. Los ítems deben

ser desarrollados por expertos en el área (dominio) y deben ser probados

para eliminar los ítems defectuosos antes de ser ingresados a la base que

conforma el banco de ítems.

· Con la implementación del Test adaptativo informatizado, TAI-WEB se

obtuvo rapidez y eficacia en la creación, aplicación y calificación de los

distintos tipos de evaluaciones.

· Mediante el uso del TAI-Web se facilita el proceso de evaluación tanto a

los evaluadores, brindándoles una administración sencilla de los bancos de

88

preguntas y su parametrización, como a los estudiantes proveyéndoles de

un sistema de evaluación adecuado a su nivel de aptitud, y además

brindando la retroalimentación necesaria para que pueda mejorar su

rendimiento.

· Los tiempos de respuesta del algoritmo no se afectaron cuando se utilizó

la simulación de varios usuarios conectados al mismo tiempo, pero

empezaron a aumentarse cuando se sobrepaso los 80 usuarios

concurrentes, de acuerdo a las mediciones obtenidas la media para un

desempeño óptimo es de 50 usuarios conectados concurrentemente.

· La concurrencia en la aplicación afecta directamente al desempeño del

algoritmo visto desde el punto de vista de tiempo de respuesta cuando se

trata de contestar el mismo cuestionario por número grande de usuarios,

sin embargo cuando se trata de concurrencia al contestar diferentes

cuestionarios el desempeño no se ve significativamente desmedrado. Por

lo tanto si se considera una media de 30 usuarios que acceden

concurrentemente a la contestación de un cuestionario, se puede concluir

que el desempeño del algoritmo y por ende de la aplicación es óptimo.

89

4.2 RECOMENDACIONES

· Estudiar la posibilidad de continuar con la implementación de la Teoría de

Respuesta al Ítem aplicando, opcionalmente, la metodología de las Redes

Bayesianas, y además, la posterior implementación de la teoría en la

enseñanza presencial y efectuar comparaciones con la enseñanza virtual.

· Captar el interés de profesionales, no sólo del área de la educación, sino

también estadísticos y psicólogos hacia la complejidad de la estimación de

los parámetros, nivel de habilidad y en general, a la aplicación de la Teoría

de Respuesta al Ítem, para que opten por una capacitación y puedan

realizar investigaciones o implementaciones.

· Conocer el nivel de aptitud de cada uno de los alumnos, sería un elemento

de apoyo al docente para determinar qué puntos se deben reafirmar,

explicarlos nuevamente o reconsiderar, para mejorar así el grado de

enseñanza a impartir. Esto se podría aplicar tanto en la enseñanza básica,

como en la media y superior.

· Continuar con el estudio de la aplicación del Test adaptativo informatizado

TAI, en la Escuela Politécnica Nacional; esto ayudará, a una

modernización en el proceso de evaluación, aprovechando el verdadero

potencial de cada estudiante y elevando, de esta manera, la calidad

académica de la universidad.

· Ayudar a que el presente trabajo no se quede estancado y se incentive,

por parte de las autoridades de la facultad a los futuros estudiantes que

requieran un tema de tesis, en continuar este proyecto realizando la fusión

del TAI-Web con la plataforma Moodle.

90

· Se recomienda a la facultad de sistemas ser pionera en la aplicación de

este trabajo, iniciando en materias especificas, como pilotos y luego de

analizar los resultados aplicarlo a todo el pensum.

· Se ha ajustado un algoritmo, Test adaptativo informatizado (TAI), para las

necesidades específicas del aplicativo presentado en este trabajo, y

todavía se está estudiando para mejorar las formas de selección y

calificación por medio de la teoría de respuesta al ítem (TRI), se

recomienda usar este algoritmo cuando esté del todo especificado y

probado en gran escala, para que pueda ser fácil la creación de nuevos

aplicativos especializados. Este algoritmo permite hacer una comparación

inequívoca de todos los estudiantes en un nivel de enseñanza y pueden

convertirse en un criterio de selección para el paso del estudiante, al

siguiente nivel de enseñanza.

· Se recomienda ajustar el aplicativo para que pueda llegar a que la media

de usuarios concurrentes pueda ser de más de 100, para que de esta

manera pueda aplicarse en test con un número elevado de conexiones al

mismo tiempo.

91

BIBLIOGRAFÍA

[1] Bruguera Ruiz, M. (3 de Diciembre de 2009). conexionismo.com. Recuperado

el Septiembre de 2011, de http://www.conexionismo.com/leer_articulo.php?ref=los_tests_adaptativos_informatizados_y_su_utilidad_en_el_contexto_clinico-2picnex0

[2] Chong Ho, Y. (10 de Diciembre de 2010). creative-wisdom. Recuperado el Septiembre de 2011, de http://www.creative-wisdom.com/computer/sas/IRT.pdf

[3] Conejo, R., Guzmán, E., Pérez De la Cruz, J. L., & Millán, E. (Agosto de 2007). Departamento de Lenguajes y Ciencias de la Computación. Universidad de Málaga. Recuperado el Septiembre de 2011, de http://polar.lsi.uned.es/revista/index.php/ia/article/viewFile/523/507

[4] Fals de Pedro, R., & Piloto Lastra, Y. (Agosto de 2009). gestiopolis.com. Recuperado el Septiembre de 2011, de http://www.gestiopolis.com/economia-2/algoritmo-clasificacion-preguntas-redes-bayesianas-teoria-respuesta-item.pdf

[4] FERRARI, D. (s.f.). Systems Performance Evaluation. Prentice-Hall.

[5] LOPEZ PINA, J. A. (1995). Teoría de Respuesta al Ítem: Fundamentos. Barcelona: PPU. Barcelona.

[6] Martínez Espinosa, Y. (Marzo de 2004). Recuperado el Septiembre de 2011, de http://www.monografias.com/trabajos23/tests-adaptativos/tests-adaptativos.shtml

[7] MUÑIZ FERNANDEZ, J. (1997). Introducción a la Teoría de Respuesta a los Ítems. Madrid: Pirámide.

[8] Olea, J., & Ponsoda, V. (Noviembre de 1998). La Universitat de València. Obtenido de http://www.uv.es/RELIEVE/v4n2/RELIEVEv4n2_0.htm

[9] Olea, J., & Ponsoda, V. (Noviembre de 2002). aristidesvara.net. Recuperado el Septiembre de 2011, de http://aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/tai_aristidesvara.pdf

[10] Rojas, M., Germán, M., & Gatica, Y. (Agosto de 2004). Universidad de Concepción Chile. Recuperado el Septiembre de 2011, de http://www.inf.udec.cl/~revista/ediciones/edicion10/psalcedo01.pdf

92

[11] SCHAEFFER, H. (1981). Data CenterOperations: A guide to effective planning, processing, and performance. Englewood Cliffs, N.J.: Prentice-Hall.

[12] Vara, A. (Marzo de 2005). ARÍSTIDESVARA.COM. Recuperado el Septiembre de 2011, de http://www.aristidesvara.net/pgnWeb/metodologia/psicometria/teoria_respuesta/intri_aristidesvara.pdf

(SCHAEFFER, 1981; FERRARI) (LOPEZ PINA, 1995) (MUÑIZ

FERNANDEZ, Introducción a la Teoría de Respuesta a los Ítems,

1197) (Conejo, Guzmán, Pérez De la Cruz, & Millán, Departamento de

Lenguajes y Ciencias de la Computación. Universidad de Málaga,

2007) (Rojas, Germán, & Gatica, 2004) (Chong Ho, 2010) (Olea &

Ponsoda, 1998) (Martínez Espinosa, 2004) (Bruguera Ruiz, 2009)

(Olea & Ponsoda, aristidesvara.net, 2002) (Fals de Pedro & Piloto

Lastra, 2009)

93

ANEXOS

Anexo 1. Instalación y Configuración del servidor Web Apache y PHP

Anexo 2. Formato de Archivos:

- Preguntas - Respuestas - Parámetros

94

GLOSARIO DE TÉRMINOS

Puntuación verdadera: dentro de la teoría clásica de los test, es el valor del

rasgo que se pretende medir realmente. Es la puntuación que se obtendría si no

existiesen errores en la medida.

Dificultad de un ítem: es un indicador del nivel de exigencia de un ítem para que

la persona consiga un determinado valor. Por ejemplo, un ítem de un examen es

difícil si exige un elevado nivel de conocimiento de la materia para ser

contestados correctamente.

Discriminación de un ítem: capacidad que tiene el ítem de diferenciar entre

personas con distinto nivel de habilidad.

Fiabilidad: estabilidad o constancia de las medidas obtenidas con un mismo test.

También indica la precisión o exactitud de las medidas del test.

Validez: indicador de que el test mide realmente aquello que pretende medir.

Homocedasticidad: igualdad de varianza (es una palabra que no se recoge en el

diccionario de la Real Academia de la Lengua Española).

Variable independiente: variable (fenómeno o suceso) que controla el

investigador con la intención de provocar una respuesta o un cambio en el

sistema.

Variable dependiente: fenómeno que se pretende medir para identificar posibles

cambios.

Curva característica del test (CCT): representación que muestra la relación

entre la ejecución de una persona en un test y su nivel de habilidad.

95

Variable Latente.- Se refiere a la variable que no es directamente observables es

obtenida a través de la deducción mediante la aplicación de un proceso

matemático, aquella que no puede ser específicamente registrada, declarada o

de otra manera manifiesta. En el análisis estadístico, la informática y otras áreas,

las variables latentes representan los elementos que, por una razón u otra, no se

define concretamente en el ámbito de un programa.

Nivel De Rasgo Latente.- es la característica propia de cada sujeto para

determinar su actitud en la evaluación de un determinado tema

Ítem.- Se utiliza este término para representar de modo genérico una pregunta o

ejercicio que el alumno debe resolver. La solución de esta pregunta o tarea puede

darse de diversas maneras: seleccionando una o más opciones de entre un

conjunto de respuestas posibles dado un enunciado, escribiendo directamente

una breve respuesta

Test.- Es una sucesión de ítems.

Ítems Dicotómicos.- Una variable dicotómica puede tomar así dos y solamente

dos valores, a menudo fijos, arbitrariamente, a 0 y a 1, o en su defecto V o F.

Psicometría es la disciplina que se encarga de la medición en psicología. Medir

es asignar un valor numérico a las características de las personas, es usada esta

función pues es más fácil trabajar y comparar los atributos intra e interpersonales

con números y/o datos objetivos. Así, no se usa para medir personas en sí

mismas, sino sus diferentes aspectos psicológicos, tales como conocimiento,

habilidades o capacidades y personalidad.

Calibración.- Mediante este proceso se obtendrá la información que se

introducirá en el banco de ítems.

Test Normativos.- Son aquellos que miden los resultados individuales en

relación a un promedio estadístico poblacional, es decir miden la intensidad de un

determinado parámetro respecto a un promedio estadístico poblacional

96

Tamaño Muestral.- En estadística el tamaño de la muestra es el número de

sujetos o individuos que componen la muestra extraída de una determinada

población para que los datos obtenidos sean representativos para un determinado

criterio.

Modelo de Rasch.- Postula que la probabilidad que tiene un alumno de

responder correctamente una pregunta depende de la diferencia entre el nivel de

habilidad de la persona y el nivel de dificultad de la pregunta.

Unimensionalidad.- Es decir que los ítems que constituyen un test deben medir

sólo una aptitud o rasgo.

Independencia.- Es decir que las respuestas de un examinado a cualquier par

de ítem son independientes y no existe relación entre las respuestas de un

examinado a diferentes ítems.

Independencia local.- Dado un nivel de habilidad, las respuestas a los ítems no

pueden estar correlacionadas entre sí. Si hay correlación entre preguntas, ésta

sólo se explica por habilidad.

Multi - dimensionalidad.- Término referido a tomar referencias y percepciones

de los evaluados y representarlos en un procedimiento visual.

Máxima Verosimilitud.- El método de máxima verosimilitud es una técnica para

estimar el valor de (θ), dado una muestra finita de datos. Se basa en el principio

de obtener estimadores de los parámetros desconocidos que maximicen la

probabilidad de obtener dichas muestras.

Métodos Bayesianos.- Las redes bayesianas se conocieron a partir de los años

80 y son una metodología para la construcción de sistemas expertos.

Procesos De Equating.- proceso por el cual dos pruebas se hacen comparables,

cuando existen formas alternativas de una misma prueba y los puntajes obtenidos

a partir de ellas son comparados unos con otros.

97

Precisión Predictiva.- es el parámetro idóneo para estimar el desempeño

alcanzado con cada subconjunto de rasgos propuesto, en este caso es la

estimación sobre un determinado grupo de evaluados, cuando se tienen patrones

de entrenamiento altamente dimensionales.

Heurística.- En computación, dos objetivos fundamentales son encontrar

algoritmos con buenos tiempos de ejecución y buenas soluciones, usualmente las

óptimas. Una heurística es un algoritmo que abandona uno o ambos objetivos; por

ejemplo, normalmente encuentran buenas soluciones, aunque no hay pruebas de

que la solución no pueda ser arbitrariamente errónea en algunos casos; o se

ejecuta razonablemente rápido, aunque no existe tampoco prueba de que siempre

será así. Las heurísticas generalmente son usadas cuando no existe una solución

óptima bajo las restricciones dadas (tiempo, espacio, entre otras), o cuando no

existe del todo.

Integridad Referencial.- La integridad referencial es una propiedad deseable en

las bases de datos. Gracias a la integridad referencial se garantiza que una

entidad (fila o registro) siempre se relaciona con otras entidades válidas, es decir,

que existen en la base de datos. Implica que en todo momento dichos datos sean

correctos, sin repeticiones innecesarias, datos perdidos y relaciones mal

resueltas.

ESCUELA POLITÉCNICA NACIONAL - Repositorio...

Documents

Transcript of ESCUELA POLITÉCNICA NACIONAL - Repositorio...