Evaluación (Preece et al 2002, Rubin 1994)
Transcript of Evaluación (Preece et al 2002, Rubin 1994)
Evaluación (Preece et al 2002, Rubin 1994)
¿Qué es la evaluación?
Paradigmas de evaluación
El proceso de evaluación
Ejemplos de evaluación
¿Qué es la evaluación?(1/7)
El uso de guías de diseño no garantiza la obtención de un producto usable
Sin hacer ningún tipo de evaluación es imposible conocer o no si un diseño o un sistema cumple las expectativas de los usuarios y si se adapta a su contexto social, físico y organizativo.
La evaluación es el proceso de recogida sistemática de datos sobre como un usuario o grupo de usuarios usan un producto para una tarea concreta en un determinado entorno
Ejemplo: en un procesador de textos
Caso 1: un usuario usa el correo electrónico
Caso 2: un grupo de usuarios crea un archivo (CSCW)
¿Qué es la evaluación?(2/7)
El objetivo de la evaluación es establecer si un
sistema cumple las necesidades del usuario y si
éste está satisfecho con el sistema
Otro objetivo es recoger información para futuros
desarrollos y mejoras del producto.
¿Qué es la evaluación?(3/7)
Se puede evaluar cualquiera de los aspectos relativos al producto Las tareas
El entorno
La satisfacción del usuario…
La evaluación permite comprobar si los usuarios pueden utilizar el producto para realizar las tareas para las que fue diseñado y cómo lo hacen (en relación con ISO 9241 e ISO 98b)
¿Qué es la evaluación?(4/7)
¿Por qué es bueno evaluar?
Los errores detectados en esta etapa son fácilmente resolubles.
El equipo de desarrollo se puede centrar en problemas reales para cumplir los objetivos prefijados.
Se realiza un proceso de ingeniería en vez de debates.
El tiempo para salir al mercado se reduce.
El departamento de ventas lo puede ofrecer como si fuera la versión 2.0.
Se comparan diferentes opciones
Se asegura conformidad con estándares
Los problemas se definen antes de que el producto salga a la calle.
¿Qué es la evaluación?(5/7)Plataforma : restricciones
características
Ppos. grales.
de diseño
Objetivos deusabilidad
Análisis conceptualde tareas
Perfilusuario
Guíaestilo
ANÁLISIS DE REQUISITOS
DiseñoPantallasEstándar
PrototipadoDPE
EvaluaciónIterativa
DPE
NIVEL 2
¿Alcanzadosobjetivos
usabilidad?NO SI
Guíaestilo
Reingeniería
Diseño delModelo
Conceptual
Maquetasdel MC
EvaluaciónIterativadel MC
NIVEL 1
¿Eliminadosppales.
problemas?NO SI
Guíaestilo
Respuestadel
usuario
Diseño Detallado de la IU
EvaluaciónIterativadel DDIU
NIVEL 3
¿Conseguidatoda
funcionalidad?
NO
SI
¿Alcanzadosobjetivos
usabilidad?
Guíaestilo
Prueba de unidad/sistemaOOSE: Prueba del modelo
NO
SI
¿Todoresuelto?
Instalación
NO
Mejoras
¡HECHO!
SI
DISEÑO, EVALUACIÓN Y DESARROLLO
INSTALACIÓN
Tareas Ing. Usabilidad
Tareas de desarrolloT
Punto de decisión
Documentación
Aplicación compleja
Aplicación simple (e.g. sitio web)
Fuente (traducido): Mayhew, D. 1999, The usability engineeering
lifecycle : a practitioner's handbook for user interface design
¿Qué es la evaluación?(6/7)
Diseño iterativo Evaluación en distintas etapas, se puede evaluar en cualquier momento del diseño
Evaluaciones formativas: sirven para comprobar que las necesidades de los usuarios se recogen.
Evaluaciones finales: aquellas que se hacen para asegurar el éxito de un producto acabado.
¿Qué es la evaluación?(7/7)
Estudios piloto: consistente en un estudio a pequeña escala para comprobar los procedimientos a llevar a cabo en un estudio de mayor envergadura
Muchas técnicas similares a las usadas en la fase de análisis de requisitos se usan para discutir con los usuarios en el proceso de evaluación.
Ejercicio: ¿cuales? ¿por qué?
Paradigmas de evaluación (1/5)
Cualquier tipo de evaluación se guía por un conjunto de
creencias, explícitas o implícitas, que pueden ser
también secundadas por la teoría
Estas creencias y sus prácticas son los paradigmas de
evaluación
Paradigmas de evaluación (2/5)
Quick and dirty
Los diseñadores, informalmente, consiguen información de los usuarios o participantes para confirmar que sus ideas están de acuerdo con las necesidades de los usuarios y lo que les gusta
Se puede aplicar en todas las fases del desarrollo
Paradigmas de evaluación (3/5)
Usability testing Analiza el uso que hacen los potenciales usuarios en tareas
típicas.
Se suele medir tiempo de realización y el número de errores.
El experimento es controlado por el evaluador.
Uso de laboratorios de usabilidad.
Paradigmas de evaluación (4/5)
Estudios de campo
Se realizan en condiciones reales, con el objetivo de
incrementar la comprensión sobre lo que los usuarios hacen
habitualmente y cómo la tecnología impacta en ellos.
Paradigmas de evaluación (5/5)
Evaluación predictiva
Los expertos aplican su conocimiento de usuarios
típicos , a menudo guiados por heurísticas, para
predecir problemas de usabilidad.
Se pueden usar modelos psicológicos que revisan
el diseño y predicen los problemas que podrían
encontrar los usuarios
El proceso de evaluación (1/29)
El proceso de evaluación (1/29)
•Comparar con otros
productos similares
•Comparar con métodos
manuales o tradicionales
•Análisis de un único
producto.
El proceso de evaluación (1/29)
•Experimentación (Testing)•Inspección (Inspection)•Investigación (Inquiry)
El proceso de evaluación (1/29)
Experimentación•Instrucción o entrenamiento•Aprendizaje por descubrimiento colaborativo•Medida de prestaciones•Protocolo pregunta-respuesta•Experimentación remota•Experimentación retrospectiva•Método “en la sombra”•Método “de enseñanza”•Protocolo de “pensamiento en voz alta”
El proceso de evaluación (1/29)
Inspección•Recorridos cognitivos detallados•Evaluación heurística•Recorridos plurales•Inspección basada en la perspectiva y estándares
El proceso de evaluación (1/29)
Investigación•Observación de campo
•Grupos de discusión focalizados
•Entrevistas
•Grabación del uso (logging)
•Estudios de campo proactivos
•Cuestionarios
El proceso de evaluación (2/29)
Definir el objetivo El primer paso de una evaluación es definir un objetivo
claro, preciso y cuantificable: disminuir el número de errores
Un objetivo genérico de cualquier evaluación será analizar la utilidad del sistema y proporcionar medios para subsanar deficiencias.
Hay objetivos más específicos que dependen de las metas de la aplicación, de sus usuarios y de sus expectativas.
El proceso de evaluación (3/29)
Definir el objetivo
Aproximaciones:
comparar con otros productos similares,
comparar con métodos manuales o tradicionales,
análisis de un único producto.
Dificultad: formular sub-objetivos claros y prácticos, así
como un procedimiento para demostrarlos
El proceso de evaluación (4/29)
Seleccionar la técnica de evaluación Las técnicas son prácticas que se basan en unas
determinadas creencias
La elección de una técnica concreta depende de: la etapa de desarrollo del sistema,
la extensión y el tipo de participación del usuario,
el tipo de datos esperados (cuantitativos ó cualitativos) y
las limitaciones externas (tales como restricciones de coste y de disponibilidad de equipos, etc.)
El proceso de evaluación (5/29)
Tres tipos de métodos de evaluación de usabilidad:
Experimentación (Testing): Los evaluadores emplean los resultados obtenidos con usuarios representativos utilizando el sistema (o prototipo) en tareas típicas
Inspección (Inspection): Expertos en usabilidad, Sw, usuarios y otros profesionales evalúan la usabilidad
Investigación (Inquiry):los evaluadores obtienen datos de conversaciones con los usuarios, o con entrevistas orales o
escritas
El proceso de evaluación (5/29)
Experimentación
Se mide la eficiencia conseguida por los usuarios comparando dos o más versiones del diseño (evaluación comparativa)
Se conducen estas pruebas en laboratorios, recogiendo datos que posteriormente serán analizados
Se suele medir el tiempo necesario para realizar una tarea, el número de errores y el camino seguido, como elementos para estudiar los resultados
Experimental setting
Fuente: Harms, I. y
Schweibenz, W.
2001, Evaluating
The Usability Of A
Museum Web Site
El proceso de evaluación (5/29)
Métodos de
experimentación:
*Protocolo de “pensamiento
en voz alta”
*Medida de prestaciones
Instrucción o
entrenamiento
Aprendizaje por
descubrimiento
colaborativo
Protocolo pregunta-
respuesta
Experimentación remota
Experimentación
retrospectiva
Método “en la sombra”
Método “de enseñanza
* Detallados posteriormente
El proceso de evaluación (5/29)
Pensando en Voz Alta
A los usuarios del test se les pide que expresen en voz alta sus pensamientos, sentimientos y opiniones mientras interaccionan con el sistema.
Es muy útil en la captura de un amplio rango de actividades cognitivas.
Se proporciona a los usuarios el producto que tienen que probar (o un prototipo de la interfaz ) y un conjunto de tareas a realizar.
Se les pide que realicen las tareas y que expliquen qué es lo que piensan al respecto mientras están trabajando con la interfaz.
El proceso de evaluación (5/29)
Medida de Prestaciones:
Se emplea para obtener datos cuantitativos
Los participantes (entre 5 y 8) han de ser usuarios reales y realizar tareas reales
Hay que registrar y observar la actividad de los participantes en laboratorios reales
Procedimiento: Definir objetivos (tiempo empleado, número de errores, número de comandos
…)
Realizar el test (sin interrupciones y comprobando que las herramientas funcionan bien
Analizar los datos para obtener conclusiones. Uso de técnicas estadísticas
Requisitos Diseño Codificación Test Desarrollo Coste
X X X Alto
El proceso de evaluación (5/29)
Algunas medidas a realizarse (ISO 9241):
Tiempo para completar una tarea
Número de tareas de diversos tipos para
completar una tarea
Proporción entre número de tareas
realizadas con éxitos y número de errores
Tiempo consumido en menús de
navegación
Tiempo en buscar información en un
manual
Tiempo consumido en ayuda en línea
Tiempo invertido en recuperarse de
errores
Número de comandos o característica
son usada
Número de opciones de menú erróneos
Número de opciones incorrectas en cajas
de dialogo
Número de selección de iconos
incorrectos
Número de teclas de función mal
seleccionadas
Número de llamadas a la ayuda
Número de pantallas de ayuda en línea
Número de veces que se consulta el
manual
Observaciones de frustración
Observaciones de confusión
Observaciones de satisfacción
El proceso de evaluación (5/29)
Medidas subjetivas de prestaciones (1/2):
Pueden ser cuantitativas o cualitativas.
Ejemplos típicos en tests de usabilidad:Relaciones de:
Facilidad de uso del producto
Facilidad de aprender el producto
Facilidad de hacer una determinada tarea
Facilidad de instalar el producto
Facilidad de encontrar información en el manual
Facilidad de comprender la información
Utilidad de los ejemplos de ayuda
El proceso de evaluación (5/29)
Medidas subjetivas de prestaciones (2/2):Preferencias o razones de la preferencia
de una versión previa
sobre un producto de la competencia
de la manera en que se están haciendo las tareas ahora
Predicciones de comportamiento
¿comprará el producto?
Comentarios espontáneos
estoy totalmente perdido
ha sido fácil
no comprendo el mensaje
Esto no me gusta
El proceso de evaluación (5/29)
Criterios para medidas de prestaciones:
Excelente
Aceptable
Inaceptable
Tarea 1 Excelente Aceptable Inaceptable
Tiempo para la tarea <3 min 3-5 min > 5 min
Recuperación de un error 0 <1 min > 1 min
Ayuda en línea 1 2-3 min > 3 min
El proceso de evaluación (5/29)
Laboratorio de usabilidad fijo
El proceso de evaluación (5/29)
Laboratorio de usabilidad móvil
Fuente: http://www.rerc-
ami.org/ami/projects/d/1/manual/Fuente: http://www.hillaryelmore.com/aollab.html
El proceso de evaluación (5/29)
Inspección
Los expertos (en usabilidad, en Sw, usuarios expertos y otros especialistas) asumen el papel de usuarios, realizando tareas específicas e identificando problemas en base a criterios y normas de usabilidad
Barata comparada con técnicas que involucran a los usuarios
Los expertos suelen proponer soluciones útiles los problemas
Modelando las tareas del usuario Se basa en un paradigma predictivo
No se definen prototipos si no que se predice la eficiencia y los problemas asociados previamente
El proceso de evaluación (5/29)
Métodos de Inspección
*Recorridos cognitivos detallados
*Evaluación heurística
*Inspección basada en la perspectiva y estándares
*Recorridos plurales
El proceso de evaluación (5/29)
Recorrido cognitivo
El recorrido cognitivo a un grupo de evaluadores (1-4) y desarrolladores de SW (0-2)
Han de examinar la interfaz de usuario pasando a través de un conjunto de tareas y evaluando su comprensión y facilidad de aprendizaje.
Es análogo a los recorridos estructurales tradicionales a los que se usan en la ingeniería de software.
Requisitos Diseño Codificación Test Desarrollo Coste
X X X X Medio
El proceso de evaluación (5/29)
Recorrido cognitivo
Antes de empezar el análisis del recorrido, se debe estar de acuerdo en estos cuatro aspectos: ¿Quiénes serán los usuarios del sistema?
¿Qué tarea(s) será(n) analizada(s)?
¿Cuál es la secuencia correcta de acciones para cada tarea?
¿Cómo se define la interfaz?
Durante el recorrido los evaluadores hacen las cuatro preguntas siguientes: ¿Los usuarios intentarán alcanzar el objetivo correcto?
¿El usuario se dará cuenta de que la acción correcta está disponible?
¿El usuario asociará la acción correcta al efecto que se alcanzará?
Si se realiza la acción correcta, ¿el usuario verá que se está progresando hacia la solución de la tarea?
El proceso de evaluación (5/29)
Evaluación heurística
Un conjunto reducido de evaluadores (de 4 a 6) evalúan independientemente la interfaz teniendo en cuenta principios reconocidos de usabilidad (“la heurística”)
Se le explica al experto como funciona el sistema y se le entrena en las funciones principales. Es informado acerca del dominio de aplicación y este revisa el sistema de acuerdo con guías de diseño
Los expertos identifican ciertos problemas que requerirían gran número de test de usabilidad para ser correctamente identificados y solucionados
El proceso de evaluación (5/29)
Evaluación heurística
Los resultados de la evaluación se pueden registrar con informes escritos o haciendo que los evaluadores comuniquen verbalmente sus comentarios a un observador mientras realizan la evaluación
Al terminar las evaluaciones se permite a los evaluadores comunicarse entre sí los resultados y sintetizarlos.
El proceso de evaluación (5/29)
10 Reglas Heurísticas
El estado del sistema es siempre visible.
Se utiliza el lenguaje de los usuarios.
El usuario tiene control y libertad.
Hay consistencia y se siguen estándares.
Existe prevención de errores.
Reconocimiento mejor que recuerdo.
Existe flexibilidad y eficiencia de uso.
Los diálogos son estéticos y el diseño minimalista.
Al utilizar la ayuda, los usuarios reconocen, diagnostican y se recuperan de los errores.
Existe ayuda y documentación.
Requisitos Diseño Codificación Test Desarrollo Coste
X X X X Bajo
El proceso de evaluación (5/29)
Inspección de estándares.
Para evaluar este método se precisa de un
evaluador que sea un experto en el o en los
estándares a evaluar. El experto realiza una
inspección minuciosa a la interfaz para
comprobar que cumple en todo momento y
globalmente todos los puntos definidos en
el/los estándar/es establecido.
El proceso de evaluación (5/29)Recorrido de la Usabilidad Plural (1/3)
Método desarrollado en los laboratorios IBM:
1. Este método se realiza con tres tipos de participantes, usuarios representativos, desarrolladores y expertos en usabilidad, que conforman todos los actores implicados en el producto.
2. Las pruebas se realizan con prototipos de papel u otros materiales utilizados en escenarios. Cada participante dispone de una copia del escenario de la tarea con datos que se puedan manipular.
3. Todos los participantes han de asumir el papel de los usuarios, por tanto, aparte de los usuarios representativos que ya lo son, los desarrolladores y los expertos en usabilidad también lo han de asumir.
El proceso de evaluación (5/29)
Recorrido de la Usabilidad Plural (2/3)
4. Los participantes han de escribir en cada panel del prototipo la acción que tomarán para seguir la tarea que están realizando, escribiendo las respuestas lo más detalladamente posibles.
5. Una vez que todos los participantes han escrito las acciones que tomarían cuando interactuaban con cada panel, comienza el debate. En primer lugar, deben hablar los usuarios representativos y una vez éstos han expuesto completamente sus opiniones, hablan los desarrolladores y después los expertos en usabilidad.
El proceso de evaluación (5/29)
Recorrido de la Usabilidad Plural (3/3)
El principal beneficio de esta técnica radica en el fuerte enfoque hacia las tareas de los usuarios [PRE02]. Siendo otra importante característica la gran aceptación del método por los equipos multidisciplinares. En cuanto a las desventajas, la principal de ellas es lo difícil que suele resultar agrupar tanta gente en una sola sesión.
El proceso de evaluación (6/29)
Investigación:
Observando a los usuarios (no con los objetivos de la experimentación)
Ayudan a identificar las necesidades de nuevos tipos de productos y ayudan a evaluar prototipos
Formas de grabación: notas, vídeo, sonido y sw de registro.
Se pregunta a los usuarios qué piensan sobre un determinado producto
Entrevistas y cuestionarios es la forma habitual de hacerlo
El proceso de evaluación (7/29)
Métodos de investigación
*Observación de campo
*Grupos de discusión focalizados
*Grabación del uso (logging)
*Técnicas de interrogación
Entrevistas
Cuestionarios
Estudios de campo proactivos
El proceso de evaluación (9/29)
Observación de Campo
Se realiza en el lugar de trabajo de los usuarios representativos.
Se les observa trabajando para entender cómo están utilizando el sistema para lograr sus tareas y qué clase de modelo mental tienen sobre el sistema.
Este método se puede utilizar en las etapas de prueba y desarrollo
Métodos
Preguntando: entrevistar a los usuarios sobre su trabajo y la manera de utilizar el producto.
Observando a las personas cómo utilizan el producto en la manera en que lo hacen normalmente en el día a día.
Una manera de asegurar los datos adecuados es identificar loss artefactos y afloramientos como sea posible.
El proceso de evaluación (9/29)
Observación de Campo
Artefactos Objetos físicos en uso en el sitio (blocs de notas,
formularios, informes, espacios, paredes...)
Afloramientos Rasgos físicamente identificables que marcan o
caracterizan el sitio (tamaño de los cubículos, tamaño de las pizarras y qué es lo que está escrito en ellas, tipos de uniformes...)
Ambos términos provienen de la antropología ( Observación Etnográfica)
El proceso de evaluación (9/29)
Grupo de Discusión
El focus group o grupo de discusión dirigido es una técnica de recolección de datos en la que se reúnen de 6 a 9 usuarios para discutir aspectos relacionados con el sistema.
Un ingeniero de factores humanos hace las veces de moderador, cuya función es preparar la lista de aspectos a discutir y recoger la información que se necesita de la discusión.
Permitir capturar reacciones espontáneas del usuario e ideas que evolucionan en el proceso dinámico del grupo.
El proceso de evaluación (8/29)
Grabación del Uso
Implica disponer en el ordenador de una ampliación del
sistema que recoja automáticamente estadísticas sobre
el uso detallado del sistema.
El registro se realiza generalmente modificando los
drivers del sistema, por ejemplo del ratón o del teclado
u otras partes del sistema, de manera que permitan el
registro de las acciones del usuario, o modificando la
aplicación que estamos probando.
El proceso de evaluación (9/29)
Técnicas de Interrogación
Las técnicas de interrogación se basan en que la mejor manera de saber si un sistema se adapta a los requisitos es interrogar al usuario.
Ventaja: Tener directamente el punto de vista del usuario y encontrar opciones no contempladas en el diseño.
Uno de los posibles problemas es la subjetividad de la información y puede ser difícil conseguir respuestas a posibles alternativas en el diseño, porque el usuario no tiene experiencia.
Los dos tipos más importantes son: Entrevistas Cuestionarios
El proceso de evaluación (9/29)
Entrevistas
Entrevistar a los usuarios respecto de su experiencia en un sistema interactivo resulta una manera directa y estructurada de recoger información.
Las cuestiones pueden variar con tal de adaptarlas al contexto.
Normalmente, en una entrevista se sigue una aproximación arriba-abajo.
Las entrevistas pueden ser efectivas para una evaluación de alto nivel, particularmente para extraer información sobre las preferencias del usuario, impresiones y actitudes.
El proceso de evaluación (9/29)
Entrevistas
Pueden ayudar a encontrar problemas no previstos en el diseño.
Para que la entrevista sea lo más efectiva posible, ha de ser preparada con antelación, con todo un conjunto de preguntas básicas.
El revisor puede adaptar la entrevista al entrevistado y obtener el máximo beneficio.
El proceso de evaluación (9/29)
Cuestionarios
Es una técnica menos flexible que la entrevista, pero puede llegar a un grupo más numeroso.
Se pueden analizar con más rigor.
Se pueden realizar diferentes tipos de preguntas
Tipos: Pre-test
Información y perfil de los participantes
Post-tarea Recoger opiniones y valoraciones de cada tarea
Post-test Recoger opiniones y valoraciones después de que los participantes completen las
tareas
El proceso de evaluación (9/29)
Cuestionarios
Tipos de preguntas
General Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la
población en estudio. Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y otras
Abierta Preguntas útiles para recoger información general subjetiva
Pueden dar sugerencias interesantes y encontrar errores no previstos
Escalar Permite preguntar al usuario sobre un punto específico en una escala numérica
Por ejemplo:
El diseño de los iconos es comprensible poco 1 2 3 4 5 mucho
El proceso de evaluación (9/29)
Cuestionarios
Opción múltiple En este caso se ofrecen una serie de respuestas y se pide responder a
una de las opciones o a varias. Ejemplo:
¿Qué tipo de software has de utilizar?Tratamiento de texto [ ]Hoja de cálculo [ ]Bases de datos [ ]Contabilidad [ ]
Ordenadas Se presentan una serie de opciones que hay que ordenar. E jemplo:
Ordena la utilidad de cómo ejecutar una acción:(3 la más útil, 1 si no es útil, 0 si no se utiliza)Por iconos [ ]Selección de menú [ ]Doble clic [ ]
El proceso de evaluación (10/29)
Preparar la evaluación Selección de los evaluadores
Selección de las tareas
Selección de datos cualitativos y cuantitativos
Preparación de los mecanismos de registro
El proceso de evaluación (11/29)
Selección de los evaluadores
Los evaluadores pueden ser expertos y/o usuarios, potenciales o reales.
Los evaluadores deben tener espíritu crítico
La participación debe ser voluntaria y los evaluadores deben ser conscientes de que se está juzgando al sistema no a ellos.
El proceso de evaluación (12/29)
Selección de los evaluadores
Si se incluyen usuarios potenciales, debería formarse un
grupo que represente a los distintos tipos de usuarios
finales.
Si se invita a evaluadores expertos, éstos deben:
proceder de diversos campos,
conocer las tareas que ejecuta el sistema y
poder asumir el papel de los usuarios.
El proceso de evaluación (13/29)
Selección de las tareas Es preciso definir de forma clara qué tareas van
a llevar a cabo los evaluadores para juzgar el sistema:
tareas que dependen de la aplicación: ayudan al usuario a conseguir un objetivo y no pueden generalizarse porque dependen de la aplicación concreta
tareas que dependen del hecho de haber empleado un sistema interactivo
El proceso de evaluación (14/29)
Selección de las tareas Tareas dependientes de la aplicación: Ejemplo: en una guía turística localizar un determinado
cine, hacer un análisis de la infraestructura hotelera de una zona, ...
Tareas dependientes del sistema interactivo: Navegación: facilidad para moverse por el sistema y
acceder a las distintas partes del sistema
Búsqueda: por contenidos, por estructura, por temas relacionados…
Personalización: gestión de notas o enlaces personales, simplificar las tareas más repetidas ...
Edición del material: facilidad para modificar el contenido y estructura, ...
El proceso de evaluación (15/29)
Selección de datos cualitativos y cuantitativos Es preciso decidir qué datos se van a recoger y
tratar para extraer conclusiones
Datos cuantitativos: medidas de la ejecución o la frecuencia de uso de determinadas herramientas.
Datos cualitativos: opiniones que resulten de utilidad para mejorar el sistema.
El proceso de evaluación (16/29)
Preparación de los mecanismos de registro
Se puede obtener información valiosa de los cuestionarios y entrevistas
Hay que diseñarlos de forma precisa y teniendo en cuenta los objetivos del sistema y de la evaluación, así como el tipo de usuarios.
El proceso de evaluación (17/29)
Preparación de los mecanismos de registro
Entrevistas: Individuales o en grupo.
Consumen muchos recursos pero se pueden obtener resultados interesantes.
Requieren de un entrevistador que sepa “extraer” información
Pueden ser estructuradas, flexibles o semi-estructuradas
El proceso de evaluación (18/29)
Preparación de los mecanismos de registro
El proceso de evaluación (19/29)
Preparación de los mecanismos de registro
Cuestionarios
Son poco costosos y suelen producir resultados bastante
aceptables.
Es difícil llevarlos a cabo.
Preguntas abiertas: opiniones, posibles mejoras...
Preguntas cerradas: estimación del usuario sobre un aspecto
concreto
El proceso de evaluación (20/29)
Preparación de los mecanismos de registro Cuestionarios con preguntas cerradas
El proceso de evaluación (21/29)
Preparación de los mecanismos de registro Cuestionarios con preguntas cerradas
El proceso de evaluación (22/29)
El entorno debe ser real.
Los evaluadores deben ser conscientes de qué se está
evaluando.
Se pueden hacer evaluaciones individuales o en grupo. Individual: si hay que estar con el evaluador para recoger
datos. Grupo: si se quieren extraer conclusiones y comparar y
discutir respuestas
Se dividirá en varias sesiones para no cansar a los evaluadores
Conviene realizar una experiencia piloto para refinar detalles.
El proceso de evaluación (24/29)
Hay que conseguir que los resultados:
Sean fiables
Sean válidos
No estén distorsionados
Ámbito de los resultados (¿son generalizables?)
Validez ambiental
El proceso de evaluación (25/29)
Los resultados deben servir para extraer una serie de conclusiones en términos de:
deficiencias detectadas y
mejoras propuestas
que permitan revisar el producto para incrementar su utilidad.
El proceso de evaluación (26/29)
Proceso a seguir:
1.Recopilar los datos recogidos
2.Crear resúmenes
3.Reunir los datos relativos al tiempo de ejecución de las tareas, que suelen analizarse utilizando métodos estadísticos
Por ejemplo: presencia, moda, rango, valor medio, mínimo, máximo, desviación típica, frecuencia, hipótesis nula, test-T, función chi …
El proceso de evaluación (27/29)
4.Analizar la precisión de la ejecución de las tareas porcentaje de usuarios que realizan una tarea en
un t. concreto
porcentaje de usuarios que realizan una tarea con éxito, independientemente del tiempo.
porcentaje de usuarios que realizan una tarea con éxito, independientemente del tiempo y con ayuda
El proceso de evaluación (28/29)
5.Resumir los datos sobre preferencias Preguntas cerradas
Preguntas abiertas y comentarios
Sesiones de debate
6.Recopilar y resumir otros datos Número de veces que se accede a la ayuda
Número de veces que se accede al índice del manual
Número de veces que se ha utilizado una herramienta/tarea auxiliar
El proceso de evaluación (29/29)
7.Agrupar puntuaciones por grupos/versiones
8.Analizar los datos para extraer conclusiones Centrarse en las tareas evaluadas negativamente
Identificar errores y dificultades del usuario
Analizar la fuente de cada error
Ordenar los problemas por severidad y probabilidad de ocurrencia
Analizar diferencias entre grupos/versiones
¿Es posible sugerir cambios y/o confirmar buenas prácticas?