Avaliação de UsabilidadeParte 2

Prof. André Constantino da Silva

IHC

Baseado nos slides daProf. Dr. Heloísa Vieira da Rocha

• Compreender a importância da avaliação em um processo de desenvolvimento de interfaces de usuário

• Conhecer e aplicar dois métodos de avaliação de usabilidade

Objetivo das Aulas

Teste de Usabilidade

– Processo empírico que visa avaliar a usabilidade de umproduto observando os usuários durante a sua utilização

– Método fundamental de usabilidade

–Tem o objetivo de aprimorar a usabilidade do produto

–Os participantes do teste devem ser usuários reais, executando tarefas reais

–Realizado com 4 a 5 usuários representativos, já traz resultados satisfatórios

Teste de Usabilidade – Tipos de Teste

Tipos de Teste:

• Teste de Exploração

• Teste de Avaliação

• Teste de Validação

• Teste de Comparação

Teste de Usabilidade – Teste de Exploração

Teste de Exploração

Quando usar: fases iniciais do design. Que funcionalidades incluir?

Objetivo: Explorar o modelo mental do usuário a respeito das tarefas emquestão. Verificar se o usuário aprova as funcionalidades propostas e damaneira proposta.

Metodologia: Walkthrough. O usuário explora o modelo da interface dandosugestões para o avaliador.

Exemplo: O usuário é apresentado a um problema concreto e estimulado afalar sobre suas expectativas suposições e intenções para a resolução doproblema.

http://www.youtube.com/watch?v=0aHGLCAhxYY

Teste de Usabilidade – Teste de Avaliação

Teste de Avaliação

Quando usar: nas fases intermediárias do ciclo de design.

Objetivo: Determinar se os modelos conceituais foram implementadosadequadamente. Busca verificar se o usuário consegue realizar as tarefas.Visa identificar problemas de usabilidade.

Metodologia: O usuários executa tarefas e o avaliador observa seminterferir. Alguns dados quantitativos de eficiência de uso são anotados(tempo, quantidade erros, etc), mas é dado mais ênfase ao comportamentodo usuário.

Exemplo: Usuário é solicitado a renovar um livro no sistema on-line dabiblioteca.

Teste de Usabilidade – Teste de Validação

Teste de Validação

Quando usar: na fase final, perto do lançamento do produto.

Objetivo: Certificar que o produto está de acordo com o que foiespecificado e se enquadra nos padrões de usabilidade e performancedefinidos.

Metodologia: Determinar tempos para as tarefas e verificar se o usuárioconsegue realizá-las dentro daquele tempo.

Exemplo: Tarefa: renovar livro na biblioteca (tempo previsto 1 min).

http://www.youtube.com/watch?v=46fdXjLXhw8

Teste de Usabilidade – Teste de Comparação

Teste de Comparação

Quando usar: em qualquer estágio do ciclo de design. Nos primeirosestágios pode ser usado para comparar designs alternativos, nos estágiosintermediários pode ser usado para medir a efetividade de um elemento dainterface e no final pode ser usado para comparar se o produto atinge umconcorrente.

Objetivo: Comparar soluções alternativas entre si e determinar qual delas émais fácil de usar.

Metodologia: Um teste exploratório onde diversas soluções sãocomparadas entre si. O resultado é um produto que combina o melhordessas idéias.

Exemplo: Localize onde se encontra o help nos seguintes sites...

Teste de Usabilidade

– Duas maiores preocupações:

• Confiabilidade: grau de certeza de que o mesmoresultado será obtido se o teste for repetido

• Validade: o fato dos resultados de teste refletirem osaspectos de usabilidade que se deseja testar

– 2 fases principais:

• Planejamento

• Execução

Teste de Usabilidade – Planejamento (i)

– Estabelecer a equipe

• Quem participará da parte de planejamento?

• Quem serão os experimentadores?

– Características e tipo de teste

– Público-alvo

• Quem serão os usuários e como serão conseguidos?

• Quantos usuários são necessários?

Teste de Usabilidade – Planejamento (ii)

–Recursos necessários para a realização do teste

• Quando e onde o teste irá acontecer?

• Qual a duração prevista de cada sessão de teste?

• Qual o suporte computacional necessário?

• Quais softwares precisam estar a disposição?

• Qual deverá ser o estado do sistema no início do teste?

– Objetivos e métricas

• O que se deseja obter através do teste?

• Quais dados serão coletados?

Teste de Usabilidade – Planejamento (iii)

–Cenários e tarefas

• Quais as tarefas que serão solicitadas aos usuários?

• Quanto o experimentador poderá ajudar o usuário durante o teste?

– Definição de como será a análise dos resultados

• Como os dados serão analisados uma vez que tenham sido coletados?

• Qual critério será utilizado para definir que os usuários terminaram cada tarefa corretamente?

• Qual o critério para determinar que a interface é um sucesso?

Teste de Usabilidade – Os experimentadores

– Escolha usuários significativos

– Envolva usuários reais

– Se não for possível, selecione usuários tão próximos quantopossível

– Idade

– Nível educacional

– Experiência com computadores

– Conhecimento do domínio da tarefa

– Erro comum: interface para público em geral e recrutaralunos de computação como usuários nos testes

– Devem ter conhecimento extenso sobre a aplicação e sobre ainterface

– Não precisam saber como o sistema foi implementado

• Mas devem estar prontos para lidar com problemas que afetam oteste (sistema ‘travar’)

– Podem ser os designers, desde que mantenham isenção

Teste de Usabilidade – Os usuários

Teste de Usabilidade – Métricas

– Tempo de cada tarefa

– Porcentagem de tarefas completadas

– Porcentagem de tarefas não-completadas

– Números de erros

– Tempo de navegação para encontrar uma informação

– Número de passos

– Número de cliques

– Quantidade de informações encontradas

– Número de acessos ao help

– ...

Teste de Usabilidade – Dados qualitativos

Dados qualitativos são coletados oralmente, por escrito, porquestionário ou através de perguntas feitas para o usuário

As percepções e a satisfação, apesar de dados qualitativo(subjetivos) podem ser quantificados usando-se “notas” para:

– Facilidade de uso

– Facilidade de navegação

– Utilidade

– Facilidade de aprendizagem

– Facilidade de se recuperar de um erro

– Help

Teste de Usabilidade – Tarefas

– Tarefas mais representativas possíveis

– Cobertura razoável das partes mais significativas da interface

– As tarefas devem poder ser completadas no tempo definido para o teste– Grau de dificuldade gradativo– Planejar para que possam ser interrompidas a qualquer momento, caso ousuário deseje– Descreva a tarefa da forma mais realista possível

• Evite redigi-las na linguagem do produto, elas devem estar na linguagemdo usuário

• Exemplo: “A partir da página do IBGE na Internet, identifique em queestado do Brasil reside a maior concentração de pessoas com mais de 60anos”

– As tarefas devem estar inseridas em um cenário

–Questionário de pré-teste: para definir o perfil dos participantes

–Questionário pós-teste: geralmente utilizado para obter asatisfação do usuário e opinião

–Autorização (termo de consentimento): declaração de que ousuário está de acordo em participar dos teste e que esses dadosserão utilizados para um determinado fim “X”, mantendo-se oanonimato das informações

Teste de Usabilidade – Documentos de apoio

–Preparação

• Preparar o ambiente e equipamentos

–Introdução

• Explicar que não é o participante e sim a interface que será testada

• Não devem se preocupar em ferir sentimentos dos experimentadores (designers) com suas observações

• Os resultados do teste servirão para melhorar a interface do usuário

• Relembrar que o sistema é confidencial e não deve ser comentado com outros (que inclusive podem vir a ser futuros usuários em outros testes)

• A participação no teste é voluntária e podem parar a qualquer tempo

• Os resultados do teste não serão colocados publicamente e o anonimato do participante estará garantido

Teste de Usabilidade – Execução (i)

–Introdução (cont.)

• Explicar sobre o uso de gravações de vídeo ou áudio que estarão sendo feitas (o ideal é não gravar a face do usuário)

• Explicar que podem fazer qualquer pergunta durante o teste, mas que nem sempre o experimentador irá ajudá-los ou responder suas questões

• Informar ao participante sobre o tempo de duração do teste

• Solicitar a leitura e assinatura do termo de consentimento

• Explicar como o teste vai acontecer

• Explicar a técnica de “thinking aloud” (se for utilizada)

• Perguntar se existem e esclarecer dúvidas

• Solicitar o preenchimento do pré-teste

Teste de Usabilidade – Execução (ii)

–Teste

• Apresentar o cenário e as tarefas por escrito

• Iniciar a gravação (se houver) e anotar os tempos

• Lembrar ao usuário sobre “thinking aloud” durante o teste

• Solicitar que o usuário indique quando completar e mudar de tarefa

• evite qualquer tipo de comentário ou expressões sobre a performance ou observações do usuário

• evite ajudar o usuário, a não ser que ele esteja realmente em dificuldades muito graves

–Sessão final

• convidados a fazerem comentários ou sugestões gerais, ou a responderem um questionário específico (questionário de pós-teste)

Teste de Usabilidade – Execução (iii)

Thinking aloud (pensando em voz alta):

– Usuário verbaliza seus pensamentos

– Permite observar como o usuário interpreta cada item da interface

– Não adequado quando se deseja medidas de performance

– Principal objetivo é mostrar o que os usuários estão fazendo e porque estão fazendo, enquanto estão fazendo, evitando as racionalizações posteriores

– Torna o teste muito mais difícil de ser realizado

• usuários ficam mais lentos mas cometem menos erros quando pensam em voz alta

Teste de Usabilidade – Thinking aloud

–O avaliador tem que levar o usuário a falar sempre e nunca interferir no uso do sistema pelo usuário

• O que você está pensando agora?

• O que você acha que essa mensagem significa ? (depois do usuário notar a mensagem)

–– Se o usuário pergunta se pode fazer alguma coisa: • O que você acha que vai acontecer se fizer isso?

–– Se o usuário se mostra surpreso: • Era isso que você esperava que iria acontecer? O que esperava?

Teste de Usabilidade – Thinking aloud

Interação construtiva – 2 ou mais usuários trabalhando conjuntamente–problema: diferenças de estilo de interação dos usuários–Indicado: para testar interfaces para crianças

Retrospective testing– usuário comenta sua ação gravada em vídeo– todo teste demora pelo menos o dobro do tempo– não indicado para usuários caros

Coaching Method– manter o usuário no caminho correto– focado no usuário novato–bom para testar help/manual, etc..

Teste de Usabilidade – Thinking aloud -alternativas

Teste de usabilidade - JEMS

AtividadesPreparação dos testes

– Seleção dos usuários

– Desenvolvimento das tarefas dos usuários

– Definir critérios da observação/avaliação

– Elaborar formulário dos experimentadores

– Preparação do ambiente de teste

• Execução dos testes

• Análise dos resultados

Teste de usabilidade - JEMS

– Análise dos perfis de usuários que utilizam o sistema• Chair

• Avaliadores de artigos

• Autores de artigos

– Quantos usuários? 7 no total• 2 Chairs

• 3 avaliadores de artigos

• 3 escritores de artigos

– Por que 8? Por que estas proporções?

Seleção dos Usuários (i)

– 7 usuários• 2 no papel de “Chair”

– um doutorando em Ciência da Computação e outro professor doutor na mesma área

• 3 no papel de “Avaliadores de artigos”– Um dos usuários foi o mesmo doutorando que participou dos testes como

usuário-coordenador, os demais foram uma doutoranda em Pedagogia, que costuma submeter e revisar artigos para congressos e periódicos da área de informática na educação, e um mestrando em Ciência da Computação

• 3 no papel de “Autores de artigos”– três usuários estudantes de graduação em Ciência da Computação,

participantes de projetos de pesquisa, portanto possíveis candidatos à submissão de artigos para conferências, embora nenhum deles havia utilizado o JEMS anteriormente

Seleção dos Usuários (ii)

Desenvolvimento das tarefas dos usuários

Documento entregue para o

Usuário com a definição

das tarefas

Desenvolvimento das tarefas dos usuários

Definição das tarefas a serem

executadas por cada usuário

A definição de um percurso

de execução de cada tarefa

facilitou identificar se o usuário

estava no caminho certo

Elaborar formulário dos experimentadores

softwares que capturam em

áudio e vídeo a interação do

usuário

Formulário para ser preenchido

pelos experimentadores

• Realizados em um laboratório improvisado, contendo um computador com acesso à internet, com microfone e programas para capturar o áudio e o vídeo da interação

O Ambiente

3 experimentadores• 1 fazendo esclarecimentos, tirando dúvidas, etc

• 2 observando e fazendo anotações

O que foi observado/registrado:• Completude das tarefas

• Tempo de execução

• Erros (tipos e descrição dos erros)

• Dúvidas, comentários

• Comportamento (navegação)

Métodos Utilizados• Thinking aloud

• Captura da interação em áudio e vídeo

• Observação

Desenvolvimento dos testes

Dados coletados:• Anotações dos avaliadores (tempo, número de erros, acesso ao help,

solicitação de ajuda e comentários) + Vídeo

Análise:– Compilação das anotações de cada avaliador identificando os problemas

registrados e comentários dos usuários

– Os vídeos foram observados apenas quando se pretendia resgatar algum evento específico ocorrido durante os testes

– Elaboração de uma lista de problemas ordenada (mais grave –> menos grave)

– Unificação da lista

– Elaboração do relatório de problemas

– Sugestões para solução dos problemas

Análise dos Resultados

Análise dos Resultados

Um relatório de avaliação

também tem que ter

“boa usabilidade” ?

Quem é o usuário do relatório?

Teste Ferramenta Educacional Estúdio de Cinema

Atividades• Preparação do teste:

– Seleção dos usuários;

– Elaboração de uma atividade;

– Elaboração dos questionários;

– Preparação do ambiente (instalação e teste);

– Implementação do log da interação;

• Execução

• Análise dos resultados

Teste Ferramenta Educacional Estúdio de Cinema

Usuários

• Grupo 1 (26 alunos – 6 a 8 anos)

• Grupo 2 (31 alunos – 10 a 12 anos)

• Atividade – 90 minutos para cada grupo.

Métodos e Dados coletados

• Respostas aos questionários;

• Log da interação;

• Observação do avaliador;

• Material produzido pelos alunos;

Teste Ferramenta Educacional Estúdio de Cinema

Teste Ferramenta Educacional Estúdio de Cinema

Emoticons

Linguagem

Escala de valores

Análise das Respostas do questionário:

Teste Ferramenta Educacional Estúdio de Cinema

Teste Ferramenta Educacional Estúdio de Cinema

Análise do log

Análise Combinada dos três elementos

Teste Ferramenta Educacional Estúdio de Cinema

Teste Ferramenta Educacional Estúdio de Cinema

Laboratórios

• Avaliação Remota de Usabilidade

• Métodos Síncronos – Usuário e Avaliador (locais diferentes), testes realizados através de vídeo conferência e compartilhamento de desktop;

• Métodos Assíncronos – Usuário e Avaliador (local e tempo diferentes).

• Captura de log da interação – a avaliação do log da interação é feita posteriormente e pode ser feita “manualmente” pelo avaliador ou de forma automática/semi-automática com auxílio de ferramentas;

• Envio de Incidentes críticos pelo usuário – o usuário utiliza o sistema e relata os problemas obtidos; Ex: algo como o Bugzilla.

Novas Abordagens

Equipamentos

• Estamos lidando com pessoas!

– http://www.youtube.com/watch?v=7vG67i1PvA4&NR=1

Cuidado!