PAAI/DI - 07-08 - Teste de usabilidade
-
Upload
marcello-cardoso -
Category
Design
-
view
1.246 -
download
1
description
Transcript of PAAI/DI - 07-08 - Teste de usabilidade
Análise e Design de Interação / Marcello Cardoso
Projeto e Arquitetura de Aplicações Internet
Análise e Design de InteraçãoMarcello de Campos Cardoso | www.mcardoso.com.br | [email protected]
aula 07/08
Envolvendo os usuários comTeste de usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Plano de cursoIntrodução a Usabilidade: conceitos, origem (DCU, IHC), aplicação (IxD), tipos de design, metas de usabilidade, princípios de design.
Conversando com usuários: Questionários e entrevistas
Técnica de Modelagem: Personas ágeis (workshop)
Separando releases: User Story Mapping
Projetando a interface: Task Flow + Prototipação rápida (workshop)
Perguntando a especialistas: Análise Heurística, As 10 heurísticas de Nielsen (workshop)
Testes de usabilidade (workshop - roteiro)
Testes de usabilidade (workshop - aplicação)
1ª
2ª
3ª
4ª
5ª
6ª
7ª
8ª
15pts
10pts
15pts
10pts
20pts
15pts
15pts
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Análise Heurística
Testes com usuáriosvs
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
INTRODUÇÃO
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste com usuários
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste com usuáriosA 1a regra do teste com usuários é: Você não fala do teste com usuários.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste com usuáriosA 1a regra do teste com usuários é: Você não fala do teste com usuários.
A 2a regra do teste com usuários é: Você não fala do teste com usuários.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste com usuáriosA palavra teste assusta
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste com usuáriosé o nome mais popular da técnica no mercado. mas o nome correto é
Teste de Usabilidade(para não intimidar o usuário nos referimos como “pesquisa” termo mais comum)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
• Método empírico (envolve usuário)
• Principal objetivo: validar as soluções de interface
• Realizado com participantes com perfil do público-alvo
• Método: observação da interação do usuário com produto
• Resultado: descoberta de padrões e sugestão de melhorias.
O que é um teste de usabilidade?
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
• Avaliar o entendimento da Interface e dos fluxos projetados (modelos mentais)
• Identificar pontos críticos da interação (ruídos, dúvidas, rupturas)
• Entender a situação real de uso (validar demandas/requisitos)
• Comparar desempenho em produtos diferentes (benchmark/concorrência)
Pra que serve?
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Quando aplicar?
Backlog do produto
Backlog do sprint
Reunião diária
pode ser aplicadaem protótipos ou
releases
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Tipos de Teste de Usabilidadepor etapas do ciclo
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Testes em protótipos de baixa fidelidade
Teste de Usabilidade
Servem para testar conceitos e fluxos.
Devem ser feitos preferencialmente em papel
• Fáceis de criar e jogar fora
• Podem (e devem) ser feitos em escala real
• Podem conter anotações no próprio protótipo ("Este botão tinha de estar é aqui!")
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Considerações sobre testes em baixa fidelidade
Teste de Usabilidade
• Verificação limitada de erros
• “Uso” conduzido pelo facilitador
• Limitações de fluxos e navegações
• Rápido e barato (quick and dirty!)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Testes em releases
Teste de Usabilidade
• Conceito do produto/serviço (elementos visuais dividem a atenção)
• Comparar designs alternativos (caro, melhor teste AB com funcionalidades específicas)
• Fluxo de tarefas
• Compreensão das metáforas visuais
• Satisfação no uso
• Desempenho
• Acessibilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Considerações sobre testes em alta fidelidade (releases)
Teste de Usabilidade
• Demanda tempo para criação
• Custo de produção mais alto (maior risco)
• Uso mais próximo do real
• Mesmo look and feel do produto
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Tipos de Teste de Usabilidadepor ambientes
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
No ambiente do usuário (campo)
Teste de Usabilidade
• "Mais barato"
• Usuário se sente mais à vontade
• Mais próximo do contexto de uso real
• Menor controle dos dados e variáveis
• Dificuldade de envolver o cliente (quem contrata)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Em ambiente controlado (laboratório)
Teste de Usabilidade
• Permite maior controle dos dados e variáveis
• Mais fácil de envolver o cliente
• Maior custo
• Usuário pode se sentir mais desconfortável
• Mais distante do contexto de uso real
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade em laboratório
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de usabilidade em campo
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Qual o melhor tipo, em campo ou laboratório?
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Qual o melhor tipo, em campo ou laboratório?Depende dos objetivos e recursos disponíveis.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Testes de campo são ideais para:
Teste de Usabilidade
• Obter feedback rápido dos usuários
• Projetos com recursos reduzidos
• Testar conceitos e interfaces em fases iniciais de design
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Testes em laboratório são ideais para:
Teste de Usabilidade
• Medição de performance (tempo, número de erros...)
• Produção acadêmica (maior rigor científico para artigos, teses e dissertações)
• Estudos permanentes com equipe dedicada (Ex: Globo, Nokia)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
PARTE 1 - PLANEJAMENTO
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Planejamento (Aula de hoje)
Teste de Usabilidade
1. Determinar objetivos (do produto, processo: onde quero chegar?)
2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)
3. Definir perfil de participantes e recrutar
4. Definir tarefas e cenários (motivação)
5. Preparar os materiais, equipe, ambiente e ferramentas
+ teste piloto
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
1º passo: Determinar objetivos
Teste de Usabilidade
• Qual o objetivo do teste?Performance, entendimento, comparação, acadêmico...
• O que é preciso avaliar?Existe um briefing? (demanda do cliente: Quero saber por quê no novo sistema a efetivação de compra caiu 25%)
Formule questões específicas!
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO
Teste de Usabilidade
1. Os usuários entendem de forma clara o que é e para que serve a extensão do firefox?
2. Os usuários têm alguma dificuldade para instalar a extensão?
3. Eles sabem onde e como fazer?
4. Completam todas as etapas de instalação corretamente?
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
EM GRUPO (3 alunos)!
Escolher um site qualqu
er para
testar sua usabilidade.
Determinar objetivos do teste
.
tempo: 20’
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
2º passo: Escolher o que medir
Teste de Usabilidade
A métrica depende do objetivo
• Satisfação geral
• Tempo de execução de tarefa
• Número de passos para conclusão de uma tarefa;
• Quantidade de erros
• Quantidade de tarefas completadas
• Proporção de usuários favoráveis ao sistema em relação ao concorrete
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO
Teste de Usabilidade
Verificar:
1. Erros cometidos nas tarefas (Grau de severidade)
2. Número de passos para completar uma tarefa
3. Entendimento geral em relação ao produto
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
Determinar as métricas de
seu teste de usabilidade
tempo: 5’
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
3º passo: Definir perfil de participantes e recrutar
Teste de Usabilidade
Quem deve usar este produto?
Quantos participantes escolher? Nielsen sugere:
• 5 (de cada perfil) para qualitativo (quick and dirty! rápido e sujo)
• 20 para quantitativo
Onde encontrar?
• Redes sociais, contatos pessoais, contatos do cliente, usuários atuais, questionário na web, empresas de recrutamento etc.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
3º passo: Definir perfil de participantes e recrutar
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO
Teste de Usabilidade
2 usuários lead e 4 intermediários
Pessoas que procuram ou procuraram imóveis recentemente.
Contatos não fornecidos pelo cliente.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Quick and Dirty!Sujando as mãos.
Teste realizado com 2 ou 3 usuários quando há restrições de orçamento/cronograma.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
Definir o perfil (perfis)
dos
participantes.
tempo: 5’
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
4º passo: Definir tarefas e cenários (motivação)
Teste de Usabilidade
Tarefas: O que precisa ser testado?
• Quais são as funcionalidades mais críticas?
• Passos esperados em cada tarefa (se for relevante)
• Tempo esperado em cada tarefa (se for relevante)
Um teste nunca deve passar de 2h (ideal é até 1h)
Cenário: Motivação para tarefa (ajuda na compreensão)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO TAREFAS
Teste de Usabilidade
1. Encontrar um imóvel
2. Alterar filtros
3. verificar IPTU
4. Encontrar informações de contato
5. Salvar nos “favoritos”
6. Encontrar a lista de favoritos
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO CENÁRIO
Teste de Usabilidade
Opção 1: Você se mudou para curitiba e precisa arrumar um local pra
alugar. Como você encontraria este imóvel?
Opção 2: Facilitador: Você procurou um imóvel recentemente? Como foi
essa experiência? Tente encontrar um semelhante nesse site. Usuário:
Não encontrei... Facilitador: Por que você acha que o site não encontrou?
Usuário: Deve ser a faixa de preço que escolhi, foi baixa. Facilitador: Como
você alteraria a faixa de preços?
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
Definir tarefas para o
teste de usabilidade.
tempo: 10’
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
5º passo: Preparar materiais, equipe, ambiente e ferramentas
Teste de Usabilidade
Redigir, revisar e imprimir• Roteiro, tarefas, termo de consentimento.
Verificar ambiente• Nível aceitável de ruídos, privacidade, lanche (se necessário)...
Verificar computador• Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache)• Não esquecer mouse e teclado (se necessário)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
5º passo: Preparar materiais, equipe, ambiente e ferramentas
Teste de Usabilidade
Estrutura do Roteiro• Propósito do teste• Lembrar que quem é avaliado é o sistema e não usuário• Que o objetivo é melhorar a interface• Que a identidade será mantida em sigilo• Participação é voluntária• Explicar como será o teste• Explicar que podem fazer perguntas, mas nem todas poderão ser respondidas• Small talk, contextualizar• Explicar as tarefas• Realizar entrevista semi-estruturada no final
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
EXEMPLO
Teste de Usabilidade
Ver PDF anexo.
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste PilotoExecutar com alguém não envolvido diretamente coma execução do teste.
Adequar tarefas, tempo, equipamento, ambiente...
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste de Usabilidade
Escrever roteiro de
aplicação do teste.
tempo: resto da aula
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
RESUMO DO PLANEJAMENTO
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Planejamento (última aula)
Teste de Usabilidade
1. Determinar objetivos (do produto, processo: onde quero chegar?)
2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)
3. Definir perfil de participantes e recrutar
4. Definir tarefas e cenários (motivação)
5. Preparar os materiais, equipe, ambiente e ferramentas
+ teste pilotoWednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
PARTE 2 - APLICAÇÃO DO TESTE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
1) EQUIPE ENVOLVIDA
Teste de Usabilidade
Orientador/condutor• Orientar o participante• Fazer com que se sinta a vontade• Responder perguntas• Não induzir comportamento (tendenciar)
Observador• Registrar interação do usuário• Não interferir no teste
Opcionais: Recepcionista e co-observadores (clientes e outros membros da equipe)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Teste de Usabilidade
Posso/devo pagar usuário?• Na publicação de papers, artigos esta prática não é aceita• No mercado é comum e há opções alternativas ao dinheiro
(Vale-compra, etc)
2) PARTICIPANTES (USUÁRIOS)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
2) Participantes (usuários)
Teste de Usabilidade
O que o usuário precisa saber?• Que está sendo observado• Que sua identidade será preservada• Indicar espelhos, câmeras, microfones etc.• Precisa aceitar o termo de consentimento
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste piloto
Teste de Usabilidade
Permite testar as condições do teste• As tarefas foram compreendidas pelos usuários?
• Todas as tarefas foram possíveis de concluir?
• Os equipamentos estão ok?
• O protótipo precisa ser ajustado?
• O questionário está ok?
Envolvidos: 1 a 3 (depende da complexidade do teste, mas normalmente 1 basta)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Escolha um software espião
Teste de Usabilidade
• Quicktime (http://www.apple.com/quicktime/download/)
• SilverBack (http://silverbackapp.com/)
• CamStudio (http://camstudio.org/)
• Camtasia (http://www.techsmith.com/products/studio/default.asp )
• Morae (http://www.techsmith.com/products/morae/default.asp)
• Ovo Logger (http://www.ovostudios.com/ovologger.asp#during )
• ScreenCam (http://www.smartguyz.com/index.html )
• ZD Soft (http://www.zdsoft.com/downloads.html)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Antes do teste
Teste de Usabilidade
• Imprima:• Roteiros• Fichas de tarefas• Bloco de notas ou planilha para avaliador• Questionário
• Prepare o lanche (se necessário)• Prepare o ambiente físico• Prepare o computador e equipamentos• Certifique-se que o local é tranquilo (para teste em campo)• Execute o teste piloto (ao menos um dia de antecedência)
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Planejando o tempo de cada sessão
Teste de Usabilidade
• Simule o teste e cronometre o tempo
• Estipule o tempo ideal para realização das tarefas
• Estipule o tempo limite para cada tarefa
• Inclua tempo para questionários
• Adicione uma margem de erro para atrasos dos participantes
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Como preparar o computador?
Teste de Usabilidade
• Verifique os requisitos (áudio, navegador, OS, internet, programas etc.)
• Instale um programa espião
• Faça um teste de captura (áudio e vídeo)
• Limpar o sistema de outros testes
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Como manter o controle (em laboratório)?
Teste de Usabilidade
• Procure ler o mesmo texto para todos os participantes
• Procure levantar as dúvidas mais comuns com o teste piloto, para incorporar no roteiro e evitar “desfavorecer” algum participante
• Tenha uma cópia impressa do roteiro em mãos
• Evite fornecer informações somente para um participante
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Como conduzir os testes?
Teste de Usabilidade
• Escolha somente uma pessoa para falar com o usuário (condutor)
• O observador deve se posicionar de forma a ver a tela e as reações do usuário
• Leia e entregue a ficha da tarefa
• Comece com tarefas mais simples
• Responda as dúvidas que puder, quando não puder diga que você não pode responder para não interferir o teste
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
<usuário> Mas isso não é inútil?Resposta inadequada: "Não."
Resposta adequada: "Por que você acha isso?"
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Como observar os testes?
Teste de Usabilidade
• Procure por padrões de uso e fenômenos• Não interfira no teste (função do orientador/condutor)• Marque o tempo inicial (quando medindo o tempo)• Anote nome dos pesquisadores, data e e local do teste• Anote pontos de dificuldade• Anote termos que causaram confusão• Anote o caminho percorrido• Anote as sugestões do participante• Anote se a tarefa foi realizada com sucesso ou não• Anote frases/depoimentos que exemplifiquem algo importante• Anote o tempo final
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Think aloud - Como funciona o “pensar em voz alta”?
Teste de Usabilidade
Objetivo: explicitar o processo mental dos participantes
Vantagens• Ajuda a captar entendimento
• Ajuda a captar sugestões
• Descobrir por que os usuários estão agindo de determinada forma
Desvantagem• Atrapalha na medição do tempo/performance
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Como estimular a falar?
Teste de Usabilidade
Use perguntas!
• “Em que você está pensando?”
• “Por que optou por clicar aí?”
• “Por que você desistiu de ir por lá?”
• “O que você está entendendo por (termo)?”
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Reproduzir exemplo de teste.
Teste de Usabilidade
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
sequência de uso
Teste de Usabilidade
EM GRUPO!
Definir Orientador, obser
vador e usuário.
Trocar usuário com outro grup
o.
Aplicar teste!
tempo: resto da aula
TO DO DONE
Wednesday, October 19, 2011
Análise e Design de Interação / Marcello Cardoso
Este arquivo contém a apresentação realizada por Marcello de
Campos Cardoso, em Outubro de 2011, para a disciplina Análise e
Design de Interação, ministrada no curso de especialização em
Projeto e Arquitetura de Aplicações Internet na Faculdade
COTEMIG.
obrigado!
Wednesday, October 19, 2011