análise de dados e observações em testes de usabilidade  

fernanda marques marcia berardinelli

PUC-Rio pós-graduação em ergodesign de interfaces – 2011

teste de usabilidade etapas

plano do teste

seleção de participantes

condução dos testes

análise de dados

análise preliminar

análise abrangente

  para revelar padrões e tendências mais amplas e identificar rapidamente os hot spots (problemas mais críticos), agilizando o trabalho dos designers.   feita logo após a conclusão dos testes, via relatório escrito ou apresentação verbal.

  relatório final, que inclui todas as descobertas e análises derivadas da condução dos testes.   feita de 2 a 4 semanas após a conclusão dos testes.

análise preliminar passo a passo

a. compilar os dados

b. resumir os dados

d. elaborar recomendações

e. produzir o relatório final

  compilação contínua   organização dos dados brutos

  de performance precisão da tarefa tempo de execução da tarefa   de preferência do usuário   outras medidas

c. analisar os dados

  tarefas que não alcançaram os critérios de sucesso   erros e dificuldades do usuário   fontes de erro   priorização de problemas

compilar os dados compilação contínua

organizar os dados coletados de modo a facilitar a visualização de padrões.

o que fazer?

o que é?

quando fazer? logo após as sessões dos testes, enquanto a memória está fresca.

transcrever anotações (do moderador e dos observadores), fazer backups de gravações de áudio e vídeo, mantendo um arquivo digital que facilite o processo de resumo dos dados, realizado adiante.

para agilizar o processo de análise e ajudar a verificar se os dados coletados estão corretos e se relacionam com os problemas formulados no plano de testes.

para quê?

compilar os dados organização dos dados brutos

Há várias possibilidades de organizar os dados obtidos na etapa de condução dos testes.

Listas, matrizes, storyboards, diagramas de fluxos, entre outros.

As planilhas são as mais recomendadas. Por serem versáteis, facilitam a manipulação de dados numéricos e ajudam a ordenar e filtrar os dados.

O importante é ajudar no reconhecimento de tendências e padrões.

resumir os dados dados de performance

O resumo dos dados serve para obter um retrato do que aconteceu durante os testes. O pesquisador começa a obter o que precisa para determinar se o teste alcançou seus objetivos e responder às questões de pesquisa formuladas no plano de teste.

precisão da tarefa Há vários tipos de estatísticas à disposição: - quantidade de erros (por tipo ou por tarefa) - quantidade de participantes que realizaram a tarefa com sucesso (com ou sem ajuda; dentro ou fora do tempo estipulado no benchmark)

tempo de execução da tarefa A quantidade de tempo necessário aos participantes para completar cada tarefa. Algumas das estatísticas mais usadas são: - média - mediana - faixa - desvio padrão

resumir os dados dados de performance tempo de execução da tarefa

-  É a soma dos tempos dos participantes dividida pelo número de participantes. -  Indica o desempenho do grupo como um todo. -  Pode mascarar o resultado, caso os tempos de execução das tarefas oscilem muito entre si, para cima ou para baixo.

média

-  É o tempo que representa exatamente a posição do meio quando todos os tempos de realização da tarefa são listados em ordem crescente. -  É um indicativo melhor do que a média, pois não é tão influenciado pelas discrepâncias.

mediana

exemplo de mediana

Média = dos tempos dos participantes __________________________ n de participantes

fórmula da média

resumir os dados dados de performance tempo de execução da tarefa

-  Mostra os tempos mais altos e mais baixos para cada tarefa. -  Pode ser bastante reveladora em casos de grandes diferenças entre os tempos de realização das tarefas.

faixa

-  Medida do grau de variabilidade entre os tempos. -  Mostra o quão próximos os números estão distribuídos em torno da média. -  Por levar em conta os tempos médios e os tempos finais, é um indicador mais preciso do que os tempos de realização mais curtos ou mais longos. Um desvio de 0,5 minuto indica que os usuários realizaram a tarefa com tempos próximos uns dos outros. Já um desvio de 5 minutos mostra que é preciso analisar por que a tarefa está sendo realizada com tempos tão discrepantes.

desvio padrão

x2 = somatório dos quadrados de cada um dos tempos coletados x = somatório de cada um dos tempos coletados

fórmula para cálculo do desvio padrão

n = total de participantes

resumir os dados dados de preferência do usuário

Os dados de preferências dos usuários podem ser derivados de várias fontes, como pesquisas e questionários e entrevistas de debriefing com os participantes dos testes.

Como organizar estes diferentes tipos de dados?

questões fechadas (de múltipla escolha) é possível contabilizar as respostas selecionadas em cada uma das perguntas para descobrir quantos participantes selecionaram cada opção.

questões abertas e comentários deve-se listar todas as perguntas e agrupar as respostas similares em categorias que façam sentido para a pesquisa, o que ajuda a perceber uma indicação geral do número de comentários positivos ou negativos.

entrevistas e debriefing usar as transcrições das entrevistas para destacar os comentários mais críticos. O registro por escrito também facilita o acesso de outras pessoas da equipe às informações.

resumir os dados outras medidas

Há uma série de outras medidas que podem ser úteis à pesquisa e que devem ser definidas ainda na fase de planejamento do teste de usabilidade:

- quantidade de retornos à navegação principal sem necessidade - quantidade e tipos de solicitações ou sugestões - número de vezes que o mapa do site foi acessado - pontos de hesitação (e duração)

Em casos de testes planejados para incluir mais de um grupo de usuários, é preciso organizar os dados separadamente, para cada um dos grupos, para entender as diferenças de performance entre eles.

O mesmo procedimento deve ser seguido se o teste almeja comparar versões diferentes de produtos ou materiais.

analisar os dados entender o todo

Manter-se orientado às tarefas, nas etapas de organização e análise dos dados, força o pesquisador a encarar as situações do ponto de vista dos usuários.

Para começar a análise, é preciso identificar as tarefas nas quais os usuários tiveram mais dificuldade: focar nos piores problemas.

o que fazer? - Identificar tarefas que não alcançaram o critério de sucesso estipulado

Elas representam a parte vulnerável do produto e devem ser o foco da análise preliminar. Provêm um retrato das áreas problemáticas. Usualmente, considera-se 70% o ponto de equilíbrio. Se pelo menos 70% dos participantes não completam uma tarefa com êxito, o problema é considerado grave ou difícil.

Identificar as tarefas mais difíceis ajuda a focar nas áreas problemáticas e a distinguir níveis de performance.

analisar os dados entender o todo

o que fazer?

- Identificar erros e dificuldades do usuário Após destacar as tarefas que não cumpriram o critério estipulado, deve-se identificar os erros que causaram os problemas de performance.

É bastante útil definir previamente o que é considerado um erro antes de iniciar o teste.

analisar os dados entender o todo

o que fazer?

- Analisar as fontes dos erros

Parte mais intensa do pós-teste.

Identificar a fonte de cada erro, destacando o componente (ou combinação de componentes) que causou o problema. Idealmente, isto deve ser feito para cada tarefa executada por cada usuário.

Neste ponto, há a transição de um modelo de análise orientado à tarefa para outro, orientado ao produto. O objetivo é atribuir uma razão relacionada ao produto para dificuldades e problemas de performance do usuário.

Importante levar em conta e consultar as anotações dos testes, o conhecimento que se tem do produto, o background dos usuários que cometeram erros.

- Priorizar problemas por criticidade

como fazer? - categorizar os problemas por severidade

- classificar o problema por frequência de ocorrência estimada Levar em conta: - a porcentagem de usuários afetados - a probabilidade de um usuário daquele grupo afetado vivenciar o problema - também é possível perguntar aos participantes quais foram as situações mais problemáticas para eles.

analisar os dados entender o todo

o que fazer?

4 3 2 1 irritante moderado severo inutilizável

Criticidade = severidade + probabilidade de ocorrência

analisar os dados entender o todo

o que fazer?

- Analisar as diferenças entre grupos ou versões de produto Na comparação, há muitos tipos de dados para analisar antes da formulação de conclusões e recomendações sólidas.

Somente por meio do entendimento mais profundo dos tipos e fontes de erros é possível determinar as melhores performances (no caso dos grupos) e as melhores versões (dos produtos).

analisar os dados entender o todo

estatística inferencial

As ferramentas de análise apresentadas usavam estatística descritiva simples, que descrevem as características dos dados de modo a ajudar a revelar padrões de performance e preferência e encarar problemas de usabilidade.

Na maioria dos testes, ela é suficiente para a realização de recomendações úteis.

Ocasionalmente, é usada a estatística inferencial, que ajuda a inferir algo sobre uma população maior do que a amostra testada.

Para conduzir análises utilizando este tipo de dados estatísticos é preciso maior rigor e controle na elaboração dos testes e uma amostra maior de participantes.

Para a grande maioria dos casos, esta técnica não é indicada.

obrigada! para saber mais: Rubin, J.; Chrisnell D. (2008). Handbook of usability testing: how to plan, design and conduct effective tests. Indianapolis, IN; Wiley Publishing, Inc.