Embora o eye-tracking esteja sendo aplicado para auxiliar a busca de problemas de usabilidade, não existem métricas que o correlacionem às métricas clássicas dos testes de usabilidade.

Logo, os dados provenientes do eye-tracking são interpretados de uma forma muito subjetiva; provendo, em muitos casos, uma conotação anedótica da comunidade científica.

Apresentação

Este estudo tem como objetivo:

Criar uma correlação dos dados do eye-tracking com os obtidos dos testes tradicionais;

Comprovar que os problemas de usabilidade não estão ligados somente à um padrão de eye-tracking, mas à uma sequência de padrões;

Analisar estes diferentes padrões e criar uma rede de dados que poderia nortear os estudos em eye-tracking.

Objetivos

Uma descrição concisa da técnica do eye-tracking é:

O que é eye-tracking?

A gravação dos movimentos dos olhos enquanto o usuário está recebendo estímulos visuais. Estes estímulos podem ser objetos, ações e interfaces.

Os dois principais resultados do eye-tracking são :

Mapas termais

Mapas de varredura

Dados Adquiridos

Mapas que apresentam o tempo de fixação através de variações de cores.

Mapas que apresentam o caminhos percorridos pelo olho e seus pontos de fixação.

Mapas termais

Dados Adquiridos

Mapas de varredura

Dados Adquiridos

Armitage 2006, sugere as possíveis interpretações para os dados:

Longa fixação (interesse ou confusão)

Retornar um ponto, saccade (possível confusão)

Não olhar os elementos da página

Percorrer a página ao invés de ler, ou seja, percorrer em qualquer direção distinta da esquerda para a direita (busca por algum elemento específico)

Pular entre dois elementos (possível comparação ou distração)

Dados Adquiridos

Primeiro lugar a ser olhado (analisar porque aquele elemento chamou a atenção)

Último lugar a ser olhado (analisar porque o usuário não demonstrou interesse)

Quando efetua uma escolha, retorna ao item anterior e faz uma varredura antes de finalizar a escolha

Último lugar a ser olhado (analisar porque o usuário não demonstrou interesse)

Ler somente títulos e subtítulos (interface monótona)

Dados Adquiridos

Apontamentos são feitos pelo avaliador durante o teste de usabilidade com usuários e discutidas posteriormente.

Pode-se usar o método PEEP (Experiência pós Eye-Tracked), onde os usuários analisam a gravação do rastreamento do seu olhar na tela e explicam suas decisões e pensamentos.

Alegam que realizar tarefas e pensar em voz alta simultaneamente pode deixar incompleto os resultados, pois o usuário não consegue verbalizar os processos cognitivos que podem ser subconscientes.

Dados Adquiridos

As principais métricas utilizadas: Fixação

Métricas

Métricas do movimento ocular Processo cognitivo / problema de usabilidade

Tempo para primeira fixação no alvo Bom (se curto), ruim (se longo)

Fixação densidade espacial Busca eficiente ou ineficiente

Fixação de duração, Fixação comprimento Dificuldade na extração de informação ou maior engajamento

Fixações no alvo dividido pelo número total de fixações Pouca eficiência na busca

Número de fixação global Busca menos eficiente

Fixações repetidas (fixação pós-alvo) Dificuldade de legibilidade ou visibilidade

Fixação por área de interesse Elemento mais importante

Porcentagem de participantes fixando nas áreas de interesse Chamariz principal de uma determinada interface

Fixação por área de interesse ajustadas para tamanho do texto Elemento de difícil reconhecimento

Taxa de fixação/varredura Mais processamento ou menos buscas

As principais métricas utilizadas: Taxa de varredura

Métricas

Métricas do movimento ocular Processo cognitivo / problema de usabilidade

Número de varreduras Maior a pesquisa se houver maior varredura

Varredura revelando mudanças direcionais Objetivo do usuário alterado OU layout da interface não corresponde as suas expectativas

Ampla varredura Pistas visuais significativas de maiores varreduras

Varreduras regressivasSentido visual sem pistas, as alterações das metas, incompatibilidade entre usuários e expectativa do layout da interface observado

Duraço da varredura Baixa qualidade de imagem, tais como borrada ou baixo contraste

As principais métricas utilizadas: Caminho da varredura

Métricas

Métricas do movimento ocular Processo cognitivo / problema de usabilidade

Longa duração nas varreduras Varredura menos eficiente

Maior o comprimento das varreduras Busca menos eficiente

Pequena densidade espacial da varredura Pesquisa mais direta

Varredura com regularidade Problemas de busca devido à falta treinamento ou a problemas de layout

Matriz de transição (ida e volta entre as áreas) Incerteza na busca ou ordem de busca eficiente e direta

Probabilidade de transição entre áreas de interesse Eficiência na arrumação dos elementos de interface

As principais métricas utilizadas: Taxa de contemplação

Métricas

Métricas do movimento ocular Processo cognitivo / problema de usabilidade

Contemplar (habitar) Medida da antecipação ou distribuição de atenção entre as metas

Orientação da contemplação Retorno sobre o sucesso de características de projeto

Duração da contemplação em de áreas de interesse Dificuldade de extrair ou interpretar informações do elemento

Número de contemplação por áreas de interesse Possível importância do elemento

Cobertura espacial calculada com área convexa da casca Digitalização em uma área específica ou maior

Foram analisadas duas interfaces utilizando dois métodos de pesquisa:

Testes de usabilidade, retrospectivas e entrevistasEye-tracking da utilização das interfaces

Método

A primeira etapa das análise foi pautada sobre os resultados dos testes de usabilidade:

Foram listados todos os problemas encontrados

Foram cruzados para descobrir os problemas encontrados por mais de um participante.

Os problemas foram analisados através de protocolos para determinar os problemas principais de cada tarefa.

Extração de Problemas

Os problemas foram organizados da seguinte forma:

Colocado o número do participante que vislumbrou o problema

Dado um número para cada problema de usabilidade

Uma breve descrição do problema

A localização (URL) do problema

Extração de Problemas

Os problemas de usabilidade foram listados e analisados com a gravação do eye-tracking do usuário relativo. Como resultado, foi geradas uma tabela de correlacionamento onde cada elemento do eye-tracking foi generalizado para se adequar a cada problema de usabilidade.

Por fim, foi criado um padrão de métricas para o eye-tracking.

Correlacionando o Eye-Tracking

Comprovação da correlação dos problemas de usabilidade com os padrões de eye-tracking

Criação de padrões de eye-tracking específicos para cada site.

A importância dos padrões específicos e não de padrões gerais.

A análise dos dados do eye-tracking deve ser feita como complementação dos testes de usabilidade.

Resultados

Grande quantidade de padrões dificultam a análise e uma comparação precisa

Limitações das métricas quando comparadas com a grande gama de problemas de usabilidade. A dificuldade na adaptação pode causar equívocos de análise.

A tentativa de adaptar todos os dados do eye-tracking pode indicar "falsos positivos" para problemas de usabilidade.

Problemas do Método

Foi provada a correlação do eye-tracking e dos problemas de usabilidade

Foram criadas novas métricas, que podem servir de base para futuros estudos

Foi demonstrado que é possível usar o eye-trcking de forma segura e ter uma análise confiável dos dados. Retirando assim, o caráter subjetivo conotado ao método.

Conclusões