Avaliação de Usabilidade de IHC Edla Maria Faust Ramos maio, 2004 Departamento de Informática e...

Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC

Avaliação de Avaliação de Usabilidade de IHC Usabilidade de IHC

Edla Maria Faust Ramosmaio, 2004

Departamento de Informática e EstatísticaUniversidade Federal de Santa Catarina

UsabilidadeUsabilidadeUsabilidadeUsabilidade

A capacidade que um sistema interativo oferece a seu usuário, em um determinado contexto de operação, para a realização de tarefas, de maneira eficaz, eficiente e agradável. (ISO 9241)

Problema de UsabilidadeProblema de Usabilidade

... um aspecto do sistema e/ou da demanda sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de permitir a realização dos objetivos do usuário em uma situação típica de uso. (Lavery et al, 1997)

Descrição de um Problema de UsabilidadeDescrição de um Problema de Usabilidade

Contexto : situação de uso em que o problema pode ser verificado

Efeito sobre o usuário : sobrecarga cognitiva

Efeito sobre a tarefa : trabalho adicional

Causa : aspecto do sistema

Re-design possível : alteração no projeto

Como identificar um problema prioritário? Natureza do problema: barreira, obstáculo

ou ruído Natureza da tarefa: importante e

frequente ou secundária e esporádica Quais Usuários: geral, novatos,

intermitentes, especialista ou usuários especiais

Por quê?Por quê?

correções em projetos em desenvolvimento.

revisões em produtos acabados. Definir a aceitação ou não, de

projetos encomendados. Comparar o desempenho de

softwares interativos .....

Como? constatar, observar e registrar problemas; calcular métricas objetivas para eficácia,

eficiência e produtividade; diagnosticar as falhas do projeto que

provavelmente atrapalhem a interação; prever dificuldades de aprendizado na

operação do sistema; prever os tempos de execução de tarefas; conhecer a opinião do usuário; sugerir as ações de re-projeto.

Técnicas Prospectivas baseadas na opinião do usuário sobre a

interação com o sistema Técnicas Diagnósticas (ou preditivas)

baseadas no conhecimento / competência do avaliador

Técnicas Definitivas (ou empíricas) baseadas na observação da interação

Técnicas de Avaliação de Usabilidade Técnicas de Avaliação de Usabilidade

ISONORM baseado nos princípios da norma ISO 9241-10 (Prumper,

1999)

QUIS Questionaire for User Interaction Satisfaction - U.

Maryland (Norman, 1989)http://www.lap.umd.edu/QUIS/index.html

SUSSystema Usability Scale da DEC (Digital Equipment Corp)

Questionários para avaliar a satisfação do usuário

Questionários para avaliar a satisfação do usuário

Técnicas ProspectivasTécnicas Prospectivas

Técnicas Diagnósticas (ou

preditivas) Técnicas Diagnósticas (ou

preditivas)

Baseadas no confronto, realizado por um inspetor/avaliador, entre padrões explícitos/implícitos de usabilidade e os atributos das interfaces humano computador

Inspeção de Conformidade (por checklists)

Avaliações Heurísticas Usabilidade em geral Intuitividade (Inspeção Cognitiva) Gestão de erros (Inspeção Preventiva)

Técnicas Diagnósticas (ou

preditivas) Técnicas Diagnósticas (ou

preditivas)

Definição : Inspeção da conformidade do software à requisitos propostos por padrões de qualidade explícitos e pontuais (checklists) para interfaces humano-computador;

Inspeções de Conformidade (por checklists)

Inspeções de Conformidade (por checklists)

Técnicas Diagnósticas (ou preditivas)Técnicas Diagnósticas (ou preditivas)

Inspeções de ConformidadeInspeções de Conformidade

Checklists oficiais– Norma ISO 9241

Checklists informais – Evadis II (Oppermman, 1992)– ErgoList (Cybis, 1996)– ISOmetrics (Gediga, 1999)– W3C Assessibility

Inspeções de ConformidadeCaracterísticas Inspeções de ConformidadeCaracterísticas

Abordagem Dependente da organização das listas de

verificação; Em geral são orientados à qualidades ou à

componentes

Tipo de Diagnóstico Grande quantidade de problemas

intermediários e menores;

Inspeções de ConformidadeCaracterísticas (cont.)Inspeções de ConformidadeCaracterísticas (cont.)

Sistematização Dependente da qualidade da lista de verificação; Podem permitir avaliações repetitíveis /

reproduzíveis

Custo x Benefício Avaliação barata e sistemática, porém limitada a

problemas intermediários e menores Proporcionam que pessoas sem formação

específica em ergonomia possam realizar uma inspeção de usabilidade;

Inspeções de Conformidade Estratégia Inspeções de Conformidade Estratégia

Análise contextual (em equipe)Reconhecer o sistema Conhecer o contexto de operação

Ajustes (em equipe)Definir aplicabilidade das questõesDefinir prioridades entre as questões

AplicaçãoAplicação individualReuniões de discussão dos diagnósticos

Relatório (lider de equipe)Descrição de problemasSugestões de melhoriaEstatísticas

Inspeções de ConformidadeNormas ISO de UsabilidadeInspeções de ConformidadeNormas ISO de Usabilidade

ISO 9126 - Características de qualidade ISO 9241 - Ergonomia de Soft. Escritórios ISO 11581 - Ícones ISO 14915 - Multimídia IU Design ISO 13407 - Projeto Centrado no Usuário ISO 16982 - Métodos de Usabilidade ISO 14598 - Processo de Avaliação

Avaliação Heurística

Definição Análise de conformidade do sistema face a

padrões de qualidade abrangentes ou heurísticas (grades, princípios ou critérios de avaliação), definidas por especialistas.

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Avaliações HeurísticasAvaliações Heurísticas

Grades de Heurísticas de Usabilidade

Heurísticas de Nielsen

– (Nielsen, 1994) Princípios de Diálogo

– (ISO 9241-10) Critérios Ergonômicos

– (Scapin & Bastien, 1993)

Avaliações HeurísticasCaracterísticasAvaliações HeurísticasCaracterísticas

Abordagem Definida pelo avaliador

tarefas do usuário estrutura da interface níveis de abstração componentes técnicos grades de qualidades ergonômicas

Tipo de Diagnóstico Todos os tipos problemas ergonômicos do

software, inclusive os falsos;

Avaliações HeurísticasCaracterísticas (cont.)Avaliações HeurísticasCaracterísticas (cont.)

Sistematização Dose de subjetividade elevada - intrínseca ao

avaliador;

Custo x Benefício Avaliação rápida, abrangente, porém subjetiva e

pouco sistemática Demanda uma equipe de avaliadores

Inspeção Cognitiva

Definição Confronto entre as lógicas de operação do

Projetista e de um Usuário Novato Perspectiva do projetista - o caminho previsto

para as tarefas; Perspectiva do usuário novato - o caminho que

parece o correto a um usuário novato;

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Técnicas Diagnósticas (ou

preditivas) Baseadas em Conhecimento

Inspeção CognitivaCaracterísticasInspeção CognitivaCaracterísticas

Abordagem Orientada à tarefa

Tipo de Diagnóstico problemas gerais e iniciais (ligados à intuitividade

do sistema);

Inspeção Cognitiva EstratégiaInspeção Cognitiva Estratégia

Análise contextual (usuário e suas tarefas)

Desenvolvimento do modelo de tarefas a serem avaliadas

Inspeção nas tarefas básicas Percorrer o caminho previsto aplicando, a cada

ação, uma lista de verificação das possibilidades de desvios ocorrerem.

Inspeção Cognitiva ChecklistInspeção Cognitiva Checklist

O usuário tentará realizar a tarefa certa?

Ele verá o objeto associado a esta tarefa?

Ele reconhecerá o objeto como associado à tarefa?

Ele saberá operar o objeto?

Ele compreenderá o feedback fornecido?

Inspeção Preventiva de Erros

Definição Aplicação de guidewords (heurísticas) ao modelo

de tarefas previstas para predizer possíveis desvios.

Técnicas Preditivas Baseadas em Conhecimento

Técnicas Preditivas Baseadas em Conhecimento

Inspeção Preventiva de Erros Características

Inspeção Preventiva de Erros Características

Abordagem Orientada à tarefa

Tipo de Diagnóstico problemas gerais e definitivos

Inspeção Preventiva de Erros Características (cont.)

Inspeção Preventiva de Erros Características (cont.)

Sistematização Dependente da competência do avaliador neste

tipo de técnica;

Custo x Benefício Avaliação rápida e barata Induz a consideração aos possíveis erros do

usuário;

Inspeção Preventiva de Erros Estratégia

Inspeção Preventiva de Erros Estratégia

Análise contextual (usuário e suas tarefas) Desenvolvimento do modelo de tarefas a

serem avaliadas (CTT) Inspeção nas tarefas básicas

Percorrer o caminho previsto aplicando, a cada ação, uma lista de verificação das possibilidades de desvios ocorrerem.

Inspeção nas tarefas de alto nível

Inspeção Preventiva de Erros Heurísticas – GuideWords

Inspeção Preventiva de Erros Heurísticas – GuideWords

Se aplicam às partes das tarefas básicas

Entradas Realização Resultados

Inspeção Preventiva de Erros Resultados

Inspeção Preventiva de Erros Resultados

Tabelas para cada tarefa Tarefa Guideword de desvio possivel Explicações sobre os desvios (Modelo de Norman,

1988) Causas dos desvios Consequências dos desvios Recomendações de reprojeto

Inspeção de Desvios Heurísticas – GuideWordsInspeção de Desvios Heurísticas – GuideWords

Nada acontecer? Algo diferente acontecer?

Mais Menos Diferente

Acontecer fora de tempo? Antes Depois

Ensaios de Interação

Sistemas de monitoramento

Técnicas DefinitivasTécnicas Definitivas

Ensaios de InteraçãoConceituação Ensaios de InteraçãoConceituação

Simulação de uma situação real de trabalho, em campo ou em laboratório, da qual participam usuários representativos da população alvo do sistema com o objetivo de revelar problemas ligados a utilização real do sistema e obter dados objetivos sobre a produtividade na interação

Ensaios de InteraçãoCaracterísticasEnsaios de InteraçãoCaracterísticas

Abordagem técnica orientada ao usuário e à tarefa

Tipo de Diagnóstico Revela problemas reais ou efetivos, segundo a

perspectiva do usuário

Ensaios de InteraçãoCaracterísticas (cont.)Ensaios de InteraçãoCaracterísticas (cont.)

Sistematização dependente da qualidade de scripts e dos cenários nas

simulações;

Custo x Benefício Avaliação custosa, porém reveladora de problemas sérios

ligados à perspectiva do usuário;

Ensaios de Interação Elementos de Configuração (1/4)

Ensaios de Interação Elementos de Configuração (1/4)

Scripts conjuntos de operações da uma tarefa real que,

durante uma simulação com o sistema serão realizados por uma amostra de usuários-alvo do aplicativo.

Cenários contexto ambientais e organizacionais que

caracterizam a realização das tarefas; ex. urgência, ruídos, interrupções,

Ensaios de Interação Elementos de Configuração (2/4)

Ensaios de Interação Elementos de Configuração (2/4)

Amostra de Usuários especialistas nas tarefas, novatos, experientes na

operação do sistema e outros;

Local de realização local de trabalho; laboratório;

Ensaios de Interação Elementos de Configuração (3/4)

Ensaios de Interação Elementos de Configuração (3/4)

Constrangimento esclarecer que quem está sendo testado é o

software. não pressioná-los a participarem dos ensaios; não expô-los a comentários de colegas. Cansaço parar. Garantia de privacidade.

Ensaios de Interação Elementos de Configuração (4/4)

Ensaios de Interação Elementos de Configuração (4/4)

Situações de impasse não interferir inicialmente;

Não prolongar as situações de impasse; mostrar o caminho ao usuário ou; propor a troca de tarefas;

Encerrar o ensaio no caso de constrangimentos;

registro da observação Papel e caneta. Registro em vídeo.

Verbalização simultânea. Verbalização consecutiva

Monitoramento da sessão - via screenCam

Técnicas de registro da observação. Transcrição. Esquemas de códigos.

Ensaios de InteraçãoEstratégiaEnsaios de InteraçãoEstratégia

Análise Contextual Diagnóstico preliminar Definições

Scripts, Cenários e amostra de usuários Realização de Ensaios

Obtenção da amostra de usuários Ajustes nos scripts e cenários Planejamento e Execução

Relatório do ensaio Análise e interpretação dos dados obtidos Redação do relatório do ensaio

Ensaios de Interação Resultados QuantitativosEnsaios de Interação Resultados Quantitativos

Métricas de produtividade na interação Eficácia = quantidade de tarefas realizadas * 100 /

quantidade de tarefas solicitadas

Eficiência em uma tarefa = tempo produtivo na tarefa*100/tempo total da tarefa

Tempo produtivo na tarefa = tempo total da tarefa - tempo não produtivo na tarefa

Ensaios de Interação Resultados QualitativosEnsaios de Interação Resultados Qualitativos

Confirmação de diagnóstico preliminar de problemas na interface

Identificação de novos problemas na interface a partir da observacao e análise das situações de incidente/não produtivas

MONTAGEM DE ENSAIO DE INTERAÇÃO

DEFINIÇÃO DOS CENÁRIOS E DA AMOSTRA

Reconhecimento do usuário

Coleta de informações sobre o usuário e sua tarefa

Definição de tarefas para o usuário

REALIZAÇÃO DOS ENSAIOS

Coleta e análise dos dados

Realização dos ensaios

Diagnóstico e relatório final

Preparação dos ensaios

Ajuste nos scripts e cenários

ANÁLISE PRELIMINAR

Reconhecimento do software

Pré-diagnóstico Ergonômico

Obtenção da amostra de usuários

Compromisso de uma técnica de avaliação Efetividade –quantidade de problemas sérios)

identificados - heurísticas e os ensaios de interação;

Abrangência –quantidade de problemas reais -checklists e as avaliações heurísticas;

Eficiência - os ensaios de interação; Produtividade – relação eficência/custo; Sistematização – repetitividade e

reproduzibilidade - Checklists. Facilidade de aplicação –checklists; Poder de persuasão - ensaios de interação e as

avaliações heurísticas Poder de desobstrução.

Projeto de uma avaliação análise : identificação dos requisitos da

avaliação; projeto preliminar : seleção das técnicas

aplicáveis; projeto detalhado : configuração das

técnicas; implementação : realização da avaliação; documentação : elaboração do relatório; validação : confronto entre os resultados

esperados e obtidos com a avaliação.