Relatório finalAvaliação de acessibilidade e usabilidade de sítio Web de e-Commerce.

I. Avaliação de acessibilidade automática

Na avaliação da acessibilidade Web utilizaram-se dois métodos: avaliação automática e avaliação pericial. Numa primeira abordagem, utilizou-se a ferramenta automática, SortSite e em seguida, especialistas em acessibilidade executaram uma avaliação manual de forma a detetar erros ou incumprimentos dos critérios de sucesso que a ferramenta automática, não detetaria.

Para o efeito, consideraram-se as Diretrizes de Acessibilidade para Conteúdo Web (WCAG) (W3C-WAI 2.0). Neste contexto, os resultados destas avaliações aparecem divididos nos quatro princípios definidos na versão 2.0 (WAI-W3C 2.0), consequentemente, apresenta-se a descrição dos níveis de conformidade utilizadas na avaliação:

“Nível A: Para conformidade de Nível A (o nível mínimo de conformidade), a página web satisfaz todos os Critérios de Sucesso de Nível A, ou é fornecida uma versão alternativa em conformidade.

Nível AA: Para conformidade de Nível AA, a página web satisfaz todos os Critérios de Sucesso de Nível A e Nível AA, ou é fornecida uma versão alternativa em conformidade de Nível AA.

Nível AAA: Para conformidade de Nível AAA, a página web satisfaz todos os Critérios de Sucesso de Nível A, Nível AA e Nível AAA, ou é fornecida uma versão alternativa em conformidade de Nível AAA”.

Resultados

Em primeiro lugar apresentamos a descrição resumida dos erros dados pela ferramenta automática SortSite (ver figura 1).

Figura 1: Resumo de erros facultados pela ferramenta automática SortSite.

Nesta primeira análise, verifica-se que existem sete erros de nível A; um de nível AA e dois de nível AAA.

Especificamente, apresentamos os erros através da descrição do incumprimento do critério de sucesso.

P1. Percetível (As informações e os componentes da interface devem ser apresentados em formas que possam ser percebidas pelo utilizador):Diretriz 1.1 (Alternativas em Texto):1.1.1– Conteúdo Não Textual (Nível A)

Descrição do incumprimento do critério de sucesso:1. A descrição das hiperligações, nas imagens e textos complementares, e do ALT text é igual e

isto faz com que o leitor de ecrã leia o mesmo texto duas vezes. Este incumprimento está presente nas páginas onde existe listagem de produtos, ou seja, cada produto tem um nome e imagem associada e adjacente, estes elementos são hiperligações exatamente com o mesmo texto alternativo.

Diretriz 1.3 Adaptável1.3.1 Informações e Relações (Nível A)Descrição do incumprimento do critério de sucesso:

1. Este incumprimento é identificado nos ícones referentes às redes sociais. É necessário que os cabeçalhos de linhas e colunas de tabelas de dados tenham que de ser identificados, usando elementos TH e marcando as tabelas de layout com role=’apresentação’, pois as tabelas de dados permitem aos utilizadores de leitores de ecrãs compreender as relações entre colunas e linhas. Se estes elementos não estiverem devidamente identificados é impossível o utilizador perceber o seu conteúdo;

2. O incumprimento acima descrito, da não identificação dos cabeçalhos de linhas e colunas nas tabelas de dados, verifica-se novamente em todo o conteúdo das páginas identificadas a seguir porque o sítio Web foi desenvolvido a partir de tabelas;

3. O mesmo incumprimento está ainda expresso na página específica do produto onde são apresentadas as informações do produto que estão também formatadas em tabelas. Este incumprimento ainda é mais visível quando clicamos no ícone “Mais informações” do produto.

Diretriz 1.4 Discernível1.4.3 Contraste (Mínimo) (Nível AA)Descrição do incumprimento do critério de sucesso:

1. As cores do background e do foreground têm que ter contraste suficiente. Este incumprimento verifica-se principalmente, no local específico para fazer o LOGIN. Alguns utilizadores têm dificuldade em visualizar corretamente conteúdos e como tal deve-se ter em conta a cor tanto do fundo como do texto e tentar encontrar o contraste ideal entre ambos para que sejam mais percetíveis.

P2. Operável (Os componentes de interface de utilizador e a navegação devem ser operáveis):Diretriz 2.1 Acessível por Teclado2.1.1 Teclado (Nível A)Descrição do incumprimento do critério de sucesso:

1. Todos os eventos ONCLICK devem ter um evento ONKEYPRESS equivalente, ou seja, se os utilizadores estiverem impossibilitados de utilizar o rato, devem ter a escolha de poderem utilizar o teclado como alternativa. Assim, deve existir um evento de teclado equivalente ao do rato para ajudar esses utilizadores. Este incumprimento verifica-se na hiperligação AJUDA, especificamente na página inicial do sítio Web;

2. O mesmo incumprimento verifica-se ainda na hiperligação AJUDA, especificamente, quando clicamos no botão AJUDA COMPLETA.

2.1.3 Teclado (Sem Exceção) (Nível AAA)Descrição do incumprimento do critério de sucesso:

1. Como verificado na norma 2.1.1, também aqui na 2.1.3. se verifica a mesma situação, ou seja, o incumprimento verifica-se na hiperligação AJUDA e também no botão AJUDA COMPLETA.

Diretriz 2.2 Tempo Suficiente:2.2.2 Colocar em Pausa, Parar, Ocultar (Nível A)Descrição do incumprimento do critério de sucesso:

1. Este incumprimento encontra-se na apresentação da animação da carrinha, no extremo superior direito da página, ou seja, apresenta uma animação com duração superior a 5 segundos que não pode ser desligada ou interrompida. O utilizador de tecnologias de apoio não tem maneira de pausar o conteúdo tornando assim confusa a interação com o sítio Web.

Diretriz 2.4 Três Flashes2.4.1 Ignorar Blocos (Nível A)Descrição do incumprimento do critério de sucesso:

1. O incumprimento verifica-se no iframe (Goggle Tag Manager), não tendo título atribuído. Como não existe nenhum atributo TÍTULO associado à iframe na página, os leitores de ecrã não identificam a iframe. Este incumprimento abrange todo o sítio Web.

2.4.4 Finalidade do Link (Em Contexto) (Nível A)Descrição do incumprimento do critério de sucesso:

1. Este incumprimento no critério de sucesso ocorre na apresentação dos ícones das redes sociais, bem como na opção de escolha de linguagem (canto inferior esquerdo). Estes links identificados apenas contêm conteúdo não textual, ou seja, são compostos por imagens, e estas não podem ser identificadas por um nome acessível colocado num atributo ALT. Para ultrapassar este incumprimento, cada tag “A” deve conter texto ou uma IMG com o atributo ALT, e neste caso isso não acontece;

2. Este incumprimento está presente no critério de sucesso 1.1.1. e volta-se a verificar aqui, ou seja, a descrição das hiperligações, nas imagens e textos complementares, e do ALT text é igual e isto faz com que o leitor de ecrã leia o mesmo texto duas vezes;

3. Este incumprimento está descrito no ponto 1 deste critério de sucesso, mas aqui verifica-se na opção de escolha de linguagem;

4. No posterior URL, está identificado o incumprimento descrito no ponto 1. No entanto, a ferramenta automática não identifica o elemento onde ocorre, apenas o URL onde o incumprimento está contido.

2.4.9 Finalidade do Link (Apenas o Link)) (Nível AAA)Descrição do incumprimento do critério de sucesso:

1. O incumprimento, descrito em 2.4.4., ocorre quando aparecem os ícones das redes sociais, bem como na opção de escolha de linguagem;

2. O incumprimento está descrito no critério de sucesso 1.1.1 e está presente novamente aqui, pois em cada produto apresentado existe uma imagem e um nome associado e adjacente ao produto com o mesmo ALT texto;

3. O incumprimento do critério de sucesso ocorre nas hiperligações “Campanhas”, uma na barra de cima do menu e outra na secção “Mapa do site” que tem uma subsecção campanhas. Se várias hiperligações utilizam a mesma descrição textual, todas essas hiperligações devem apontar para o mesmo destino e não para destinos diferentes;

4. Este incumprimento está descrito no ponto 1 do critério de sucesso 2.4.4. mas aqui verifica-se na opção de escolha de linguagem;

5. No posterior URL, está identificado o incumprimento descrito, no ponto 1 do critério de sucesso 2.4.4. No entanto, a ferramenta automática não identifica o elemento onde ocorre, apenas o URL onde o incumprimento está contido;

6. Se vários links numa página usarem o mesmo texto no link, todos esses links devem apontar para o mesmo destino. Todos os links com o mesmo texto devem obviamente apontar ao mesmo destino para não enganar os utilizadores nem baralhar a sua navegação. Este problema ocorre nas ligações que dizem “Campanhas”, uma na barra de cima do menu e outra na secção “Mapa do site” que tem uma subsecção campanhas;

7. O incumprimento do critério de sucesso ocorre nas hiperligações “Campanhas”, uma na barra de cima do menu e outra na secção “Mapa do site” que tem uma subsecção campanhas. Se várias hiperligações utilizam a mesma descrição textual, todas essas hiperligações devem apontar para o mesmo destino e não para destinos diferentes. (Incumprimento aparece no URL descrito no ponto 3).

2.4.10 Cabeçalhos da sessão (Nível AAA)Descrição do incumprimento do critério de sucesso:

1. O incumprimento deste critério de sucesso ocorre no início de todas as páginas. Cada secção de conteúdo deve começar com uma tag de cabeçalho (H1, H2, H3), mas as páginas não têm tags de cabeçalho o que torna muito difícil aos leitores de ecrã perceber a estrutura apresentada.

P3. Compreensível (A informação e a operação da interface de usuário devem ser compreensíveis).Diretriz 3.2 Previsível3.2.5 Alteração mediante solicitação (Nível AAA)Descrição do incumprimento do critério de sucesso:

1. Encontramos este incumprimento no ícone do cartão de cliente e em todos os ícones das redes sociais. Para não incorrer neste incumprimento é necessário evitar abrir janelas sem avisar o utilizador, ou seja, abrir novas janelas ou abrir recorrendo a uma hiperligação com o target="_blank";

2. Outro incumprimento está também presente no fundo da página na hiperligação “Mapa do site”, onde todas as hiperligações dentro dessa secção abrem numa nova aba com o target=”_blank”.

P4. Robusto (O conteúdo deve ser robusto o suficiente para poder ser interpretado de forma confiável por uma ampla variedade de agentes de utilizador, incluindo tecnologias de apoio).Diretriz 4.1 Compatível4.1.1 Análise (Nível A)Descrição do incumprimento do critério de sucesso:

1. O incumprimento é apenas visível no código da página. Facilmente identificado com a ferramenta automática, sendo que a página apresenta erros de marcação, fazendo com que os leitores de ecrã não funcionem eficientemente;

2. O incumprimento verifica-se no ID de “notLoggedPopup”, visto que a página tem ids duplicados, causando problemas de funcionamento aos leitores de ecrãs, sendo que estes utilizam os Ids para controlar o rótulos e títulos das tabelas;

3. O incumprimento no url identificado posteriormente encontra-se descrito, no ponto 1 deste critério de sucesso;

4. O incumprimento encontra-se, no ponto 2 deste critério de sucesso.

4.1.2 Nome, Função, Valor (Nível AA)Descrição do incumprimento do critério de sucesso:

1. O incumprimento ocorre quando aparecem os ícones das redes sociais, bem como na opção de escolha de linguagem e está descrito, no critério de sucesso 2.4.4, ponto 1;

2. O incumprimento encontrado ocorre na área da Newsletter onde o formulário não tem o elemento LABEL associado, o que resulta nas tecnologias de apoio não conseguirem descrever ao utilizador a finalidade do controlo de formulário;

3. O incumprimento está presente nos filtros (de preços, marcas, categorias, …) disponíveis do lado direito. Neste caso, existe o elemento LABEL. mas não está anexado aos controlos que classificam;

4. Ainda nos filtros disponíveis, encontramos outro incumprimento, desta vez os elementos LABEL estão em branco o que faz que as tecnologias de apoio não consigam informar corretamente os seus utilizadores;

5. O incumprimento encontra.se na listagem de produtos, quando selecionamos a quantidade que desejamos comprar, e também nos filtros disponíveis do lado direito sempre que existe um formulário. A descrição deste incumprimento encontra-se no ponto 2 deste critério de sucesso;

6. Existe outro incumprimento deste critério de sucesso observado na opção de escolha de linguagem. A sua descrição está no critério de sucesso 2.4.4., ponto 1;

7. No posterior URL, está identificado o incumprimento descrito, no ponto 1 do critério de sucesso 2.4.4. Novamente, a ferramenta automática não identifica o elemento onde ocorre, apenas o URL onde o incumprimento está contido;

8. O incumprimento ocorre, na área da Newsletter, onde o formulário não tem elementos LABEL associados. A descrição encontra-se, neste critério de sucesso, no ponto 2.

Algumas notas adicionais:

A avaliação automática foi realizada apenas nas páginas em que o utilizador final iria ter alguma interação. No entanto averiguamos todo o site de forma a perceber se existiam grandes disparidades entre a avaliação total do site e as páginas em questão. A conclusão foi que o site se comporta geralmente de igual forma no seu todo e que as páginas que escolhemos são exemplos da forma global do comportamento do sítio web.

O grupo de trabalho optou por efetuar o registo (para a entrega ao domicílio) de um utilizador para ser utilizado na avaliação manual, pois verificou-se que isso seria uma tarefa muito complicada para os utilizadores finais dado que nós próprios tivemos muitos problemas na criação do registo. Foi mesmo necessário ligar para a linha de apoio a cliente para compreender que a morada não estava na área de entrega disponível. Sem este registo com o login feito não conseguíamos visualizar os produtos para efetuar compras porque a morada tinha que ser alterada. Não foi disponibilizado nenhum aviso ou feedback sobre e como alterar a mesma. Sem uma morada, era impossível aos utilizadores fazerem uma compra, pois os produtos não podiam ser identificados e, como tal, foi realizado um registo com os requisitos que a plataforma pedia. O mesmo foi disponibilizado mais tarde, aquando da avaliação manual com cada utilizador.

Relativamente à rapidez e robustez do site não se registaram quaisquer problemas o que indica que o site se comportou de forma relativamente segura e rápida durante o processo.

No geral, o site é composto por vários páginas e hiperligações, o que é normal tratando-se de um site de e-commerce e tendo como objetivo apresentar todos os produtos que a marca vende. Apesar disto, torna-se muito simples perceber os erros de acessibilidade que o site contém, pois, o mesmo comporta-se de forma igual na maioria das páginas (paginas de apresentação de produtos ou então páginas de descrição de produtos).

Verificou-se também que até à data de realização deste relatório, o sítio web não possuía uma versão alternativa de alto contraste ou versão textual.

II. Avaliação heurística

Na avaliação heurística, recolhemos dois tipos de dados: quantitativos, onde contabilizamos o número de incumprimentos de cada uma das heurísticas e identificamos as respetivas localizações (Urls) e o grau de severidade dos erros encontrados; e, qualitativos, como os comentários feitos pelos avaliadores.

Esta avaliação teve como objetivo analisar dez páginas-tipo (templates) representativas da arquitetura de informação, estrutura de conteúdos, apresentação e interação disponibilizadas, no sítio Web, que permitem a seleção de produtos e finalização de compra com entrega ao domicílio.

Peritos

Os peritos ou especialistas foram dois professores universitários da área da Comunicação e Multimédia e Engenharia Informática, da Universidade de Trás-os-Montes e Alto Douro, e um investigador na área da Interação Pessoa-Computador do INESC-TEC. Foram convidados por correio eletrónico e efetuaram a avaliação heurística preenchendo uma tabela de avaliação previamente criada onde constavam as heurísticas, a classificação dos erros encontrados, as descrições dos problemas e as suas respetivas localizações (urls).

Metodologia

Para esta avaliação, foi criada uma tabela com heurística baseada nas dez heurísticas de Jakob Nielsen e Rolf Molich e em cinco das seis heurísticas compiladas por Figueiredo (2004). Estas últimas são um complemento às primeiras 10 heurísticas apresentadas e suportadas pelos seguintes autores Bruce Tognazzini, Mark Pearrow, Jared Spool e Steve Krug. A tabela contém estas 15 heurísticas e respetivas sub-heurísticas, num total de 68 itens.

Para classificar os problemas encontrados, os avaliadores classificaram os erros seguindo a escala, proposta por Nielsen (2005), que combina a frequência com que o erro ocorre, o impacto do erro e a persistência do erro:

0 - Eu não concordo que isto seja um problema de usabilidade;1 - Apenas um problema cosmético: corrigir apenas se houver tempo; 2 - Problema menor de usabilidade: deve ser corrigido, mas fica para o fim; 3 - Problema maior de usabilidade: deve ser corrigido e deve ser prioritário; 4 - Grave erro de usabilidade: é imperativo que seja corrigido.

A análise centrou-se na versão principal do sítio Web.

Resultados

Das 15 heurísticas inspecionadas 9 apresentaram problemas. A figura 2 mostra, para cada uma das heurísticas, a percentagem das respetivas sub-heurísticas com problemas.

H1: Visibilidade do estado do sistema

H2: Relação entre o sistema e o mundo real

H3: Controlo e liberdade do utilizador

H4: Consistência e standards

H5: Prevenção de erros

H6: Reconhecimento e não lembrança

H7: Flexibilidade e eficiência de uso

H8: Estética e design minimalistas

H9: Ajuda ao reconhecimento, diagnóstico e correcção de erros do utilizador

H10: Ajuda e documentação

H11: Escrita em pirâmide invertida

H12: Prioridade à informação importante

H13: Evitar o uso de características gratuitas

H14: Páginas fáceis de “ler”

H15: Baixos tempos de resposta e download

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

38%

50%

0%

33%

11%

33%

33%

14%

0%

14%

0%

0%

100%

14%

33%

Figura 2: Percentagens sub-heurísticas com problemas relativamente à sua respetiva heurística.

Cada heurística estava subdividida em sub-heurísticas, num total de 68. Destas, 16 (cerca de 24%) apresentaram algum tipo de problema e 52 (cerca de 76%) não foram referenciadas como tendo qualquer tipo de problema.

As heurísticas e respetivas sub-heurísticas com problemas foram classificadas de acordo com o grau de severidade do problema encontrado. Das 68 sub-heurísticas avaliadas, 52 foram classificadas com grau de severidade 0, ou seja, não apresentavam problemas. As restantes 16 sub-heurísticas foram classificadas com graus de severidade entre 1 e 4. Respetivamente, com grau 1 obtivemos quatro sub-heurísticas com problemas, com grau 2, também quatro; com grau 3, três; e com grau 4, quatro.

Especificamos agora, em tabelas, os problemas detetados e exemplos de urls dos mesmos. Assim, iniciamos com os problemas classificados com grau 1 (apenas um problema cosmético) (tabela 1).

Tabela 1: Problemas de grau 1 detetados pelos avaliadores durante a avaliação heurística.

Heurísticas Sub-heurística Problema /URLH4: Consistência e standards. 4.6: As hiperligações são

percetíveis e uniformes, distinguindo-se as ativas, as visitadas e as não visitadas.

Não existe distinção.

H10: Ajuda e documentação. 10.2: A ajuda é fácil de encontrar.

A ajuda não é fácil de ser encontrada.

H13: Evitar o uso de características gratuitas.

13.1: Existência de elementos meramente decorativos ou sem utilidade.

Na página inicial existem vários elementos que não tem qualquer utilidade.

H15: Baixos tempos de resposta e download.

15.2: O site carrega rapidamente.

O site não é muito rápido.

Os avaliadores afirmam não existir na sub-heurística 4.6 distinção entre os vários estados das hiperligações, tornando-as pouco percetíveis do estado em que se encontram (entre ativas, visitas e não visitadas). Na sub-heurística 10.2 (A ajuda é fácil de encontrar), afirmam que não é fácil de ser encontrada, encontrando-se dissimulada no menu inicial ou numa funcionalidade na parte inferior direita do ecrã. Quanto à 13.1 (Existência de elementos

meramente decorativos ou sem utilidade) verificam que na página inicial existem vários elementos que não trazem qualquer utilidade para o processo de utilização de uma plataforma de e-commerce. E finalmente, na 15.2 (O site carrega rapidamente), enunciam que o carregamento da página inicial, da página de categorias de produtos, e da própria ajuda do site não é muito rápido.

Os problemas detetados pelos avaliadores e classificados com grau 2 (problema menor de usabilidade) estão descriminados na tabela 2.

Tabela 2: Problemas de grau 2 detetados pelos avaliadores durante a avaliação heurística.

Heurísticas Sub-heurística ProblemaH1: Visibilidade do estado do sistema

1.8: Sei sempre onde estou A localização do utilizador está em branco, o que não acontece noutros links.

H2: Relação entre o sistema e o mundo real

2.1: As páginas utilizam palavras comuns e familiares para o utilizador (“speak the user language”).

Algumas palavras podem ser estranhas ao utilizador.

H5: Prevenção de erros 5.6: As imagens são de boa qualidade e demoram pouco tempo a carregar

As imagens são pequenas.

H7: Flexibilidade e eficiência de uso

7.2: Existência de abreviaturas de comandos frequentes.

Não existe qualquer mecanismo de abreviaturas.

Os avaliadores quanto ao grau 2, começam por descrever o problema na sub-heurística 1.8. Na hiperligação específica encontram um problema de não localização dos utilizadores, esta posição encontra-se em branco o que não acontece noutras páginas. Quanto à 2.1, afirmam existir algumas páginas onde as palavras não são tão comuns ou familiares, são muito técnicas ou de difícil compreensão num contexto de e-commerce. Na sub-heurística 5.6 as imagens são muito pequenas para serem consideradas com boa visualização. Finalmente, na 7.2, não encontraram qualquer mecanismo de abreviaturas para comandos frequentes.

Os problemas detetados pelos avaliadores e classificados com grau 3 (problema maior de usabilidade) são os que constam na tabela 3.

Tabela 3: Problemas de grau 3 detetados pelos avaliadores durante a avaliação heurística.

Heurísticas Sub-heurística ProblemaH4: Consistência e standards 4.2: Utiliza os mesmos

termos em toda a interface.

Os termos não são os mesmos utilizados em toda a interface.

H6: Reconhecimento e não lembrança

6.1: O utilizador não deve ser obrigado a memorizar as opções disponíveis para completar uma tarefa.

As hiperligações do processo de finalização de compra não são objetivas.

H13: Evitar o uso de características gratuitas

13.2: Desvio da atenção do utilizador, do que devia ser o seu objetivo principal.

Existem diversos elementos que desviam a atenção do utilizador.

Quanto ao grau 3 (problema maior de usabilidade. Importante resolver este problema, é uma prioridade), os avaliadores começam por descrever que existem mudanças de títulos no processo de finalização de compra que podem levar a que os utilizadores se sintam “perdidos” e confusos na interação. Especificamente, na secção definida para a listagem de produtos (sem título) passa para RESUMO no acesso ao segundo passo de finalização da compra. Na sub-heurística 6.1, verifica-se que as hiperligações do processo de finalização de compra não são objetivas, acredita-se que se passarmos um tempo sem visitar o site, tenhamos problemas de interação na primeira vez. Concluindo na 13.2, existem diversos objetivos que servem apenas para direcionar o utilizador para mecanismos de venda pré-planeada definida pela empresa dona do site.

Os problemas detetados pelos avaliadores e classificados com grau 4 (problema maior de usabilidade) são os que constam na tabela 4.

Tabela 4:Problemas de grau 4 detetados pelos avaliadores durante a avaliação heurística.

Heurísticas Sub-heurística ProblemaH1: Visibilidade do estado do sistema

1.1: O site proporciona “feedback”.

O site não proporciona feedback das ações.

H1: Visibilidade do estado do sistema

1.2: O utilizador é sempre informado do que está a acontecer.

O site não informa o utilizador das próprias ações.

H2: Relação entre o sistema e o mundo real

2.2: A informação é disponibilizada de forma lógica e ordenada.

Os produtos não estão listados de forma lógica.

H8: Estética e design minimalistas 8.7: Existência de contraste entre a cor do texto e a cor do fundo.

Não existe contraste suficiente no texto de detalhe dos produtos.

Relativamente ao grau 4 (catástrofe de usabilidade. É imperativo resolver este problema), os avaliadores começam por descrever problemas com o feedback que o site proporciona, sub-heurística 1.1, verifica-se que o site não devolve qualquer tipo de informação, na navegação, ao longo das páginas nem quando se efetua qualquer tipo de ação.

Quanto aos problemas classificados por grau 4, os avaliadores verificam que na sub-heurística 1.1, o site não apresenta qualquer tipo de informação, quando se navega ao longo das páginas, nem quando se efetua qualquer tipo de ação. Ainda na heurística 1, verifica-se na 1.2 que o site não informa o utilizador do que o próprio está a fazer e das decisões que está a tomar. Já na 2.2, os avaliadores encontraram problemas na informação disponibilizada, visto que os produtos deveriam estar dispostos por ordem alfabética para ser mais fácil a sua procura e isso não acontece. Em conclusão, em 8.7 verifica-se que não existe contraste suficiente no texto da descrição dos produtos e isto dificulta a leitura.

III. User tests

Acreditamos que uma avaliação de acessibilidade e usabilidade não fica completa se não observarmos utilizadores reais a interagir com o sítio Web. Assim, optamos assim por realizar sessões de avaliação com utilizadores cegos.

Participantes

Especificamente, vinte pessoas cegas participaram neste estudo, cinco mulheres e quinze homens, com idades compreendidas entre os 18 e 57 anos. Todos os participantes são utilizadores diários e experientes do computador e internet. Quinze participantes utilizam, preferencialmente, o leitor de ecrã JAWS (versão 9: 1; versão 11: 1; versão 13: 1; versão 14: 4; versão 15: 3; versão 16: 5; versão 17: 1); no entanto, três participantes também utilizam o NVDA (Nom Visual Desktop Access) dependendo do sítio Web que pretendem visitar. Cinco usam o Voice Over da Apple. Quanto ao browser, os utilizadores de JAWS, usam frequentemente o Internet Explorer, no entanto, dependendo do site, destes quinze, quatro usam também o Mozilla Firefox; um, o Microsoft Edge; dois, o GOOGLE CHROME; e um, o Safari. Dentre os utilizadores do leitor de ecrã Voice Over, quatro usam o SAFARI e, dependendo dos sítios Web, dois também utilizam o GOOGLE CHROME. Dezasseis participantes utilizam as tecnologias para trabalhar e quatro para realizar trabalhos escolares. Os programas mais utilizados para estas funções são: Microsoft Office (Word, Excel, Access), Adobe Reader, MovieMaker, Windows Media Player, SoundForge e Sony Vegas. Para comunicar, os vinte participantes utilizam frequentemente os serviços de email, como o Microsoft Outlook; catorze usam o Skype; onze, o Facebook; sete, o WhatsApp. Sete participantes jogam frequentemente (Playroom; Travian; Quem quer milhões; PapaSangre) e, treze participantes não jogam.

Metodologia

Achou-se necessário escolher um método de investigação que atenda ao estudo do utilizador (público-alvo definido), num contexto real (interação com a tecnologia). Assim, utilizou-se o estudo de caso, pois pretende-se investigar um fato contemporâneo numa situação real, que é um método de investigação qualitativo, podendo no entanto recorrer a uma metodologia mista no seu processo; e, impõe a generalização dos factos, transporta, para casos gerais, factos observados num caso específico [YIN 2001].

Indicam-se também os métodos de recolha de dados utilizados que estão diretamente relacionados com os métodos de investigação adotados: diários de bordo (muito comuns no estudo de caso), análise de documento, questionários, entrevistas, observação direta. Especificamente, na observação, utilizou-se a técnica: think aloud, o registo do feedback dado pelos participantes foi efetuado através de anotações escritas; e na interrogação, a técnica utilizada foi a realização de entrevistas pós-teste e questionários.

Utilizaram-se dois questionários: o de utilização das TIC e o de satisfação. O primeiro tinha como objetivo a caracterização do público-alvo, especificamente no que respeita aos seus conhecimentos informáticos, teve-se em conta as recomendações de Nielsen (1993) e Preece (1993). Este questionário tem duas dimensões: a primeira sobre a literacia informática, se têm computador, internet e com que frequência e finalidade a utilizam; e, a segunda, sobre a utilização das TIC, em que contexto utilizam estas tecnologias. O questionário de satisfação do utilizador serviu para avaliar o grau de satisfação dos utilizadores, tendo sido elaborado um questionário adaptado do questionário SUMI (Software Usability Measurement Inventory). O questionário está dividido em cinco partes: as questões do item 1 ao 9, dizem respeito à estrutura do site; do item 10 ao 16, estão relacionadas com aspetos ligados à navegação; do 17 a 20, à interface; do 21 a 24, referem-se aos conteúdos e a questão 25, à apreciação global do sítio Web.

A avaliação utiliza um método de avaliação de usabilidade, com o objetivo de avaliar a eficiência, eficácia, satisfação de utilizadores cegos. Quanto às variáveis registadas, verificam-se variações, em termos quantitativos, designadamente: no tempo de conclusão de tarefa; o número de tentativas para concluir a tarefa com sucesso; número de desistências. Ainda, como medidas qualitativas, registaram-se as dificuldades encontradas, comentários e dúvidas levantadas pelo utilizador aquando da realização dos testes.

Optámos por fazer sessões de avaliação individuais, apenas um observador e um utilizador voluntário para que o participante se sentisse descontraído, confortável e relaxado, simulando uma interação normal com a Web. Pretendeu-se que o utilizador compreendesse que o que está a ser avaliado é o sítio Web e não o indivíduo.

Estas sessões de avaliação decorreram em diferentes locais na cidade do Porto, como na Escola Rodrigues de Freitas, na Faculdade de Letras da Universidade do Porto (FLUP), também em algumas casas dos participantes que gentilmente nos receberam. No final das sessões, analisaram-se os resultados e formularam-se as conclusões.

Design Experimental

No decorrer da experiência de avaliação escolheram-se especificamente as páginas que permitem replicar uma compra online, tendo em foco a entrega ao domicílio.

Neste ponto, especificam-se as tarefas que foram propostas aos utilizadores cegos. Teve-se em atenção a definição de tarefas do tipo: procurar uma informação específica, solicitando detalhes sobre a informação pesquisada; realizar uma contagem do total de áreas de interesse e/ou linhas de pesquisa existentes no sítio Web; tarefas do tipo “sim/não”, onde é proposto que o utilizador procure uma informação existente no conteúdo do sítio Web e procurar de uma informação em tabela fornecida no sítio web.

Neste âmbito definiram-se seis tarefas a serem executadas:

1. Identificação do sítio Web (objetivo: verificar se títulos das páginas são coerentes, diretos e percetíveis).2. Selecionar um produto específico (Leite Magro UHF Mimosa) e adicionar ao carrinho (objetivo: verificar

facilidade de processo de seleção/adição ao carrinho e compreensão de nomenclatura de botões).3. Identificar secção onde se encontram as Redes Sociais e nomeá-las (objetivo: verificar se existe uma correta

etiquetagem de gráficos e uma fácil identificação da localização).4. Selecionar um segundo produto à escolha do participante, mas da secção da “Mercearia” e adicioná-lo ao

carrinho (objetivo: verificar a facilidade de navegação por secções).5. Identificar preço do segundo produto (objetivo: verificar se é possível retroceder e avançar facilmente).6. Finalizar Compra (objetivo: avaliar processo de finalização de compra: Comprar; Selecionar Entrega;

Pagamento; Confirmação).

Procedimento

Iniciamos a atividade de avaliação com a leitura e consequente assinatura da folha de consentimento para o uso dos dados a obter. Seguidamente era lido o questionário de utilização das TIC. No próximo passo, era solicitado ao participante para maximizar o browser (já com a página inicial do site escolhido login efetuado para iniciar a atividade. O participante maximizava a página, usando o leitor de ecrã e o browser que utiliza diariamente. No início da atividade, foi permitido que o utilizador explorasse livremente o sítio Web para se familiarizar. O pesquisador apresenta uma tarefa de cada vez aos participantes. No final de cada tarefa, explica a importância da tarefa e o que se pretendeu medir. Durante a execução da atividade, o participante pode solicitar explicações para a realização da tarefa ao observador. Para permitir ao observador esclarecer dúvidas sobre as estratégias de interação adotadas pelo participante, utilizou-se a forma de verbalização simultânea, Think aloud. Esta técnica estimula os participantes a verbalizar os seus pensamentos, durante a execução das tarefas, possibilitando ao observador interromper a tarefa para esclarecer dúvidas. O registo da interação foi realizado através de anotações escritas. As sessões de avaliação tiveram uma duração máxima entre 1 hora e 1 hora e meia.

Resultados e discussão

A obtenção dos resultados dos testes com utilizadores, foi realizada com recurso a uma grelha de observação onde, para cada tarefa, foram anotadas as dificuldades e os comentários dos utilizadores, assim como, o tempo de conclusão da tarefa e o número de tentativas efetuadas para concluir a tarefa e ainda o número de desistências.Os resultados são apresentados segundo a avaliação de usabilidade, de acordo com a eficácia (conclusão de uma tarefa em termos de qualidade do resultado obtido), eficiência (recursos necessários para atingir a eficácia: dificuldades sentidas) e satisfação (conforto sentido pelo utilizador ao utilizar a interface).

Iniciamos por apresentar os resultados da eficácia por tarefa. Na tabela 5, apresentamos a análise sobre a conclusão com sucesso ou não conclusão por tarefa.

Tabela 5: Análise sobre a conclusão com sucesso ou insucesso por tarefa.

Tarefa Conclusão da tarefa

com sucesso

Não conclusão da tarefa

Média Desvio Padrão Coeficiente de dispersão

T(1) 20 0 10 10 100%T(2) 20 0 10 10 100%T(3) 19 1 10 9 90%T(4) 20 0 10 10 100%T(5) 20 0 10 10 100%T(6) 7 13 10 3 30%

Respetivamente, na tarefa 1 (identificar o sítio Web), tarefa 2 (selecionar o produto, Leite Magro UHF Mimosa e, adicionar ao carrinho), tarefa 4 (selecionar um segundo produto da secção Mercearia e adicioná-lo ao carrinho) e tarefa 5 (identificar preço do segundo produto), todos os participantes terminaram a tarefa com sucesso.

Já na tarefa 3 (identificar a secção onde se encontram as Redes Sociais e nomeá-las), na identificação da secção, apenas um participante não concluiu a tarefa, pois não sendo utilizador de redes sociais não reconheceu a nomenclatura “Partilhar” necessária para identificar a secção onde se encontravam os ícones. Relativamente à segunda parte da tarefa (nomear as redes sociais), apenas um participante porque abriu as três hiperligações apresentadas, ou seja, identificamos assim não existe etiquetagem dos gráficos das Redes Sociais e isto não permite a leitura dos ícones pelo leitor de ecrã.

E finalmente, na tarefa 6 (finalizar compra), apenas sete participantes terminaram esta tarefa com sucesso. Treze participantes não concluíram a tarefa com sucesso, pois o processo de finalização de compra demonstrou-se muito complexo e nada objetivo, isto porque os botões e hiperligações necessárias para a realização da tarefa não são objetivas e, portanto, não permitem a direta identificação da função que representam, segundo as opiniões dos participantes.

Em seguida, apresentam-se os resultados referentes à eficiência. Iniciamos com os resultados dos tempos de conclusão de tarefa.

Quanto aos resultados do tempo de conclusão da tarefa pelos utilizadores, apresenta-se a seguinte tabela (tabela 6):

Tabela 6: Tempos de conclusão por tarefa.

Tarefa Média Desvio PadrãoT(1) 00:00:06 0,00007T(2) 00:03:00 0,00098T(3) 00:02:31 0,00122T(4) 00:03:09 0,00127T(5) 00:01:51 0,00191T(6) 00:10:24 0,00334

Sabendo que o desvio padrão mede a dispersão, indicando a regularidade de um conjunto de dados em função da média, e que quanto maior é o desvio padrão maior é a dispersão em relação à média. Aqui, o desvio padrão calculado é baixo, assim estamos perante um grupo homogéneo.

A tarefa 1 tem uma média de seis segundos; a tarefa 2, três minutos; a tarefa 3, dois minutos e trinta e um segundos; a tarefa 4, três minutos e nove segundos; a tarefa 5, um minuto e cinquenta e uns segundos; e finalmente, a tarefa 6, dez minutos e vinte e quatro segundos.

Na primeira tarefa, o participante mais rápido demorou 1 segundo a identificar o sítio Web e o mais lento demorou 20 segundos, observou-se que esta variação depende da experiencia do utilizador, em relação ao seu leitor de ecrã.

Na segunda tarefa, o mais rápido demorou 1 minuto e sete segundos e o mais lento, seis minutos e treze segundos. Aqui, verificou-se que quem utilizava a caixa de pesquisa para selecionar o produto (Leite Magro UHT Mimosa) conseguia ser mais rápido do que aqueles que tentavam ir pela secção Mercearia.

Na terceira tarefa, o participante mais rápido demorou vinte segundos e o mais lento, seis minutos e dezassete segundos. Esta variação de tempos foi provocada devido à rápida ou lenta perceção da palavra “Partilhar”, ou seja, utilizadores frequentes das redes sociais, identificavam mais rapidamente a secção onde encontravam as hiperligações, pois reconheciam que a palavra “Partilhar” (que segundo o seu feedback: “Geralmente indica Redes Sociais”. Já, os utilizadores menos frequentes, demoravam mais tempo a indicar a secção.

Na quarta tarefa, o mais rápido demorou cinquenta segundos e o mais lento, sete minutos e seis segundos. Também nesta tarefa verificamos que os utilizadores mais rápidos ou utilizavam a caixa de pesquisa, apesar de ser solicitado que a interação partisse da secção de “Mercearia”, ou utilizavam as teclas de comando do próprio leitor e experimentavam a opção de procura ou então a listagem dos links, isto também diminuía o tempo de conclusão da tarefa. Os que optavam por identificar a secção de “Mercearia” eram os que demoravam mais tempo a concluir a tarefa porque o site não apresenta cabeçalhos e isto faz com que tivessem que ouvir hiperligação a hiperligação até à secção de “Mercearia”.

Na penúltima tarefa (T5), o mais rápido, três segundos e o mais lento, nove minutos e treze segundos. Os participantes mais rápidos conseguiam rapidamente retroceder e ouvir a informação, os outros tiveram problemas na navegação no site, perdendo-se muitas vezes. Estes optavam por voltar a escrever no campo de pesquisa o produto selecionado para ouvirem o preço; outros tentavam ir à secção do carrinho e, os que não conseguiram encontrar a secção do carrinho, optaram por tentar finalizar a compra para verificar se lhes permitia ouvir os detalhes de produtos que tinham no carrinho.

A última tarefa (T6), finalizar a compra, o utilizador mais rápido (que concluiu a tarefa com sucesso) demorou cinco minutos e dezanove segundos, verificou-se que o utilizador já tinha utilizado esta plataforma anteriormente. O mais lento demorou dezassete minutos e dez segundos.

Na tabela seguida (tabela 7), apresentamos o número de tentativas realizadas pelos participantes para a conclusão com sucesso das seis tarefas definidas e as desistências.

Tabela 7: Número de tentativas efetuadas para obter sucesso na conclusão da tarefa versus número de desistências por tarefas.

Tarefa Nº de tentativas

para a conclusão da

tarefa

Nº de desistência

s

Média Desvio Padrão Coeficiente de dispersão

T(1) 1 0 0,5 0,5 100%T(2) 10 0 5 5 100%T(3) 12 1 6,5 5,5 85%T(4) 15 0 7,5 7,5 100%T(5) 11 0 5,5 5,5 100%T(6) 35 13 24 11 46%

Quanto ao número de tentativas para a conclusão da tarefa, note-se que na tarefa 1, os participantes concluíram-na na primeira tentativa. Na segunda, necessitou-se de dez tentativas para a conclusão da tarefa. Na terceira, doze tentativas; na quarta, quinze; na quinta, onze; e na sexta, trinta e cinco tentativas. Esta última tarefa verificou-se ser a mais complexa de realização.

Em relação às desistências, nas tarefas 1,2,4 e 5 não houve desistências; no entanto na tarefa 3, uma pessoa desistiu e na tarefa 6, treze pessoas desistiram devido às dificuldades na compreensão da informação apresentada e à complexidade na interação com a interface.

Especificamente, apresenta-se a descrição das dificuldades sentidas e comentários feitos pelos utilizadores aquando da interação.

Na primeira tarefa, ninguém teve dificuldade em identificar o site, os participantes consideraram esta tarefa como fácil. Assim que se maximizava a janela do browser, o leitor de ecrã automaticamente lia a página, informando o utilizador da página em que estava. Verificamos que o título da página é objetivo e está corretamente identificado.

Na segunda, regra geral, os utilizadores utilizavam a caixa de pesquisa para procurar o produto solicitado (Leite Magro UHT Mimosa) não tivemos uma única interação com as hiperligações das secções. As principais dificuldades que os utilizadores referiram nesta tarefa foi a não utilização de cabeçalhos em todo o site, o que atrasa muito a interação, pois têm de ouvir elemento a elemento até chegarem ao que pretendem; a nomenclatura dos botões “Acrescentar” e “Remover” a quantidade do produto selecionado. Os participantes afirmam que ao ouvir adicionar pensa-se logo em carrinho, até porque a janela de quantidade de produto é editável, assim pensam que estes dois botões atrasam e confundem a interação. Consequentemente o botão “Carrinho” também não é muito direto já que estão à espera de ouvir “Adicionar ao carrinho”. Gostaria também que assim que o produto fosse adicionado houvesse um feedback da operação, muitas vezes afirmam que não sabem se adicionaram ou não o produto ao carrinho. Outro comentário que fizeram é que a seção de “Carrinho” é fácil de identificar, mas difícil perceber como funciona. Ainda nesta tarefa, alguns utilizadores verificam que se o nome do produto não for escrito corretamente na caixa de pesquisa é mais difícil encontrar o que procuram.

Na terceira tarefa (T3), a maior parte dos participantes não acharam a identificação das redes sociais difícil. Apenas os participantes que não utilizam as redes sociais tiveram mais dificuldade, visto que teriam que reconhecer a palavra “Partilhar” para encontrar a secção dos ícones. Aqui, os títulos dos ícones (identificados como gráficos) não são o mais direto e claro como deviam ser. Ainda, conseguem verificar que são três ícones das redes sociais apresentados no site. A maior dificuldade é nomear estes ícones, já que não aparecem etiquetados. Alguns participantes acham mesmo que são opções pouco atrativas a partilha das redes sociais e confirmam que não iriam utilizar muito estas opções mesmo que estivessem identificadas. Na figura 4 e 5 apresenta-se a localização dos ícones das redes sociais na página principal. Estes encontram-se no início da página, pela seguinte ordem: Instagram; Facebook e YouTube; no final da página: Facebook, Instagram e E-mail.

Apresenta-se um exemplo da localização dos ícones das redes sociais, nas páginas secundárias. Estes encontram-se apenas no final da página, pela seguinte ordem: Facebook, Instagram e E-mail. Aqui, os ícones mudam de ordem quando comparados com a página inicial, no inicio da página, e o ícone do YouTube é substituído pelo ícone do e-mail.

Na tarefa 4, os utilizadores usam a pesquisa do leitor de ecrã para procurar a secção Mercearia, mas também tentam utilizar as listagens de links. No entanto, dizem ser uma tarefa difícil porque não conseguem encontrar a secção. Numa segunda tentativa, experimentam a caixa de pesquisa. Outros “correm” o site de elemento a elemento até encontrar a secção da “mercearia” e aí escolhem o produto. Relativamente ao ato de selecionar o produto e coloca-lo no carrinho, não tiveram qualquer dificuldade. Novamente, explicitam a necessidade de existir um feedback sobre o estado do produto (se foi adicionado ou não). Comentam que uma opção interessante seria depois de se adicionar o produto ao carrinho este produto devia ficar inacessível, uma vez que já está no carrinho. Também que a não existência de cabeçalhos não permite uma navegação eficaz.

Na penúltima tarefa (T5), alguns participantes demonstraram muita dificuldade em retroceder, chegando mesmo a sentirem-se “perdidos” no site. Também lhes foi difícil identificar a secção do CARRINHO para verificar os produtos que compraram e aí identificar o preço do produto solicitado. Os participantes mostraram muita frustração na execução da tarefa. Uma solução encontrada foi tentarem finalizar a compra para ouvirem a descrição dos produtos e consequente informação do preço, mas como este processo é moroso e também muito complexo, desistiam e tentavam pesquisar na caixa de pesquisa o produto para ouvirem o preço.

Um dos comentários mais ouvidos foi a ilegibilidade do texto, como no exemplo: o símbolo do euro aparece antes do preço, logo, no exemplo, o leitor de ecrã lê: “euros 1 vírgula 99 barra un” e não devia ser assim. Devia ser: 1 vírgula 99 euros barra unidade, porque não falamos dessa forma.

Finalmente, na tarefa T6, todos os participantes acharam o processo de compra muito difícil e moroso. Primeiro, por causa da nomenclatura e estrutura de informação de todo o processo. Não lhes parece nada clara ou direta, as hiperligações para a conclusão do processo não têm nomes que diretamente identificam a função. Vamos analisar este processo passo a passo.

No primeiro passo, têm de selecionar o botão “Comprar”, o que todos acharam relativamente fácil, assim que se encontra o botão. Novamente têm problemas com a navegação no site por este não ter cabeçalhos definidos, dificultando a tarefa e fazendo com que demorem muito mais tempo porque têm de correr elemento a elemento do site para encontrar o botão “Comprar”.

No passo seguinte, têm de Selecionar Entrega. O procedimento requeria que fosse escolhido a entrega ao domicílio.

Aqui, aparece o primeiro problema, porque mal se seleciona a hiperligação SELECIONAR ENTREGA, abre uma janela secundária com uma tabela. Comentam que gostariam que esta hiperligação se chama-se SELECIONAR DATA DE ENTREGA.

Nesta tabela, a maior dificuldade encontrada é a compreensão da informação. Os utilizadores esperam selecionar um dia de entrega e seguidamente uma hora. Não estão à espera de selecionar o preço da entrega.

Outra dificuldade encontrada é relativa aos leitores de ecrã. Nas versões mais antigas, não é possível utilizar a seleção a partir do leitor de ecrã. O que acontece é que os utilizadores têm de ter a opção de simulação do clique do rato ativa no leitor de ecrã para conseguir selecionar a célula pretendida. Muitos afirmam que a interação é complexa, pois existe um grande esforço cognitivo para a interpretação da tabela e em seguida um grande esforço técnico para solucionar a questão da simulação do clique do rato. Neste passo, o Voice Over pareceu o leitor de ecrã que facilitou mais a realização deste passo. Outro comentário deixado é que depois de selecionar o preço da entrega não existe um feedback sobre se esta seleção foi ou não bem executada, deixando o utilizador outra vez sem muitas certezas do que aconteceu.

Seguidamente, apresenta-se o passo para efetuar o pagamento.

Neste passo, os utilizadores tinham duas opções para selecionar a hiperligação PAGAMENTO, ou clicavam no fim da página, depois da descrição dos produtos, ou selecionavam a mesma hiperligação, na secção do carrinho. No entanto, esta secção muda de nome para RESUMO, o que dificulta a compreensão dos utilizadores visto que se habituam a procurar pela secção do CARRINHO. Também comentam que a hiperligação não intuitiva, devia ser AVANÇAR PARA PAGAMENTO, visto que ainda não se consegue finalizar o pagamento (ainda têm de escolher o modo de pagamento).

Seguidamente, os utilizadores teriam de selecionar o modo de pagamento. No entanto, depois de selecionarem a hiperligação PAGAMENTO sentiam-se “perdidos”, pois a página começa a ser lida pela zona do login e password, deixando de saber o que têm de fazer para concluir a operação. Aqui muitos participantes perguntavam “E agora? O que se pretende que faça para concluir a compra?”. O observador tinha que explicar que teriam de selecionar a forma de pagamento.

Depois de se confirmar o modo de pagamento, o site redireciona para uma nova página de FINALIZAÇÃO DE COMPRA.

Aqui, a página continua no passo de CONFIRMAÇÃO. No entanto o utilizador tem que escolher a hiperligação FINALIZAR ENCOMENDA. Novamente. o feedback dos utilizadores: é que estão um pouco perdidos não sabem se já terminaram o processo ou têm de selecionar mais alguma hiperligação.

Depois de selecionar a hiperligação FINALIZAR ENCOMENDA, volta a acontecer o mesmo, o leitor de ecrã começa a ler os primeiros elementos da página, neste caso login e password, e o utilizador tem de ir correndo elemento a elemento para ouvir a mensagem de submissão de encomenda com sucesso, o que torna a interação complexa e aborrecida.

Os utilizadores, neste ponto, perguntaram se já tinham terminado, indicando mais uma vez que o feedback da página não é suficiente e não permite a clara identificação do ponto em que se encontram na interação.

Outros comentários deixados foram relativos aos descontos. Os utilizadores acham que apesar de existir essa informação, na descrição de cada produto, no momento em que adicionam o carrinho, o site não dá qualquer feedback sobre o desconto. Só conseguem esta informação, depois na listagem de produtos, na confirmação da compra, ou novamente na página de detalhe de produto.

Quanto à satisfação, apresentam-se os resultados obtidos no questionário adaptado da SUMI (figura 16).

Figura 3: Resultados do questionário de satisfação.

Analisando as respostas do questionário de satisfação que dizem respeito à estrutura do site (itens 1 a 9), verifica-se que a maioria dos utilizadores não o consideram fácil de utilizar (70%), acham o site demasiado lento (45%), não o recomendariam a outros colegas (65%) e consideram a utilização do site um desperdício de tempo (60%). Evidenciam também a necessidade de realizarem muitos passos para se fazer alguma operação (80%). Todos os participantes (100%) afirmam que o site nem sempre faz o que esperava, 45%, que não é fácil mudar de uma parte do site para outra e também que é muito difícil aprender a utilizar todas as potencialidades do site. 80% dos utilizadores não acham fácil percecionar as opções disponíveis, em cada página.

Relativamente às questões relacionadas com a navegação (itens 10 a 16), 45% dos utilizadores consideraram fácil aprender a navegar no site, e com exceção de um dos utilizadores ninguém se divertiu ao navegar nele. Relativamente à facilidade de avançar e retroceder no site, os utilizadores concordam apenas por 45%, enquanto que no item conseguem voltar atrás sempre que necessário aparecem divididos em 35%. 65% dos utilizadores acharam que as ligações não são claras e não sabem sempre onde estão e como chegar aonde pretendem ir (65%). Dezassete utilizadores (85%) consideraram que por vezes se “sentiam perdidos” e dois utilizadores estão indecisos relativamente a esta questão.

Quanto à interface (itens 17 a 20), 60% dos utilizadores consideraram que o site não tem apresentação bem organizada, no entanto apresenta títulos intuitivos. 50% dos participantes acham que a informação disponibilizada no site é compreensível, mas afirma que a ajuda fornecida não é suficiente.

No que diz respeito aos conteúdos (itens 21 a 24), 80% dos utilizadores consideraram a informação disponibilizada útil. Relativamente às ligações externas, 14 utilizadores consideraram-nas inúteis (visto que não estão etiquetadas corretamente). 75% dos utilizadores não consideram estimulante trabalhar com este site e 60% diz que não gostaria de utilizar este site frequentemente.

Para concluir, apresenta-se na figura 17 a classificação global sobre a qualidade do site percecionada pelos participantes neste estudo (figura 17).

20%35%

30%80%

60%40%

100%35%

15%45%

85%5%

45%35%

15%20%

30%70%

10%50%

80%10%

15%35%

10%20%

5%0%

5%15%

0%20%

5%20%

0%10%

15%30%

25%15%

10%5%

40%10%

5%20%10%

5%

70%45%

65%20%

35%45%

0%45%

80%35%

15%85%

40%35%

60%65%

60%25%

50%40%

15%70%

75%60%

1 - O site é fácil de usar2- O site é demasiado lento

3- Recomendaria este site aos seus colegas4- São precisos muitos passos para se fazer qualquer coisa

5- Utilizar este site é um desperdício de tempo6- É muito dificil aprender a utilizar todas as potencialidades do site

7- O site nem sempre faz aquilo o que eu esperava8- É fácil mudarmos de uma parte do site para a outra

9- É fácil percecionar rapidamente as opções em cada página10- É facil aprender a navegar neste site

11- Por vezes senti-me "perdido/a"12- Divirto-me ao navegar neste site

13- É fácil avançar e retroceder neste site14- Consigo voltar atrás sempre que quero

15- Sei sempre em que página estou e como chegar aonde pretendo ir16- As hiperligações são claras

17- O site tem uma apresentação bem organizada18- Os títulos das páginas deste site são intuitivos

19- A ajuda fornecida neste site é suficiente20- A informação disponibilizada é compreensível

21- A informação disponibilizada é util22- As ligações externas (para outros sites) são úteis

23- Trabalhar com este site é mentalmente estimulante24 -Gostava de utilizar este site frequentemente

Concordo Indeciso Não concordo

15%

40%

45%

Classificação Global do site

Excelente Muito Bom Bom Razoável Fraco

Figura 4: Classificação global do site.

A apreciação global do site efetuada pelos utilizadores atendendo a todos os parâmetros analisados anteriormente, foi em considerá-lo entre razoável e fraco.

Em seguida, apresenta-se os comentários efetuados pelos participantes aquando o preenchimento deste questionário, visto serem importante para termos uma perceção da motivação e satisfação nesta atividade:

“Não sei se é a internet é lenta ou o site”; “ Podiam simplificar alguns passos”; “Trabalhar com este site não é estimulante, é cansativo”; “Divirto-me e não me fez desistir;“ A navegação não é muito intuitiva, principalmente a parte da finalização da compra”; “ Não recomendarei este site a ninguém, se não melhorar”; “ As hiperligações que estão bem identificadas são claras, o problema é as que não estão”; “ Não é fácil mudar de uma parte do site para outra porque o site não tem cabeçalhos”; “Trabalhar com este site não é uma experiencia muito positiva”; “ Tive muita dificuldade em localizar as coisas”; “ Com tempo para aprendizagem penso que poderia utilizar todas as potencialidades do site, mas é muito trabalhoso”; “ Trabalhar com este site é estupidificante”; “A informação disponibilizada é útil, não é é muito acessível”; “ por vezes senti-me frustrado”; “ Não vi ajuda nenhuma”; “Não é possível identificar as ligações externas”; “ Não percebi porque a página expirou quando tentei retroceder”; “O site não faz o que quero, pois no caso das janelas pop-up, nem me apercebo que estão lá”; “Perceber onde estou é muito difícil”; “trabalhar com este site não é estimulante pois apetece desistir a meio do processo”; “ Um pouco confuso na organização”; “ Utilizaria este site frequentemente se o processo de finalização de compra fosse mais acessível”, “ O site já esteve melhor”.

Referencias Bibliográficas[LAZAR 2001]: Lazar, J. (2001) User-Centered Web Development. Jones & Bartlett Publishers.

[ADAM & KREPS 2010]: Adam, A. & Kreps, D. (2010) Disability and discourses of Web Accessibility. Information, communication & Society. Vol.12. Nº 7. Pp 1041-1058. DOI: 10.1080/13691180802552940. Retirado de: http://dx.doi.org/10.1080/13691180802552940. Acesso em: 22 Junho 2010.

[COOPER & REJMER 2001]: Cooper, M. & Rejmer, P. (2001) Case study: localization of an accessibility evaluation. In Proceedings of SIGCHI Conference on Human Aspects in Computing Systems (CHI’01) (Seattle, WA, United States, March 31 – April 5, 2001). ACM Press. New York. NY. Pp. 141-142.

[Nielsen & Mack 1994]: Nielsen, Jakob (1994). Heuristic evaluation. In Nielsen, J., and Mack, R.L. (Eds.), Usability Inspection Methods. New York, NY: John Wiley & Sons

[Figueiredo 2004]: Figueiredo, Bruno. (2004). Web Design. Estrutura, concepção e produção de sites Web. Lisboa: FCA – Editora de Informática.

[Pearrow 2007]: Pearrow, Mark (2007). Web Usability HandBook. Boston, Massachusetts: Charles River Media.

[Krug 2006]: Krug, Steve (2006). Não Me Faça Pensar. Uma Abordagem de Bom Senso á Usabilidade na Web. Rio de Janeiro: Editora Alta Books.

[W3C WAI 2008]: W3C – WAI (2008) Web Content Accessibility Guidelines 2.0. Retirado de: http://www.w3.org/TR/2008/REC-WCAG20-20081211/ . Acesso em 28 de janeiro de 2011.

[SortSite Online]: http://www.powermapper.com/products/sortsite/