18

Touch Eat - Documento Testes

Embed Size (px)

Citation preview

Page 1: Touch Eat - Documento Testes
Page 2: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Introdução

O presente documento insere-se na entrega do módulo 6 da unidade curricular

de Projecto. Neste encontram-se analisados os testes desenvolvidos, bem como a sua

justificação, documentos utilizados na recolha de dados e sua análise e breve

interpretação.

“Testing means examining the project performance according to the

specifications that have been agreed.” Finney,1999

A Fase de testes de usabilidade revela-se extremamente importante, na medida

em que permite obter feedback por parte dos utilizadores convidados, sendo estes

seleccionados de acordo com as características previamente estipuladas para o público

– alvo da aplicação. Os dados recolhidos no contexto dos testes são interpretados e as

conclusões que destes são retirados permitem que se proceda à correcção de erros

existentes, bem como a reestruturação de algumas metáforas de interacção que

possam não ser correctamente interpretadas pelos utilizadores a quem se destinam.

Realizando um paralelo com a unidade curricular de Implementação e Controlo

de Projectos Multimédia, abaixo indicam-se as diferentes metodologias de teste

realizadas na aplicação TouchEat. Importa registar que foi dada especial relevância aos

testes de usabilidade, uma vez que os resultados provenientes destes condicionam a

próxima actividade de implementação de módulos e reestruturação dos já existentes.

Contexto dos testes realizados

O projecto TouchEat pretende realizar a ligação entre a Restauração e as Novas

Tecnologias, neste contexto a aplicação desenvolvida oferece um sistema de

interacção, em tempo real, do cliente com a mesa de refeições, disponibilizando um

Cardápio em formato digital com o qual se pode interagir, bem como informação

relevante sobre o prato: ingredientes, excerto da receita e factos históricos, sendo as

Page 3: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

referidas informações, elementos a incluir num jogo realizado num momento final da

experiência de refeição.

No âmbito da realização dos testes, pretendeu-se que estes fossem

desenvolvidos num ambiente de Uso Controlado – motivado pelo facto de não ser

possível transportar a mesa táctil que serve de base ao projecto TouchEat.

Uma vez que a mesa fruto do projecto DeCA Touch não havia sido elaborada

com vista a ser colocada no contexto de um restaurante, considerou-se relevante que

os testes de usabilidade fossem realizados num cenário de utilização simulada. Para tal

procedeu-se à selecção de um conjunto de elementos físicos que fossem colocados

sobre a mesa, com vista a transformar o local onde a mesa se encontra num ambiente

semelhante ao restaurante para a qual o projecto se destina.

Assim criou-se uma toalha à medida da moldura de madeira existente em torno

do acrílico onde é realizada a interacção com a aplicação, colocaram-se talheres de

peixe sobre esta (uma vez que o prato cuja validação é solicitada no Cognitve

Walkthrough a realizar é o Arroz de Marisco) e ainda se recorreu a um prato com uma

imagem do prato validado. Abaixo apresentam-se imagens da mesa num momento

inicial e após composição do cenário de utilização simulado.

Aspecto inicial da mesa táctil.

Page 4: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Prato utilizado no contexto dos

testes de usabilidade.

Talheres utilizados no contexto

dos testes de usabilidade.

Prato sobre a mesa, com

animação do momento de

consumo.

Page 5: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Aspecto final da mesa táctil.

Participantes nos testes

Segundo Virzi e Nielsen, cerca de 80% dos problemas de usabilidade presentes

numa aplicação multimédia são detectados por apenas cinco utilizadores, assim o

grupo optou por realizar os testes em sete utilizadores, quatro dos quais não possuem

conhecimentos no que respeita a aplicações multi-touch e os restantes três já haviam

contactado com aplicações no mesmo âmbito.

O grupo considerou relevante que na amostra de utilizadores se encontrassem

não utilizadores de multitouch em maior número, uma vez que sendo a aplicação

criada para o contexto de um restaurante, importa garantir que esta seja universal e

que se apresente de fácil e rápida utilização por parte de utilizadores com e sem

conhecimento na área do multitouch. Importa ainda referir que em ambos os grupos

anteriormente referidos estavam abrangidas as faixas etárias dos 18 anos de idade aos

22 e dos 40 anos de idade aos 50.

Page 6: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Metodologias de teste utilizadas

Recurso a Cognitve Walkthrough, metodologia em que os participantes

percorrem um módulo específico da aplicação, sendo-lhes atribuída uma lista de

tarefas concretas a desenvolver. A referida técnica tem como vantagem forçar o olhar

do utilizador para a interface da aplicação, de forma a ser prestada maior atenção

realização das tarefas propostas.

A realização do guião a ser entregue ao utilizador pressupõe a divisão das

tarefas em acções simplificadas, é promotora de uma análise de um maior número de

obstáculos passíveis de surgir no momento da manipulação da aplicação, revelando-se

assim um importante documento na busca de dados que permitem o melhoramento

da aplicação em teste.

Revela-se impossível isolar diferentes técnicas, uma vez que no fundo se

complementam e quando utilizadas em simultâneo se revelam bastante vantajosas,

assim uma técnica de teste possível de conjugar com a anteriormente mencionada é o

Thinking-Aloud Protocol, nesta é pedido ao utilizador que verbalize todos os

pensamentos durante a sessão de teste que realiza. Como complemento da

anteriormente apresentada, surge a técnica Question-asking Protocol, esta

proporciona a aquisição de dados sobre elementos/ acções concretas no contexto de

utilização, uma vez que é composta por questões colocadas em momentos muito

específicos da exploração da aplicação.

Importa ainda referir a Observação como técnica de teste relevante na busca

de erros e pontos a alterar na aplicação criada. Assim esta será do tipo Participativa, ou

seja o avaliador interage em momentos muito concretos com o participante, e será

realizada de forma directa uma vez que o observador se encontra junto ao utilizador,

no caso concreto da mesa multitouch encontram-se frente a frente.

Page 7: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Técnicas de Recolha de Dados

A recolha dos dados fruto dos testes realizados à aplicação, será realizada com

recurso a gravação em vídeo, pretendendo assim registar interacções e verbalizações

que os utilizadores desenvolvam no momento da navegação.

No final da aplicação é cedido um questionário que pretende avaliar o grau de

satisfação do utilizador, bem como registar sugestões de melhoria e considerações

sobre conteúdos visuais e textuais.

Assim o questionário utilizado é composto por quatro questões, no âmbito dos

conteúdos, cuja resposta é atribuída através de uma escala de classificação/ rating, em

seguida existem cinco afirmações relativas à experiência de utilização da aplicação

TouchEat, bem como da intuição e simplicidade da navegação da mesma, sendo que a

resposta a estas é obtida através do preenchimento de uma escala de escolha múltipla

(likert).

A finalizar o questionário existe um espaço de resposta aberta destinado ao

registo de alguma informação relevante para a melhoria do projecto.

Page 8: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Documentos Utilizados nos Testes de Usabilidade

Abaixo seguem os dois documentos textuais utilizados durante a realização dos

testes de usabilidade.

O primeiro diz respeito ao documento entregue ao participante aquando do

primeiro contacto com a mesa, estando nele espelhada uma pequena narrativa com

propósito de ambientar e esclarecer o conceito que se encontram prestes a testar,

bem como a lista de tarefas que são convidados a cumprir.

O segundo documento representa o questionário disponibilizado após a

exploração da aplicação TouchEat.

Page 9: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

O presente projecto é desenvolvido no âmbito da unidade curricular de Projecto,

leccionada no terceiro ano da licenciatura em Novas Tecnologias da Comunicação, pela

Universidade de Aveiro.

TouchEat é a peça que falta na ponte que faz a ligação entre a Restauração e as

Novas Tecnologias. A problemática prende-se com a falta de informação nos Cardápios

dos restaurantes, que geralmente se apresenta insuficiente pois está condicionada ao

respectivo suporte, e qualquer outra informação necessária apenas é conseguida

solicitando o auxílio de um funcionário.

A aplicação criada oferece um sistema de interacção, em tempo real, do cliente

com a mesa de refeições, que oferece não só um Cardápio em formato digital com o

qual se pode interagir, mas também como vídeos de concepção e respectivos

componentes, fotos e factores históricos associados aos pratos principais.

Abaixo segue um conjunto de objectivos que gostaríamos de ver cumpridos:

Localize o prato “Arroz de Marisco”;

Veja mais informação sobre o prato;

Valide a selecção do prato;

Escolha outro prato de peixe;

Consulte informações e curiosidades do prato validado;

(Momento consumo do prato validado)

Comente a qualidade do prato;

Jogue;

Comente a experiência.

Page 10: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Após ter experienciado a aplicação TouchEat, pedimos que responda de forma sincera

às seguintes questões. Estas são colocadas com o propósito de obter opiniões que permitam

melhorar a usabilidade da aplicação, detectar alguma possível incoerência na exploração da

mesma, bem como quantificar o grau de satisfação do utilizador.

1. Classifique a qualidade dos conteúdos textuais no que respeita à:

(coloque um único círculo no número, sendo que 1 - muito mau/ 2 - mau / 3 - bom/ 4 – muito bom)

a)Legibilidade dos mesmos:

b)Sua Relevância:

c)Considera que se encontram em falta alguns conteúdos textuais?

Se sim, indique alguns:

________________________________________________________________________

2. Classifique os conteúdos visuais no que respeita à: (coloque um único círculo no número, sendo que 1 - muito mau/ 2 - mau / 3 - bom/ 4 – muito bom)

a)Qualidade dos mesmos:

b)Influência da imagem na

escolha do prato:

c)Considera que se encontram em falta alguns conteúdos visuais?

Se sim, indique alguns:

________________________________________________________________________

3. Classifique as seguintes afirmações quanto à sua identificação com as mesmas:

(colocando uma única cruz no espaço respectivo)

a)“A exploração da aplicação TouchEat revelou-se intuitiva e simples”

1 2 3 4

1 2 3 4

1 2 3 4

1 2 3 4

Page 11: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

b)“Considero que a experiência de interacção no contexto da mesa multi-toque, contém

algumas interacções pouco intuitivas.”

c)“Considero que, de forma subtil, foi possível adquirir conhecimentos, relativos ao prato que

consumi.”

d)“ A exploração da aplicação TouchEat, por parte dos utilizadores, pressupõe conhecimentos

de navegação em aplicações Multitouch ”

e)“O projecto TouchEat representa uma positiva inovação do conceito de lazer, no contexto de

uma refeição num restaurante.”

Utilize o espaço abaixo para registar alguma informação ou crítica relevante para o

melhoramento da aplicação TouchEat:

O grupo de projecto TouchEat agradece a atenção dispensada.

Page 12: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Resultados dos testes acima apresentados

A análise dos dados provenientes dos testes realizados revela-se uma

importante base de conhecimentos e directivas relativas a algumas incoerências e

pontos a serem melhorados em tempo útil para a entrega final do projecto.

No que respeita à interpretação das gravações em vídeo das interacções com a

aplicação TouchEat, no contexto dos testes de usabilidade, é possível consultar-se no

blogue do projecto (http://seriousgame.blogs.ua.sapo.pt/15690.html) os referidos registos

de vídeo bem como breves reflexões sobre as diferentes tarefas requeridas no Cognitve

Walkthrough e suas conclusões.

Abaixo apresentam-se os gráficos provenientes do questionário entregue no

final da exploração do projecto TouchEat.

Page 13: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Page 14: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Relativamente aos diferentes conteúdos visuais presentes na aplicação, após

analisar os questionários conclui-se que os textos estão legíveis e adequados bem

como as imagens, contudo existe um problema inerente ao projecto, a qualidade da

mesa em que é visualizado, condicionando bastante em termos de luminosidade e

definição de ficheiros visuais.

Page 15: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

Relativamente à questão sobre o facto de a aplicação ser simples e intuitiva,

nota-se uma grande fatia compreendida no “concordo”. Apesar de se registarem ainda

duas respostas classificadas abaixo do “concordo”, nomeadamente uma “tendo a

concordar” e “tendo a discordar”, estas devem-se essencialmente a algumas

metáforas e feedbacks visuais não serem amplamente perceptíveis.

No que respeita às interacções existentes na aplicação, o grupo em reunião

com o orientador aponto um conjunto de objectos cujas interacção não seriam

facilmente perceptíveis, tal perspectiva veio a verificar-se estando as respectivas

interacções detalhadas no post com os registos vídeo dos testes.

Page 16: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

A questão referente à possibilidade de adquirir conhecimentos de forma subtil

sobre o prato que deseja consumir é o grande pilar de sustentação de toda a aplicação

e que futuramente os referidos conteúdos visuais que foram assimilados pelos

utilizadores serão incutidos no jogo.

Assim é extremamente gratificante concluir que o âmago do nosso projecto,

em termos de conceito e no âmbito do serious game está a ser cumprido.

Page 17: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

É com base nas respostas desta questão que se conclui que a aplicação necessita

ainda de ser mais simplificada no que respeita a algumas metáforas de interacção,

uma vez que é notório que grande parte dos inquiridos concorda ou tende a concordar

que a exploração da aplicação TouchEat pressupõe conhecimentos anteriores de

navegação em contexto de multitouch.

Page 18: Touch Eat - Documento Testes

Andreia Peixoto | Gustavo Carlos | João Campos | Olga Correia DeCA | UA | 2011

A última afirmação a ser classificada incidia sobre o contributo da aplicação

TouchEat, como positiva inovação do conceito de lazer no contexto de uma refeição

num restaurante.

É com grande agrado que se conclui que a mensagem base da aplicação e o

desejo de inovar a experiência de refeição num restaurante, elevando-a a uma vivência

a ser recordada e partilhada, é amplamente reconhecida pelos participantes nos testes

de usabilidade.

Pergunta com resposta aberta

No que respeita à pergunta de resposta aberta, esta incidiu essencialmente nos

pontos a serem melhorados e encontram-se referidas nas interpretações dos vídeos no

post do blog.