Pinterest - avaliação cooperativa - final

PinterestAvalição Cooperativa

Fernanda, Lucien, Livia R. e Livia F.Prof.: Christiane Melcher

Sobre a Avaliação Cooperativa

O que é a Avaliação Cooperativa?Avaliação Cooperativa é um procedimento para a obtenção de dados sobre os problemas que podem ser experimentados quando se trabalha com um software. O objetivo é mapear mudanças que possam ser feitas para melhorar o produto.

Tradução livre e adaptada de MONK et al (1993)

Quando usar a Avaliação Cooperativa?Avaliação Cooperativa é mais útil para obter um feedback inicial sobre o redesign, em um ciclo iterativo rápido. O objetivo não é fornecer uma lista exaustiva de todos os problemas que poderiam ser identificados.

Pelo contrário, é para ajudar a identificar, com o mínimo de esforço, os problemas mais importantes a considerar.

Tradução livre e adaptada de MONK et al (1993)

Avaliação Cooperativa x Teste de UsabilidadeAvaliação Cooperativa se assemelha a um teste de usabilidade, diferenciando-se especialmente em relação à sua forma mais colaborativa e menos rígida de pesquisa.

Na prática o que costuma ocorrer é a decisão de escolhas de pesquisa dentro um continuum de acordo com as necessidades de investigação, mais do que se ater estritamente às metodologias em seu estado puro.

+formal- formal

Avaliação Cooperativa

Teste de Usabilidade

Sobre a atividade proposta

Tarefa proposta em sala

1 2 3

Planejamento da aplicação

Aplicação Análise e produção do relatório com os

resultados

07/maio 20/maio

Tarefa proposta em sala1. Planejamento da aplicação:

• Definir objeto de teste e o recorte;

• Verificar os fluxos principais e possíveis problemas de usabilidade;

• Especificar os objetivos com a aplicação da técnica;

• Listar questões para investigação: principais e secundárias;

• Criar tarefas e definir objetivos para cada tarefa;

• Listar as perguntas que serão feitas para o usuário durante o teste;

• Preparar o roteiro de teste;

• Definir perfil dos usuários e amostra de teste.

Tarefa proposta em sala2. Aplicação:

• Realizar um piloto do teste com 1 usuário, cujo resultado será descartado;

• Após o piloto, fazer os ajustes necessários no roteiro de teste;

• Cada grupo deve aplicar a técnica com um mínimo de 6 usuários;

• Todos devem passar pelos 3 papéis: moderador, observador e usuário;

• Fazer anotações, tirar fotografia e gravar em vídeo.

Tarefa proposta em sala3. Análise e produção do relatório com os resultados

• Breve descrição do objeto de estudo/recorte, contendo telas e explicação dos fluxos/funções investigadas;

• Objetivos com a aplicação da técnica;

• Questões investigadas: principais e secundárias;

• Amostra/perfil de usuários recrutados;

• Tarefas aplicadas e objetivos de cada uma;

• Resultados, pontos a esclarecer em testes futuros e outras observações;

• Ilustrar com comentários dos usuários e imagens das telas do sistema estudado.

Relatório Final

Objeto e RecortePinterest para IOS

ObjetivoAvaliar se os usuários iniciantes são capazes de utilizar o app usufruindo do benefício total de forma a conseguir criar pastas e salvar pins.

Possíveis Problemas de usabilidade● O usuário não reconhece que o “Pin it” é para salvar a imagem

dentro da pasta;● Criar pasta - o ícone dentro do pin it não é claro;● Dificuldade de criar pasta (onde encontrar o lugar para criar

pasta) e dúvidas em preencher as informações que não são obrigatórias;

● Busca: separação de palavras por TAGs;● Navegação: usuário não pode voltar para imagens anteriores.

Questões para Investigação: principais e secundárias● O usuário iniciante consegue encontrar os conteúdos que está

interessado?● Consegue salvar as imagens de seu interesse?● Consegue identificar o link para o ir ao site?

Perfil da amostra desejado● Ambos os sexos (50% homens e 50% mulheres);● 18 +;● Nunca acessaram o Pinterest;● Preferencialmente para usuários de IOS;● Domínio de tecnologia comum (80%) e avançado (20%).

Perfil da amostra*● Ambos os sexos (50% homens e 50% mulheres);● 25 a 30 anos;● Nunca acessaram o Pinterest ou acessaram poucas vezes;● Usuários iOS e Android;● Domínio de tecnologia avançado.

● A amostra foi limitada por usuários da mesma faixa etária da turma da pós-graduação de Ergodesign.

Usuário 1Perfil do usuário

Faixa etária: 25-30 anos.

Frequência de uso do Pinterest: Não é

usuário do app.

Frequência de uso da internet: Sempre,

acessa para trabalho e redes sociais.

Conteúdo que costuma consumir na internet: Redes sociais e sites de

entretenimento.

Perfil do usuário


Frequência de uso do Pinterest: Usa o Pinterest no computador e não o aplicativo. Não é usuária frequente do aplicativo. Acessa poucas vezes no mês quando quer ver referências.

Frequência de uso da Internet: Sempre. Smarthphone e notebook.

Conteúdo que costuma consumir na internet: E-mail, Redes sociais (Facebook, Instagram), alguns sites especificos.

Usuário 2

Usuário 3Faixa etária: 30-35 anos.


usuária frequente, já tinha usado mas somente

salvando as imagens no computador.

Frequência de uso da Internet: Sempre.

Acessa para consultas relacionadas ao trabalho

e redes sociais (Facebook, Linkedin, Twitter)

Conteúdo que costuma consumir na internet: Conteúdo relacionado a área de TI e

decoração.

Perfil do usuário



usuário, mas acessou 1 vez.

Frequência de uso da internet: Sempre,

acessa para trabalho e redes sociais.

Conteúdo que costuma consumir na internet: Sites de notícias, produtividade e

entretenimento.

Usuário 4

Desenvolvimento da TarefaO intuito foi desenvolve uma tarefa que abrangesse algumas atividades principais do app:

1) Acesso (Cadastrar-se)2) Encontrar conteúdo (buscar, clicar, ver detalhes, etc.)3) Organizar (salvar, criar pastas, etc.)4) Visite ou leia mais (acessar links externos a partir do app em

busca de mais detalhes)

A seguir veremos os principais insights que os participantes trouxeram em cada uma dessas macro atividades.

Tarefa exibida aos participantesVocê tem uma sobrinha de 8 anos que irá fazer aniversário na época do Halloween. Como você possui muitas habilidades manuais, sua irmã pediu ajuda com a decoração e algumas comidinhas temáticas.

Você se comprometeu a levar 4 itens decorativos e 4 comidinhas para festa. Para se inspirar resolveu entrar no Pinterest.

1) Acesso

1) AcessoUsuário 1

● Sem dificuldades

Usuário 2

● Utilizou as dicas do tutorial para seguir o fluxo de navegação;● Achou o cadastro fluído.● Sentiu dificuldades por não ser usuário IOs, sistema no qual o teste foi aplicado

Para ver mais conteúdo eu posso

clicar na imagem, no computador é

assim...

1) AcessoAcesso 3

● Não teve dificuldade de acesso● Ao selecionar os Interesses:

○ Tentou realizar busca pelos interesses○ Tentou navegar para esquerda e para direita○ Ficou na dúvida de como sair dessa área, pois tem selecionar no mínimo 3 itens e havia

selecionado apenas 2

Usuário 4

● Dúvida no passo de escolha do sexo, não sabia se deveria digitar ou encostar para selecionar a opção;

● Na tela “Olá” tentou passar para o lado, mas não tinha essa opção;● Na tela “pelo que vc se interessa?” tentou fazer uma busca relacionada à tarefa;

2) Encontrar conteúdo

2) Encontrar conteúdoUsuário 1

● Buscou diretamente pelas palavras chaves “halloween”, “decoração” e “comidas” com isso obteve resultado satisfatório ao que procurava.

● A princípio não sabia o que esperar do botão “pin it”, mas acabou entendendo pela ajuda do tutorial.

Usuário 2

● Fez a busca em inglês;● Não sentiu dificuldades para encontrar imagens que queria para sua

coleção; ● Usou a palavra ¨kids¨

Eu queria salvar o link desse site no

meu pinterest

2) Encontrar conteúdoUsuário 3

● Para encontrar o que queria, realizou logo a busca e encontrou com facilidade o que queria● Selecionou sem querer a opção de chat, enquanto scrollava a tela

Usuário 4

● Tentou buscar clicando no logo do pinterest (lugar errado);● Usou o pressionar para pinar;

3) Organizar

3) OrganizarUsuário 1

● Como seguiu o tutorial, não teve dificuldade para criar a pasta.● Criou somente uma pasta para guardar todas as imagens.● Numa segunda busca à pasta precisou dar refresh na página para enxergá-la.

Usuário 2

● Achou o ícone de criar pasta ruim e confuso; ● Criou apenas uma pasta sobrinha e colocou todos os itens lá;● Tutorial ajudou para criar a pasta;● Identificou um erro textual no cadastro da pasta. Ora chama de pasta ou painel;● Não achou com facilidade a opção para transferir a imagem de pasta.

Se o tutorial não me mostrasse que

o Pin it é para salvar, eu não teria

encontrado...

3) OrganizarUsuário 3

● Ao tentar guardar a imagem, selecionou a opção de Pin it, porém não optou primeiramente por criar uma pasta. Depois que não conseguiu selecionar uma das pastas listadas, acessou a opção para criar pasta

● Ficou na dúvida de como sair da pasta● Conseguiu sair da pasta, porém sem criá-la● Acessou novamente a opção para criar e conseguiu● Teve dificuldade em encontrar a pasta que criou

Usuário 4

● Criou a pasta de forma correta;● Ao procurar suas pastas foi no botão pinterest, mas foi no lugar correto numa segunda

tentativa;● Teve que dar um “refresh” para aparecer as pastas criadas;● Queria o feedback de quantas imagens tinham nas pastas;

4) Visite ou Leia mais

Usuário 1

● Clicou na imagem esperando achar mais informações e dessa forma descobriu o botão “leia mais”

● Não teve interesse de clicar no botão “pin it” dessa seção.● Tentou salvar o link externo para ler depois (função inexistente no app).

Usuário 2

● Estabeleceu relação com a navegação que faz pelo computador;● Não sentiu dificuldades e entendeu a nevegação que o app disponibiliza

para chamar links externos.

4) Visite ou Leia mais Eu esperava encontrar minha

pasta aqui.

Usuário 3

● Não encontrou a opção. Se precisasse fazer um dos itens que guardou, acessaria somente a imagem e tentaria ver do que é feito, para replicar;

Usuário 4

● Foi no “leia mais” de forma induzida;● Utilizou o “pin it” dessa seção de forma correta, mas não esperava o comportamento apresentado;● Achou confuso os botões de “avançar” e “voltar” já que ele não tinha navegado na página;

4) Visite ou Leia mais

Extra: Navegação Exploratória pós-tarefaUsuário 2

Como o usuário comentou, enquanto realizava a tarefa, que todos os itens ficaram embolados em uma única pasta, sugerimos após a conclusão da tarefa que tentasse organizar conforme gostaria.

● O usuário tentou encontrar uma opção “Mover”, como não encontrou, acessou a imagem e tentou movê-la, porém percebeu que teria que criar a pasta;

● Retornou a pasta e selecionou a opção “Criar outra pasta”;● Retornou a imagem, selecionou editar, porém não encontrou como mover no 1º acesso. No 2º

acesso, percebeu que teria que selecionar o nome da pasta para selecionar outra pasta.

Extra: Navegação Exploratória pós-tarefaUsuário 3

● Menu superior: Identificou e acessou sem dificuldades● Menu inferior:

○ Chat: não viu utilidade dessa opção○ Pasta: esperava acessar a pasta que criou nessa opção

● Ao selecionar uma imagem:○ Esperava que ela fosse ampliada e não aberto um link○ Depois de selecionada a imagem, percebeu que foi aberto um link externo, porém não

percebeu que ainda estava dentro do próprio app, achando que não conseguiria retornar○ Ao acessar o site externo, permanece a opção Pin it, porém o usuário não entendeu a

funcionalidade disso, pois não percebeu ainda estar dentro do app. Após acessar a opção percebeu ainda ter as funcionalidades do Pinterest

ResumoNotas 7 | 8 | 10 |8.5

Média 8.4

Acesso

● Sem grandes dificuldade● 2/4 usuários tentaram dar “swipe” na imagem da página “Olá”● 2/4 usuários tentaram fazer uma busca já na página de “Pelo que

você se interessa?”

Encontrar o conteúdo

● Sem dificuldades● Apesar de não estar incluído na nossa tarefa percebemos que uma

funcionalidade que é disponibilizada pelo pinterest nenhum usuário descobriu - busca por padrões de imagens

Organizar

● Todos os usuários precisaram dar um “refresh” na página para que suas pastas aparecessem;

● Um usuário teve dificuldade para criar a pasta;● Somente um usuário tentou mover as imagens depois de

adicionadas a pasta e teve dificuldade para mover um pin para uma nova pasta;

● Somente um usuário utilizou o atalho disponível ao pressionar a imagem por um tempo, para armazená-la em uma pasta;

Resumo

Visite ou Leia mais

● Todos os usuários tiveram dificuldades para achar a seção;● Todos os usuários acessaram essa opção através da imagem, não

utilizaram o botão Leia mais ou Visitar;● Nenhum usuário entendeu o botão “pint it” dessa seção;● Alguns usuários não entenderam o botão “voltar” e “avançar”

Resumo

● Percebemos que temos que fazer modificações no roteiro, pois algumas perguntas ficaram redundantes;

● O trabalho de moderador é complicado, pois necessita de atenção para guiar o usuário e não influenciar sua navegação;

● As respostas devem ser comedidas;● A função do observador é árdua, pois a informação devem ser entendida e escrita

rapidamente no bloco de notas;● O roteiro estava extenso atrapalhando a anotação e fluxo da entrevista em

alguns casos;● Foi muito importante o teste piloto para o grupo entender como se comportar e

ter uma estimativa das atividades que podem fugir do roteiro.

Conclusão sobre a aplicação do teste

Referências

MELCHER, Christiane ; MONT’ALVÃO, Cláudia. Proposta metodológica para avaliações otimizadas de usabilidade em websites desenvolvidos com método ágil: um estudo de caso. 2012. Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=1011877_2012_Indice.html. Acesso em 08/05/2016

MONK, Andrew; WRIGHT, Peter; HABER, Jeanne; DAVENPORT, Lora. Improving your humancomputer interface: a practical technique. 1993. Disponível em: http://openlab.ncl.ac.uk/wp-content/uploads/2011/01/coop_run_time.pdf

http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=1011877_2012_Indice.html



Anexos

Questionário - Recrutamento - 1 de 2[ Em vermelho, os itens que encerram a pesquisa.]

Informações Pessoais

Sexo❏ Feminino❏ Masculino❏ Personalizado

Idade❏ Abaixo de 18 anos❏ Entre 18 e 24 anos❏ Entre 25 e 34 anos❏ Entre 35 e 49 anos❏ Entre 50 e 64 anos❏ Acima de 65 anos

Informações de Acesso a Internet

Com que frequência você acessa a Internet?❏ Todos os dias❏ Em torno de 5 dias na semana❏ Em torno de 2 dias na semana❏ Uma vez por semana❏ Algumas vezes no mês❏ Não acesso a Internet

Acessa a Internet de onde? Pode ser marcado mais de 1 item.❏ Em casa❏ No trabalho❏ Curso/Faculdade❏ Casa de parentes/amigos❏ Celular

Questionário - Recrutamento - 2 de 2O que mais costuma acessar na Internet? Especifique.

❏ Redes sociais ❏ Facebook❏ Snapchat❏ Twitter❏ ____________________________

❏ WhatsApp❏ Sites de notícias

❏ Globo.com❏ UOL❏ Terra❏ ___________________________

❏ Blogs ___________________________________❏ Sites de Vídeos

❏ Youtube❏ Vimeo❏ Netflix❏ ___________________________

❏ Pinterest❏ Outros __________________________________

Já utilizou o Pinterest?❏ Sim❏ Não

2. Com que frequência acessa o Pinterest?❏ Todos os dias❏ Em torno de 5 dias na semana❏ Em torno de 2 dias na semana❏ Uma vez por semana❏ Algumas vezes no mês❏ Acesso esporadicamente❏ Nunca acessei

Check-listAmbiente:

⎕ Lugar com temperatura agradável?

⎕ Iluminação adequada?

⎕ Água, café e biscoito?

Aparelho:

⎕ Internet está funcionando?

⎕ Bateria está carregada?

⎕ Aplicativo está zerado?

⎕ Desativar notificações de outros apps;

Roteiro - 1 de 13

Projeto / Produto: App Pinterest para iOS

Bateria de testes nº: 1

Objetivo do Teste: Avaliar se os usuários iniciantes sao capazes de utilizar o app

usufruindo do beneficio total de forma a conseguir criar pastas e salvar pins.

Sobre o Projeto

Data: Duração da sessão

Início: Término:

Local:

Moderador: Observador:

Sobre o teste

Roteiro - 2 de 13Sobre o Usuário

Usuário nº: Gravação nome/nº:

Perfil: Comum ou Avançado?

Nome:

Idade: Sexo: [ ] Feminino [ ] Masculino

Profissão/Ocupação:

Usuário de Pinterest?

Caso sim, com que frequência acessa o Pinterest?

Roteiro - 3 de 13MODERADOR:

>> Explicar que o usuário não está sendo testado, mas sim o aplicativo Pinterest

>> Explicar que ele estará sendo filmado, mas que o vídeo é somente para ajudar na análise posterior e não

será divulgado publicamente/comercialmente

>> Dar instruções básicas de como será o andamento da pesquisa

>> Pedir para desligar o celular

Entrevista Inicial

01- O que você faz na internet de uma forma geral? Que sites costuma acessar?

Comentários do usuário:

Observações do moderador:

Roteiro - 4 de 1302 - E quanto à redes sociais, você usa?

02.01. - Se sim, qual(is) e com que frequência?



03 - Acessa a internet de onde?



Roteiro - 5 de 1304 - Usa o celular para acessar a internet?

04.01. - Se sim, o que costuma acessar do celular?



05 - Que tipo de conteúdo te interessa ver na internet?


Observações do moderador: 06 - Você costuma acessar o aplicativo Pinterest? 06.01. - Se sim, com que frequência acessa? Que tipo de conteúdo costuma ver no app?



Roteiro - 6 de 13MODERADOR:

>> Dizer que dará início ao teste

>> Explicar que ele receberá tarefas e estas podem ser feitas sem pressa, no tempo que ele desejar.

>> Relembrar que ele não está sendo testado e que sua ajuda é fundamental.>> Pedir para pensar em voz alta.

>> Avisar que nem sempre poderá responder alguma pergunta dele, mas que a dúvida em voz alta é importante.

>> Pedir para ele avisar toda vez que achar ter terminado uma tarefa para poder passar para a próxima.>> Avisar que ele pode “desistir” caso não consiga completar uma tarefa e que não precisa ficar com “vergonha”,

pois o problema é do sistema e não dele.

>> Explicar que o principal desta avaliação é saber a opinião dele e não executar a tarefa em si.>> Verificar se gravação foi iniciada.

Roteiro - 7 de 13Tarefa Principal

MODERADOR:

Você tem uma sobrinha de 8 anos que irá fazer aniversário na época do Halloween. Como você possui muitas habilidades manuais, sua irmã pediu ajuda com a decoração e algumas comidinhas temáticas.

Você se comprometeu a levar 4 itens decorativos e 4 comidinhas para festa. Para se inspirar resolveu entrar no Pinterest.

Comentários do usuário durante a tarefa:

Observações / Interpretação do moderador/observador:

Roteiro - 8 de 13Usuário conseguiu realizar a tarefa?

Obs:

[ ] Sim, com facilidade.

[ ] Sim, com dificuldade

[ ] Não conseguiu realizar a tarefa

MODERADOR:

>> Perguntar impressões gerais

O que achou desta experiência?

Comentários do usuário: Observações do moderador:

02- Procurou algo específico? Se sim, o quê? Encontrou?


Observações do moderador: 03- O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?



04- Mudaria algo ou deixaria assim? Sentiu falta de algo?



Perguntas Finais

O que você achou do app?


Observações do moderador: Quais foram os pontos positivos e negativos do app?


Observações do moderador: Mudaria algo, acrescentaria algo ou deixaria como está?


Observações do moderador: De 1 a 10, qual a nota que você daria para o site? Por qual motivo?


Observações do moderador: Sugestões?



Navegação livre

MODERADOR:

>> Dizer que dará início a uma nova avaliação

>> Explicar que ele deve navegar como se estivesse à vontade e não deve conversar.

>> Navegue livremente, clicando no que te interessar.

>> Avisar que depois de um tempo ele será interrompido.

Roteiro - 9 de 13Procurou algo específico? Se sim, o quê? Encontrou?

Comentários do usuário: Observações do moderador: O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?


Observações do moderador: Mudaria algo ou deixaria assim? Sentiu falta de algo?



Roteiro - 10 de 13Perguntas Finais

O que você achou do app?



Quais foram os pontos positivos e negativos do app?



Mudaria algo, acrescentaria algo ou deixaria como está?Comentários do usuário:


Roteiro - 11 de 13De 1 a 10, qual a nota que você daria para o site? Por qual motivo?Comentários do usuário:


Sugestões?



Navegação livre

MODERADOR:

>> Dizer que dará início a uma nova avaliação

>> Explicar que ele deve navegar como se estivesse à vontade e não deve conversar.

>> Navegue livremente, clicando no que te interessar.

>> Avisar que depois de um tempo ele será interrompido.

Roteiro - 12 de 13Comentários do usuário durante a tarefa:

Observações / Interpretação do moderador/observador:

Usuário conseguiu realizar a tarefa?

Obs:

[ ] Sim, com facilidade.[ ] Sim, com dificuldade

[ ] Não conseguiu realizar a tarefa

MODERADOR: >> Interromper após 5 minutos

>> Perguntar impressões gerais

Roteiro - 13 de 13O que achou desta experiência?

Comentários do usuário:Observações do moderador: Procurou algo específico? Se sim, o quê? Encontrou?Comentários do usuário:Observações do moderador: O que achou das páginas e dos elementos? Algo te chamou mais a atenção positiva ou negativamente?Comentários do usuário:


Mudaria algo ou deixaria assim? Sentiu falta de algo?Comentários do usuário:Observações do moderador:

MODERADOR: >> Encerrar o teste e agradecer a presença e colaboração do usuário

Obrigado!

Design

Pinterest - avaliação cooperativa - final