InteraçãoInteração Humano Humano-ComputadorComputadorinf1403/docs/alberto2014-1/aula06_Avaliacao2.pdf · – Como ficar dentro de um orçamento apertado?Como ficar dentro de um

INF1403 – Introdução a IHCINF1403 – Introdução a IHC

InteraçãoInteração HumanoHumano--ComputadorComputadorAvaliaçãoAvaliação emem IHC: IHC: PrimeirasPrimeiras noçõesnoções (2)(2)

© SERG 2014

SEMIOTIC ENGINEERING RESEARCH GROUP

© SERG 2014


www.inf.pucwww.inf.puc--rio.br/~inf1403rio.br/~inf1403


Avaliação de IHCAvaliação de IHC

•• O que é?O que é?

–– Chamamos de Chamamos de avaliação de IHCavaliação de IHC a atividade profissional especializada a atividade profissional especializada que tem por objetivo julgar a qualidade de interação que um sistema que tem por objetivo julgar a qualidade de interação que um sistema ou artefato computacional oferece aos seus usuários.ou artefato computacional oferece aos seus usuários.

© SERG 2014


© SERG 2014


1.1. Avaliação é uma atividade profissional. Não é uma emissão de opinião Avaliação é uma atividade profissional. Não é uma emissão de opinião baseada em preferências ou conjecturas pessoais. baseada em preferências ou conjecturas pessoais.

2.2. Usuários sempre têm opiniões e julgamentos sobre a qualidade dos Usuários sempre têm opiniões e julgamentos sobre a qualidade dos sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a menos que os usuários sejam menos que os usuários sejam tambémtambém profissionais.profissionais.


Antes de Antes de começarcomeçar qualquerqualquer avaliaçãoavaliação, , perguntepergunte::

•• QualQual é é mesmomesmo o o meumeu objetivoobjetivo??–– PorPor queque e e parapara queque estouestou fazendofazendo a a avaliaçãoavaliação??

•• Me Me encomendaramencomendaram??•• EstouEstou fazendofazendo umauma pesquisapesquisa??•• EstouEstou fazendofazendo um um exercícioexercício??

© SERG 2014


© SERG 2014


•• ??

•• QuaisQuais osos meusmeus recursosrecursos??–– TenhoTenho prazosprazos, , orçamentoorçamento, , infraestruturainfraestrutura??–– PrecisoPreciso observarobservar pessoaspessoas? ? OndeOnde? Como?? Como?

•• QualQual o o objetoobjeto dada minhaminha avaliaçãoavaliação??–– TenhoTenho um um sistemasistema plenamenteplenamente implementadoimplementado? ? ParcialmenteParcialmente

implementadoimplementado? ? ApenasApenas umauma maquetemaquete? ? CompletaCompleta? ? ParcialParcial??


4 paradigmas para a avaliação de IHC4 paradigmas para a avaliação de IHC

1.1. O O rápido e rasteirorápido e rasteiro (que prima pela informalidade)(que prima pela informalidade)

2.2. Os Os testes de usabilidadetestes de usabilidade (experimentos controlados em (experimentos controlados em laboratórios)laboratórios)

© SERG 2014


© SERG 2014


3.3. Os Os estudos em campoestudos em campo (que se realizam nos contextos naturais de (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade)registrar do que os testes de usabilidade)

4.4. A A avaliação preditivaavaliação preditiva (que se baseia em conhecimento heurístico (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)ou teórico de um avaliador especializado)


DECIDE DECIDE –– Guia para o planejamento de uma avaliação Guia para o planejamento de uma avaliação ((PreecePreece etet al., 2005)al., 2005)

•• DDeterminareterminar osos objetivosobjetivos geraisgerais queque a a avaliaçãoavaliação deverádeverá tratartratar•• EExplorarxplorar perguntasperguntas específicasespecíficas a a seremserem respondidasrespondidas•• EscolherEscolher ((CChoose) o hoose) o paradigmaparadigma e as e as técnicastécnicas de de avaliaçãoavaliação queque

responderãoresponderão as as perguntasperguntas

© SERG 2014


© SERG 2014


responderãoresponderão as as perguntasperguntas•• IIdentificardentificar questõesquestões práticaspráticas queque devemdevem ser ser tratadastratadas•• DDecidirecidir comocomo lidarlidar com com questõesquestões éticaséticas•• AvaliarAvaliar ((EEvaluate), valuate), interpretarinterpretar e e apresentarapresentar osos dadosdados

PREECE, J.; ROGERS, I.; SHARP, H. Design de Interação: Além da Interação Humano-Computador

Porto Alegre: Bookman, 2005.


DECIDE DECIDE –– Guia para o planejamento de uma avaliaçãoGuia para o planejamento de uma avaliação

•• DDeterminareterminar osos objetivosobjetivos geraisgerais queque a a avaliaçãoavaliaçãodeverádeverá tratartratar–– quaisquais sãosão osos objetivosobjetivos geraisgerais dada avaliaçãoavaliação

© SERG 2014


© SERG 2014


–– quaisquais sãosão osos objetivosobjetivos geraisgerais dada avaliaçãoavaliação–– quemquem solicitousolicitou a a avaliaçãoavaliação, e , e porpor quêquê

–– Os objetivos influenciam a escolha de paradigma e técnica. Os objetivos influenciam a escolha de paradigma e técnica. Por quê?Por quê?



•• EExplorar perguntas específicas a serem respondidasxplorar perguntas específicas a serem respondidas–– Quem são os usuáriosQuem são os usuários--alvo?alvo?–– Quais são suas atividades?Quais são suas atividades?–– Em quais tarefas ocorrem mais erros?Em quais tarefas ocorrem mais erros?

© SERG 2014


© SERG 2014


–– Em quais tarefas ocorrem mais erros?Em quais tarefas ocorrem mais erros?–– Quais tarefas apresentam problemas mais graves de desempenho?Quais tarefas apresentam problemas mais graves de desempenho?–– A proposta A é melhor do que a proposta B em algum aspecto? A proposta A é melhor do que a proposta B em algum aspecto?

Qual(is)?Qual(is)?•• Toda boa avaliação tem de ser guiada por objetivos e questões Toda boa avaliação tem de ser guiada por objetivos e questões

claras; se não for, vira uma perda de tempo.claras; se não for, vira uma perda de tempo.



•• Escolher (Escolher (CChoose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de avaliação que responderão as perguntasavaliação que responderão as perguntas–– prazo, custo, equipamentos necessários, e grau de conhecimento e prazo, custo, equipamentos necessários, e grau de conhecimento e

experiência dos avaliadores exigidos por cada técnicaexperiência dos avaliadores exigidos por cada técnica

© SERG 2014


© SERG 2014


experiência dos avaliadores exigidos por cada técnicaexperiência dos avaliadores exigidos por cada técnica•• Alguns paradigmas são incompatíveis com certas técnicas.Alguns paradigmas são incompatíveis com certas técnicas.

–– Por exemplo, estudos de campo não são compatíveis com testes ou Por exemplo, estudos de campo não são compatíveis com testes ou com modelagem. com modelagem. Por quê?Por quê?



•• IIdentificar questões práticas que devem ser tratadasdentificar questões práticas que devem ser tratadas

–– Como selecionar os usuários?Como selecionar os usuários?•• perfil e número de usuáriosperfil e número de usuários

© SERG 2014


© SERG 2014


•• perfil e número de usuáriosperfil e número de usuários

–– Como ficar dentro de um orçamento apertado?Como ficar dentro de um orçamento apertado?–– Como não extrapolar o cronograma?Como não extrapolar o cronograma?–– Como encontrar avaliadores?Como encontrar avaliadores?

•• alocação de pessoal para a realização da avaliaçãoalocação de pessoal para a realização da avaliação

–– Como selecionar e preparar equipamentos?Como selecionar e preparar equipamentos?–– Quais tarefas serão avaliadas?Quais tarefas serão avaliadas?–– Que material deve ser preparado para a avaliação?Que material deve ser preparado para a avaliação?



•• DDecidir como lidar com questões éticasecidir como lidar com questões éticas–– os avaliadores devem se certificar que os direitos dos participantes do teste os avaliadores devem se certificar que os direitos dos participantes do teste

estão sendo respeitadosestão sendo respeitados

•• Preparar um termo de consentimentoPreparar um termo de consentimento

© SERG 2014


© SERG 2014


•• Preparar um termo de consentimentoPreparar um termo de consentimento

•• Todo participante tem o direito de:Todo participante tem o direito de:–– saber exatamente o objetivo do estudosaber exatamente o objetivo do estudo–– saber exatamente o que vai ser feito com os dadossaber exatamente o que vai ser feito com os dados–– ter garantias de seus dados pessoais e privativoster garantias de seus dados pessoais e privativos–– não ser citado ou mostrado em qualquer situação sem seu consentimento prévionão ser citado ou mostrado em qualquer situação sem seu consentimento prévio–– abandonar o estudo quando e por que bem entenderabandonar o estudo quando e por que bem entender–– exigir ser tratado com toda educaçãoexigir ser tratado com toda educação



•• Avaliar (Avaliar (EEvaluate), interpretar e apresentar os dadosvaluate), interpretar e apresentar os dados–– confiabilidade dos dados: a técnica produz os mesmos resultados nas confiabilidade dos dados: a técnica produz os mesmos resultados nas

mesmas circunstâncias?mesmas circunstâncias?–– validade dos dados: a técnica permite medir o que deveria? validade dos dados: a técnica permite medir o que deveria?

© SERG 2014


© SERG 2014


–– potenciais distorções: existe algum viés oculto?potenciais distorções: existe algum viés oculto?–– escopo: o que pode ser generalizado?escopo: o que pode ser generalizado?–– validade “ecológica”: o quanto o ambiente em que a avaliação é feita validade “ecológica”: o quanto o ambiente em que a avaliação é feita

influencia ou distorce os resultados?influencia ou distorce os resultados?

•• Análise e apresentação dependem de paradigma e técnica.Análise e apresentação dependem de paradigma e técnica.


EstudosEstudos--pilotopiloto

•• Servem de teste para o “teste pra valer”.Servem de teste para o “teste pra valer”.•• Visam avaliarVisam avaliar

–– O estudo/experimento é viável?O estudo/experimento é viável?–– Você consegue conduzir o procedimento inteiro e bem?Você consegue conduzir o procedimento inteiro e bem?–– Os scripts, entrevistas, questionários estão claros e sem “bugs”?Os scripts, entrevistas, questionários estão claros e sem “bugs”?

© SERG 2014


© SERG 2014


–– Os scripts, entrevistas, questionários estão claros e sem “bugs”?Os scripts, entrevistas, questionários estão claros e sem “bugs”?•• Quantos estudosQuantos estudos--piloto se deve fazer?piloto se deve fazer?

–– quantos forem necessários para ajustar a qualidade do experimentoquantos forem necessários para ajustar a qualidade do experimento–– pelo menos um é indispensávelpelo menos um é indispensável

•• E se não tiver usuários “sobrando”?E se não tiver usuários “sobrando”?–– Procurar pessoas com perfil semelhante. Vale até usar seus próprios Procurar pessoas com perfil semelhante. Vale até usar seus próprios

conhecidos.conhecidos.


Conhecimentos necessários a um avaliadorConhecimentos necessários a um avaliador

•• Conhecimento sobre o domínioConhecimento sobre o domínio–– necessário para determinar o que os usuários querem, do que eles necessário para determinar o que os usuários querem, do que eles

precisam, quais são as tarefas mais freqüentes e quais as mais precisam, quais são as tarefas mais freqüentes e quais as mais importantesimportantes

•• Conhecimento Conhecimento sobre o projeto de interfaces de usuáriosobre o projeto de interfaces de usuário

© SERG 2014


© SERG 2014


•• Conhecimento Conhecimento sobre o projeto de interfaces de usuáriosobre o projeto de interfaces de usuário–– avaliador deve ser capaz de analisar os aspectos mais importantes de avaliador deve ser capaz de analisar os aspectos mais importantes de

um projeto de interfaces (e.g. navegação, terminologia, estruturas de um projeto de interfaces (e.g. navegação, terminologia, estruturas de controle, etc.) e conhecer os princípios e diretrizes disponíveis na controle, etc.) e conhecer os princípios e diretrizes disponíveis na literatura literatura

•• Experiência de utilização do método de avaliaçãoExperiência de utilização do método de avaliação–– permite ao avaliador permite ao avaliador ao representar um cliente, bem como o ao representar um cliente, bem como o

conhecimento sobre o que procurar e o que relatar como resultado da conhecimento sobre o que procurar e o que relatar como resultado da avaliaçãoavaliação


Paradigmas, Métodos e TécnicasParadigmas, Métodos e Técnicas

•• Paradigma?Paradigma?–– É um modelo ou forma de conceber a atividade, normalmente atrelado É um modelo ou forma de conceber a atividade, normalmente atrelado

ao objetivo que se quer atingir com ela.ao objetivo que se quer atingir com ela.

•• Método?Método?

© SERG 2014


© SERG 2014


•• Método?Método?–– É um conjunto claramente definido de passos, que são sistematica e É um conjunto claramente definido de passos, que são sistematica e

rigorosamente repetidos, para se realizar um procedimento.rigorosamente repetidos, para se realizar um procedimento.

•• Técnica?Técnica?–– É uma forma de realizar uma tarefa ou atividade.É uma forma de realizar uma tarefa ou atividade.


4 paradigmas para a avaliação de IHC4 paradigmas para a avaliação de IHC

1.1. O O rápido e rasteirorápido e rasteiro (que prima pela informalidade)(que prima pela informalidade)

2.2. Os Os testes de usabilidadetestes de usabilidade (experimentos controlados em (experimentos controlados em laboratórios)laboratórios)

© SERG 2014


© SERG 2014


3.3. Os Os estudos em campoestudos em campo (que se realizam nos contextos naturais de (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade)registrar do que os testes de usabilidade)

4.4. A A avaliação preditivaavaliação preditiva (que se baseia em conhecimento heurístico (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)ou teórico de um avaliador especializado)


Técnicas de avaliação de IHCTécnicas de avaliação de IHC

Há diferentes técnicas de avaliação.

• Cada técnica se aplica melhor ou pior (ou não se

Rápido e

Rasteiro

Testes de

Usabilida

de

Estudos

de Campo

Avaliação

Preditiva

Técnica 1

© SERG 2014


© SERG 2014


melhor ou pior (ou não se aplica) conforme o paradigma em que nos encontramos.

• Logo o que queremos fazer é saber como preencher as colunas de uma tabela como esta ao lado. (Por quê?)(Por quê?)

Técnica 2

…

Técnica n


Sobre as técnicas de avaliação 1/5Sobre as técnicas de avaliação 1/5

Paradigmas de Avaliação

Tipo de Técnica

Rápida & Rasteira

Teste de Usabilidade

Estudos de Campo

Avaliação Preditiva

Observação É muito útil Registros da A observação é Não acontece.

© SERG 2014


© SERG 2014


Observação de usuários

É muito útil para se ter noção geral, embora não muito rica, de como os usuários atuam em seu contexto natural.

Registros da atitude e interação ajudam a ver erros, descobrir caminhos inesperados na interface e a calcular tempo de interação.

A observação é o coração dos estudos de campo; eles não existem sem ela. O avaliador tem de ficar imerso

no ambiente dos usuários.

Não acontece.




Tipo de Técnica

Rápida & Rasteira


Estudos de Campo


© SERG 2014


© SERG 2014


Perguntar aos usuários

É útil conversar com usuários individualmente ou com grupos de usuários (reais ou potenciais). Pode-se usar a técnica de focus groups.

Questionários (com perguntas abertas ou fechadas), bem como entrevistas (com perguntas abertas ou fechadas) exploram a satisfação do usuário.

É possível (embora não indispensável) entrevistar os usuários. A etnografia tem métodos específicos para isto, que têm sido muito usados em IHC.

Não acontece.

Focus groupsFocus groups: técnica

qualitativa de análise; 8-

15 representantes dos

“usuários” participam de

uma discussão liderada

e focada em uma

questão específica. A

idéia não é generalizar –

é entender melhor.

EtnografiaEtnografia é uma

técnica utilizada

principalmente por

antropólogos e cientistas

sociais. Consiste em

REGISTRAR ou

ESCREVER (‘grafia’)

detalhadamente as

práticas culturais de um

grupo (‘etno’).




Tipo de Técnica

Rápida & Rasteira


Estudos de Campo


© SERG 2014


© SERG 2014


Consultar

especialistas

É bom colher críticas de especialistas (‘relatório crítico’), pois o olhar do especialista treinado costuma identificar logo vários problemas.

Não acontece. Não acontece. Previsões de especialistas logo no início do ciclo de design, sobretudo a partir de heurísticas, traz ganhos no tempo de desenvolvimen-to global.




Tipo de Técnica

Rápida & Rasteira


Estudos de Campo


© SERG 2014


© SERG 2014


Testes com usuários

Não acontece. Testes com representantes de usuários típicos, em laboratórios, com variáveis controláveis, são o coração dos testes de usabilidade.

Não acontece. Não acontece.




Tipo de Técnica

Rápida & Rasteira


Estudos de Campo


Modelo de Não acontece. Não acontece. Não acontece. Especialistas

© SERG 2014


© SERG 2014


Modelo de desempenho dos usuários

Não acontece. Não acontece. Não acontece. Especialistas podem usar modelos específicos para prever o desempenho de usuários, comparativa-mente aos modelos de design que há.


Sobre os dados coletados (1/2)Sobre os dados coletados (1/2)

•• Avaliação quantitativaAvaliação quantitativa–– necessariamente envolve métricas e númerosnecessariamente envolve métricas e números

•• métrica é a expressão numérica de uma qualidademétrica é a expressão numérica de uma qualidade

–– requer conhecimentos de outras disciplinas, em especial de Estatísticarequer conhecimentos de outras disciplinas, em especial de Estatística–– amostragens que podem ser muito volumosasamostragens que podem ser muito volumosas

© SERG 2014


© SERG 2014


–– amostragens que podem ser muito volumosasamostragens que podem ser muito volumosas–– podepode--se obter previsões bastante boas sobre o comportamento dos se obter previsões bastante boas sobre o comportamento dos

usuáriosusuários


Sobre os dados coletados (2/2)Sobre os dados coletados (2/2)

•• Avaliação qualitativaAvaliação qualitativa–– normalmente não envolve métricas e númerosnormalmente não envolve métricas e números–– requer conhecimentos teóricos e técnicos de várias disciplinas, e requer conhecimentos teóricos e técnicos de várias disciplinas, e

também de conhecimentos práticos dos profissionais (heurísticas)também de conhecimentos práticos dos profissionais (heurísticas)–– trabalha tipicamente com casostrabalha tipicamente com casos

© SERG 2014


© SERG 2014


–– trabalha tipicamente com casostrabalha tipicamente com casos–– fornece insumos para pesquisas quantitativas que poderão fazer fornece insumos para pesquisas quantitativas que poderão fazer

previsõesprevisões–– “entender” antes de “medir”“entender” antes de “medir”

INF1403 – Introdução a IHC

Exercício (para próxima aula)

• A partir do exercício realizado na aula anterior (em azul abaixo)

• Escolha uma aplicação e defina uma tarefa a ser executada. Em seguida:

1. Faça uma lista do que você acha que são “itens a avaliar”.

2. Identifique na sua lista o que é: “subjetivo” e “objetivo”

© SERG 2014


2. Identifique na sua lista o que é: “subjetivo” e “objetivo”

3. Identifique na sua lista o que, como visto em aulas anteriores, é relativo a:

– Interface/ Interação

– Usabilidade / Acessibilidade / Comunicabilidade)

• Defina um paradigma e as técnicas de avaliação que você julgue apropriados para essa avaliação que você propôs. Argumente sobre os prós e contras dessa escolha.

INF1403 – Introdução a IHC

ReferênciasReferências

LivroLivro –– capítulocapítulo 99

BARBOSA, S.D.J.; SILVA, B.S. Interação HumanoBARBOSA, S.D.J.; SILVA, B.S. Interação Humano--Computador. Computador. Editora CampusEditora Campus--ElsevierElsevier, 2010., 2010.

© SERG 2014


Documents

InteraçãoInteração Humano Humano-ComputadorComputadorinf1403/docs/alberto2014-1/aula06_Avaliacao2.pdf · – Como ficar dentro de um orçamento apertado?Como ficar dentro de um