Composição de Métodos de Avaliação de IHC para Ambientes …inf1403/docs/alberto2011_1/17_DissertMarcusA... · “ ... terá que usar as funções da Wand que você aprendeu

Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos:

Um Estudo de Caso com a HybridDesk

Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos:

Um Estudo de Caso com a HybridDesk

Marcus Franco Costa de AlencarMarcus Franco Costa de Alencar

INF 1403 – 27 Outubro 2010INF 1403 – 27 Outubro 2010

SumárioSumário

� Introdução

� Ambiente de Avaliação - HybridDesk

� Planejamento da Avaliação

� Introdução

� Ambiente de Avaliação - HybridDesk

� Planejamento da Avaliação� Planejamento da Avaliação

� Execução da Avaliação

� Resultados da Avaliação

� Conclusão e Trabalhos Futuros

� Planejamento da Avaliação

� Execução da Avaliação

� Resultados da Avaliação

� Conclusão e Trabalhos Futuros

IntroduçãoIntrodução

� Importância do Design e da Avaliação da Interação

� Avaliação de Comunicabilidade da HybridDesk

� Importância do Design e da Avaliação da Interação

� Avaliação de Comunicabilidade da HybridDeskHybridDesk

� Avaliação de Usabilidade da HybridDesk

� Identificação de Questões de IHC

HybridDesk

� Avaliação de Usabilidade da HybridDesk

� Identificação de Questões de IHC

Ambiente de Avaliação – HybridDeskAmbiente de Avaliação – HybridDesk

� VR-Nav - Navegação e Seleção� VR-Nav - Navegação e Seleção

� VR-Manip - Manipulação� VR-Manip - Manipulação

� WIMP - Anotação� WIMP - Anotação

� VR-Manip - Manipulação� VR-Manip - Manipulação

Ilustração de Felipe Carvalho (2009)Ilustração de Felipe Carvalho (2009)


� VR-Nav - Navegação e Seleção

• Mini-CAVE

• Wand Rastreada

• Óculos Estéreo Rastreado

� VR-Nav - Navegação e Seleção

• Mini-CAVE

• Wand Rastreada

• Óculos Estéreo Rastreado

� VR-Manip - Manipulação

• LCD

• Wand Rastreada

� VR-Manip - Manipulação

• LCD

• Wand Rastreada

� WIMP - Anotação

• LCD

• Teclado

• Mouse

� WIMP - Anotação

• LCD

• Teclado

• Mouse

• Óculos Estéreo Rastreado• Óculos Estéreo Rastreado

Fotos de Felipe Carvalho (2009)Fotos de Felipe Carvalho (2009)

Transições dos Dispositivos de Interação [Carvalho 2009]Transições dos Dispositivos de Interação [Carvalho 2009]



Foto de Felipe Carvalho (2009)Foto de Felipe Carvalho (2009)


Foto de Felipe Carvalho (2009)Foto de Felipe Carvalho (2009)

Trabalhos RelacionadosTrabalhos Relacionados

� Método de Avaliação de Comunicabilidade (MAC)

• Engenharia Semiótica [de Souza 2005]

• Avaliação CommEST [Salgado 2007]

• Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000]

• Avaliação Audacity [de Souza & Leitão 2009]

� Métodos de Avaliação de Usabilidade

• Usability Engineering [Nielsen 1993]

� Método de Avaliação de Comunicabilidade (MAC)

• Engenharia Semiótica [de Souza 2005]

• Avaliação CommEST [Salgado 2007]

• Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000]

• Avaliação Audacity [de Souza & Leitão 2009]

� Métodos de Avaliação de Usabilidade

• Usability Engineering [Nielsen 1993]• Usability Engineering [Nielsen 1993]

• Interaction Design [Sharp et. al. 2007]

• 3D User Interfaces [Bowman et. al. 2005]

• Measuring the User Experience [Tullis & Albert 2008]

• VE Evaluation Methods [Bowman et. al. 2002]

• User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999]

• Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993]

• Heurísticas de Usabilidade em AVs [Gabbard 1997]

• Avaliação de AVs no Second Life [Gentil 2008, www.igroup.org ]

• Avaliação HybridDesk [Carvalho 2009]

• Usability Engineering [Nielsen 1993]

• Interaction Design [Sharp et. al. 2007]

• 3D User Interfaces [Bowman et. al. 2005]

• Measuring the User Experience [Tullis & Albert 2008]

• VE Evaluation Methods [Bowman et. al. 2002]

• User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999]

• Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993]

• Heurísticas de Usabilidade em AVs [Gabbard 1997]

• Avaliação de AVs no Second Life [Gentil 2008, www.igroup.org ]

• Avaliação HybridDesk [Carvalho 2009]

Trabalhos RelacionadosTrabalhos RelacionadosTaxonomia para Heurísticas [Gabbard 1997]

Planejamento da Avaliação - EtapasPlanejamento da Avaliação - Etapas

de Souza 2005de Souza 2005Etiquetagem da

Observação de Uso

Com unicabilidade Usabilidade

Preparação da Avaliação

Avaliação Heurística

Gabbard 1997Gabbard 1997

de Souza 2005Salgado 2007

de Souza & Leitão 2009Prates et. al. 2000


de Souza & Leitão 2009Prates et. al. 2000

Nielsen 1993Gabbard et. al. 1999Bowman et. al. 2005

Sharp et. al. 2007

Nielsen 1993Gabbard et. al. 1999Bowman et. al. 2005

Sharp et. al. 2007

Etiquetagem da Interação

Interpretação dos Dados Tabulação e

Interpretação dos Dados

Elaboração do Perfil Sem iótico

Com paração dos Resultados

Execução da Avaliação – PreparaçãoExecução da Avaliação – Preparação

6 participantes6 participantes3 participantes3 participantes

Inspeção Semiótica Informal

Identificação das Tarefas

Cenários de Uso

Comunicabilidade Usabilidade

Perfil dos Participantes

2 avaliadores2 avaliadores 1 avaliador1 avaliadorDefinição dos Avaliadores

Material de Observação

Questões Éticas

Configuração doAmbiente de Avaliação

Teste Piloto

Execução da Avaliação – Observação de UsoExecução da Avaliação – Observação de Uso

Cenário de Uso 1

Questionário de

Acomodação dos Participantes

Comunicabilidade Usabilidade

Recepção dos Participantes

Ericsson & Simon 1993Tullis & Albert 2008

Carvalho 2009

Ericsson & Simon 1993Tullis & Albert 2008

Carvalho 2009

de Souza 2005de Souza 2005

IPQ (igroup)Gentil 2008

Carvalho 2009

IPQ (igroup)Gentil 2008

Carvalho 2009

Entrevista Pós-Uso

Questionário de Usabilidade

Cenário de Uso 2

Questionário de Presença

Tullis & Albert 2008Sharp et. al. 2007

Carvalho 2009

Tullis & Albert 2008Sharp et. al. 2007

Carvalho 2009


de Souza & Leitão 2009


de Souza & Leitão 2009

Resultados da Avaliação - MACResultados da Avaliação - MAC

Etiqueta / Participante P2 P3 P7 Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 3 1 4Por que não funciona? 2 1 1 4O que é isto? 3 4 7Socorro! 0

Etiquetagem da InteraçãoEtiquetagem da Interação

Socorro! 0Epa! 3 1 5 9Onde estou? 2 1 3E agora? 4 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 20 8 7 35


Interpretação dos Dados – Tarefas de Interação

[Bowman et. al. 2005]

Interpretação dos Dados – Tarefas de Interação

[Bowman et. al. 2005]

Etiqueta / Tarefa

InteraçãoNavegação Seleção Manipulação Anotação Controle Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 3 1 4Por que não funciona? 2 2 4O que é isto? 3 3 1 7O que é isto? 3 3 1 7Socorro! 0Epa! 1 2 6 9Onde estou? 3 3E agora? 3 1 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 9 5 10 1 10 35

Ambiente VR- Nav VR-Manip WIMP TodosAmbiente VR- Nav VR-Manip WIMP Todos


Interpretação dos Dados – Problemas de IHCInterpretação dos Dados – Problemas de IHC

Etiqueta / Categoria IHC Execução Navegação Significado Percepção Total

Cadê? 1 1Para mim está bom. 1 1 2Assim não dá. 0Ué, o que houve? 4 4Por que não funciona? 3 1 4O que é isto? 7 7O que é isto? 7 7Socorro! 0Epa! 7 1 1 9Onde estou? 3 3E agora? 4 4Vai de outro jeito. 1 1Não, obrigado. 0Desisto. 0Total Rupturas 10 7 9 9 35

� “Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...”


Resultados da Avaliação – MACResultados da Avaliação – MAC

Análise do Perfil SemióticoAnálise do Perfil Semiótico


� “… mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta





usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.”usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.”







usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.”

�“ ... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.”











�“...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.”



�“...Ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.”

Resultados da AvaliaçãoResultados da Avaliação

� Botão A - Manipulação

• Libera Icone 3D

� Botão A - Manipulação

• Libera Icone 3D

Questões com Dispositivo de EntradaQuestões com Dispositivo de Entrada

� Botão A - Navegação

• Ativa Ray-casting

• Desativa Ray-casting

• Seleciona Objeto (Transição para Manipulação)

� Botão A - Navegação

• Ativa Ray-casting

• Desativa Ray-casting

• Seleciona Objeto (Transição para Manipulação)

• Libera Icone 3D

• Transição para WIMP

• Libera Icone 3D

• Transição para WIMP


Questões com Dispositivo de EntradaQuestões com Dispositivo de Entrada

� Botão Home - Navegação

• Retorna Posição Inicial

� Botão Home - Navegação

• Retorna Posição Inicial

� Botão Home - Manipulação

• Transição para Navegação

� Botão Home - Manipulação

• Transição para Navegação

Resultados da Avaliação – HeurísticaResultados da Avaliação – Heurística

Resultado da Avaliação Heurística Quantidade

Questões Identificadas 26

Sistema Cumpre Diretriz 41

Não foi Considerada Aplicável 59

Total de Diretrizes Consideradas 126

Resultados da Avaliação – Questionário UsabilidadeResultados da Avaliação – Questionário Usabilidade

1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00

1. Foi simples Navegar no Cenário 3D

2. Foi simples Selecionar o ícone 3D

3. Foi simples Selecionar os objetos

4. Foi simples Manipular os objetos

5. Foi simples Anexar o ícone 3D ao objeto5. Foi simples Anexar o ícone 3D ao objeto

6. Foi simples Ler o arquivo que descrevia a tarefa

7. Foi simples Criar os arquivos com anotações

8. Foi simples a transição do ambiente VR-Navegação para oambiente VR-Manipulação

9. Foi simples retornar do ambiente VR-Manipulação para oambiente VR-Navegação

10. Foi simples a transição do ambiente VR-Manipulação para oambiente WIMP

11. Foi simples retornar do ambiente WIMP para o ambiente VR-Manipulação

12. Foi simples a transição do ambiente VR-Navegação para oambiente WIMP

13. Foi simples retornar do ambiente WIMP para o ambiente VR-Navegação

Resultados da Avaliação – Questionário UsabilidadeResultados da Avaliação – Questionário Usabilidade

1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00

14. Foi fácil memorizar os comandos para transição entre osambientes

15. As animações ajudaram na percepção das transições

16. Foi fácil orientar-se durante as transições de ambiente

17. Eu não percebi inconsistências na interação entre os ambientesde Navegação e de Manipulação

18. Eu me senti confortável usando os óculos no ambiente WIMP

19. Eu me senti confortável usando a Wand

20. Eu me senti confortável usando o Teclado

21. Eu me senti confortável manipulando objetos no LCD

22. Eu me senti confortável usando os óculos nas interações emgeral

23. Eu me senti confortável deslocando o LCD lateralmente

24. Eu não senti tontura ao usar o sistema

25. Eu me senti confortável interagindo com o sistema

26. Foi fácil aprender a usar o sistema

27. Quando cometi um erro, eu me recuperei fácil e rapidamente

28. De uma maneira geral, eu estou satisfeito com este sistema

Diferença entre Imersão e PresençaDiferença entre Imersão e Presença

� Imersão

• Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003];

• A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007].

� Presença

� Imersão

• Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003];

• A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007].

� Presença� Presença

• Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003];

• Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007].

� Presença

• Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003];

• Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de “estar lá” [Bowman & McMahan 2007].

Resultados da Avaliação – Questionário IPQResultados da Avaliação – Questionário IPQ

Subescalas IPQ HybridDesk

Senso de Estar Lá (Geral) 4,50 3,75 -17% 3,93 -13% 3,00 -33%

Presença Espacial 4,47 3,73 -16% 3,99 -11% 3,06 -31%

Envolvimento 4,25 3,91 -8% 3,27 -23% 2,40 -44%

Realismo Experimentado 3,04 2,84 -7% 2,34 -23% 1,92 -37%

Tomb RaiderHalf-LifeSecond Life

Resultados da Avaliação – Questionário IPQResultados da Avaliação – Questionário IPQ

Subescalas IPQ HybridDesk

Senso de Estar Lá (Geral) 4,50 3,75 -17% 3,93 -13% 3,00 -33%

Presença Espacial 4,47 3,73 -16% 3,99 -11% 3,06 -31%

Envolvimento 4,25 3,91 -8% 3,27 -23% 2,40 -44%

Realismo Experimentado 3,04 2,84 -7% 2,34 -23% 1,92 -37%

Tomb RaiderHalf-LifeSecond Life

Resultados da Avaliação – Comparação MétodosResultados da Avaliação – Comparação Métodos

NoQuestões de IHC Heur. Obs.TA Qu./Ent. MAC Total

1 Navegação lenta para aproximar do cenário 3D quando longe. 1 4 3 2 10

2Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foianexado ao objeto ou não.

1 1 3 4 9

3Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação.

4 1 3 8

4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar. 2 5 7

5 Apertou o botão A duas vezes e voltou de manipulação para WIMP. 1 3 3 7

6Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores.

2 1 3 66pois evita apenas parcialmente o uso dos grupos de músculos maiores.

2 1 3 6

7 Achou óculos desconfortáveis, principalmente usuários que já usam óculos. 1 1 4 6

8 Verificou ponta mas não deixou anotação no guindaste sem rachadura. 3 2 1 6

9Não ficou claro como voltar de manipulação para navegação, uso do botão Home não é muito consistente.

2 2 1 5

10 Ícone 3D que representa a anotação é pequeno e difícil de selecionar. 1 3 1 5

11Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os dois.

2 1 2 5

Resultados da Avaliação – Comparação MétodosResultados da Avaliação – Comparação Métodos

Questões de IHCAval. Heur.

Obser. TA

Quest./Entrev.

MAC

Total de Ocorrências 26 54 55 43

Questões Distintas 25 37 34 31Questões Distintas 25 37 34 31

Questões Únicas de cada Método

13 13 14 8

� Heur. - Avaliação Heurística – “Conhecimento de Especialistas”

� MAC – Avaliação de Comunicabilidade - “Intenção do Designer”

� Obs.TA - Observação de Uso com Talk-Aloud – “Observação do Usuário pelo Avaliador”

� Qu./Ent. - Questionário e Entrevista Pós-Uso– “Percepção do Usuário”

� Heur. - Avaliação Heurística – “Conhecimento de Especialistas”

� MAC – Avaliação de Comunicabilidade - “Intenção do Designer”

� Obs.TA - Observação de Uso com Talk-Aloud – “Observação do Usuário pelo Avaliador”

� Qu./Ent. - Questionário e Entrevista Pós-Uso– “Percepção do Usuário”

� Gerente: “... instruções ... em arquivo anexado acima da escada à direita do Heliporto.”

� Participante: “… direita ou esquerda? Depende de por onde estou olhando..”




Interação com Múltiplos DesignersInteração com Múltiplos Designers



� Gerente: “... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não.”

� Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..”







� Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..” � Participante: “ … não sei se é essa parte (ponta) ou a parte de baixo ali (gancho) ..”












�Interação com a Anotação: “Designer da Tarefa” (Gerente)















� Interação com Cenário e Objetos 3D: Designer do Conteúdo

















� Interação com o Programa de Visualização: Designer da Aplicação



















� Interação com a HybridDesk: Designer do Sistema





� Interação com a HybridDesk: Designer do Sistema

� HybriDesk bem avaliada do ponto de vista conceitual;

� Indícios de que 3 ambientes de interação distintos, mais adequados para cada tarefa, foi compreendido e aprovado pela maior parte dos participantes;

� Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um

� HybriDesk bem avaliada do ponto de vista conceitual;

� Indícios de que 3 ambientes de interação distintos, mais adequados para cada tarefa, foi compreendido e aprovado pela maior parte dos participantes;

� Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um


Evidências PositivasEvidências Positivas

� Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um foco muito melhor, eu tinha esquecido disso…” (Manipulação em VR-Manip versus VR-Nav);

� Participante: “… agora me lembrei que eu poderia fazer isso.” (Manipulação em VR-Manip versus VR-Nav);

� Resultados muito positivos do WIMP no Questionário (4,67 de 5);

� Satisfação com o Sistema no Questinário (4 de 5) e Entrevista.

� Participante: “ … teria sido melhor se tivesse analisado direto aqui, tem um foco muito melhor, eu tinha esquecido disso…” (Manipulação em VR-Manip versus VR-Nav);

� Participante: “… agora me lembrei que eu poderia fazer isso.” (Manipulação em VR-Manip versus VR-Nav);

� Resultados muito positivos do WIMP no Questionário (4,67 de 5);

� Satisfação com o Sistema no Questinário (4 de 5) e Entrevista.

Conclusão e Trabalhos FuturosConclusão e Trabalhos Futuros

� Cumprimento dos Objetivos

� Sugestões de Trabalhos Futuros

• Implementar Melhorias na HybridDesk e Reavaliar• Produzir Heurísticas para uma CAVE• Avaliação Quantitativa de Desempenho da HybridDesk

� Cumprimento dos Objetivos

� Sugestões de Trabalhos Futuros

• Implementar Melhorias na HybridDesk e Reavaliar• Produzir Heurísticas para uma CAVE• Avaliação Quantitativa de Desempenho da HybridDesk• Avaliação Quantitativa de Desempenho da HybridDesk• Estudar Transições entre Ambientes Virtuais (AVs)• Estudar Fatores que Influenciam Senso de Presença• Estudar Integração das Tarefas 2D em AVs • Estudar Questão de Múltiplos Designers• Reavaliar as Etiquetas de Comunicabilidade para AVs• Estudar o Uso da Engenharia Semiótica para Navegação (Mapas)

• Avaliação Quantitativa de Desempenho da HybridDesk• Estudar Transições entre Ambientes Virtuais (AVs)• Estudar Fatores que Influenciam Senso de Presença• Estudar Integração das Tarefas 2D em AVs • Estudar Questão de Múltiplos Designers• Reavaliar as Etiquetas de Comunicabilidade para AVs• Estudar o Uso da Engenharia Semiótica para Navegação (Mapas)

ObrigadoObrigado

Marcus Franco Costa de AlencarMarcus Franco Costa de AlencarMarcus Franco Costa de AlencarMarcus Franco Costa de Alencar

E-mail: [email protected]: [email protected]

Documents

Composição de Métodos de Avaliação de IHC para Ambientes …inf1403/docs/alberto2011_1/17_DissertMarcusA... · “ ... terá que usar as funções da Wand que você aprendeu