Apresentacao free final

Avaliação da Usabilidade e da Acessibilidade do Protó4po Mul4média Educa4vo F.R.e.e.

(Formação Reclusas em e-‐learning)

INSTITUTO PIAGET Campus Académico de Vila Nova de Gaia

Escola Superior de Educação Jean Piaget – Arcozelo (Decreto-Lei n.º 468/88, de 16 de Dezembro)

Mestrado em Tecnologias da Informação e Comunicação Especialização em

Comunicação Multimédia Celes4no Gomercindo Ribeiro de Magalhães

Vila Nova de Gaia, 20 de julho de 2012

Estrutura do Estudo

•  Introdução

•  Capítulo 1: Formação de Reclusos e Desenvolvimento de Protótipos Multimédia

•  Capítulo 2: Usabilidade

•  Capítulo 3: Acessibilidade

•  Capítulo 4: Caracterização das metodologias utilizadas

•  Capítulo 5: Criação e Desenvolvimento do Protótipo Multimédia Educativo F.R.e.e.

•  Capítulo 6: Apresentação e Análise dos Resultados

•  Conclusão

Introdução

•  ( e-Pris ) tem como objetivo avaliar a viabilidade de formação via e-learning nos serviços prisionais em Portugal.

•  Valorizar a inclusão digital como contributo para uma melhor reinserção social da população reclusa, criando um modelo de intervenção integrado e estruturado (pedagógico e estratégico) suscetível de replicação/disseminação.

•  Formação em e-learning poderá ser uma solução sólida, pois permitirá promover uma formação adaptada e dirigida ao tipo de público.

Objetivos

Objetivo geral: apresentação dos procedimentos e materiais que envolveram a criação do protótipo multimédia F.R.e.e. – “Técnicas de Procura de Emprego” e condução dos testes de usabilidade e de acessibilidade ao protótipo multimédia e a análise dos resultados.

Os objetivos específicos:

•  Caraterizar o público-alvo da formação.

•  Definir o contexto em que os utilizadores estão inseridos.

•  Avaliar a usabilidade do protótipo.

•  Avaliar a acessibilidade do protótipo.

Criação do Protótipo Multimédia

•  O modelo ADDIA é um processo de design interativo formativo, onde os resultados da avaliação formativa de cada fase podem levar o designer de volta para qualquer fase anterior.

•  Objetivo centrado no utilizador e não na abordagem tradicional do formador (centrada na instrução), para que a aprendizagem seja eficaz.

O modelo ADDIA (adaptado de Clark, 2000)

Analisar

Análise

Necessidades de Formação

Características do Público-Alvo

As tarefas

Restrições

adaptado de Clark (2000)

Desenhar

Desenho

Objetivos da Formação

Integração das TIC

Interface

Avaliação Fontes de Informação

Estratégias de Ensino

e Motivação

Currículo


Desenvolver

Desenvolvimento Mensagem Instrucional


Conteúdo Formativo

Pesquisa e duração do Pacote Formativo

Menu de Navegação pelos vários conteúdos

Forma de apresentação do conteúdo: tex to , imagens, animações, vídeo, flipbook.

T í t u l o d o P a c o t e Formativo

Usabilidade

•  A usabilidade traduz-se no facto de ser (i) fácil de usar e (ii) fácil de aprender a usar, bem como no grau de (iii) satisfação sentido pelo utilizador.

•  O design centrado nos utilizadores é um dos aspetos mais importantes dos pacotes formativos de aprendizagem online. Tendo esta premissa em mente, o utilizador torna-se o centro no desenvolvimento do design dos cursos.

Usabilidade Utilizamos cinco critérios para medir a usabilidade: •  Fácil de aprender: a capacidade com que os utilizadores

conseguem realizar tarefas básicas quando usam o protótipo pela primeira vez.

•  Eficiente para usar: após os utilizadores terem aprendido o funcionamento do protótipo, conseguem facilmente localizar a informação de que precisam.

•  Fácil de lembrar: depois de algum tempo sem utilizar o protótipo, conseguem facilmente recordar o seu funcionamento.

•  Pouco sujeito a erros: os utilizadores cometem poucos erros durante a utilização do protótipo e, caso aconteça, estes possuem um grau de gravidade baixo e são de fácil correção.

•  Agradável de usar: os utilizadores sentem-se satisfeitos com a utilização do protótipo.

Usabilidade

Para avaliar a usabilidade do protótipo, foram utilizados dois métodos: •  Avaliação heurística: realizada à versão alpha do

protótipo multimédia educativo no final da fase de desenho e por peritos da área, segundo as heurísticas definidas;

•  Teste de Usabilidade: realizado por um grupo de utilizadores com características semelhantes às do público-alvo, realizado na fase de desenvolvimento.

Avaliação heurística

•  A avaliação heurística envolveu uma revisão do protótipo multimédia educativo por avaliadores que não tiveram participação no projeto.

•  Cada avaliador especialista apresentou os seus comentários individualmente, de acordo com as heurísticas definidas.

•  A avaliação heurística do protótipo multimédia foi realizada por três avaliadores, o que, segundo Nielsen (1994), e atendendo à relação custo/benefício, encontra-se dentro do número suficiente de avaliadores que permite identificar a maior parte dos erros de usabilidade.

Avaliação heurística Heurísticas (Nielsen,1994): 1.  Tornar o estado do sistema visível

2.  Falar a linguagem do utilizador

3.  Utilizador controla e exerce livre-arbítrio 4.  Consistência e Adesão a Normas

5.  Evitar erros 6.  Reconhecimento em vez de Memorização

7.  Flexibilidade e Eficiência

8.  Desenho de ecrã estético e minimalista 9.  Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

10.  Dar Ajuda e Documentação

Teste de Usabilidade

•  Realizado no ciclo de desenvolvimento, o teste de usabilidade certifica a usabilidade do protótipo multimédia educativo antes da sua distribuição.

•  O objetivo foi verificar como o protótipo multimédia educativo se enquadra em relação aos:

–  padrões de usabilidade,

–  padrões de utilização e

–  padrões educacionais.

Teste de Usabilidade •  Nos testes de usabilidade realizados a recolha dos dados foi através

de um inquérito por questionário.

•  O questionário (Guião de Participação) encontra-se subdividido em 3 partes:

Parte 1 – Questionário Pessoal

Parte 2 – Consulta e Navegação pelo protótipo

Parte 3 – Questionário composto por 13 questões de resposta fechada e uma de resposta aberta.

Acessibilidade •  Acessibilidade na Web é sinónimo de possibilidade de todos

acederem, de forma igual, ao protótipo multimédia educativo.

•  Em conformidade com o World Wide Web Consortium (W3C), acessibilidade significa que “pessoas com deficiências possam usar a Web”, isto é, “percebam, naveguem e interajam com a Web”.

•  A acessibilidade é definida por três níveis de prioridade:

i.  aspetos que os criadores de conteúdos Web têm que cumprir;

ii.  aspetos que os criadores de conteúdos Web devem cumprir

iii.  aspetos que os criadores de conteúdos Web podem cumprir.

Acessibilidade •  Escolher um método ou uma técnica para a realizar dependeu dos objetivos

com que o fizemos para determinar, por exemplo, o seu nível de conformidade.

•  Os níveis de conformidade atribuídos dependem da verificação das prioridades assim:

–  nível de conformidade "A” , se foram satisfeitos todos os pontos de verificação de prioridade 1;

–  nível de conformidade "AA", se foram satisfeitos todos os pontos de verificação das prioridades 1 e 2 e

–  nível de conformidade "AAA", se foram satisfeitos todos os pontos de

verificação das prioridades 1, 2 e 3.

•  Os testes de acessibilidade realizados foram baseados nas recomendações WCAG 2.0 da W3C.

Metodologia

•  “metodologia de desenvolvimento”

•  caracteriza-se não apenas pelo desenvolvimento de intervenções, mas pela sua característica de que estas intervenções contêm reclamações teóricas específicas sobre ensinar e aprender, refletindo um compromisso ao estabelecer as relações entre teoria, protótipos criados e a prática educativa.

•  refere-se à investigação e ao desenvolvimento de intervenções nas práticas educativas, a partir da construção de protótipos multimédia educativos, possibilitando o delineamento de conhecimentos sobre os processos de desenvolvimento e de aprendizagem.

Análise de problemas prá4cos

(inves4gador e profissionais no

terreno)

Desenvolvimento de soluções no quadro de um referencial teórico.

Avaliação e testagem de soluções no

terreno.

Documentação e reflexão que possa

conduzir a inves4gação futura.

Refinamento de problemas, soluções e métodos.

ANÁLISE DESENHO TESE

AVALIAÇÃO Representação esquemá4ca da metodologia de desenvolvimento segundo Cou4nho; Chaves (2001),

(adaptada)

DESENVOLVIMENTO

Apresentação e Análise dos Resultados

•  Avaliação heurística: durante a avaliação heurística foram recolhidos dados quantitativos – número de transgressões observadas em cada uma das heurísticas – e dados qualitativos, através dos comentários efetuados pelos avaliadores.

Sim Não Não Avaliado

1. Tornar o estado do sistema visível 100% 0% 0%

2. Falar a linguagem do utilizador 95% 0% 5%

3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%

4. Consistência e Adesão a Normas 100% 0% 0%

5. Evitar erros 83% 0% 17%

6. Reconhecimento em vez de Memorização 97% 0% 3%

7. Flexibilidade e Eficiência 92% 0% 8%

8. Desenho de ecrã estético e minimalista 94% 0% 6%

9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros

67% 0% 33%

10. Dar Ajuda e Documentação 80% 13% 7%

% de RespostasHeurísticas


•  Das dez heurísticas avaliadas, duas apresentaram problemas. As heurísticas estão subdivididas em 62 sub-heurísticas.

•  As heurísticas e respetivas sub-heurísticas com problemas foram classificadas de acordo com o grau de severidade do problema encontrado.

•  Das 62 sub-heurísticas observadas, três (cerca de 5%) apresentaram problemas de menor usabilidade e 59 (cerca de 95%) foram referenciadas como não apresentando qualquer tipo de problema.


•  Teste de Usabilidade: para a recolha de dados dos testes de usabilidade foram utilizadas/os:

–  Inquérito por questionário, feito em papel e entregue às participantes no início da sessão;

–  Observação, os dados e informações foram registados em Grelhas de Observação (tempo gasto na realização das tarefas, tempo gasto para concluir o teste e registo das classificações obtidas pelas participantes).

•  A seleção dos u4lizadores que realizaram os testes de avaliação da usabilidade foi feita tendo em conta dois critérios: caracterís+cas pessoais (idade, género, habilitações) e experiência tecnológica (u4lização de computador, u4lização de documentos mul4média, u4lização da Internet, conhecimentos dos conteúdos).

•  Devido ao elevado grau de especificidade do nosso público-‐alvo, não nos foi possível sa4sfazer todas as caracterís4cas apresentadas mas tentamos selecionar os u4lizadores com o maior número de caracterís4cas em comum com este.

Caracterís+ca Público-‐alvo U+lizadores “Moodle”

U+lizadores FRee “Técnicas de Procura de Emprego”

Média de idades 35,6 anos 14,2 anos 17,8 anos Género 100% Feminino 100% Feminino 100% Feminino

Habilitações académicas 3.º Ciclo: 33% Secundário: 60% Ensino Superior: 7%

8.º ano concluído: 100% 10.º ano concluído: 100%


•  Relativamente aos testes de usabilidade dos protótipos e tendo em atenção as respostas apresentadas nos inquéritos por questionário feitos, consideramos uma escala onde a resposta “Nunca” corresponde a 0 e a resposta “Sempre” corresponde a 2.

Parâmetros Questões

Média Protótipo Multimédia

"Técnicas de Procura de Emprego"

Média Pré-Versão Protótipo

Multimédia "Moodle"

1. O ambiente gráfico do protótipo é agradável? 1,8 22. A informação no protótipo encontra-se bem organizada? 2 23. A linguagem utilizada é simples e clara? 1,8 1,6

4. Sentiu-se à-vontade a usar o protótipo? 1,8 1,6

5. O protótipo permite uma fácil navegação? 1,6 1,86. Foi fácil encontrar a informação que precisou? 2 1,87. O protótipo tem as funcionalidades e capacidades que esperava? 2 28. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8 29. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2 210. A informação fornecida pelo protótipo foi fácil de entender? 2 211. Conseguiu completar eficazmente o seu trabalho? 1,8 212. Na globalidade ficou satisfeito com o seu trabalho? 1,8 2

Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8 1,8

Design

Facilidades de utilização

Funcionalidades

Aprendizagem

Satisfação


Critérios Protótipo Multimédia FRee "Técnicas de Procura de Emprego" Pré-Versão Protótipo Multimédia "Moodle"

Fácil de aprender

Média de 46 min na realização do teste (60 min) 80% das utilizadoras mostraram-se à vontade com a utilização do protótipo

Média de 16 min na realização do teste (60 min) 100% das utilizadoras mostraram-se à vontade com a utilização do protótipo

Eficiente para usar

80% de sucesso na realização das tarefas propostas.

100% de sucesso na realização das tarefas propostas.

Maioria das utilizadoras indicou que a informação disponibilizada pelo protótipo multimédia foi fácil de entender e útil para a realização das tarefas propostas.

Fácil de lembrar Para medir convenientemente este critério precisaríamos de realizar o teste mais do que uma vez, o que não aconteceu.

Pouco sujeito a erros 80% das utilizadoras conseguiram recuperar dos erros cometidos (pela observação direta pudemos constatar que os erros que existiram deveram-se a distrações (fechar janela do browser em vez do separador, por exemplo)).

Agradável de usar 80% das utilizadoras ficaram satisfeitas com o seu trabalho.

100% das utilizadoras ficaram satisfeitas com o seu trabalho.


•  Acessibilidade: Total Validator. •  O principal objetivo foi permitir que o protótipo

multimédia educativo passasse os testes de acessibilidade para a prioridade 1 (nível de conformidade A). Submetemos o protótipo multimédia educativo ao validador automático e obtivemos o seguinte resultado:


•  O único erro apresentado, refere-se a um erro de sintaxe no xhtml, nomeadamente, atributos que foram utilizados unicamente para criar uma apresentação visual e está relacionado com a ferramenta utilizada para a criação do protótipo multimédia educativo.


•  Aplicamos também o validador da W3C, para validar o protótipo multimédia educativo, não tendo obtido qualquer erro, encontrando-se o protótipo multimédia educativo em conformidade com as normas de avaliação da acessibilidade.

Considerações Finais

•  Respondendo aos objetivos do nosso estudo:

•  iniciamos com a caraterização do público-alvo, formandas do estabelecimento prisional, e definimos o contexto em que estão inseridas. Isto permitiu identificar as necessidades de aprendizagem, definir os objetivos de ensino e as restrições envolvidas.

•  desenhamos o protótipo no quadro de um referencial teórico e fizemos a avaliação com os peritos.

•  desenvolvemos o protótipo e avaliamos a usabilidade com utilizadores semelhantes ao público-alvo.

•  avaliamos a acessibilidade.


•  Respondendo aos objetivos do nosso estudo:

•  É fácil de aprender

•  É eficiente para usar

•  É fácil de lembrar

•  É pouco sujeito a erros

•  É agradável de usar


•  A fase da implementação não foi realizada, uma vez que a formação às reclusas no âmbito do projeto de investigação ( e-Pris ), onde o protótipo será utilizado, não coincidiu em tempo útil com a redação desta dissertação.


•  a avaliação de um protótipo multimédia educativo não

pode ser vista como algo fechado e exato, não existindo

nenhuma fórmula “mágica” que nos permita criar e

desenvolver um protótipo multimédia educativo cem por

cento eficaz. No entanto, a avaliação da sua usabilidade

e da sua acessibilidade permitirá que seja utilizado com

maior probabilidade de sucesso por parte dos

utilizadores finais.

Education

Apresentacao free final