Avaliação de usabilidade do aplicativo “Cadê o Ônibus?”

Vinícius B. Matos, Gabriel F. Guilhoto, Bruno G. R. Lucas, Ruan M. Costa e Carlos H. MorimotoDCC-IME, Universidade de São Paulo, São Paulo, Brasil

{vinicius.matos, gabriel.guilhoto, bruno.lucas, ruan.costa}@usp.br, hitoshi@ime.usp.br

RESUMOO “Cadê o Ônibus?” é um aplicativo de apoio à mobilidadeurbana que venceu a Hackatona do Ônibus promovida pelaprefeitura de São Paulo em 2013 e teve mais de um milhão dedownloads na loja de aplicativos do Android. Neste trabalhofoi realizada uma avaliação de usabilidade do aplicativo. Foifeita uma comparação da experiência inicial do usuário aoutilizar o aplicativo em grupos de diferentes escolaridades efaixas etárias. Participaram da avaliação 25 pessoas, sendo 5com ensino superior completo ou incompleto, e 20 majorita-riamente com ensino médio completo ou incompleto. Cadaparticipante realizou três tarefas usando o aplicativo e ao finalrespondeu a um questionário. O estudo revelou que o grupocom menor escolaridade média teve maior dificuldade e, den-tro desse grupo, as pessoas com mais idade também tiverammaior dificuldade que as mais jovens.

ACM Classification KeywordsH.5.2. Information Interfaces and Presentation (e.g. HCI):User Interfaces; Evaluation/methodology

Palavras-chaveAvaliação de usabilidade; aplicativos de ônibus; mobilidadeurbana; São Paulo

INTRODUÇÃODe acordo com o censo de 2010 do IBGE, 84% da popula-ção brasileira reside em áreas urbanas [1]. Nesse contexto amobilidade das pessoas é um problema significativo, e o trans-porte público tem um papel importante [11]. Em particular,na cidade de São Paulo, uma pesquisa do Datafolha de 2014revelou que para 79% dos moradores da capital o ônibus é umdos principais meios de transporte no dia a dia [3]. Entretanto,o tempo gasto em deslocamentos é alto. Segundo uma pes-quisa do Ibope Inteligência de 2015, os usuários frequentes detransporte público gastavam em média 2 h 56 min para realizartodos seus deslocamentos diários na cidade [14].

Com o intuito de melhorar a experiência dos usuários do trans-porte público, existem aplicativos para smartphones capazes

de fornecer informações sobre linhas de ônibus que permitemreduzir o tempo gasto com as viagens. Um deles é o “Cadêo Ônibus?”. Ele serve para acompanhar as linhas de ônibusna cidade de São Paulo operadas pela SPTrans e pela EMTU,empresas que gerenciam o transporte público de ônibus muni-cipais e metropolitanos, respectivamente. Com ele, é possívelsaber a localização em tempo real dos veículos de uma linha,as linhas que passam por um dado ponto de ônibus, os meiosde transporte público a serem utilizados para se chegar a umlocal, o estado das linhas de metrô e trem e o grau de trânsitodos corredores de ônibus [12]. O aplicativo foi o vencedorda Hackatona do Ônibus de 2013, competição realizada pelaprefeitura de São Paulo para a criação de ferramentas quemelhorem a mobilidade urbana na cidade [15], e teve entre 1 e5 milhões de downloads na loja de aplicativos do Android [4].

Há outros aplicativos com propósito semelhante, como o “Co-letivo: Ônibus de São Paulo” (com 5 a 10 mil downloads noAndroid) [7], “Ônibus Ao Vivo” (com 100 a 500 mil) [10],“CittaMobi”, “TRAFI” e “Citymapper” (com 1 a 5 milhõescada) [5, 9, 6] e “Moovit” (com 10 a 50 milhões) [8]. En-tretanto, “CittaMobi”, “TRAFI”, “Citymapper” e “Moovit”funcionam em várias cidades do mundo, ao passo que o “Cadêo Ônibus?” apenas tem dados de São Paulo e Teresina [4].Com isso, o “Cadê o Ônibus?” está entre os aplicativos maispopulares da categoria na cidade de São Paulo.

Neste trabalho, foi feita uma avaliação de usabilidade do apli-cativo, na versão 3.9.9.1 para Android, que era a mais recentena época da realização da pesquisa (em abril de 2016). Aintenção do experimento foi de avaliar a experiência de usuá-rio de pessoas adultas com baixo nível de escolaridade (commais de 30 anos e no máximo ensino médio completo) ao usaras funcionalidades de localização em tempo real de ônibus elistagem dos ônibus que atendem a um determinado ponto ecompará-la com a de jovens com mais escolaridade.

Esse nível de escolaridade foi escolhido porque ele é predo-minante em São Paulo, além de que as pessoas com esse graude instrução usam ônibus com mais frequência: cerca de 67%dos trabalhadores da cidade têm no máximo ensino médiocompleto [2], e o uso de ônibus é maior com essa escolaridade(84% dos que têm ensino fundamental e 81% dos que têmensino médio usam ônibus regularmente, contra 71% dos quetêm ensino superior [3]).

Considerando que a habilidade de uso de interfaces é menorentre usuários mais velhos [13], a restrição de idade maior que30 anos foi feita com a intenção de tornar mais evidentes os

Permission to make digital or hard copies of all or part of this work for

personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies

bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. Extended proceedings of IHC'16, Brazilian

Symposium on Human Factors in Computing Systems. October 04-07, 2016, São Paulo, São Paulo, Brazil. Copyright 2016 SBC. ISBN 978-85-

7669-346-8 (online).

problemas do aplicativo e verificar sua usabilidade num grupocom mais dificuldade para o uso da tecnologia.

Os objetivos do estudo foram:

• Avaliar a usabilidade do aplicativo com pessoas com maisde 30 anos que nunca ingressaram no ensino superior eidentificar problemas na interface

• Comparar o desempenho desses usuários com usuários maisjovens e com ensino superior completo ou incompleto, quese espera que tenham grande facilidade no uso

• Verificar se, dentro do grupo de menor escolaridade, a difi-culdade de uso se acentua em usuários mais velhos

Funcionamento do aplicativoA tela inicial do aplicativo (figura 1) é composta de cincoseções: “Ônibus em tempo real”, “Como chegar”, “Pontos”,“Direto do metrô” e “Trânsito”. A avaliação foi concentradana primeira e na terceira, que foram consideradas as principais,para não tornar o experimento demasiadamente longo.

Ônibus em tempo realEsta seção permite saber a posição atual no mapa dos ônibusde uma determinada linha, o que serve, por exemplo, para quese tenha ideia do tempo de espera até que o próximo veículochegue a um ponto.

Na primeira tela desta seção (figura 2), há um campo de textoque deve ser selecionado e preenchido com o número ou nomeda linha desejada utilizando o teclado.

Figura 1. Tela inicial do apli-cativo.

Figura 2. Tela do aplica-tivo exibida após o usuário es-colher a opção “Ônibus emtempo real”.

Após o preenchimento, aparece uma lista de linhas correspon-dentes ao número ou nome preenchido (figura 3).

Ao selecionar uma linha, o usuário tem as opções de ver osônibus em tempo real, ver os detalhes da linha ou cancelar(figura 4).

Figura 3. Tela do aplicativoexibindo a lista dos resultadosda busca por linha de ônibus.

Figura 4. Tela do aplicativoperguntando qual informaçãoacerca da linha escolhida ousuário deseja obter.

Por fim, ao selecionar “Ver ônibus em tempo real”, surge ummapa com a posição dos veículos (figura 5).

PontosEsta seção serve para informar sobre os pontos de ônibusem uma região e as linhas que atendem a cada um deles.Ao selecionar esta seção no menu principal, primeiramenteaparece uma tela de carregamento azul, que permanece por umtempo que varia de três a vinte segundos, aproximadamente,a depender da velocidade de conexão (figura 6). Há apenasuma fina barra colorida movimentando-se no topo da tela paraindicar o carregamento.

Figura 5. Mapa exibido peloaplicativo contendo ícones re-presentando as posições atuaisdos ônibus da linha escolhida.

Figura 6. Tela que o aplica-tivo exibe após o usuário esco-lher a opção “Pontos”, sendoexibida até o mapa ser carre-gado.

Depois disso, surge um mapa centrado na posição geográficado aparelho, ainda sem os pontos, que permanece por algunssegundos (figura 7).

Em seguida, há uma aproximação no mapa e os pontos naregião são mostrados com ícones pretos de ônibus (figura 8).

Figura 7. Mapa exibido antesdo carregamento dos pontos.

Figura 8. Tela do aplicativomostrando um mapa com íco-nes representando os pontosde ônibus.

Caso o ponto desejado esteja na tela, ao tocar no ícone corres-pondente, surge um balão com o nome do ponto, a distânciaaté ele e uma indicação de que as linhas de ônibus que passampor ele serão listadas ao tocar no balão (figura 9).

Ao tocar no local indicado, surge uma lista com as linhas deônibus (figura 10).

Figura 9. Informação exibidaapós o usuário tocar no íconede algum ponto no mapa.

Figura 10. Lista de linhas deônibus que passam pelo pontoselecionado.

Entretanto, o mapa mostra apenas os pontos dentro de um raioconfigurável, cujo padrão é de um quilômetro. Caso se queirainformações sobre um ponto fora desse raio, o procedimento émais complicado: é necessário arrastar o mapa até a região doponto desejado, mas isso não basta. Aparecem ícones azuisindicativos de pontos, distintos dos ícones pretos do outro caso(figura 11). Ao tocar neles, nada acontece.

É preciso tocar no botão de atualizar ou no controle de dis-tância máxima para que os ícones pretos apareçam (figura12).

Figura 11. Tela exibida peloaplicativo após o usuário ar-rastar o mapa até uma regiãonão coberta pelo mapa inicial.

Figura 12. Tela do aplicativomostrando um mapa com íco-nes representando os pontosde ônibus, exibida após o usuá-rio tocar no botão de atualizarou alterar o raio de alcance.

METODOLOGIAO estudo foi feito em dois grupos. Como se queria avaliar ausabilidade do aplicativo entre usuários de baixa escolaridade,o primeiro grupo (o maior) seria composto de participantesque nunca tinham ingressado no ensino superior e tinham maisde 30 anos, e teria 20 participantes. O segundo grupo seriaformado de estudantes do ensino superior com até 25 anos, eteria 5 participantes.

A coleta foi realizada numa universidade na região oeste dacidade de São Paulo. Os membros do primeiro grupo erammajoritariamente funcionários terceirizados, e os do segundoeram estudantes de graduação e pós-graduação. Optou-sepor não abordar usuários em pontos de ônibus para evitarinterrupções do experimento pela chegada dos veículos queos participantes estariam esperando. A metodologia usada foium híbrido entre teste de usabilidade e um estudo de campo[16]. Um teste de usabilidade com usuários reais permitiriaobter resultados objetivos e fiéis ao uso concreto do aplicativo,essenciais para se atingir os objetivos do estudo.

Foi feita uma entrevista inicial com cada participante para secoletar dados gerais e verificar se ele se enquadrava no perfilbuscado. Após a entrevista inicial, foi pedido ao participante

que realizasse três tarefas usando o aplicativo, para que semedisse o tempo de realização de cada uma e a quantidadede toques na tela. Por fim, foi feita uma entrevista semiestru-turada a fim de coletar as impressões do participante sobreo aplicativo. Os números de toques foram contados manual-mente após a coleta, com base nas gravações da tela. Foramdescontados os toques para digitação no teclado e movimenta-ção no mapa.

PROTOCOLO EXPERIMENTALA coleta foi composta de duas entrevistas e um experimentocom cada participante. Uma das entrevistas foi realizada antesdo experimento, para coletar informações gerais, e outra após,para coletar as impressões do usuário. O experimento consistiuessencialmente na realização de duas tarefas no aplicativo. Osdados coletados foram:

1. As respostas da primeira entrevista, para verificar se o parti-cipante se enquadrava no perfil desejado e poder correlacio-nar suas características com a dificuldade de uso.

2. A gravação (sem áudio) da tela durante a execução dastarefas, feita por um aplicativo no próprio smartphone, coma qual foi possível contar o número de toques para se realizarcada uma das tarefas e quantificar a dificuldade no uso.

3. O tempo gasto na realização de cada tarefa, medido porum cronômetro, que foi usado como um modo adicional dequantificar a dificuldade no uso.

4. As observações sobre dificuldades no uso do aplicativoanotadas durante a realização das tarefas, para identificarseus problemas de usabilidade.

5. As respostas da segunda entrevista, para contribuir na identi-ficação dos problemas de usabilidade e se ter ideia de comopoderiam ser resolvidos.

Lista de materiaisOs materiais utilizados foram:

1. Um smartphone Motorola Moto X (2013) com Android 5.1com os aplicativos: “Cadê o Ônibus?” na versão 3.9.9.1(sem o tutorial inicial do aplicativo) e “AZ Screen Recorder”(com as opções “mostrar toques” ativada e “gravar áudio”desativada).

2. Um smartphone Motorola Moto X (2014) com Android 6.0nas mesmas condições do smartphone anterior.

3. Dois cronômetros para medir o tempo de execução dastarefas.

4. Dois cadernos e lápis/canetas para anotar as respostas dosparticipantes.

5. Duas cópias impressas coloridas do roteiro, que era umaversão adaptada do texto do procedimento para a coleta.

Procedimento para a coletaOs quatro membros do grupo que realizou o trabalho foram di-vididos em duas duplas, uma delas com o smartphone descritono item 1 e a outra com o do item 2 da lista de materiais. Cadadupla foi composta de um experimentador A e um experimen-tador B. O experimentador A estava com uma cópia impressado roteiro e conversava com o entrevistado, e o experimentadorB estava com o caderno e anotava as respostas às perguntas eobservações sobre o uso do aplicativo na realização das tarefas.A coleta consistiu das seguintes partes:

1. Apresentação. O experimentador A aborda a pessoa, ex-plica que são alunos da universidade fazendo uma pesquisasobre um aplicativo e pergunta se ela dispõe de dez minu-tos para sua realização. Em caso positivo, explica que oque está sendo avaliado é o aplicativo, e não a pessoa, queseu anonimato será preservado e que ela pode desistir decompletar a pesquisa a qualquer momento. Ressalta que ogrupo não tem qualquer vínculo com os desenvolvedoresdo aplicativo, a fim de minimizar o viés das respostas àsegunda entrevista.

2. Entrevista inicial. O experimentador A faz as seguintesperguntas, e o experimentador B anota as respostas.

(a) Qual a sua idade?(b) Qual a sua escolaridade?(c) Com que frequência você anda de ônibus?(d) Você tem ou já teve um smartphone?(e) Você já usou algum aplicativo específico para informa-

ções sobre ônibus?(f) Fale o nome ou número de uma linha de ônibus que

você use frequentemente.(g) Fale o endereço aproximado de um ponto de ônibus

que você utilize frequentemente. Pode ser apenas onome da rua.

Se a idade e a escolaridade não estiverem nos limites de-sejados para o grupo sendo pesquisado, ou se o usuárionão conhecer nenhuma linha ou nenhum ponto de ônibus,a pesquisa é encerrada. Nesse caso o participante não écontado e seus dados não fazem parte do resultado.

3. Realização de tarefas. O experimentador A fornece ao en-trevistado o smartphone com o aplicativo “Cadê o Ônibus?”aberto, o aplicativo “AZ Screen Recorder” habilitado paragravação e a funcionalidade de tela fixada ativada (paraimpedir o usuário de sair do aplicativo). Pede, então, pararealizar as tarefas descritas a seguir. Enquanto isso, o expe-rimentador B cronometra o tempo de execução de cada umadas tarefas e anota observações sobre dificuldades no usodo aplicativo. O entrevistado pode desistir de realizar umatarefa se achar que não consegue. O entrevistado não podepedir ajuda aos experimentadores para realizar as tarefas,e não há treinamento para o uso do aplicativo. As tarefasforam:

(a) Tarefa 1: Use o aplicativo para encontrar a posiçãodos ônibus em tempo real da linha que você citouanteriormente. (O experimentador A mostra a figura

13 e explica que se trata de um mapa com o traçado dalinha e ícones representando os veículos em circulação.Isso foi feito para evitar um insucesso na tarefa porproblema na compreensão do enunciado.)

(b) Tarefa 2: Volte para o menu inicial. (O experimentadorA mostra a figura 14. Se o participante não conseguir,um dos experimentadores faz essa tarefa por ele e oexperimentador B anota o insucesso. Essa tarefa foiincluída para que todos partissem do mesmo ponto doaplicativo na tarefa 3.)

Figura 13. Tela do aplicativosimilar à qual o usuário deve-ria chegar ao término da pri-meira tarefa.

Figura 14. Tela do aplicativo àqual o usuário deveria chegarao término da segunda tarefa.

(c) Tarefa 3: Encontre o ponto escolhido durante a entre-vista inicial e acesse a lista de linhas que passam poresse ponto. (O experimentador A mostra a figura 15 eexplica.)

Figura 15. Tela do aplicativosimilar à qual o usuário deve-ria chegar ao término da ter-ceira tarefa.

4. Entrevista final. Após a realização das tarefas, o experimen-tador A faz as seguintes perguntas, e o experimentador Banota as respostas.

(a) De 1 a 5, que nota você daria para o aplicativo?(b) O que você acha que poderia melhorar?(c) Você usaria esse aplicativo de novo?

5. Agradecimento. Os experimentadores agradecem a partici-pação e oferecem um chocolate como retribuição.

RESULTADOSTodos os participantes tinham pelo menos ensino fundamentalcompleto. No primeiro grupo, 16 participantes tinham ensinomédio completo, 2 tinham ensino médio incompleto e outros2 tinham ensino fundamental completo. No segundo grupo, 3participantes eram alunos de graduação (tinham ensino supe-rior incompleto) e 2 eram alunos de mestrado (tinham ensinosuperior completo). Em relação ao uso da tecnologia, no pri-meiro grupo 14 (70%) tinham ou já tiveram smartphone e 5(25%) já tinham usado algum aplicativo de ônibus. No se-gundo grupo esses números foram de 5 (100%) e 4 (80%),respectivamente.

No primeiro grupo, pouco mais da metade (12 de 20) conse-guiu completar a tarefa 1. Quase todos (17) realizaram a tarefa2, e muito poucos (2) tiveram sucesso na tarefa 3. No segundogrupo, os resultados foram melhores. Todos conseguiram ter-minar as tarefas 1 e 2, mas houve mais dificuldade na tarefa 3,concluída por 3 dos 5 participantes. Esses números indicamque o grupo de menor escolaridade e maior idade teve maisdificuldade no uso do aplicativo, e que a tarefa 3 se mostroudifícil para ambos os grupos. Os dados podem ser vistos nafigura 16.

Figura 16. Porcentagem de participantes que completaram cada tarefa.

Parte da dificuldade pode ser atribuída à escolha do íconeerrado. O aplicativo foi feito de forma que cada tarefa sóadmitia um caminho para ser concluída (o descrito na introdu-ção). Boa parte dos participantes inicialmente não escolheua seção correta do aplicativo, possivelmente por causa de ina-dequação dos ícones. Como indica a figura 17, apenas 45%dos participantes do primeiro grupo entraram inicialmente naseção correta na tarefa 1. Na tarefa 3 esse número aumentoulevemente, para 50%, como se vê na figura 18.

Figura 17. Porcentagem de participantes do primeiro grupo que reali-zaram o primeiro toque em cada um dos botões durante a realização daTarefa 1.

Figura 18. Porcentagem de participantes do primeiro grupo que reali-zaram o primeiro toque em cada um dos botões durante a realização daTarefa 3.

A seguir serão apresentados dados de tempo e número detoques por tarefa.

Tarefa 1Na tarefa 1, o primeiro grupo teve 60% de sucesso. Dentre osque a completaram, a mediana dos tempos foi de 77 segundos,e a do número de toques foi 6. No segundo grupo, que teve100% de sucesso, a mediana dos tempos foi de 24 segundos,e a do número de toques foi 5. As figuras 19 e 20 ilustramessa situação. O primeiro grupo resolveu a tarefa de forma

consideravelmente mais rápida embora com quantidade similarde toques.

Como se vê na figura 21, a dificuldade foi maior em usuárioscom idade mais avançada. Por exemplo, dentre os 5 maisvelhos, 4 não conseguiram e 1 conseguiu com um tempo alto.

Figura 19. Boxplot dos tempos de execução da tarefa 1 pelos usuáriosque a concluíram.

Figura 20. Boxplot do número de toques durante a execução da tarefa 1pelos usuários que a concluíram.

Figura 21. Gráfico mostrando a relação entre a idade dos participantese o tempo para realização da tarefa 1. Os pontos vermelhos representamparticipantes do primeiro grupo, e os azuis do segundo grupo. Pontosmaiores indicam sobreposição (isto é, que dois ou mais usuários comidades iguais tiveram o mesmo resultado).

Tarefa 2Como se tratava de uma tarefa simples, foram grandes os índi-ces de sucesso. No primeiro grupo, 85% conseguiu completá-la. Dentre esses a mediana dos tempos foi de 3 segundos, ea dos toques foi 2. No segundo grupo, em que todos a con-cluíram, a mediana dos tempos foi 5 segundos, e a dos toquesfoi 2. O desempenho dentre os que conseguiram foi parecido,embora o primeiro grupo tenha mais outliers. Isso pode servisto nas figuras 19 e 22.

Novamente, houve maior dificuldade entre os usuários commais idade. Os 3 participantes que não conseguiram realizar atarefa estavam entre os 4 mais velhos, como indica a figura 24.

Figura 22. Boxplot dos tempos de execução da tarefa 2 pelos usuáriosque a concluíram.

Figura 23. Boxplot do número de toques durante a execução da tarefa 2pelos usuários que a concluíram.

Figura 24. Gráfico mostrando a relação entre a idade dos participantese o tempo para realização da tarefa 2. Os pontos vermelhos representamparticipantes do primeiro grupo, e os azuis do segundo grupo. Pontosmaiores indicam sobreposição (isto é, que dois ou mais usuários comidades iguais tiveram o mesmo resultado).

Tarefa 3Essa foi a tarefa com os piores índices. No segundo grupo,60% (3 pessoas) tiveram sucesso, com os tempos de 25, 494 e550 segundos. O participante que levou menos tempo escolheuum ponto próximo de sua localização geográfica. Os outrosdois (que demoraram mais de 8 minutos) escolheram pontosdistantes, o que exigia o procedimento mais complicado des-crito na introdução. O grande problema foi o fato de os pontosnão serem recarregados automaticamente ao mover o mapa,e os usuários demorarem a perceber que teriam de tocar noícone de atualizar.

No primeiro grupo, apenas 2 participantes (10%) conseguiramrealizar a tarefa, com os tempos de 35 e 124 segundos, e ambosescolheram pontos próximos. Dentre os 20, 6 escolherampontos nas vizinhanças e 14 escolheram pontos afastados. Ouseja, nesse grupo a taxa de sucesso foi de 33% para pontospróximos e de 0% para pontos distantes.

É possível visualizar esses dados nas figuras 25, 26 e 27.

Figura 25. Boxplot dos tempos de execução da tarefa 3 pelos usuáriosque a concluíram.

Figura 26. Boxplot do número de toques durante a execução da tarefa 3pelos usuários que a concluíram.

Figura 27. Gráfico mostrando a relação entre a idade dos participantese o tempo para realização da tarefa 3. Os pontos vermelhos representamparticipantes do primeiro grupo, e os azuis do segundo grupo. Pontosmaiores indicam sobreposição (isto é, que dois ou mais usuários comidades iguais tiveram o mesmo resultado).

Número total de tarefasNo primeiro grupo, 3 dos 20 participantes (15%) não con-cluíram nenhuma tarefa. Eles coincidem com os 3 que nãorealizaram a tarefa 2 (a mais simples). Com isso, todos quecompletaram a tarefa 1 ou a tarefa 3 também completaram atarefa 2. Quatro participantes (20%) completaram apenas umatarefa, que em todos os casos foi a tarefa 2. A maioria (12 par-ticipantes, 60%) resolveu duas tarefas. Onze deles resolveramas tarefas 1 e 2, e o outro resolveu as tarefas 2 e 3. Apenas umparticipante desse grupo concluiu as três tarefas.

A média de tarefas bem-sucedidas no primeiro grupo foi de1,55. Dentre os que 6 não tinham smartphone, ela cai para1,17. Os 15 que não tinham experiência com aplicativos deônibus tiveram média 1,33.

Percebe-se que o número de tarefas completadas é menor emusuários mais velhos. Dentre os participantes com idade entre30 e 39 anos, a média de tarefas concluídas foi de 1,8. Nafaixa de 40 a 49 anos, esse número foi 1,4. Para 50 a 60 anos,foi 0,7.

No segundo grupo, os dois membros que não tiveram sucessona tarefa 3 resolveram duas tarefas cada. Os outros três con-cluíram todas as tarefas.

A figura 28 mostra esses dados.

Figura 28. Gráfico mostrando a relação entre a idade dos participantese o número total de tarefas realizadas com sucesso. Os pontos verme-lhos representam participantes do primeiro grupo, e os azuis do segundogrupo. Pontos maiores indicam sobreposição (isto é, que dois ou maisusuários com idades iguais tiveram o mesmo resultado).

Respostas ao questionário finalNo primeiro grupo, a nota média (de 1 a 5) dada para o apli-cativo foi 4. Contudo, esse número pode não representar aqualidade do produto pois alguns usuários que apresentaramdificuldade nas tarefas deram notas altas, com a justificativade que “o aplicativo é bom, eu que não sei usar”, culpando-sepelas deficiências do produto. No segundo grupo, a média foi3,2, o que indica que usuários com maior domínio sobre o usodo aplicativo sentiram-se mais confortáveis para criticá-lo.

A pergunta sobre sugestões para melhorias no aplicativo foirespondida por 9 dos 20 participantes do primeiro grupo e portodos os 5 do segundo. No primeiro grupo, 3 foram sugestõesgenéricas (“deveria ser mais claro/explicado/fácil para leigos”),e as outras 6 sugeriram: um ícone mais chamativo para ospontos, comandos de voz, mais opções para a localização deônibus e pontos, busca de pontos pelo nome da rua ou CEP eaumento do tamanho das letras. No segundo grupo, um usuáriodisse que o aplicativo era feio, e os outros sugeriram melhoriada sincronização, busca de pontos por nome/endereço e melhorindicação de como acessar informações de pontos distantes.

No primeiro grupo, 15 participantes disseram que usariam oaplicativo novamente, e 5 que não. No segundo, 4 disseramque sim e 1 disse que talvez usaria.

DISCUSSÃO E CONCLUSÕESPôde-se perceber que, no primeiro grupo (de usuários commais de 30 anos que nunca ingressaram no ensino superior),o aplicativo apresentava alguns problemas de usabilidade. Atarefa 1, que envolvia encontrar a posição geográfica dos veí-culos de uma determinada linha de ônibus, não foi a mais pro-blemática. Foi concluída pela maioria (60%) dos participantes,e boa parte dos insucessos aconteceu pois os participantes nãoentraram na seção correta do aplicativo. Isso seria possivel-mente melhorado com escolhas melhores de ícones; o símbolode um ônibus na seção de pontos mostrou-se particularmenteinadequado. No segundo grupo (de estudantes do ensino su-perior com menos de 25 anos) essa tarefa foi executada portodos os participantes sem problemas.

A tarefa 3, que consistia em obter a lista de linhas que passampor um determinado ponto de ônibus, evidenciou mais pro-blemas. O maior deles foi relacionado à falta de atualizaçãoautomática dos ícones de pontos. Isso tornou a tarefa inviávelpara aqueles que buscaram informações de um ponto distanteda localização geográfica do aparelho. Dos participantes doprimeiro grupo nessa condição, nenhum obteve sucesso. Nosegundo grupo, os únicos que conseguiram levaram quase 10minutos, tempo impraticável para o uso cotidiano. Contudo,esse não foi o único problema. Mesmo nos usuários que es-colheram pontos nas vizinhanças, a taxa de sucesso foi baixa(33% no primeiro grupo). Os problemas incluíram a escolhade ícone inadequado na tela inicial, a ausência de um campo debusca que fazia ser necessário arrastar o mapa para encontrarum ponto, a demora para o carregamento da tela em conjuntocom a indicação insuficiente de que o usuário deve esperar, ea má legibilidade do balão com o texto “toque aqui para abriras linhas de ônibus”.

A rigidez do aplicativo foi um ponto problemático em ambasas tarefas, uma vez que havia apenas um caminho para seexecutar cada uma delas. Por exemplo, na tarefa 3 algunsusuários entraram na seção “Como chegar” e encontraram oponto, mas não era possível obter a lista de linhas a partirdessa tela.

Uma vez que o segundo grupo teve desempenho melhor emtodas as tarefas, os resultados indicam que existe uma difi-culdade adicional no grupo de usuários mais velhos e commenos escolaridade. Entretanto, não é possível concluir queessa diferença de desempenho se deva à escolaridade pois osgrupos tinham idades diferentes.

Também se pode perceber que o aplicativo é mais problemáticocom usuários mais velhos. Em todas as tarefas os participantescom mais idade foram os que tiveram mais dificuldade.

A avaliação com usuários permitiu coletar dados de uso doaplicativo por usuários reais e revelar os problemas mencio-nados acima. Entretanto, uma deficiência do método seria apossível artificialidade das tarefas solicitadas. Por exemplo,pode ser que buscar as linhas que passam por um ponto deônibus distante da localização atual não seja um caso de usotípico, e então os problemas relatados nessa situação não se-riam tão graves. Ainda assim, é concebível que um usuárioqueira obter essa informação, e o estudo serviu para mostrarque haveria dificuldade nesse caso.

REFERÊNCIAS1. Censo Demográfico 2010: Características da População

e dos domicílios: Resultados do universo, 2011. InstitutoBrasileiro de Geografia e Estatística, Rio de Janeiro.Disponível emhttp://biblioteca.ibge.gov.br/visualizacao/periodicos/

93/cd_2010_caracteristicas_populacao_domicilios.pdf.Acessado em 19 de julho de 2016.

2. Federação das Indústrias do Estado de São Paulo. 2014.Quantidade de trabalhadores por grau de instrução.(2014). Disponível em http://apps2.fiesp.com.br/regional/(S(okhawwtyp43u5hme31bykkh3))/

DadosSocioEconomicos/GrauEscolaridade.aspx. Acessadoem 22 de julho de 2016.

3. Datafolha. 2014. Avaliação do transporte e trânsito nacidade de São Paulo. (Junho de 2014). Disponível emhttp://media.folha.uol.com.br/datafolha/2014/07/04/

avaliacao-do-transporte-e-transito-na-cidade-de-sp.

pdf. Acessado em 19 de julho de 2016.

4. Google Play. 2016a. Cadê o Ônibus? (2016). Disponívelem https://play.google.com/store/apps/details?id=br.nanoit.viewbus&hl=pt_BR. Acessado em 23 de julho de2016.

5. Google Play. 2016b. CittaMobi. (2016). Disponível emhttps://play.google.com/store/apps/details?id=br.com.

cittabus. Acessado em 23 de julho de 2016.

6. Google Play. 2016c. Citymapper. (2016). Disponível emhttps://play.google.com/store/apps/details?id=com.

citymapper.app.release. Acessado em 23 de julho de2016.

7. Google Play. 2016d. Coletivo: Ônibus de São Paulo.(2016). Disponível emhttps://play.google.com/store/apps/details?id=com.

scipopulis.mockupteletransporte.teletransporte.Acessado em 23 de julho de 2016.

8. Google Play. 2016e. Moovit: Metro, Ônibus e Trens.(2016). Disponível em https://play.google.com/store/apps/details?id=com.tranzmate.Acessado em 23 de julho de 2016.

9. Google Play. 2016f. TRAFI: localize ônibus offline.(2016). Disponível em https://play.google.com/store/apps/details?id=com.trafi.android.tr. Acessado em 23de julho de 2016.

10. Google Play. 2016g. Ônibus ao Vivo - Transporte. (2016).Disponível em https://play.google.com/store/apps/details?id=onibusaovivo.android. Acessado em 23 dejulho de 2016.

11. Daniel Farias Batista Leite, Júlio Henrique Rocha eCláudio de Souza Baptista. 2013. Busão: um Sistema deInformações Móvel para Auxílio à Mobilidade UrbanaAtravés do Uso de Transporte Coletivo. IX SimpósioBrasileiro de Sistemas de Informação (2013), 170–181.

12. Nano IT Brasil. 2016. Cadê o Ônibus? (2016).Disponível em http://www.cadeoonibus.com.br/.Acessado em 12 de maio de 2016.

13. Jacob Nielsen. 2008. Middle-Aged Users’ Declining WebPerformance. (2008). Disponível em https://www.nngroup.com/articles/middle-aged-web-users/.Acessado em 22 de julho de 2016.

14. Rede Nossa São Paulo, Fecomércio e Ibope Inteligência.2015. 9ª Pesquisa sobre Mobilidade Urbana. (Setembrode 2015). Disponível emhttp://www.ibopeinteligencia.com/arquivos/Apresenta%

C3%A7%C3%A3o%20DMSC%20-%202015_Evento_v5%20(2).pdf.Acessado em 20 de julho de 2016.

15. Prefeitura de São Paulo. 2013. Aplicativos para transportecoletivo são premiados em Hackatona do Ônibus. (28 deoutubro de 2013). Disponível emhttp://www.prefeitura.sp.gov.br/cidade/secretarias/

comunicacao/noticias/?p=160029. Acessado em 12 demaio de 2016.

16. Yvonne Rogers, Helen Sharp e Jenny Preece. 2011.Evaluation Studies: From Controlled to Natural Settings.In Interaction Design: Beyond Human-ComputerInteraction. Capítulo 14.