Teste para dispositivos móveis - EATS Manaus 2014

Teste para Dispositivos

MóveisLuana Lobão

Test Developer II

1/5/2015Luana Lobão | [email protected] 1

Apresentação

Luana Lobão

Mestranda em Ciência da Computação (UFAM - PPGI/ICOMP)

CTFL – Certified Test Foundation Level (BSTQB/ISTQB)

CSD – Certified Scrum Developer (Scrum Alliance)

Mais de 6 anos na área de Teste de Software (Planejamento e Execução de

Processo de Teste)

Publicações: SBQS, ICTSS, SAST, Revista Engenharia de Software Magazine – ESM

(DEVMedia), TDC, ENCOSIS, ERIN.

E-mail: [email protected]

Linkedin: http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57

Facebook: https://www.facebook.com/luana.lobao.1


mailto:[email protected]

http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57

https://www.facebook.com/luana.lobao.1

Tópicos

Dispositivos Móveis

Principais Plataformas

Lojas de Aplicativos

Desafios e Características

Teste para Dispositivos Móveis

Critérios de Teste para as Lojas

Tipos de Teste para dispositivos móveis

Boas práticas


Dispositivos MóveisO que é dispositivo móvel ?

É um computador de bolso habitualmente equipado com uma pequena tela

(saída) e um teclado em miniatura (entrada).

Smartphone;

PDAs;

Celular;

Console portátil;

Ultrabook;

Notebook;

Netbook;

Laptop;


Dispositivos Móveis

Tipos de Dispositívos móveis

Telemóvel

PDA

Smartphone

Console portátil

Ultra mobile PC



Smartphones – Windows Phone, IOS e

Android Desenvolvido pela Microsoft. Sucessor do Windows Mobile;

Principais fabricantes: Nokia (Microsoft Mobile*), HTC, ZTE, Samsung…

Apresenta interface baseada no sistema de design “Metro”;

Tela principal composta por “mosaicos dinâmicos” (live tiles)

customizáveis e atualizados em tempo real.


Interface

do

utilizador

(Metro)

Introdução

de texto

Mensagens

(conversas)

Navegação

na InternetMultitarefa

Email,

Contatos

Multimídia Jogos PesquisaReconhecimento

de

vozSync Bluetooth


Smartphones – Windows Phone, IOS e

Android Desenvolvido pela Apple;

Usado para todos os produtos Apple, como: Iphone, Ipad, Apple TV;

Não é licenciado para instalação em outros fabricantes;

ObjectiveC é a linguagem utilizada para desenvolvimento;

Qualidade gráfica e facilidade de usabilidade;

Interface baseada no conceito de manipulação direta, utilizando multi-

touch;


Multitarefa

Elementos

de

interface

Notification

centerHome

ScreenAcelerômetros Bluetooth


Smartphones – Windows Phone, IOS e Android

SO de código aberto baseado em Linux (adquirido pelo Google em 2005);

Customizado para vários hardwares de vários fabricantes: Samsung, LG, Asus,

Motorola, Sony, etc;

Interface baseada em manipulação direta;

Interface customizável;


Acelerômetros

Sensores

de Proximidade

Gerenciamento

de

memória

Navegação

na Internet

MultimídiaJogos Bluetooth Multitarefa


Lojas de Aplicativos

Lojas de Aplicativos são um tipo de plataforma de distribuição

digital de software, muitas vezes fornecido como um

componente de um sistema operacional em um computador

pessoal ou dispositivo móvel.

As lojas apresentam as aplicações categorizadas: negócios,

entretenimento, jogos e etc.

O usuário escolhe as aplicações e instala no seu dispositivo.

A maioria das lojas exigem que as submissões de aplicações

passem por um processo de aprovação.

As aplicações são inspecionados pelo cumprimento de certas

diretrizes (como os de controle de qualidade e censura ).


Principais lojas:

IOS App Store

Google Play Store

BlackBerry World

Windows Phone Store

Amazon Appstore

Samsung Apps

Etc...


Lojas de Aplicativos – IOS App Store

A App Store é loja de aplicações móveis da plataforma iOS, mantida pela Apple Inc.

Os aplicativos podem ser baixados diretamente para um dispositivo iOS, ou em um computador pessoal via iTunes.

Os aplicativos podem ser baixados de graça ou por um custo definido, e podem incluir monetização in-app através da publicidade.

A Apple leva 30% de todas as receitas geradas através de aplicativos.

Submissão de Apps:

As aplicações IOS devem ter a interface de acordo com o padrão definido pela UI Guidelines Apple. https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG/index.html

A app deve obedecer aos critérios de teste para ser aceita na loja. http://www.appqualityalliance.org/AQuA-test-criteria-for-iOS-apps


https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG/index.html

http://www.appqualityalliance.org/AQuA-test-criteria-for-iOS-apps


Lojas de Aplicativos – Google Play Store

O Google Play, anteriormente Android Market, é uma loja de aplicativos da plataforma Android. É atualmente mantida pelo Google.

Os usuários também podem comprar equipamentos como Chromebooks, dispositivos móveis Google Nexus, Chromecasts e acessórios.

A partir de julho de 2013, o Google Play Store chegou oficialmente mais de 1 milhão de aplicativos publicados e mais de 50 milhões de downloads.

Catálago: Play Music, Play Books, Play Movies & TV, Play Games, Applications.

O Android possui sistema de antivírus automático para identificar aplicaçõesmaliciosas, o Google Bouncer.

Submissão de Apps:

Para submeter aplicações, estas devem obedecer a um conjunto de critérios de teste. Esses critérios estão disponíveis em: http://developer.android.com/distribute/googleplay/publish/preparing.html


http://developer.android.com/distribute/googleplay/publish/preparing.html


Lojas de Aplicativos – Windows Phone Store

Windows Phone Store (anteriormente Windows Phone Marketplace) é uma loja de aplicativos desenvolvida e mantida pela Microsoft para a plataforma Windows Phone .

Como grande parte dos novos produtos Windows, ele também apresenta o " Metro UI “.

A loja também conta com downloads de jogos 3D para Xbox Live conectividade e recursos integrados.

Submissão de Apps:

A submissão de aplicativos para a loja Windows phone pode demorar até uma semana, pois a aplicação é submetida a testes para certificar que ela obedece a política da Microsoft.

http://msdn.microsoft.com/en-us/library/windowsphone/develop/hh184844(v=vs.105).aspx

A Microsoft disponibiliza no VisualStudio a ferramenta Store Test Kit, onde o desenvolvedor pode fazer pré-testes na aplicação antes de enviar à loja.



Smartphones


Variedade de dispositivos: Dispositivos móveis diferem em tamanhos de tela,

métodos de entrada e interação e diferentes capacidades de hardware.

Fragmentação: Os softwares para dispositivos móveis estão mudando,

diversificando e evoluindo assim como seus dispositivos (celulares, tablets,

smartphones, Smart TV).

Urgência: Com o mercado cada vez mais competitivo, as empresas precisam

que o desenvolvimento móvel seja ágil. As equipes precisam projetar,

compilar, testar e liberar software em intervalos muito pequenos.

Risco: Aplicativos com falhas causam insatisfação do usuário que avalia as

aplicações atribuindo notas e resenhas.


Smartphones


Complexidade: Os aplicativos móveis se tornam mais complexos e dependentes de novas tecnologia, como por exemplo a geolocalização, comunicação de campo de proximidade (NFC), eventos em tempo real e pop-ups. Com isso os testes se tornam mais complexos.

Padrões da Industria: Teste para aplicações para dispositivos móveis devem estar de acordo com os padrões das plataformas e dos fabricantes para serem aceitos. Exemplo, critérios de teste da Nokia, Microsoft, IOS e etc.

Ferramentas para automatizar teste: as ferramentas de automação de teste não suprem todas as necessidades de teste para esses aplicativos.

A quantidade de ferramentas boas é pouca e o custo é alto, o que faz com que o testador recorra a testes manuais e repetitivos.

Profissionais qualificados: Há poucos profissionais especializados em testes de dispositivos móveis, pois o profissional deve conhecer as características das plataformas, as ferramentas disponíveis e as técnicas de teste.


Testes para dispositivos móveis

Introdução

Testes de software para dispositivos móveis é um processo pelo qual aplicativo de software é testado para validar a sua funcionalidade, usabilidade e consistência.

O Teste para Dispositivos Móveis deve considerar:

Plataformas de sistemas operacionais do fabricante,

Os modelos de aparelho,

Operações com a rede e

As certificações.

Mobile Testing: Refere-se a diferentes tipos de teste:

Aplicações nativas e aplicações web mobile



Introdução

As atividades de teste para dispositivos móveis possuem:

Métodos e ferramentas bem definidos

As atividades de teste para dispositivos móveis asseguram:

Funcionalidade

Comportamento

Performance

Qualidade de serviço

Usabilidade

Interoperabilidade

Connectividade

Segurança

Privacidade



Formas de Teste


Testes em emulador

Testes no dispositivo

Testes em Cloud Crowd test


Teste no Emulador

Baixo custo (não é necessário laboratório e nem dispositivos)

Poucas possibilidades de interação

Um emulador nunca é 100% fiel ao dispositivo real.

É difícil simular browsers diferentes, conexões de rede diferentes e interferências externas.



Teste no Dispositivo

Alto custo (é necessário laboratório e dispositivos)

Muitas possibilidades de interação

Ambiente de produção

Protótipos de aparelhos com software ainda instável interferem no teste

A equipe deve responder rápido a mudanças na plataforma

Realizar teste em larga escala é mais difícil



Teste em Cloud

Abordagem de fábricas de teste

A idéia básica é a construção de um dispositivo de nuvem móvel que pode suportar serviços de testes em larga escala.

Modelo de negócio pay-as-you-go

Ele também permite que diferentes usuários móveis para fornecimento de seus ambientes de teste exigidos por meio de um serviço de aluguel.

Em comparação com outras técnicas, oferece larga escala com melhor custo-benefício



Crowd Testing

Envolve o uso de freelance ou testes contratados ou uma comunidade de usuários finais, como uTest (www.utest.com) e um servidor de gerenciamento de serviços para suportar diversos usuários.

Gerenciamento de teste tradicional

Serviço de testes e relatórios de erros.

As operações são geridas de uma forma ad hoc,

Limitação de ferramentas de automação.

Esta abordagem oferece a benefícios de in-the-wild testes sem a necessidade de investir em um laboratório ou comprar ou alugar equipamentos, mas com o risco de testes de qualidade baixa e uma programação de validação incerta.



Breve Resumo

Entradas do Processo

Protótipo de Telas e Navegação

Requisitos Funcionais e não

funcionais

Cronograma de entrega de Projeto

Definição de quais dispositivos e

plataformas são o foco do projeto

a ser testado

Etapas de um Processo de Teste de Software


Análise e

planejamento

do que será

testado, como

será testado,

quais os

recursos e

ambientes

necessários,

riscos, etc

Projeto de

Casos de Teste

considerando:

requisitos do

sistema, casos

de uso, estórias

de usuário,

navegação das

telas.

Execução dos

casos de teste e

análise dos

resultados.

Ocorrências,

incidentes e

falhas devem ser

reportadas e

analisadas.

Métricas devem

ser colhidas.

Fase aonde o

relatório de

falhas é feito e

compartilhado

com o time para

que ações de

correção sejam

feitas. Resultados

de métricas são

compartilhadas

com todos do

time.

Critérios de Teste para as lojas

Windows Store Test Kit

O Windows Store Test Kit fornece um conjunto de testes automatizados e manuais para ajudar a preparar aplicativos para serem aceitos na loja do Windows Phone.

O Test Kit ajuda a identificar e corrigir problemas antes da submissão do aplicativo, o que economiza tempo no processo de submissão. É possível utilizar o kit através doVisual Studio e acessando o link: http://msdn.microsoft.com/en-us/library/windowsphone/develop/hh394032(v=vs.105).aspx




Windows Store Test Kit - testes automáticos



Windows Store Test Kit - testes manuais



AQuA – App Quality Alliance

Aqua é um grupo sem fins lucrativos, liderada por membros das principais indústrias de eletrônicos - AT & T, LGE, Motorola, Nokia, Oracle, Samsung e Sony Mobile.

http://www.appqualityalliance.org/

Este grupo promove a divulgação dos critérios de qualidade dos aplicativos para dispositivos móveis.

Principais dcumentos para Download:

Aqua Testing Criteria for Androip Apps

Aqua Testing Criteria for IOS apps

Aqua Gest Practice guide

Essential Mobile Testing




Itens Críticos – (AQuA)

Instalação e Desinstalação de

Aplicação

Inicialização de Aplicação

Download de Código Extra (N)

Uso de Memória durante execução

Tratar a suspensão e reinicialização

do aplicativo

Estado Inativo

Cancelar operação

Download

Manipulação de Eventos

Mensagens e Ligações

Enviar e Receber Mensagem

Receber Ligação

Múltipla entrada de dados (teclado qwerty, teclado virtual...)

Seleção Manual de linguagem (internacionalização)

Performance

Tarefas de Background




Compartilhamento de recursos e de banco de dados

Teste de Sanidade do aplicativo

Recurso ou conteúdos ocultos

Rolagem de Menu

Conectividade

Perda de conexão de rede ouconexão lenta

Modo Avião

Pausa

Deletar Dados

Teclas do Dispositivo

Pressionar teclas simultâneas ou toque múltiplo

Pressionar mais de uma tecla ou multi touch

Fechar e Abrir tampa do Dispositivo

Estabilidade

O comportamento do aplicativo após forçar desligamento

Preservar o estado de um jogo

Modificar Registro




Segurança

Criptografia

Senha

App Metadata

Política de Privacidade

Permissões de Localização

Conteúdo Multiplayer

Multiplayer – conectar e desconectar

players

Multiplayer – Pausar e desconectar players

Multiplayer conectado via bluetooth





Tipos de Teste para Dispositivos Móveis

Mais conhecidos

Teste Funcional

Teste Exploratório

Teste em Laboratório

Teste de Desempenho

Teste de Vazamento de

Memória

Teste de MTBF (Mean time

between failures)

Teste de Interrupção

Teste de Usabilidade

Teste de

Internacionalização

Teste de Instalação

Teste de Compatibilidade

Teste de Sincronismo

Teste de Segurança



Teste Funcional

O teste funcional garante que o aplicativo faz o que está

especificado pelos requisitos. A maior parte desses testes

é executado através da interface e no dispositivo final.

Caso o dispositivo final não esteja disponível, um

emulador ou simulador deve ser utilizado.



Teste Exploratório

Testes Exploratórios é o Processo interativo e concorrente de aprendizagem, escrita e execução de testes.

Exige criatividade, concentração, intuição e experiência.

É necessário conhecer os requisitos funcionais e não funcionais do software,

O teste exploratório é complemento na execuçào de casosde teste.

O teste exploratório produz informações que melhoram oscasos de teste.



Teste Exploratório

Elementos do teste exploratório

Tempo, testador, produto, missão, heurísticas e relatórios de

resultados.

O teste exploratório deve responder às questões que

satisfaça a missão do teste.

Planejar os cenários a serem explorados na aplicação.

Os testes são aplicados e os resultados são

comparados com a especificação do sistema



Teste Exploratório – Fatores que afetam

Missão do Teste

Estratégia de teste

Objetivo da seção de teste

Papel do testador

Habilidades e experiência do testador

Disponibilidade de recursos

Disponibilidade de tempo

Disponibilidade de dados de teste

Requisitos do sistema

O que é importante para o cliente

O produto e sua interface, comportamento, estado, testabilidade e propósito.

O conhecimento do testador sobre o negócio.

Conhecimento dos riscos queenvolvem o produto

Conhecimento sobre as mudanças do produto.

Como produtos similares se comportam



Teste Exploratório – Processo

Preparação do ambiente de teste e recursos necessários.

Criação de Uma hipótese a ser explorada.

Definição básica dos cenários a serem exercitados, podendo ser em formato de lista ou checklist.

Execução dos cenários de teste definidos.

Executar variações possíveis dos cenários de teste entro do tempo estimado da sessão.

Registro de defeitos encontrados.



Teste Exploratório – Bom explorador

Conhece bem as funcionalidades, requisitos do sistema, criou e executou os casos de teste para o sistema.

Possui a capacidade de analisar um produto, avaliar o risco, usar ferramentas, e pensa criticamente.

Presta atenção nos detalhes e no comportamento do sistema.

Investiga as falhas encontradas.

É criativo e produz novas idéias de teste e utilizam heurísticaspara atingir o objetivo do teste.

Brainstorm entre o time de teste.

Excelentes exploradores constroem inventário de ferramentas, fontes de informação, dados de teste para recorrer.



Teste Exploratório – Para DM

O primeiro passo para explorar o aplicativo é conhecer suas funcionalidades básicas, o seu objetivo e o público alvo que irá utilizar o software.

Estabelecer perfis de usuário

Domínio das funções macro do sistema

Domínio de como deve ser o comportamento da aplicação

Domínio da plataforma e suas limitações

Entender os componentes da plataforma e resposta destes componentes

Visão do usuário do sistema

Visão do comportamento e ações do usuário no sistema



Teste em laboratório

Os testes em laboratório geralmente são realizados por

operadoras de rede, é feito através da simulação de uma

rede sem fio completa.

Este teste é realizado para descobrir quaisquer falhas

quando um aplicativo móvel usa voz e / ou conexão de

dados para executar algumas funções.



Teste de Desempenho

Esse teste é realizado para verificar o desempenho e o comportamento da aplicação sob certas condições, tais como bateria fraca, cobertura de rede ruim, pouca memória disponível, o acesso simultâneo ao servidor de aplicação por vários usuários.

O desempenho de uma aplicação pode ser afetado a partir de dois lados: do lado do servidor do aplicativo e do lado do cliente. O teste de desempenho é realizada para verificar ambos.



Teste de Desempenho

Métricas

Tempo de instalação,

Tempo de inicialização,

Consumo de memória,

Maior pico de memória,

Vazamento de memória,

Tempo de transição de tela,

Tempo de busca de resultados,

Tempo de cálculo de GPS

Tempo para fechar a aplicação



Teste de Vazamento de Memória

Verifica se o aplicativo gerencia a memória que é alocada

resultando em falhas “crash” no dispositivo e desempenho

ruim da aplicação, além de desaceleração global do

sistema



Teste de MTBF

Verifica a capacidade de um software de manter-se

executando durante um determinado período de tempo

sem apresentar falhas.

Estes testes também são chamados de teste de

confiabilidade de software

Cenários funcionais devem ser fornecidos e normalmente

são automatizados usando ferramentas específicas. A

execução desse tipo de teste leva em torno de 120 horas.



Teste de Interrupção

Tipos de interrupções

Mensagens SMS e MMS

Chamadas recebidas e efetuadas

Notificações recebidas

Remoção da bateria

Cabo Inserção e remoção para

transferência de dados

Interrupção de rede e recuperação

Media Player on / off

Ciclo de energia Dispositivo

Transferência de dados via

bluetooth ou NFC.



Teste de Usabilidade

Os testes de usabilidade são realizados para verificar se a aplicação atinge os seus objetivos, é fácil de usar e obtém uma resposta favorável dos usuários.

Deve ser feito por profissionais de usabilidade e interação homem-máquina.

Um conjunto de usuários representando o público alvo utiliza o aplicativo no dia a dia durante um período de tempo.

Esse grupo responde um questionário sobre as impressões da utilização.

As respostas são analisadas e ações de melhoria são inseridas no aplicativo.



Teste de Internacionalização

Verifica se o aplicativo está disponível para mais de uma linguagem.

O conjunto básico de casos de teste deve ser executado para todas as linguagens que o aplicativo suporta.

Testes com palavras grandes e símbolos comuns da linguagem, acentos devem ser feitos para assegurar a integridade da interface da aplicação.



Teste de Instalação

Verifica se o processo de instalação ocorre sem problemas, sem o usuário ter que enfrentar qualquer dificuldade.

Este processo de teste abrange a instalação, atualização e desinstalação de um aplicativo.



Teste de Compatibilidade

O objetivo é garantir que o software funcione corretamente com os modelos de dispositivos finais.

Por exemplo, um aplicativo que deve funcionar para a plataforma Android deverá ser testado em vários aparelhos diferentes (Samsung, LG, Motorola..).

Esse teste é feito executando a suíte de testes funcionais em diferentes modelos de dispositivos suportados.



Teste de Sincronismo

O teste de sincronismo verifica se os dados do aplicativo estão sincronizados com o servidor.

Esse tipo de teste é importante para aplicações que acessam dados armazenados em nuvens.



Teste de Segurança

Através desses testes é possível evitar invasões e ataques em razão de controles de cache insuficientes e injeção de código malicioso para roubar dados.

Exemplo de ferramenta: HP Fortify.


Boas práticas

Obter o guia de teste da plataforma que o software está sendo desenvolvido (windows market place criteria, nokia test criteria...).

Automatizar testes se o custo for menor que executá-los manualmente.

Testar os aplicativos que usam rede em diferentes tipos e condições de rede.

No planejamento deve-se deixar claro o tempo necessário para especificar e executar todos os tipos de teste necessários para validar a aplicação.

Os testes funcionais para validar a aplicação devem sempre ser feitos nos dispositivos finais (todas as marcas e modelos).

Testes exploratórios podem revelar falhas do aplicativo com a plataforma que podem ser impeditivas para entregar o software.

Documentar testes exploratórios.

Acompanhe as avaliações e os comentários dos usuários.

Acompanhe a evolução das plataformas e sistemas operacionais.


Perguntas ? Obrigada ! ;)

Luana Lobão

E-mail: [email protected]

Linkedin: http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57

Facebook: https://www.facebook.com/luana.lobao.1


mailto:[email protected]

http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57

https://www.facebook.com/luana.lobao.1

Referências

Comparação entre plataformas: http://myphonedeals.co.uk/blog/33-the-

smartphone-os-complete-comparison-chart#

AQuA – App Quality Alliance: http://www.appqualityalliance.org/

Google Play Store Criterias:


IOS UI Guideline:

https://developer.apple.com/library/ios/documentation/UserExperience/Concept

ual/MobileHIG/index.html

IOS App Store Criterias: http://www.appqualityalliance.org/AQuA-test-criteria-for-

iOS-apps

Windows Store Test Kit: http://msdn.microsoft.com/en-

us/library/windowsphone/develop/hh394032(v=vs.105).aspx


http://myphonedeals.co.uk/blog/33-the-smartphone-os-complete-comparison-chart



https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG/index.html

http://www.appqualityalliance.org/AQuA-test-criteria-for-iOS-apps


Technology

Teste para dispositivos móveis - EATS Manaus 2014