View
3
Download
0
Category
Preview:
Citation preview
1© FATTO Consultoria e Sistemas – www.fattocs.com
Apresentador: Augusto Mariano Pinheiro
24 de março de 2020
Testes Exploratórios: Saindo do roteiro na hora certa
ORIENTAÇÕES INICIAIS
2© FATTO Consultoria e Sistemas - www.fattocs.com
Dê preferência ao uso de uma conexão de banda larga
O evento fará uso de vídeo (webcam), avise se houver problemas que alternamos
para apenas os slides e áudio
Se for necessário, ajuste o idioma da sala na barra de ferramentas superior
O evento terá cerca de 55 minutos de apresentação e 5 minutos para perguntas
Você pode mandar desde já suas perguntas pelo chat.
Use o chat só para o assunto do webinar
Para quem possui certificação do PMI, como a PMP, o evento vale 1 PDU
Esta sessão será publicada em nosso canal do Youtube: youtube.com/user/fattocs
Certificado de participação será disponibilizado para os assistentes, via e-mail
apoiar nossos clientes no planejamento e avaliação de desempenho de processos de TI
para alavancar o sucesso de seu negócio
3© FATTO Consultoria e Sistemas – www.fattocs.com
Agenda
Contextualização
Diferentes técnicas de testes e suas características
Posicionamento entre papéis
Alternativas para realização deste trabalho
Baseado na elaboração e execução de roteiros de testes
Análise exploratória
Heurísticas
Conclusões
4© FATTO Consultoria e Sistemas – www.fattocs.com
Foco da apresentação de hoje!
5
Caixa Preta
Baseado em
experiência
Caixa Branca
AQUI!
Para diferentes níveis de testes, use diferentes abordagens Para cada momento do ciclo
de vida de um determinado produto de software, deve-se utilizar diferentes abordagens, o que inclui técnicas, ferramentas e pessoas
Categorias de técnicas de teste e suas características
6
Técnicas de teste de caixa-preta
As condições, os casos de testes e os dados são derivados de requisitos, especificações, casos de uso e estórias de usuário.
Técnicas de teste de caixa-branca
As condições, os casos de testes e os dados são derivados de código-fonte, arquitetura, detalhamento do projeto ou qualquer outra fonte relaciona à estrutura do software.
Técnicas de testes baseados em experiência
As condições, os casos de testes e os dados são derivados de conhecimento e experiência de testadores, desenvolvedores, usuários e outras partes interessadas.
Contextualização Posicionamento entre papéis: Desenvolvedor
7
Codificar: transformar especificação (necessidade) em código-fonte
Programas, componentes, telas, consultas e relatórios, etc.
NECESSÁRIO Verificar se o que foi construído funciona!
Quais testes realizados são pelo desenvolvedor?
Tipos: funcional e não funcional
Técnicas:
Níveis: unitário, integração e sistema
Tá pronto, só falta testar...
Caixa Branca Caixa Preta
Contextualização Posicionamento entre papéis: Usuário solicitante
8
Realizar testes de aceite com os seguintes objetivos
Estabelecer confiança na qualidade do sistema como um todo
Validar que o sistema está completo e funcionará como esperado
Verificar se o comportamento é o especificado (desejado)
Como isso costuma ser feito?
Teste de aceite do usuário (UAT)
Teste de aceite operacional (OAT)
Teste de aceite contratual e regulatório
Teste Alfa e Beta
Alternativas para realização dos testes de aceite
9
Abordagem: Análise exploratória
ConclusãoAnálise Modelagem
Planejamento
Implementação Execução
Monitoramento e controle
O que testar?
Como testar?
Temos tudo para testar?
Repetir, registrar, comunicar defeitos,
etc.
Abordagem: Elaboração e execução de roteiros
Testes exploratóriosO que são
10
1. Uma técnica de teste de software, onde casos de teste não são criados antecipadamente. Ideias
sobre o que testar podem ser anotadas antes da execução do teste. O foco do teste exploratório é
mais em testar como uma atividade de reflexão e crítica
3. O teste com roteiros é, em
geral, uma atividade braçal
onde os analistas de teste
executam os passos de teste
e comparam os resultados
concretos com os esperados
© FATTO Consultoria e Sistemas – www.fattocs.com
5. O teste exploratório é um processo
simultâneo de projeto e execução de
teste, tudo feito ao mesmo tempo
Elaborar
Roteiros
de Teste
2. No teste com roteiros
(scripted testing), casos
de teste são primeiro
elaborados e depois
executados
arquiteto
de testes
analista
de
testes
Testar
Alguns chamam
de QA, outros
de tester
4. Tal atividade de
execução de teste pode
(deve?) ser automatizada
e não exige muitas
habilidades cognitivas
6. Apesar da tendência ser a
automação, o teste exploratório é uma
nova forma de pensar: Há limites para
a automação
Executar
Roteiro
de Teste
Testes exploratóriosO que são
11
1. Não é um teste
aleatório, como um
“testa aí!”
5. Não é um método prescritivo, ou seja, não estabelece:
Como as atividades de testes devem ser planejadas, gerenciadas e controladas
Como o ambiente de teste deve ser configurado
Avaliação de riscos para aplicações críticas de segurança
Quais ferramentas devem ser utilizadas
© FATTO Consultoria e Sistemas – www.fattocs.com
2. Estruturado em termos de pensamento se comparado à estrutura procedural do teste
baseado em roteiros. Estrutura vem da carta de teste, time box, reunião de balanço.
3.
Gerenciável
e pode ser
ensinado
4. Nesta abordagem: O que você fará em
seguida é determinado por o que está fazendo
agora
Testes exploratóriosQuando usar
© FATTO Consultoria e Sistemas – www.fattocs.com 12
“Smoke Test”
Teste preliminar para revelar falhas simples,
mas severas o bastante para, por exemplo,
rejeitar uma release candidata
1. A equipe de testes
inclui testadores
experientes no
domínio
2. Valida o trabalho
de componente
testado ao explorar
a feature testada
4. O smoke test é
desejável antes de iniciar
com execução de teste de
larga escala
6. Isolar e investigar um
defeito particular
3. Em um iteração
inicial (p.e. produto
não pronto para o
teste de sistema)
7. Melhora o teste de sistema para
aplicações de segurança crítica
5. Um novo testador entra na
equipe (fase de aprendizado)
Testes exploratóriosInsumos
13© FATTO Consultoria e Sistemas – www.fattocs.com
1. Intuição
(experiências de
bugs passados,
mudanças recentes)
2. Modelos (Diagramas
de Arquitetura,
Diagramas de Estados,
Workflows, etc.)
3. Exemplos
(Casos de Uso,
cenários, etc.)
4. Invariâncias
(verifica que a
mudança de itens não
tem impacto na
aplicação)
5. Interferência
(encontrar meios
para interromper
o programa)
6. Manipulação de
Erros (checando que
erros são manipulados
corretamente)
7.
Troubleshooting
(análise de bugs,
checar se um
bug foi
consertado)
8. Ideias em grupo
(brainstorming,
discussão de grupo
de componentes
relacionados, testes
em pares)
9. Especificações
(Leituras em sites,
Comparação com
manual do usuário,
utilização de
heurísticas)
Heurística
Qualquer abordagem para
resolução de problemas,
aprendizado, ou descoberta
que emprega um método
prático, não garantido ser
ótimo, perfeito, lógico ou
racional, mas suficiente para
alcançar um resultado imediato
Testes exploratórios – Heurísticas (ou “dicas de como fazer”)
14© FATTO Consultoria e Sistemas – www.fattocs.com
Testes exploratóriosHeurísticas
15
Nenhum, Algum, Todos
Teste as funcionalidades
com diferentes níveis de
permissão: sem
permissões, com algumas e
com todas as permissões
© FATTO Consultoria e Sistemas – www.fattocs.com
CRUD
Criar
Ler
Atualizar
Remover
Siga os dados
Execute uma sequência de ações envolvendo dados, verificando a integridade a cada passo
Registrar Consultar Reportar Exportar Importar Atualizar Visualizar
Diferentes configurações
Velocidade de rede
Memória e disco disponíveis
Intensidade de sinal
Resolução de tela
Testes exploratóriosAtaques de tipos de dados
16
Para cada tipo de dado de entrada, tente valores que forcem os limites comuns ou que violem as
limitações de integridade:
© FATTO Consultoria e Sistemas – www.fattocs.com
Datas e horas
Nos campos data, tente 30 de fevereiro ou
31 de setembro
Horas não válidas
Diferentes formatos (June 5, 2001;
06/05/2001; 06/05/01; 06-05-01; 6/5/2001
12:34)
Números
Muito grandes ou muito pequenos
Notação científica
Números negativos onde não seriam
permitidos
Nome de arquivos/caminhos
Nome longo (>255 caracteres)
Nomes com caracteres especiais espaço *
? / \ | < > , . ( ) [ ] { } ; : ‘ “ !@ # $ % ^ &)
Strings
Longas (255, 256, 257, 1000, 1024, 2000,
2048 ou mais caracteres)
Caracteres acentuados
(àáâãäåçèéêëìíîðñòôõöö, etc.)
Caracteres com delimitadores
Exemplo:Números muito grandes
© FATTO Consultoria e Sistemas – www.fattocs.com 17
Número inserido: 1,844674407370955e+19
Exemplo
© FATTO Consultoria e Sistemas – www.fattocs.com 18
Limite do campo: 200 caracteres
Limites em arquivos/campos
Limites em um campo numérico ou texto
Tentativa de transferir arquivos de
diferentes tamanhos
Exemplo:Limites em arquivos/campos
© FATTO Consultoria e Sistemas – www.fattocs.com 19
O aumento no conteúdo provocou o redimensionamento do componente
“ComboBox”.
Exemplo:Limites em arquivos/campos
© FATTO Consultoria e Sistemas – www.fattocs.com 20
Exemplo:Limites em arquivos/campos
© FATTO Consultoria e Sistemas – www.fattocs.com 21
Menu só aparece se o zoom for reduzido para
90%
Testes exploratóriosTestes web
22
Navegação
Voltar (prestar atenção a mensagens de
“Página expirada” e transações postadas
em duplicidade)
Atualizar página (Refresh/F5)
Hackear o URL (alterar/remover
parâmetros)
Abrir a mesma página em múltiplas
instâncias do browser ou em mais de um
browser ao mesmo tempo
Modificar Preferências
Desativar o Javascript
Desativar os Cookies
Alterar parâmetros de segurança do browser
Redefinir o tamanho da tela
Mudar tamanho das fontes
Entrada de Dados
HTML/Javascript injection
Verificar tamanho máximo permitido em
campos de texto (> 5000 caracteres)
© FATTO Consultoria e Sistemas – www.fattocs.com
Testes exploratóriosProcesso – Estrutura de classificação de defeitos
23© FATTO Consultoria e Sistemas – www.fattocs.com
1. Estrutura de
classificação de defeitos
2. Carta
de teste
3. Time
box
4. Revisão dos
resultados
5. Reunião
de balanço
– Categorizar os tipos
de falha encontrados
em projetos passados
– Analise a causa raiz
dos problemas ou
falhas
– Identifique os riscos e
desenvolva ideias
para testar a
aplicação
Categoria
Gravidade
Prioridade
Cartas de teste podem ser criados com flipcharts, planilhas,
documentos, sistemas de gerência de testes, personas, mapas
mentais e uma abordagem de toda a equipe
Os testers usando o teste exploratório usam heurísticas para
direcionar sua criatividade na elaboração e execução das sessões
de teste exploratório.
Essas heurísticas também podem ser usadas para criar cartas de
teste e em pensar criativamente ao analisar histórias e features.
Testes exploratóriosProcesso – Carta de Teste
24© FATTO Consultoria e Sistemas – www.fattocs.com
1. Estrutura de
classificação de defeitos
2. Carta
de teste
3. Time
box
4. Revisão dos
resultados
5. Reunião
de balanço
– Deveria sugerir
– O que testar
– Como pode ser
testado
– O que necessitar
ser verificado
– Ideias de teste são o
ponto de partida do
teste exploratório
– Ajuda determinar
como o usuário final
poderia usar o sistema
Persona
Um personagem fictício representando
certo tipo de usuário e como ele vai
interagir como sistema
Testes exploratóriosProcesso – Time Box
25© FATTO Consultoria e Sistemas – www.fattocs.com
1. Estrutura de
classificação de defeitos
2. Carta
de teste
3. Time
box
4. Revisão dos
resultados
5. Reunião
de balanço
– Este método inclui um par de testers
trabalhando em conjunto por não
menos que 90 minutos
– Não deveria haver qualquer
interrupção nessa sessão de 90
minutos
– Timebox pode ser prorrogado ou
encurtado em 45 minutos
Importante registrar e monitorar
– Cobertura de teste – Se nós tomamos notas na
cobertura de casos de testes e aperfeiçoamos a
qualidade do software
– Riscos – Quais riscos necessitam ser cobertos e quais
são os importantes
– Logs da execução – Registros da execução do teste
– Questões – Tome notas das questões e problema
Carta de TestesExemplo
© FATTO Consultoria e Sistemas – www.fattocs.com 26
Carta #001 - Explorar as funcionalidades relacionadas à análise de divergência nas medições
Cobertura #Áreas: Análise de Divergência, Medições
Data/hora de início 23/03/2020, 10:00h
Nome do testador Augusto Pinheiro, João Paulo De Angeli
Duração 90 minutos
Notas de teste Verificar junto ao gestor a viabilidade/necessidade de configurar um limite de réplicas/tréplicas nas discussões das divergências registradas.
Bugs encontrados • Há necessidade de padronização dos termos “contestação” e “divergência”.
Sugestões de melhoria 1. Inserir um botão de "Análise de divergência" na tela "Medições > Listar itens" (com as mesmas regras existentes na tela de edição da medição);
2. No Dashboard (tela principal), inserir um quadro com a relação de contagens em divergência em que o usuário logado necessita realizar alguma ação;
Testes exploratóriosProcesso – Revisão dos resultados
27© FATTO Consultoria e Sistemas – www.fattocs.com
1. Estrutura de
classificação de defeitos
2. Carta
de teste
3. Time
box
4. Revisão dos
resultados
5. Reunião
de balanço
– Avaliação dos defeitos
– Aprendizado a partir dos testes
– Análise de áreas de cobertura (verificar quais
áreas precisam de maior atenção)
Testes exploratóriosProcesso – Reunião de balanço
28© FATTO Consultoria e Sistemas – www.fattocs.com
1. Estrutura de
classificação de defeitos
2. Carta
de teste
3. Time
box
4. Revisão dos
resultados
5. Reunião
de balanço
– Compilação do resultado
– Verificar se algum teste adicional é necessário
Testes exploratórios: Vantagens e desvantagens
29
2. Desvantagens
Depende das habilidades de testes e conhecimento
do domínio do testador
Quando combinado com testes baseado em roteiro,
envolve o risco de redundância
Não fornece garantia absoluta que os bugs mais
importantes foram encontrados – testador sem
conhecimento do domínio
1. Vantagens
Encoraja a criatividade, adaptação e
intuição
Aumenta a chance de encontrar bugs
em um período de tempo mais curto
O testador é livre para explorar novas
áreas enquanto ideias de testes surgem
durante a execução dos testes
É útil quando a documentação completa
não está sempre disponível
É mais divertido que o teste baseado
em roteiros
© FATTO Consultoria e Sistemas – www.fattocs.com
Testes exploratóriosFerramenta
Devem manter um bloco de notas ao lado durante a exploração, como se fosse um
diário de bordo
Podem ser utilizadas ferramentas de gravação de ações como o Camtasia.
O Microsoft Test Manager possui uma ferramenta para gravação/reprodução da
sequência de execução dos testes exploratórios
Existe um plugin open source Microsoft Exploratory & Testing para o Chrome e
Firefox
30© FATTO Consultoria e Sistemas – www.fattocs.com
Testes exploratóriosFerramentas
31
https://chrome.google.com/webstore/detail/test-feedback/gnldpbnocfnlkkicnaplmkaphfdnlplb
Test & Feedback
© FATTO Consultoria e Sistemas – www.fattocs.com
Testes exploratóriosConsiderações finais
Os humanos verificam situações mais sutis que os testes automatizados:
Um campo editável de um formulário que deveria estar somente leitura
Um disco entrou em operação quando o software não acessaria o disco
Um valor deslocado no relatório
Induz o testador a elaborar questões mais aprofundadas a partir desses problemas
enfrentados durantes os testes
32© FATTO Consultoria e Sistemas – www.fattocs.com
Como a FATTO pode te ajudar?
33© FATTO Consultoria e Sistemas – www.fattocs.com
Atividades
Instalação, configuração e preparação das ferramentas
Automatização do processo de inspeção e testes
Mentoria dos envolvidos no processo
Desenvolvimento dos testes (como um projeto)
Centro de certificação e qualidade
Contatos
contato@fattocs.com.br
34
AVALIAÇÃO
© FATTO Consultoria e Sistemas – www.fattocs.com
PRÓXIMOS EVENTOS
WEBINAR:
Histórias de Usuário: para bom entendedor, poucas palavras
Data: 14/04/2020
Horário: 13 horas (Horário de Brasília)
Inscrições gratuitas em:
35© FATTO Consultoria e Sistemas – www.fattocs.com
Apresentador
AUGUSTO MARIANO PINHEIRO
• E-mail: augusto.pinheiro@fattocs.com
• WhatsApp: +552799946-2525
36© FATTO Consultoria e Sistemas – www.fattocs.com
Recommended