Marcos Flávio S. Reis – IBTA

Ana Maria Ambrosio – INPE

Maurício G. Vieira Ferreira – INPE

1

VVTeste: Ambiente de geração e gerenciamento de

testes e de defeitos como apoio aos processos de

Verificação e Validação do MPS.br

WAMPS 2012 -VIII WORKSHOP ANUAL DO MPS – 24 de outubro de 2012

� Objetivos

� VVTeste

� Avaliação da VVTeste em relação ao MPS.br

� Conclusões

Sumário

2

3

Objetivos do VVTeste

Criar um ambiente integrado, alinhado as normas de desenvolvimentode software, que apoiasse as atividades de Verificação e Validaçãoatravés da geração e do gerenciamento de testes e da gestão dedefeitos, mantendo uma base de conhecimento de testes de softwareúnica, capaz de gerenciar dados históricos e auxiliar emplanejamento de novos projetos de testes.

Objetivo definido

4

Metodologia

5

6

VVTeste

Aplicação da TestLink na gerência de

testes

7

Integração da Condado

8

Integração do gerenciamento de defeitos

9

Arquitetura de integração

10

Ferramenta responsável pela criação dos casos de testes.

Passos:

1. As máquinas são modeladas no Modelador de Máquinas de Estados.

2. As máquinas são processadas na Condado e os casos de testes são gerados.

3. Os arquivos com os casos gerados são salvos.

Condado

11

Módulo Integração Condado x TestLink

Passos

1. Leitura do arquivo de Script da Condado.

2. Definição dos dados comuns dos casos de testes, que são: Prefixo, Número inicial da sequência de casos, resumo e pré-requisitos.

3. Definição de até cinco palavras chaves.

4. Definição do local onde o arquivo XML deve ser salvo.

MICT

12

Já com a personalização feita na TestLink, os casos de testes são importados em suítes de testes.

Passos

1. Criar uma suíte de testes.

2. Acionar a importação de casos de testes da Ferramenta utilizando o arquivo XML gerado pelo MICT.

3. Definição das informações dos campos personalizados.

TestLink - Importação dos casos de

testes

13

Durante todo o andamento do projeto de testes, as duas ferramentas são utilizadas para gerenciamento dos testes e dos defeitos encontrados.

TestLink & Mantis

14

Módulo Aquisição de Dados.

Passos

1. Conectar aos bancos de dados do TestLink e do Mantis.

2. Definir os projetos que serão exportados.

3. Definir o local de gravação dos arquivos.

4. Processar e gerar os arquivos XMLs com as informações dos projetos de testes

MAD

15

Módulo Inclusão de Dados.

Passos

1. Selecionar os arquivos XMLs do TestLink e da Mantis

2. Processar e incluir/atualizar as informações na base de conhecimento.

MID

16

Base de conhecimento

17

Módulo Consulta de Dados.

Passos

1. Escolher uma consulta pré-definida ou definir uma personalizada.

2. Processamento dos dados e exibição dos gráficos.

MCD

18

19

Avaliação da VVTeste em relação a

MPS.br

Verificação

20

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

O que? Espera-se que os produtos que serão avaliados sejam localizados eescolhidos.

No caso da Verificação, essa informação pode ser adquirida do plano doprojeto ou dos requisitos descritos. Na Validação, a importância para ocliente e a complexidade das funcionalidades é considerada durante essaidentificação.

Como? Os requisitos são consultados ou alterados na ferramenta TestLink. Outrofator importante, é que informações de projetos anteriores podem seradquiridas tanto na TestLink como na Base de conhecimento para ajudar aavaliar a complexidade dos produtos de trabalho

VER1 - Produtos de trabalho a serem verificados são identificados

Verificação

21

O que? Como o próprio nome já diz, este é o momento de realizar o planejamento. Tanto a Validação como na Verificação, a técnica de teste é citada como forma de realizar essas avaliações.Para que o teste possa ser executado, os casos de testes precisam ser criados, registrados e estarem disponíveis aos envolvidos.A divisão dos trabalhos entre os envolvidos também é uma atividade importante, pois interfere no cronograma.

VER2 - Uma estratégia de verificação é desenvolvida e implementada, estabelecendo cronograma, revisores envolvidos, métodos para verificação e qualquer material a ser utilizado na verificação

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

Verificação

22

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

Como? As ferramentas auxiliam em algumas atividades desses processos. Além disso, o ambiente foca apenas na técnica de teste. O objetivo é gerar subsídios para a preparação da estratégia de V&V. Para a geração dos casos de testes o ambiente disponibiliza a ferramenta Condado para os produtos de trabalho que possam ser modelados através de MEFEs. Neste caso, eles são criados automaticamente e integrados à ferramenta de gerenciamento dos testes, a TestLink.O VVTeste, via a TestLink tem um papel muito importante nessa atividade, porque além de consumir os casos de testes gerados pela Condado, ele permite que outros casos sejam descritos. Além disso, ele também permite a divisão do trabalho entre os envolvidos na avaliação.Todas as informações referentes aos métodos adotados e informações da estratégia adotada que esteja diretamente ligada à execução da avaliação são descritas na Testlink, a qual pode ser facilmente consultada por todos os membros envolvidos.

VER2 - Uma estratégia de verificação é desenvolvida e implementada, estabelecendo cronograma, revisores envolvidos, métodos para verificação e qualquer material a ser utilizado na verificação

Verificação

23

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

O que? Para essas atividades espera-se que todas as informações e estruturasnecessárias para a avaliação dos produtos de trabalhos sejam definidas, issoinclui os critérios e procedimentos de testes, ferramentas de apoio paraplanejamento, gerenciamento e execução dos testes e a infraestrutura ehardwares necessários.

Como? Os critérios e procedimentos podem ser armazenados no VVTeste, via a TestLink, juntamente com cada um dos casos de testes gerados.Conforme descrito pelo modelo, os aspectos importantes para o ambiente estabelecido é que ele seja capaz de gerenciar o planejamento e a execução dos testes. Isso também pode ser feito através da TestLink.Este ambiente não contempla nenhuma forma automatizada de execução dos testes, pois normalmente este tipo de ferramenta depende muito da arquitetura utilizada no desenvolvimento do software, sendo assim, caso a organização deseje automatizar a execução, deverá avaliar uma ferramenta que atenda as características do produto.

VER3 - Critérios e procedimentos para verificação dos produtos de trabalho a serem verificados são identificados e um ambiente para verificação é estabelecido

Verificação

24

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

O que? Espera-se que todo o planejamento realizado seja executado, utilizandodiversas técnicas, que segundo o modelo, inclui obrigatoriamente os testes eas revisões por pares para aVerificação.

Como? Durante a execução das atividades as informações são consultadas e dirigidasno VVTeste, através da TestLink. Nela os executores registram quais os casosde testes foram executados com sucesso, quais falharam e os que foramimpedidos de serem avaliados. O gerente acompanha, através dos gráficos edas interfaces da TestLink, o andamento das atividades e compara oandamento cronograma estipulado.

VER4 - Atividades de verificação, incluindo testes e revisões por pares, são executadas

Verificação

25

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

O que? Este resultado espera que todos os problemas encontrados sejam documentos e que sejam definidos quais serão tratados.Ressalta a importação do acompanhamento do problema até a sua conclusão, apesar de estabelecer que a organização tenha liberdade para não corrigir todos os problemas, de acordo com os seus critérios de avaliação.

Como? O VVTeste, via a Mantis, registre esses defeitos. A integração entre TestLinke Mantis, permite relacionar os casos de testes aos defeitos encontrados. AMantis permite o acompanhamento do defeito/problema até a suaresolução, aumentando a segurança sobre os relatos registrados.

VER5 - Defeitos são identificados

Verificação

26

Verificação

VER1

VER2

VER3

VER4

VER5

VER6

O que? Tem a finalidade de avaliar os resultados obtidos durante a verificação/validação.Os envolvidos devem responder perguntas do tipo:- Os critérios definidos foram satisfeitos?- As ações corretivas planejadas foram concluídas?- A verificação/validação foi executada conforme planejado?- Os resultados obtidos permitem a aprovação do artefato?

Como? As ferramentas Mantis e TestLink disponibilizam diversos relatórios e gráficos que auxiliam na análise dos resultados.Além disso, através da Base de conhecimento e do módulo MCD, as resultados podem ser analisados de outras formas, inclusive comparando com projeto ou baterias de testes anteriores.

VER6 - Resultados de atividades de verificação são analisados e disponibilizados para as partes interessadas

27

Conclusões

Conclusões

28

� Conceitos de planejamento e execução de testes e ferramentas livres interligadas, gerando uma base de conhecimento de testes.

� Análise mais apurada do processo de testes de software

� Informações são utilizadas como base histórica e lições aprendidas para projetos futuros.

� Ferramentas OpenSource.

� MPS.Br.

Palavra aberta

29

Contato

30

marcosfsreis@gmail.com