Qualidade do Produto de Software. 2/59 Normas e Modelos de Qualidade do Produto de Software –ISO/IEC 9126 »Características de qualidade de software –ISO/IEC

Qualidade do Produto de Software

2/59

Normas e Modelosde Qualidade do Produto de Software

– ISO/IEC 9126» Características de qualidade de software

– ISO/IEC 14598» Guias para Avaliação de Produto de Software

– ISO 25000 (SQuaRE)» Reformulação da 9126+14598

3/59

Fatores de Qualidade do Produto de Software

• A noção de qualidade de software pode ser descrita por um grupo de fatores, requisitos ou atributos, tais como: confiabilidade, eficiência, facilidade de uso, modularidade, legibilidade, etc;

• Podemos classificar estes fatores em dois tipos: externos e internos.

Fatores Internos

Fatores Externos

4/59

A Norma ISO/IEC 9126

• É uma norma composta por um conjunto de características que devem ser verificadas em um software para que ele seja considerado um "software de qualidade".

5/59

A Norma ISO/IEC 9126:estrutura

• ISO/IEC 9126-1: Modelo de Qualidade

• ISO/IEC 9126-2: Métricas Externas

• ISO/IEC 9126-3: Métricas Internas

• ISO/IEC 9126-4: Métricas de Qualidade em Uso

6/59

ISO/IEC 9126-1 - Modelo de Qualidade

• Documento composto basicamente de definições para as características de qualidade

7/59

ISO/IEC 9126-1 - Modelo de Qualidade Interna e Externa

• Para qualquer requisito de qualidade interna ou externa deve ser

possível especificá-lo utilizando-se apenas as seis características.

8/59

ISO 9126–1: Modelo de qualidade para qualidade em uso

• Visão de qualidade do usuário

9/59

Medição do Produto de Software: ISO 9126–2..4

• Definições– Atributo: Uma propriedade mensurável, física

ou abstrata, de uma entidade. Atributos podem ser internos ou externos.

– Medição: O uso de uma métrica para atribuir um valor (o qual pode ser um número ou uma categoria), obtido a partir de uma escala, a um atributo de uma entidade.

– Métrica: O método e a escala de medição definidos.

10/59

Medição do Produto de Software: seleção de métricas

• As características de qualidade não permitem medição direta.

• É necessário estabelecer métricas que se correlacionem às características do produto de software.

• Todo atributo interno quantificável do software e todo atributo externo quantificável do software interagindo com seu ambiente e que se correlacione com uma característica, pode ser definido como uma métrica.

11/59

ISO/IEC 9126-2 - Métricas Externas

• Define indicadores e métricas externas para avaliar um produto de software.

• Referem-se a medições indiretas de um produto de software a partir do comportamento do Sistema Computacional ou do seu efeito no ambiente, quando da execução de seus programas

12/59


• Permite definir a medição somente para aquelas características que são determinantes para o produto de software desejado.

• A separação das características de qualidade permite a atribuição de pesos de forma a reforçar a importância desta ou daquela característica.

13/59


• Devem ser usadas para:– avaliar o comportamento do software quando usado

em situações específicas;– predizer a qualidade real no uso; – avaliar e indicar se o produto satisfaz as

verdadeiras necessidades durante a operação real pelo usuário.

• Exemplo:– Característica: Funcionalidade – Sub-característica: Adequação

• quantidade de funções atendidas, que poderão ser subdivididas em desejáveis e obrigatórias.

14/59


1.Métricas de Funcionalidade – Medem atributos que evidenciam o

comportamento do sistema que contém o software.

1.1.Métricas de Adequação– Medem atributos do software que evidenciam um conjunto

de funções e sua apropriação para as tarefas especificadas.

Métrica Externa Fórmula Interpretação Tipo da Medida

Cobertura das funções implementadas

X = A / BA = Número de funções implementadas em teste.B = Número de funções especificadas.

0 <= X <=1Melhor resultado próximo de 1.

A = ContagemB = ContagemX= Contagem/Contagem

15/59


16/59


2. Métricas de Confiabilidade

– Medem atributos que evidenciam a capacidade do software de manter seu nível de desempenho sob condições estabelecidas durante um período de tempo estabelecido.

2.1. Métricas de Maturidade– Medem atributos do software que evidenciam quão livre o

software está de ocorrências de falhas internas.


Resolução de Falhas X = A / BA = Número de falhas resolvidas.B= Número Total de Falhas de falhas detectadas



17/59


18/59


3. Métricas de Usabilidade

– Medem atributos que evidenciam o esforço necessário para poder-se utilizar o software, bem como o julgamento individual deste uso, por um conjunto implícito ou explícito de usuários.

3.1. Métricas de Inteligibilidade

- Medem os atributos que evidenciam o esforço do usuário para reconhecer o conceito lógico e sua aplicabilidade.


Entendimento da entrada/saída

X=A/BA= Número de funções onde o usuário compreende com sucesso os dados de entrada e saída em um curto período de avaliação.

B= Número de funções onde o usuário compreende com sucesso os dados de entrada e saída em um período de observação.



19/59


20/59


4. Métricas de Eficiência – Medem os atributos que evidenciam

o relacionamento entre o nível de desempenho do software e a quantidade de recursos usados, sob condições estabelecidas.

4.1. Métricas de Comportamento em relação aos recursos

- Medem os atributos do software que evidenciam a quantidade de recursos usados e a duração de seu uso na execução de suas funções.


Utilização da Memória X = A / BA = Quantidade de memória utilizadaB = Memória total

0 <= X <= 1Valor próximo da média é o melhor.

A= TamanhoB= TamanhoX= Tamanho

21/59


5. Métricas de Portabilidade

- Medem os atributos do software que evidenciam a capacidade do software em ser transferido de um ambiente para outro.

22/59


5.1 Métricas de Capacidade para ser instalado– Medem os atributos do software que evidenciam o

esforço necessário para sua instalação num ambiente especificado.


Pouco esforço para instalação

X = AA= Número de manuias de usuário necessários para instalação.

0 < XO menor valor é o melhor.

A= ContagemX= Contagem

23/59


6. Métricas de Manutenibilidade– Medem os atributos que evidenciam o

esforço necessário para fazer modificações especificadas no software.

24/59



Facilidade nas mudanças X = A / BA= Soma do tempo dedicado à mudança.B= Tamanho do software modificado.

0 <=XQuanto mais próximo de zero melhor

A= TempoB= TempoX= Tamanho

25/59

6.1 Métricas de Modificabilidade– Medem os atributos do software que evidenciam o

esforço necessário para modificá-lo, remover seus defeitos ou adaptá-lo a mudanças ambientais.


26/59

ISO/IEC 9126-3 - Métricas Internas

• Define indicadores e métricas internas para avaliar um produto de software

• Métricas internas referem-se a medições de um produto de software a partir de suas próprias características internas, sem a necessidade de execução dos programas.• Exemplos: número de linhas de código, número

de erros encontrados em revisões, etc.


27/59

• As métricas internas oferecem a possibilidade de medir a qualidade dos artefatos intermediários e de prever a qualidade do produto final

• Isto permite que sejam identificados problemas de qualidade e se inicie a ação corretiva assim que possível no ciclo de vida do desenvolvimento.

28/59


Métricas para as características e

sub-características de qualidade1. Métricas internas de Funcionalidade

- São usadas para prever se o produto de software em questão irá satisfazer os requisitos funcionais e suprir as necessidades dos usuários.

29/59


1.1 Métricas de Segurança– Indicam um conjunto de atributos para avaliar a capacidade

do produto de software de evitar acesso ilegal ao sistema e a seus dados.

Métrica Interna Fórmula Interpretação Tipo da Medida

Prevenção da corrupção dos dados

X=A/B

A= Número de instâncias implementadas de prevenção de corrupção de dados como especificado na revisão.

B= Número de instâncias de operação/acesso identificadas nos requisitos capazes de corromper os dados.



30/59


• Métricas internas de Confiabilidade

- São usadas para prever se o produto de software em questão irá satisfazer, na fase de desenvolvimento do produto, necessidades de confiabilidade preestabelecidas.

31/59


2.1 Tolerância a falhas– Indicam um conjunto de atributos para avaliar a capacidade

do produto de software de manter um nível de performance desejável em caso de falhas operacionais ou uso não natural das interfaces.


Não permissão de operações incorretas

X=A/B

A=Número de funções implementadas para evitar padrões de operações incorretas.

B=Número de operações incorretas que serão consideradas.

0 <= X

Melhor resultado para X maiores.


32/59


3. Métricas internas de Usabilidade- São usadas para prever em que extensão o

software em questão poderá ser entendido, aprendido, operado, atraente ao usuário e compatível com os regulamentos de usabilidade.

33/59


3.1 Métricas de aprendizado– Avaliam quanto tempo os usuários levarão para aprender a

usar funcionalidades particulares do sistema e a eficácia dos sistemas de ajuda e documentação.


Completude da documentação para o usuário e facilidade de uso dos sistemas de ajuda.

X= A/B

A= Número de funções descritas no documento.

B= Número total de funções do sistema.



34/59


4. Métricas internas de Eficiência- São usadas para prever a eficiência do

comportamento do produto de software durante os testes ou operação.

35/59


4.1 Métricas de utilização de recursos– Indicam um conjunto de atributos para prever a utilização de

recursos de hardware pelo sistema computacional incluindo o produto de software durantes os testes ou operação.


Utilização de Entrada e Saída

X=número de buffers(calculados ou simulados)

Quanto menor, melhor o resultado .

X= Tamanho

36/59


5. Métricas internas de Manutenabilidade- São usadas para prever o nível de esforço

necessário para modificar o produto de software.

37/59


5.1 Métricas de custo de mudança– Indicam um conjunto de atributos para prever o tempo de

esforço necessário na tentativa de implementação de uma mudança no produto de software.


Impacto da mudança X=1-A/B

A= Número de impactos detectados após as modificações

B=Número de modificações feitas.



38/59


6. Métricas internas de Portabilidade- São usadas para prever o efeito que o produto

de software terá no comportamento do sistema durante quando ele está sendo portado.

6.1 Métricas de Adaptabilidade– Indicam um conjunto de atributos para prever o impacto que

o produto de software pode ter no esforço do usuário ao tentar adaptá-lo a outros ambientes.

39/59


Adaptabilidade ao ambiente de hardware

X=A/B

A= Número de funções implementadas capazes de ter os mesmos resultados em diferentes ambientes de hardware

B=Número total de funções com requisitos de capacidade de adaptação de hardware.




40/59

ISO/IEC 9126-4 - Métricas de Qualidade em Uso

• A avaliação da Qualidade em Uso do software valida a qualidade do produto em cenários e tarefas comuns ao usuário

• Os atributos da qualidade em uso são categorizados pelas características: efetividade, produtividade, segurança e satisfação

• Usuários também podem desenvolver e aplicar métricas para seus domínios particulares de aplicação

41/59

ISO/IEC 9126-4 - Métricas de Qualidade em Uso: exemplo

Efetividade

Nome da Métrica: Tarefas Completadas

Propósito: determinar proporção de tarefas completadas

Fórmula: (# tarefas compltadas/ # tarefas tentadas)

Interpretação: 0 <= x <= 1, quanto mais próximo de 1, melhor

Entradas: relatório de operação, registro de histórico de uso

42/59

Qualidade no Ciclo de Vida do Software

43/59

Relacionamento entre os Tipos de Métricas

• Qualidade interna e externa são aplicáveis ao produto de software

• Qualidade em uso é aplicável ao efeito do produto de software em um cenário específico

• As métricas internas podem ser aplicadas a um produto de software não executável

• As métricas externas podem ser usadas para medir a qualidade do produto de software através da medição de seu comportamento em um sistema do qual ele faça parte

• As métricas de qualidade em uso medem o quanto o produto agrega às necessidades de usuários específicos

44/59

Certificação da Qualidade do Produto

• Conjunto planejado e sistemático de todas as ações necessárias para fornecer uma confiança adequada de que o item ou produto está de acordo com os requisitos técnicos estabelecidos. (ANSI/IEEE Std 730-1984)

45/59


Como avaliar um software de acordo com as características

estabelecidas???

46/59


• Orienta o planejamento e a execução de um processo de avaliação da qualidade do produto de software

• Complementa a ISO/IEC 9126.

• Inclui modelos para relatórios de avaliação, técnicas para medição das características, documentos necessários para avaliação e fases da avaliação

47/59

A Norma ISO/IEC 14598:visões

Certificação Quem realiza Finalidade

de 1a. parte Empresas que desenvolvem software Melhorar a qualidade de seu próprio produto

de 2a. parte Empresas que adquirem software Determinar a qualidade do produto que irão adquirir

de 3a. parte Empresas que fazem certificação Emitir documento oficial sobre a qualidade de um software

48/59

A Norma ISO/IEC 14598:estrutura

Norma Nome Finalidade

14598-1 Visão Geral Ensina a utilizar as outras normas do grupo

14598-2 Planejamento e Gerenciamento Sobre como fazer uma avaliação, de forma geral

14598-3 Guia para Desenvolvedores Como avaliar sob o ponto do vista de quem desenvolve

14598-4 Guia para Aquisição Como avaliar sob o ponto de vista de quem vai adquirir

14598-5 Guia para Avaliação Como avaliar sob o ponto de vista de quem certifica

14598-6 Módulos de Avaliação Detalhes sobre como avaliar cada característica


Seção Itens

1 - Prefácio Identificação do avaliadorIdentificação do relatório de avaliaçãoIdentificação do contratante e fornecedor

2 - Requisitos Descrição geral do domínio de aplicação do produto Descrição geral dos objetivos do produto

Lista dos requisitos de qualidade, incluindo- Informações do produto a serem avaliadas- Referências às características de qualidade- Níveis de avaliação

3 - Especificação Abrangência da avaliaçãoReferência cruzada entre os requisitos de avaliação e os componentes do produtoEspecificação das medições e dos pontos de verificaçãoMapeamento entre a especificação das medições com os requisitos de avaliação

4 - Métodos Métodos e componentes nos quais o método será aplicado

5 - Resultado Resultados da avaliação propriamente ditosResultados intermediários e decisões de interpretaçãoReferência às ferramentas utilizadas

49/59

• Modelo de relatório de avaliação, segundo um anexo da norma ISO/IEC 14598-5.

50/59


• Em resumo:– complementa a ISO/IEC 9126;– permite uma avaliação padronizada das características

de qualidade de um software.

• É importante notar que, ao contrário da ISO/IEC 9126, a ISO/IEC 14598 apresenta detalhes, incluindo:– modelos para relatórios de avaliação;– técnicas para medição das características;– documentos necessários para avaliação– fases da avaliação.

• SQuaRE – Software Product Quality Requirements and Evaluation (ISO 25000)

Projeto SQuaRE

Requisitos de

Qualidade2503n

Modelo de Qualidade

2501n

Gestão de Qualidade

2501n

Medições2501n

Avaliação2504n

51/59

Square – Normas Publicadas

• ISO/IEC 25000 - Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE;

• ISO/IEC 25001 - Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Planning and management;

• ISO/IEC 25020 - Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Measurement reference model and guide;

• ISO/IEC TR 25021 - Software Engineering: Software product Quality Requirements and Evaluation (SQuaRE) - Quality measure elements;

• ISO/IEC 25030 - Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements;

• ISO/IEC 25051 Software Engineering – Software product Quality Requirements and Evaluation (SQuaRE) – Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing; e

• ISO/IEC 25062, Software engineering: Software product Quality Requirements and Evaluation (SquaRe) - Common Industry Format (CIF) for Usability Test Reports.

52/59

53/59

Técnicas de Avaliação de Produto de Software

• Podemos destacar:– Testes– Revisões

Modelos de Maturidade para Testes

• Modelos de referência para o processo de desenvolvimento são superficiais em relação às atividades de testes

• Modelos de maturidade para testes – modelos de referência para a definição de processos de testes mais eficientes.

• Investir em processo falho é desperdiçar mais recursos para obter os mesmos resultados.

54/59

Test Process Improvement - TPI

• 20 áreas chaves dividas em: • ciclo de vida do desenvolvimento do software; • técnicas de planejamento e testes;• infra-estrutura do ambiente de testes;• fatores organizacionais.

Matriz de

Maturidade

De Teste

Matriz de

Maturidade

De Teste

Áreas ChaveÁreas Chave

NíveisNíveis

Pontos de VerificaçãoPontos de Verificação Sugestões de MelhoriaSugestões de Melhoria

55/59

Test Maturity Model Integration - TMMI

• Baseado no CMMI

• 5 níveis de maturidade, áreas de processo definidas para cada nível Inicial

Definição

Integração

Gerenciamento e Medição

Otimização

56/59

Test Improvement Model - TIM

• Desenvolvido pela Ericson, Subotic, Ursing• 5 níveis de maturidade:

• Nível 0• Nível 1 – Baseline• Nível 2 – Cost-efectiveness • Nível 3 – Risk-lowering• Nível 4 – Optimizing

• Aspectos:• Organização• Planejamento e rastreabilidade• Casos de testes• Testware• Revisões

57/59

58/59

Conclusão

• Produzir software de qualidade é uma tarefa difícil, porém possível.– O processo de avaliação de produtos de

software complementa o processo de desenvolvimento

59/59

Conclusão

• São vários os benefícios alcançados decorrentes da avaliação de produtos de software:– O produtor poderá assegurar a qualidade do produto final;– Redução nos custos com a manutenção do software;– O usuário ficará mais satisfeito, pois estará adquirindo um

produto de qualidade;– O vendedor poderá usar como argumento de venda a

qualidade assegurada do produto que está vendendo;– Organizações poderão exigir critérios de qualificação com

propósitos específicos.

Documents

Qualidade do Produto de Software. 2/59 Normas e Modelos de Qualidade do Produto de Software –ISO/IEC 9126 »Características de qualidade de software –ISO/IEC