1

Qualidade, Processos e Gestão de Software

Modelos de Avaliação de Processo

11/09/2008

2

Nielso Oliveira (ncoj@cin.ufpe.br)

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

3

Contextualização

4

Software faz parte de várias atividades do dia-a-dia da sociedade moderna;

Globalização -> Aumento da concorrência -> Qualidade como diferencial competitivo

Mas, como melhorar a qualidade do software?

QUALIDADE DO QUALIDADE DO PRODUTO DE PRODUTO DE SOFTWARESOFTWARE

QUALIDADE DO QUALIDADE DO PROCESSO DE PROCESSO DE DESENVOLVIMENTODESENVOLVIMENTO

SW-CMM ISO 9126

CMMI-Dev

MPS Br

ISO 12207

Bootstrap

ISO 14598

ISO 12119

ISO 25000 (SQuaRE)

Modelos de Qualidade de Processo

5

SEI CMMIIntegração de vários modelos (SW-CMM, IPD-CMM, SE-CM)Agrupamento das Áreas de Processo em Categorias

[CMMI]

Modelos de Qualidade de Processo

6

SEI CMMI

Representação por estágiosÁreas agrupadas por nível (1 a 5)Avaliação da maturidade organizacional

Representação contínuaAgrupamento de acordo com as necessidade da organização (profile)Avaliação da capacidade dos processos

Modelos de Qualidade de Processo

7

MPS Br

Iniciativa do governo brasileiro para fomentar a melhoria dos processos em micro, pequenas e médias empresas desenvolvedoras de software;

Base técnica na ISO 12207 (Processos, propósitos e resultados), ISO 15504 (Capacidade dos processos e Requisitos de avaliação) e SEI CMMI (Complementação de processos);

Representação por estágios (7 níveis);Avaliação da maturidade organizacional.

[MPS]

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

8

Definição: Um exame disciplinado dos processos utilizados pela organização em relação a um modelo de referência.

[ISO/SPICE 15504-1]

• Avaliação de processo de software não é uma auditoria, mas uma revisão que visa recomendar ações de melhoria à organização.

[HUMPHEY apud SCHWENING]

• Aspectos importantes:• Contexto: auto-avaliação ou organização independente• Objetivos: melhoria do processo ou verificação da capacidade• Escopo: todos os processos ou um subconjunto selecionado

[ANDRADE]

Avaliação de Processos

9

Assessment versus Auditoria

• Fatores chave para o sucesso:• Comprometimento da gerência• Independência da equipe de avaliadores• Confidencialidade• Relevância• Credibilidade

[ISO/IEC 15504-3]

Avaliação de Processos

10

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

11

ISO/IEC 15504

1. Histórico• Em 1993 a ISO organizou um estudo sobre a necessidade de se

definir um padrão par avaliação de processos de software;• Criado o Projeto SPICE (Software Process Improvement and

Capability dEtermination) com os seguintes objetivos:• Criar a versão inicial da futura norma;• Conduzir avaliações experimentais baseadas na proposta;• Promover a adoção da futura norma na indústria.

[SPICE]

• Em 1998, após mais de 100 avaliações experimentais, foi publicada a versão ISO/IEC1 TR 15504;

• Em 2003 foi publicada a Norma ISO/IEC 15504: Information Technology – Process Assessment

12

1 ISO – International Organization for Standardization IEC – International Eletrotechnical Comission

ISO/IEC 15504

1. O que é?Um framework para avaliação de processo que pode também ser

utilizado como modelo de referência para melhoria de processo.[SALVIANO]

1. Organização• 15504-1: Conceitos e Vocabulário• 15504-2: Requisitos para Avaliação de Processo• 15504-3: Guia sobre a Execução de uma Avaliação• 15504-4: Guia sobre a Melhoria de Processo e Determinação da

Capacidade de Processos• 15504-5: Um Modelo de Avaliação de Processos baseados na

ISO/IEC 12207. [ISO/IEC 15504-1]

13

1 ISO – International Organization for Standardization IEC – International Eletrotechnical Comission

ISO/IEC 15504-2

1. ISO/IEC 15504-2 – Requisitos para avaliação de processos• Um modelo de avaliação de processo está relacionado a um ou

vários Modelos de Referência de Processo;• O processo de avaliação deve estar documentado;• O processo deve contemplar, no mínimo, as seguintes atividades:

planejamento, coleta e análise dos dados, pontuação dos atributos, divulgação dos resultados;

• Os critérios de classificação devem estar documentados (measurement framework);

• Devem ser definidas as responsabilidades do patrocinador da avaliação (sponsor), do líder da avaliação e da equipe de avaliação;

• Os resultados da avaliação devem ser registrados.

14

[ISO/IEC 15504-2]

ISO/IEC 15504-2

1. ISO/IEC 15504-2 – Measurement Framework

15

0-15

15-50

50-85

85-100

%

Há pouca ou nenhuma evidência da implementação do atributo do processoNão implementado - NI

DescriçãoEscala de Classificação

Identifica-se que há uma estratégia estabelecida para se implementar o atributo do processo e já são observadas algumas evidências.

Parcialmente Implementado – PI

Há evidências significativas da implementação do atributo de processo. Contudo, identifica-se alguns pontos fracos.

Largamente implementado LI

Há evidências de que ao atributo foi completamente implementado pela organização. Não são identificados pontos fracos significantes.

Totalmente Implementado - TI

5 - Em Otimização

4 – Previsível

3 – Definido

Níveis de Capacidade do Processo

2 – Gerenciado

1 – Executado

0 – IncompletoConjunto de atributos

[ISO/IEC 15504-2]

ISO/IEC 15504-2

1. ISO/IEC 15504-2 – Requisitos para um processo de avaliação

16

[ISO/IEC 15504-2]

ISO/IEC 15504-5

1. ISO/IEC 15504-5 – Um Modelo de Avaliação de Processos baseados na ISO/IEC 12207

17

[ISO/IEC 15504-5]

ISO/IEC 15504-5

1. ISO/IEC 15504-5 – Um Modelo de Avaliação de Processos baseados na ISO/IEC 12207

18

[ISO/IEC 15504-5]

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

19

SCAMPI

1. O que é?O SCAMPI v1.2(Standard CMMI Appraisal Method for Process

Improvement) é o método oficial do SEI para conduzir avaliações relativas ao CMMI.

• ARC v1.2 – Appraisal Requirements for CMMIDefine os requisitos essenciais para um método de avaliação a ser

utilizado com o CMMI.

• Definição de responsabilidades do sponsor e do líder da avaliação;• Versão do modelo, versão/classe ARC;• Planejamento e preparação da avaliação;• Coleta de Dados;• Consolidação e Validação dos dados;• Processo para classificação;• Relato dos resultados.

20

[ARC]

SCAMPI

1. ARC v1.2 – Assessment Requirements for CMMIDefine ainda classes para esses métodos de acordo a aplicação dos

mesmos.

21

Necessidade de obter uma visão rapidamente

Auto-avaliação para planejamento da melhoria

Definir nível de maturidade/ capacidade

Pessoa treinada e experiente

Pessoa treinada e experiente

Lead AppraiserLíder da Avaliação

124Tamanho do Time

OpcionalOpcionalSimEscopo organizacional?

NãoNãoSimGera classificação?

Documentos ou Entrevistas

Documentos e Entrevistas

Documentos e Entrevistas

Evidências a serem coletadas

Classe CClasse BClasse ARequisito

SCAMPI

Aderente à ISO-15504[ARC]

SCAMPI

1. Premissas e Princípios• Método de benchmarking;• Cumprimento dos objetivos é determinado em função do

planejamento e implementação no processo/projeto;• A verificação da implementação é realizada através da coleta de

evidências.

22

ExemploDescriçãoTipo de Evidência

Entrevistas, apresentações, questionários, etc. Afirmações Orais ou escritas para confirmar a implementação de uma prática.

Afirmações

Atas de reunião, relatórios de revisão, apresentações, etc.

Consequência do uso da práticaArtefatos indiretos

Produtos de trabalho típicos listado no Modelo;

materiais de treinamento, documentos dos projetos, etc.

Resultados diretos da implementação da prática genérica ou específica.

Artefatos diretos

[SCAMPI]

SCAMPI

1. Etapas da Avaliação• Planejamento e Preparação para a avaliação: escopo, equipe,

análise preliminar da evidências;• Execução da Avaliação: coleta e análise dos dados,

caracterização das práticas, e classificação dos objetivos, das áreas de processo (capacidade), e da organização (maturidade);

23

[SCAMPI]

SCAMPI

1. Etapas da Avaliação – Execução (continuação)Caracterização das práticas nos projetos/processos;

24

Ainda não foi alcançado a erapa do ciclo de vida em que a prática seja aplicável.Não Aplicável - NA

Não foram encontrados artefatos diretos ou os mesmos foram julgados inadequados;

Não foram encontradas outras evidências, e;

Foi identificado ao menos uma oportunidade de melhoria.

Não implementado - NI

DescriçãoClassificação

Não foram encontrados artefatos diretos ou os mesmo foram julgados inadequados;

Artefatos indiretos ou afirmações sugerem que prática é executada e;

Foi identificado ao menos uma oportunidade de melhoria.

OU

Um ou mais artefatos diretos foram encontrados e julgados adequados;

Não foram encontradas outras evidências, e;

Foi identificado ao menos uma oportunidade de melhoria

Parcialmente Implementado - PI

Um ou mais artefatos diretos foram encontrados e julgados adequados;

Existe pelo menos um artefato indireto ou uma afirmação que confirmem a execução da pática;

Foi identificada ao menos uma oportunidade de melhoria.

Largamente implementado LI

Um ou mais artefatos diretos foram encontrados e julgados adequados;

Existe pelo menos um artefato indireto ou uma afirmação que confirmem a execução da pática;

Não foram identificadas oportunidades de melhoria.

Totalmente Implementado - TI

[SCAMPI]

SCAMPI

1. Etapas da Avaliação – Execução (continuação)Caracterização das práticas na organização

Classificação dos Objetivos - O objetivo é graduado satisfeito quando todas as práticas são LI ou TI e os pontos fracos associados não tem impacto negativo com o alcance do objetivo.

25

Não AplicávelTodos NA

Não ImplementadoTodos NI ou NA com pelo menos um NA

Parcialmente ImplementadoTodos PI ou NI ou NA, com pelo menos um PI

OrganizaçãoProjetos e Processos

Largamente Implementado ou Parcialmente Implementado (Decisão do time)Pelo menos um LI ou TI e pelo menos um PI ou NI

Largamente ImplementadoTodos LI ou TI ou NA com pelo menos um LI

Totalmente Implementado.Todos TI ou NA com pelo menos 1 TI

[SCAMPI]

SCAMPI

1. Etapas da Avaliação (continuação)• Relatar os resultados

26

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

27

MA – MPS Br

1. O que é?O MA MPS Br v1.1 é o método de avaliação da maturidade de uma

organização de acordo com o MPS Br v1.2.

28

Baseado na ISO/IEC 15504

[MPS]

MA MPS Br

1. Fatores chave para o sucesso da avaliação• Comprometimento da gerência;• Motivação;• Fornecimento de feedback;• Confidencialidade;• Percepção dos benefícios;• Credibilidade.

2. Etapas da Avaliação• Contratar a avaliação• Preparar a avaliação• Realizar a avaliação final• Documentar os resultados

29

[MPS]

MA MPS Br

1. Etapas da Avaliação• Contratar a avaliação:

• Pesquisar instituição avaliadoras (site SOFTEX);• Estabelecer contrato.

• Preparar para a realização da avaliação:• Viabilizar a avaliação (seleção equipe, autorização SOFTEX)• Planejar avaliação (definir período, selecionar projetos,

selecionar entrevistados);• Preparar a avaliação (levantamento de indicadores)

30

DescriçãoTipo de Evidência

Obtidas em entrevistas ou apresentações e confirmam a implementação do processo, seus resultados e atributos

Afirmações

São conseqüência da realização de uma tarefa e que referendam a implementação de um resultado, mas que não são o produto principal da tarefa.

Indicadores indiretos

Produto principal da realização de uma tarefaIndicadores diretos

[MPS]

MA MPS Br

1. Etapas da Avaliação• Preparar para a realização da avaliação (continuação):

• Realizar avaliação inicial (análise dos indicadores);• Analisar os dados da avaliação inicial (elaboração de relatório

e envio para auditoria pelo SOFTEX, definição da data da avaliação final).

• Realizar Avaliação Final• Conduzir a avaliação final (verificar evidências, realizar

entrevistas, caracterizar grau de implementação dos atributos de processo nos projetos e na organização, caracterizar o grau de implementação dos processos na organização, atribuir nível MPS Br)

31

[MPS]

MA MPS Br

1. Etapas da Avaliação - Realizar Avaliação Final (continuação)Caracterizar grau de implementação dos resultados esperados

do processo e dos resultados de atributos de processo nos projetos.

32

[MPS]

MA MPS Br

1. Etapas da Avaliação - Realizar Avaliação Final (continuação)

Caracterizar grau de implementação dos resultados esperados (atributos e dos processos) na unidade organizacional

33

[MPS]

MA MPS Br

1. Etapas da Avaliação - Realizar Avaliação Final (continuação)

Caracterizar grau de implantação dos atributos do processo na unidade organizacional

34

[MPS]

MA MPS Br

1. Etapas da Avaliação - Realizar Avaliação Final (continuação)

Caracterização do grau de implementação dos processos na organização – Um processo é graduado satisfeito quando todos os resultados esperados foram caracterizados como Totalmente Implementado ou Largamente Implementado.

35

[MPS]

MA MPS Br

1. Etapas da Avaliação - Realizar Avaliação Final (continuação)

• Atribuir nível MPS Br (Processo Satisfeito + Implementação Atributos)

• Comunicar resultado ao patrocinador;• Comunicar resultado aos colaboradores da organização.

• Documentar os resultados da avaliação (preparar relatório da avaliação, enviar para auditor, efetuar ajustes, enviar à SOFTEX).

36

[MPS]

Agenda

1. Contextualização

2. Avaliação de Processo

1. ISO/IEC 15504

1. SCAMPI

1. MA-MPS Br

1. Conclusão

37

A simples adoção de um modelo não garante que a qualidade do software irá aumentar!

Conclusão

38

Precisamos saber se o processo foi adequadamente definido.

O processo Referência precisa ser utilizado pela organização e estar adequado às suas necessidades.

Tornar pública a qualidade dos processos pode ser um diferencial competitivo!

A

V

A

L

I

A

Ç

Ã

O

Aderência ao Modelo de Referência

Avaliações Internas

Avaliação Oficial

Referências

39

• [ANDRADE] ANDRADE, Jeann M. S., Avaliação de Processos de Software em Ambientes de Desenvolvimento orientados à Organização, dissertação de mestrado da COOPE – UFRJ, 2005.

• [ARC] Appraisal Requirements for CMMI, Version 1.2 (ARC, V1.2), (CMU/SEI-2006-TR-011). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August 2006.

• [CMMI] CMMI for Development version 1.2, Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August 2006.

• [ISO/IEC 15504-1] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC 15504-1: Information Technology - Process Assessment – Part 1 - Concepts and Vocabulary, Genebra: ISO, 2004.

• [ISO/IEC 15504-2] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC 15504-2: Information Technology - Process Assessment – Part 2 - Performing an Assessment, Genebra: ISO, 2003.

• [ISO/IEC 15504-3] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC 15504-3: Information Technology - Process Assessment - Part 3 - Guidance on Performing an Assessment, Genebra: ISO, 2004.

Referências

40

• [ISO/IEC 15504-5] - International Organization for Standardization and International Electrotechnical Commission. ISO/IEC CD 15504-5: Information Technology - Process Assessment - Part 5: An exemplar Process Assessment Model, Genebra: ISO, 2004

• [MPS] MPS.BR – Guia de Avaliação, v1.1, Julho/2007, Softex.• [SALVIANO] SALVIANO, Clênio F. Melhoria e Avaliação de Processo de

Software com o Modelo ISO/IEC 15504-5:2006. Lavras: UFLA,2006• [SCAMPI] Standard CMMI Appraisal Method for Process Improvement

Version 1.2: Method Definition Document (CMU/SEI-2006-HB-002). Pittsburgh, Software Engineering Institute, Carnegie Mellon University, August 2006.

• [SCHWENING] SCHWENING, Cristiano. Fundamentos para um Método Unificado para avaliação de processo de software. Blumenau: 2007

• [SPICE] SPICE – Software Process improvemente and Capability Determination. Disponível em http://www.sqi.gu.edu.au/spice. Acessado em 10-09-2008.

Qualidade, Processos e Gestão de Software

Modelos de Avaliação de Processo

11/09/2008

41

Nielso Oliveira (ncoj@cin.ufpe.br)

42