Gestão de Métricas de Software: aspinsp.org.br/apresentacao/necagosto2001.pdf · Gestão de Métricas de Software: a experiência da NEC do Brasil Desenvolvimento e início de Implementação

Gestão de Métricas de Software: aexperiência da NEC do Brasil

Desenvolvimento e início de Implementação

Renato Luiz Della Volpe

Agosto/2001

Agenda .

• O modelo CMM• Histórico SPI - NEC• Métricas e o CMM• Situação atual

– Exemplos de práticas: Self-ass.; Atividades SPI

• O que está sendo feito– Processo de desenvolvimento de métricas– Definição de métricas corporativas

• Prazo; Custo e qualidade

SPIN São Paulo - Software Process Improvement Network - Agosto / 2001

NEC do Brasil - Perfil

BRASIL

São Paulo - CTR

Guarulhos

Salvador

(BA)

Florianópolis

(SC)

Curitiba

(PR)

Maringa

(PR)Rio de Janeiro

(RJ)

Campinas

Fundação: 26 de novembro de 1968Presidente Renato IshikawaMatriz Rod.Presidente Dutra, km 214

Guarulhos São PauloEmpregados 1.600 (Junho 2001)Área construída: 47513 m2Terreno: 204306 m2

Porto Alegre

(RS)


NEC do Brasil - Perfil

TRANSMISSION WIRELESS - RÁDIO

NETWORK - COMUTAÇÃOMOBILE - SISTEMAS CELULARES


O modelo CMM

n Inicial

o Repetitivo

p Definido

q Gerenciado

r Otimizado

RiscosDesperdício

QualidadeProdutividadeVisibilidade

Processo disciplinado

Processo consistente e padronizado

Processo previsível e controlado

Processo aperfeiçoadocontinuamente

Processo imprevisível e sem controle

Capability Maturity Model• Estrutura e elementos chave - Processo de software eficaz• Caminho evolutivo até um processo maduro e disciplinado• Aplicação do TQM


O modelo CMM - Maturidade

In Out

In Out

In Out

In Out

In Out

n

o

p

q

r


Foco das medições - Níveis do CMM)RFR�&00�1tYHO�d�Æ *HVWmR�GH�3URMHWRV

0pWULFDV�GH�DFRPSDQKDPHQWR�GH�3URMHWRV0pWULFDV�GH�(VWLPDWLYDV3ULQFLSDLV�³0LOHVWRQHV´

)RFR�&00�1tYHO�e�Æ� 4XDOLGDGH�GR�3URGXWR

'HIHLWRV�SRU�SURGXWR�H�SURGXWRV�GH�WUDEDOKR&XVWRV�GD�4XDOLGDGH

&XVWRV�SDUD�HYLWDU�H�FRUULJLU�SUREOHPDV&XVWRV�GH�DYDOLDomR�GR�SURFHVVR�GH�VRIWZDUH�

)RFR�&00�1tYHO�fÆ� &DSDFLGDGH�H�&RQWUROH�GR�3URFHVVR

'LVWULEXLo}HV�GR�'HVHPSHQKR�GR�3URFHVVR&(3$QiOLVH�GH�FRQILDELOLGDGH$QiOLVH�GH�FRPSOH[LGDGH

)RFR�&00�1tYHO�gÆ� *HVWmR�GH�0XGDQoDV

5HWRUQR�VREUH�LQYHVWLPHQWR�±�52,$QiOLVH�GH�GHIHLWRV$QiOLVH�GH�YDORU


Histórico da Qualidade de SW na NEC

1996• Parceria USP• Formação grupo

SEQT• Estudo e análise

de modelos• Inicio adequação

CMM

Aprendizagem

1997• Pré-Appraisals

(fotografia global)• Curso SCE

(requisito p/avaliadoresinternos)

• Appraisal oficial• Rádio - Nível 2

(Nov.)

Foco - Nível 2

1998• Comutação -

Nível 2 (Abr.)• Transmissão -

Nível 2 (Nov.)• Manual da

Qualidade deSoftware Æ FocoNível 3

Padronização

1999 / 2001• Constituição de

Base sólida doProcesso -SPI

• Educação /Motivação

• CompromissoAltaAdministração

Foco - Nível 3

Situação atual.

Estudo de Métricas

O que temos hoje em termosde métricas / indicadores de

desempenho / mediçõescorporativas.


Situação atual

Estudo de Métricas

� Spi|-- � Ajuda|-- � Grupos|-- � Index|-- � Medições--------------|-- � Prod_Trab_SW|-- � Templates|-- � Treinamento|-- � Workshops

BANCO DE DADOS


Situação atual

Estudo de Métricas

� Spi|-- � Ajuda|-- � Grupos|-- � Index|-- � Medições--------------|-- � Prod_Trab_SW|-- � Templates|-- � Treinamento|-- � Workshops

BANCO DE DADOS

|� Appraisal|� Audit9000|� MCT|� Plano Geral|� Self-Assessment|� SEQT


Situação atual

Estudo de Métricas

|� Appraisal � dados e informações avaliações formais, por área epor nível - QUALITATIVO

|� Audit9000 � dados e informações das auditorias internas e externasdo SGQ - QUALITATIVO

|� MCT � dados e informações referentes a Lei nº 8.248/91 enviadas emrespectivos relatórios do Ministério de Ciência e Tecnologia -dados de 1997 ~ 2000 - QUANTITATIVO / QUALITATIVO

|� Plano Geral � Situação do Plano de SPI - Cronograma - evoluçãoe versões de 1998 ~ 2000 - QUALITATIVO

|� Self-Assessment � dados e informações das avaliaçõesinternas por área de 1999 ~ 2001- QUALITATIVO

|� SEQT � Relatórios de atividades anuais do grupo - Horas e atividadesdesenvolvidas - relatório 1998 ~ 2001 - QUANTITATIVO / QUALITATIVO


Métricas - Exemplos

� Conhecer e entender nossos processo e práticasrelativos ao modelo CMM

� identificar os pontos fortes� identificar oportunidades de melhoria� identificar ações de melhoria e questões de maior

prioridade

� Facilitar o processo de ações de melhoria� ter o domínio sobre os resultados� fornecer uma estrutura para ações� reforçar o compromisso gerencial

� Suportar a melhoria do processo de gestão dedecisões

� Facilitar ou motivar os compromissos daorganização no processo de melhoria




Questionário

QDC

Self-Assessment - Método



(1) Sistemática= Estabelecida ou definida, e documentada quando aplicável(2) Institucionalizada = execução dos Compromissos, Habilidades, Medições e

Verificações estabelecidos no modelo CMM(3) Implementada = execução da Atividades estabelecidas no modelo CMM

Porcentagem Critério de pontuação

0% Sem metodologia que atenda a prática solicitada

a- Existe uma metodologia sistematizada (1)

25% b- Práticas não institucionalizadas (2) ou implementadas (3)

c- Não são atendidos todos os objetivos da prática solicitada


50% b- Práticas em fase de institucionalizadas (2) ou implementadas (3)

c- Não são atendidos todos os objetivos da prática solicitada


75% b- Práticas em fase de institucionalizadas (2) ou implementadas (3)

c- São atendidos todos os objetivos da prática solicitada


100% b- Práticas institucionalizadas (2) ou implementadas (3)

c- São atendidos todos os objetivos da prática solicitada



Nível 2 Pontuação por requisito das KPA’s


Adequado Não Adequado

Métrica de avaliação do SPI

Resultados Finais de Self-AssessmentKPA's Nível 2 - Área XYZ - Abril/2001

73,784,4

68,3 62,5 68,7 71,5

26,315,6

31,7 37,5 31,3 28,5

0%

20%

40%

60%

80%

100%

RM SPP SPTO SQA SCM Média



Indice de Melhoria - Evolução dos processos por KPA

19%

14%

0

20

40

60

80

100

RM SPP SPTO SQA SCM NÍVEL2

OPF OPD TP ISM SPE IC PR NÍVEL3

Tot

al d

e pt

os o

btid

os

-20%

-10%

0%

10%

20%

30%

40%

50%

Dez./2000 Abr./2001 Evolução



Evolu ção dos resultados - 3 últimas avalia ções

60,2 62,671,5

50,0 53,063,2

0,0

20,0

40,0

60,0

80,0

100,0

Ago./2000 Nov./2000 Abr./2001

(%)

Nível 2 Nível 3



Data Assuntos abordados Relatório Período Horas

GQ RH

Resumo sucinto dos temas tratados na reunião

Número do Relatório de

Reunião da AGQ ou DGQ

Horário de início e término das reuniões

Total de Horas da reunião

Ren

ato

Vol

pe

Ana

Cec

ília

Kiy

oshi

Got

o

Nak

ason

e

Ale

xand

re L

igo

Fáb

io L

. Cha

gas

Eur

iana

Far

ley

Nob

re

Aur

ea

Cel

so T

eram

ae

Joel

S. S

ilva

Ric

ardo

Gom

es

Mar

ia R

egin

a

Reg

inél

io

Cha

rles

Ran

gel

Ric

ardo

Nis

him

aki

Ron

is C

aleg

ari

Mar

celo

Pes

soa

Mau

ro S

pino

la

07/JanOficialização SEQT/SEPG; SPI Plan 2000; Contrato Vanzolini

AGQ 022/2000 8:30 ~ 11:30 3,01 1 1 1 1 1 1 1 1 1 1

02/MaiNP - Revisões Técnicas Formais Peer Reviews

AGQ 061/2000 14:00 ~ 16:30 2,51 1 1 1 1 1

Participantes

Trm. Wireless Network Mobile Ext.Áreas

15/DezVerificação Independente do SEQT

Relatório feito pela Vanzolini

8:00 ~ 13:00 5,01 1 1 1 1 1 1 1 1 1 1 1

18 12 10 2 11 13 5 1 4 9 15 4 9 11 3 2 4 3 6

97,5

545,5 71,5 46,0 38,5 4,5 34,0 51,5 16,5 2,5 24,5 35,0 54,5 12,0 37,5 35,0 9,5 11,0 13,5 25,0 23,0

73% 47% 39% 5% 35% 53% 17% 3% 25% 36% 56% 12% 38% 36% 10% 11% 14% 26% 24%

GQ RH

545,5 71,5 13,5

100,0%

13,1

%

2,5%Porcentagem de homem.hora por área

84,5

Trm. Wireless

133,5

15,5% 24,5%

Total de homem.hora por área

Áreas

Porcentagem (Horas dedicadas por pessoa / Total de horas de reuniões)

Ext.

48,0

18,6% 17,0% 8,8%

Network Mobile

101,5 93,0

Numero de participações em atividades corporativas (em um total de 21)

Total de Horas de reuniões

Total de homem.hora



7 6 %

1 0 0 %

2 6 %

5 5 %

9 7 %

2 0 %

5 0 % 7 0 %

0%20%40%

60%80%

100%

1º Trim 2º Trim . 3º Trim 4º Trim

P lanejado Real

Incluindo - Relato dos itens não concluídos

O que está sendo feito.

Estudo de Métricas

O que é necessáriodesenvolver em termos de

métricas corporativas.


O que está sendo feito

Estudo de Métricas

• Processo para desenvolvimento eaperfeiçoamento das métricas

• Definição das métricas corporativas



Estudo de Métricas

Plano

ExecuçãoAvaliação

MelhoriaMétricas

adequadas

Análise de resultados

Ações Plano demedições

Weakness

Processo para desenvolvimento e aperfeiçoamento das métricas

Definição



Estudo de Métricas

Plano

ExecuçãoAvaliação

MelhoriaMétricas

adequadas


Ações Plano demedições

Weakness

Processo para desenvolvimento e aperfeiçoamento das métricas

Definição

Informação

e Dados

Appraisal - CBA

AuditoriasISO - 9000

Medições - Métricasde produto e processo

Benchmarking

ComitêsnDiretivo - oQualidade

Self-Assessment

Macro

Âmbito da ADS

Âmbito corporativo

Comitê Diretivo

SEQT

Comitê da Qualidade+ SEPG

SEPG

SEQT

ClienteSolicitações/reclamações

Alterações no modelo

Procedimentos/Métodos

SEQTSEPG

•Desenvolvernovas atividades

•Atender àsdiretrizes

•Padronização•Manter estrutura

operacional

SEQT

SEPG

Plano de AçõesCorporativo

Planos de Açõesdas ADS

Atividades deÂmbito Corporativo

Atividades deÂmbito da ADS

Aprendizados

Mudanças no OSSPn Ciclo e vidao Novos métodos

Resultadosde SQA


Diretrizes / informações necessáriasSPI

P

D

C

A


Time/US$/Schedule

0

10

20

30

40

50

60

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Definição das métricas corporativas

Estudo de Métricas

Objetivos da NEC com a melhoria do processo de softwareEstabelecidos pelo modelo CMM

PrazosCustos

Qualidade

99

9



Estudo de Métricas

Prazos• % de projetos entregues no prazo estabelecido ou considerar

variações de 10%, 20%, 30%...100% do prazo estabelecido.(levantamento mensal; semestral...)

Exemplos: Prazo estimado: 20 dias 5 meses Prazo real: 25 dias 6 meses 25 % de variação 20 % de variação



Estudo de Métricas

Prazos• % de projetos entregues no prazo estabelecido ou considerar

variações de 10%, 20%, 30%...100% do prazo estabelecido.(levantamento mensal; semestral...)

Exemplos: Prazo estimado: 20 dias 5 meses Prazo real: 25 dias 6 meses 25 % de variação 20 % de variação

% Projetos-25 % ~ -10% 0-10 % ~ -5% 0- 5 % ~ -0% 10

0% 30-0 % ~ 5% 40- 5 % ~ 10% 1510 % ~ 25 % 525 % ~ 40 % 0

TOTAL (%) 100

% Projetos

0 0

10

30

40

15

50

-25

% ~

-10%

-10

% ~

-5%

- 5 %

~ -0

% 0%-0

% ~

5%

- 5 %

~ 1

0%10

% ~

25

%25

% ~

40

%


Variação Porcentual - Prazo de entrega

-15%

-10%

-5%

0%

5%

10%

15%

20%

25%

30%

0 5 10 15 20


Estudo de Métricas - Proposta

Projeto DataPlanejada

Item doProjeto

Data Realde Entrega(Aceitação/teste final)

Entregasno Prazo

Nota Total deMeses

PrevistosPPE

Total deMesesReaisPRE

Variação

A 03/Out A1 03/Out 1 4 4 0%04/Out A2 04/Out 1 3,5 3,5 0%15/Out A3 20/Nov 0 3 4 25%

B 16/Out B 25/Out 0 3 3,3 9%C 27/Out C1 0 5

I 15/Dez I1 15/Dez 1 12 12 0%15/Dez I2 30/Dez 0 12 12,5 4%

TOTAIS Ø ØItens Planejados 18 Ø

Projetos entregues no prazo 8PSEP = ( 8 / 18) x 100 = 44%

Prazos


Estudo de Métricas


Custos3UHYHQomR $YDOLDomR )DOKD�LQWHUQD )DOKD�([WHUQD

• 0�2��SDUDUHWUDEDOKR

• 9LDJHQV

• +RVSHGDJHQV

• 9LVLWDV

• +�([WUD

• 0�2��SDUDUHWUDEDOKR

• 'LiULDV

• &XVWRV�GH�*DUDQWLD

• 0XOWDV

• $WLYLGDGHV�GH64$

• 7UHLQDPHQWR

• *UXSRV�GH7UDEDOKR

• $SSUDLVDO

• 6HOI�$VVHVVPHQW

• $WLYLGDGHV�GH�3HHU5HYLHZ

• $WLYLGDGHV�GH*UXSRV�GH�7HVWHV

• $WLYLGDGHV�*UXSRGH�9DOLGDomR




DIMENSÃO ITEM DADOS ACOLETAR/RELATAR

Unid.

Obs.:

Tempo dedicado para:• Planejamento• Acompanhamento• Execução da revisão• Elaboração do relatório (ex.:

reunião, falhas , melhoria)

Atividadesde PeerReview

(RevisãoTécnicaFormal) • Preparação dos envolvidos

para revisão (leitura dadocumentação a ser revisadaantes da reunião)

H/h

Tempo dedicado para:• Planejamento• Acompanhamento• Elaboração dos itens de teste• Execução dos testes• Elaboração de relatórios

AVALIAÇÃO

Atividade deGrupos de

Teste eValidação • Preparação dos envolvidos

para execução dos testes(estudo das funções,elaboração de novos itens deteste)

H/h

Necessárioverificar econsiderarquando osoftware foifeitopelo Japão.Custos



Definição das métricas corporativasGráfico de correla ção - Eficácia das Melhorias dos Processos de Software

R$0

R$50.000

R$100.000

R$150.000

Jan Fev M ar Abr M ai Jun Jul Ago Set Out Nov Dez

Prevenção/Avaliação Falha Int./ Ext.

Custos



Estudo de Métricas

Qualidade


Estudo de Métricas

•Proposta : A qualidade da industria de telecomunicações pode sermelhorada se uma associação de industrias encorajar requisitos dequalidade uniformes e custos e performance da qualidade baseadosem métricas e relatos.

Grupo de operadoras e fornecedores que se uniram, em meados de1997, para a melhoria da qualidade da industria de telecomunicações.


Estudo de Métricas

Quality Excellence for Suppliers ofTelecommunicationsLeadership Forum

•Proposta : A qualidade da industria de telecomunicações pode sermelhorada se uma associação de industrias encorajar requisitos dequalidade uniformes e custos e performance da qualidade baseadosem métricas e relatos.

Grupo de operadoras e fornecedores que se uniram, em meados de1997, para a melhoria da qualidade da industria de telecomunicações.


Estudo de Métricas

Normas Internacionais ISO 9000

Requisitos Comuns da Industria de Telecomunicações

RequisitosEspecíficos de

Software

RequisitosEspecíficos de

Servi ços

Requisitosespecíficos de

Hardware

Métricas Comuns da Industria de Telecomunicações

Métricas deHardware

Métricas deSoftware

Métricas deServiços

TL

9000


As métricas da TL 9000

Estudo de Métricas

Métricas de Software: Métricas aplicáveis ao desenvolvimento de SW.

• Qualidade de Atualização de Software - O propósitodesta métrica é avaliar o nível de atualizações de software comdefeito para minimizar os riscos associados para o cliente.

• Abortos na Implantação de Versões - O propósito destamétrica é avaliar a porcentagem de implantações de versões comabortos para minimizar o risco de abortos no serviço fornecidoquando aplica-se a uma versão de software.

• Qualidade do Patch Corretivo e Qualidade do Patchde Novas Funcionalidades - O propósito desta métrica éavaliar a porcentagem de patchs oficiais defeituosos paraminimizar o risco de falha para o provedor de serviço.


Estudo de Métricas

1. Entrega de Projeto de Software no Prazo

2. Custos da Qualidade de Software

3. Qualidade 3.1 Qualidade de Atualização de

Software 3.2 Abortos na Aplicação de Versões 3.3 Qualidade do Patch Corretivo e de

Novas Funções

Definição do Procedimento Interno


Estudo de Métricas





Novas Funções



Estudo de Métricas





Novas Funções


1. Descrição da Métrica 1.1 Título

<Título completo da Métrica>

1.2 Descrição Geral <Qual o foco principal da métrica>

1.3 Propósito <A que se objetiva a métrica>

1.4 Descrição detalhada

1.4.1 Terminologia <termos utilizados>

1.4.2 Regras de contagem <considerações para os cálculos>.

1.4.3 Cálculos e fórmulas <Como calcular e as fórmulas a serem utilizadas>

1.4.4 Dados relatados e formatação <Como entregar os dados e seu armazenamento no Banco de Dados>

1.5 Exemplos <Tabelas e Gráficos apresentando exemplos de aplicação>

1.6 Desdobramento <Como pode ser desdobrada esta métrica em cada área ou projeto>

studo de Métricas

1. Entrega de Projeto de Softw

2. Custos da Qualidade de So

3. Qualidade 3.1 Qualidade de Atualizaçã

Software 3.2 Abortos na Aplicação de 3.3 Qualidade do Patch Corr

Novas Funções

Definição do Procedimento In


Estudo de Métricas

SPI - Software Process ImprovementConforme MQS

SEQTSEPG

Banco de Dados

SPI

Banco de Dados

da ADS

ADS

Administrador de Métricas

ADS

DGQ

In PutDados

PD

CA


Fontes

CMM in Practice: Processes for Executing SoftwareProjects at Infosysby Pankaj JaloteISBN: 0201616262

Practical Software Metrics for Project Managementand Process Improvementby Robert B. GradyISBN: 0137203845

TL 9000 - Quality System Metrics - Book 2 - release 2.5QuEST Forum - ASQ - American society for QualityISBN: 0873894650


Fontes

Software Engineering Institute (www. sei.cmu.edu/)Carnegie Mellon UniversityPittsburgh, Pennsylvania 15213Unlimited distribution subject to the copyright.

Practical Software Measurement: Measurin g forProcess Mana gement and ImprovementHandbookby Willian A. FloracCMU/SEI-97-HB-003

Goal-Driven Software Measurement - A GuidebookHandbookby Robert E. ParkCMU/SEI-96-HB-002

Renato L. Della Volpe - [email protected]

[email protected]

Documents

Gestão de Métricas de Software: aspinsp.org.br/apresentacao/necagosto2001.pdf · Gestão de Métricas de Software: a experiência da NEC do Brasil Desenvolvimento e início de Implementação