MPS.BR: Promovendo a Adoção çde Boas Práticas de Engenharia de Software pela Indústriade Software pela Indústria Brasileira

Marcos KalinowskiK li S ftKali Software

mk@kalisoftware commk@kalisoftware.com

Agenda

1 Introdução1 – Introdução2 – O Programa MPS.BR e o Modelo MPS3 – Adoção e Disseminação do Modelo MPS4 – Resultados Obtidos pela Organizações que Adotaram4 – Resultados Obtidos pela Organizações que Adotaram

o modelo MPS5 C id õ Fi i5 – Considerações Finais

Introduçãoç• A melhoria contínua da capacidade de desenvolvimento é

fundamental para que organizações de software prosperem emmercados competitivosmercados competitivos.

• Ao longo dos anos modelos de referência têm surgido para guiar amelhoria da capacidade de processos de engenharia de softwaremelhoria da capacidade de processos de engenharia de software.

• A melhoria baseada neste tipo de modelo costuma ser de longoprazo e requerer grandes investimentos, podendo se tornarp q g , pimpeditivos para que pequenas e médias empresas (PME’s)melhorem seus processos.

• No Brasil, onde aproximadamente 73% da indústria de software éconstituída por PMEs, poucas organizações têm adotado modelosde referência.

• Constatou-se que normalmente as organizações só implementamas boas práticas da engenharia de software quando estas sãoexigidas em avaliações de processosexigidas em avaliações de processos.

Introduçãoç• Neste contexto foi criado o programa MPS.BR para desenvolver e

disseminar um modelo de referência brasileiro visando estabelecerum caminho economicamente viável para que organizaçõesum caminho economicamente viável para que organizações,incluindo as PMEs, alcancem os benefícios da melhoria deprocessos e da utilização de boas práticas da engenharia desoftware em um intervalo de tempo razoávelsoftware em um intervalo de tempo razoável.

• O modelo foi desenvolvido levando em consideração normasinternacionais, modelos internacionalmente reconhecidos, boasinternacionais, modelos internacionalmente reconhecidos, boaspráticas da engenharia de software e as necessidades de negócioda indústria de software brasileira.

• Neste artigo são apresentados a versão atual do modelo MPS,resultados quantitativos de sua adoção e disseminação eresultados qualitativos de desempenho das organizações que

Sadotaram o MPS

Agenda

1 Introdução1 – Introdução2 – O Programa MPS.BR e o Modelo MPS3 – Adoção e Disseminação do Modelo MPS4 – Resultados Obtidos pela Organizações que Adotaram4 – Resultados Obtidos pela Organizações que Adotaram

o modelo MPS5 C id õ Fi i5 – Considerações Finais

O Programa MPS.BR e o Modelo MPSModelo MPS

• O programa MPS.BR é coordenado pela SOFTEX e patrocinadop g p ppelo Ministério de Ciência e Tecnologia (MCT), pela Financiadorade Estudos e Projetos (FINEP), pelo Serviço Brasileiro de Apoio àsMicro e Pequenas Organizações (SEBRAE) e pelo BancoInteramericano de Desenvolvimento (BID).

• O principal objetivo do programa MPS.BR é desenvolver edi i d l d d ft ( d l MPS)disseminar um modelo de processos de software (o modelo MPS),para:

– Estabelecer um caminho economicamente viável para que– Estabelecer um caminho economicamente viável para queorganizações, incluindo as PMEs, alcancem os benefícios damelhoria de processos e da utilização de boas práticas daengenharia de software em um intervalo de tempo reduzidoengenharia de software em um intervalo de tempo reduzido.

O Programa MPS.BR e o Modelo MPSModelo MPS

• O modelo MPS deveria incorporar tanto práticasinternacionalmente reconhecidas para implementação e avaliaçãointernacionalmente reconhecidas para implementação e avaliaçãode processos de engenharia de software quanto atender àsnecessidades de negócio da indústria de software brasileira.

• As normas ISO/IEC 12207 e ISO/IEC 15504 foram usadas comobase técnica para definir os componentes do modelo MPS.

T d i t i tâ i d d l CMMI i õ• Tendo em vista a importância do modelo CMMI para organizaçõesbrasileiras que atuam em mercados externos, a equipe técnica domodelo MPS considerou o CMMI como um complemento técnicopara a definição dos processos do modelo MPSpara a definição dos processos do modelo MPS.

• O modelo MPS possui três componentes principais: o modelo dereferência MPS (MR-MPS); o método de avaliação MPS (MA-referência MPS (MR-MPS); o método de avaliação MPS (MA-MPS); e o modelo de negócios MPS (MN-MPS).

O Modelo de Referência MR MPSMR-MPS

• O MR-MPS está em conformidade com a norma ISO/IEC 15504,satisfazendo os requisitos para modelo de referência de processossatisfazendo os requisitos para modelo de referência de processosdefinidos na ISO/IEC 15504-2.

• Os processos do MR-MPS são uma adaptação dos processos da• Os processos do MR-MPS são uma adaptação dos processos danorma ISO/IEC 12207 e são, adicionalmente, compatíveis com asáreas de processo do CMMI-DEV.

• O MR-MPS define sete níveis de maturidade de processos paraorganizações que produzem software: A (Em Otimização), B(Gerenciado Quantitativamente), C (Definido), D (Largamente( ) ( ) ( gDefinido), E (Parcialmente Definido), F (Gerenciado) e G(Parcialmente Gerenciado).

O í i d t id d ã d fi id d di õ• Os níveis de maturidade são definidos em duas dimensões: adimensão de capacidade de processos e a dimensão deprocessos.

O Modelo de Referência MR MPS

Nível Processos Capacidades (AP)

A (sem processos adicionais) 1.1, 2.1, 2.2, 3.1, 3.2, 4.1,

MR-MPSA (sem processos adicionais) 1.1, 2.1, 2.2, 3.1, 3.2, 4.1,

4.2, 5.1, 5.2B Gerência de Projetos (evolução) 1.1, 2.1, 2.2, 3.1, 3.2, 4.1,

4.24.2C Gerência de Riscos, Desenvolvimento para

Reutilização, Gerência de Decisões1.1, 2.1, 2.2, 3.1, 3.2

D Desenvolvimento de Requisitos, Integração do 1.1, 2.1, 2.2, 3.1, 3.2q , g çProduto, Projeto e Construção do Produto,Validação, Verificação

, , , ,

E Avaliação e Melhoria do Processo Organizacional, 1.1, 2.1, 2.2, 3.1, 3.2Gerência de Projetos (evolução), Gerência deRecursos Humanos, Gerência de Reutilização,Definição do Processo Organizacional

F Aquisição, Garantia da Qualidade, Gerência deConfiguração, Gerência de Portfólio de Projetos,Medição

1.1, 2.1, 2.2

çG Gerência de Projetos, Gerência de Requisitos 1.1, 2.1

Entendendo os Atributos deEntendendo os Atributos de Processo (Capacidade)

AP 1 1 O é d• AP 1.1 O processo é executado– Este atributo é uma medida do quanto o processo

ti ó itatinge o seu propósito.

• AP 2.1 O processo é gerenciadop g– Este atributo é uma medida do quanto a execução do

processo é gerenciada.p g

• AP 2.2 Os produtos de trabalho do processo são gerenciadossão gerenciados– Este atributo é uma medida do quanto os produtos de

trabalho produzidos pelo processo são gerenciadostrabalho produzidos pelo processo são gerenciados apropriadamente. 10

Entendendo os Atributos deEntendendo os Atributos de Processo (Capacidade)

• AP 3.1. O processo é definidop– Este atributo é uma medida do quanto um

processo padrão é mantido para apoiar a p p p pimplementação do processo definido.

• AP 3 2 O processo está implementado• AP 3.2 O processo está implementado– Este atributo é uma medida do quanto o processo

d ã é f ti t i l t dpadrão é efetivamente implementado como um processo definido para atingir seus resultados.

11

Entendendo os Atributos de Processo (Capacidade)• AP 4.1 O processo é medido

– Este atributo é uma medida do quanto os qresultados de medição são usados para assegurar que o desempenho do processo apóia o alcance dos objetivos de desempenhoapóia o alcance dos objetivos de desempenho relevantes como apoio aos objetivos de negócio definidos.

• AP 4.2 O processo é controladoE t t ib t é did d t– Este atributo é uma medida do quanto o processo é controlado estatisticamente para produzir um processo estável, capaz e previsível p p , p pdentro de limites estabelecidos.

12

Entendendo os Atributos de Processo (Capacidade)• AP 5.1 O processo é objeto de inovações

– Este atributo é uma medida do quanto as d ã id tifi d timudanças no processo são identificadas a partir

da análise de causas comuns de variação do desempenho e da investigação de enfoques i d d fi i ã i l t ã dinovadores para a definição e implementação do processo.

AP 5 2 O é ti i d• AP 5.2 O processo é otimizado continuamente

Este atributo é uma medida do quanto as– Este atributo é uma medida do quanto as mudanças na definição, gerência e desempenho do processo têm impacto efetivo para o alcance d bj ti l t d lh i ddos objetivos relevantes de melhoria do processo. 13

O Modelo de Referência MR MPS

• No modelo MPS as boas práticas são exigidas através de

MR-MPS

resultados de processos e de atributos de processo.

• Os métodos, técnicas e ferramentas que devem ser empregadospara alcançar estes resultados não são impostos.

• O conhecimento a respeito dos métodos, técnicas e ferramentasp ,da engenharia de software é essencial para que organizaçõesimplementem o modelo de modo a alcançar seus objetivos denegócio e maximizar seu retorno de investimento.

O Modelo de Referência MR MPS

• Pode ser feita uma correspondência entre os níveis de maturidade

MR-MPS

MR-MPS e CMMI.

• Algumas áreas de processo do CMMI aparecem como atributos deprocesso no MR-MPS, tendo em vista sua natureza de capacitar osdemais processos.

• Existem ainda processos no MR-MPS que não estão presentes noCMMI, como Gerência de Portfólio de Projetos, Gerência deRecursos Humanos (com gerência do conhecimento), Gerência deReutilização e Desenvolvimento para Reutilização.

Entendendo os Relacionamentos entre Processos

• Conhecer as interações entre os diferentes processos ajuda a aplicar os modelos de maturidade de forma útil e produtiva

• O SEI/CMMI divide suas áreas de processo• O SEI/CMMI divide suas áreas de processo em quatro categorias:

G ê i d P– Gerência de Processos

– Gerência de Projetos

– Engenharia

– ApoioApoio16

Processos (básicos) da Categoria Gerência de Processos

Necessidades e

Alta GerênciaTreinamento para Projetos e Grupos de Apoio ao Processo Padrão e Ativos

Objetivos de Processo da Organização

Objetivos deNegócio da

Organização

Necessidadede Treinamento

GRH

Processo

Processo Padrãoe outros Ativos

DPO

ProcessoPadrão e outrosAtivos

DPO +

Processos de Gerência de Projetos,

Engenharia eApoio, DPO AMPRecursos e

Coordenação

p ,

Propostas de Melhoria de Processos; Participação na definição, avaliação e

Informações para Melhoria(e.g., lições aprendidas, dados, artefatos)

implantação de processos

17

Processos (básicos) da Categoria Gerência de Projetos

Ações

Mon. Proj.Ações Corretivas

Ações Corretivas

O que monitorar

ReplanejarO que fazer

Status, resultados de revisões

Plan. Proj.AquisiçãoPlanos

Processos deEngenharia e

Apoio

O que fazer

Comprometimet

Acordo com o Fornecedor

pnto

Necessidades de medição

FornecedorRequisitos de Produtos, questões técnicas, componentes prontos, testes de aceitação e revisões.

18

Processos da Categoria Engenharia

RequisitosGReq

Requisitos do Produto

C t Soluções

ClienteDesReq

Componentes De Produtos

Alternativas

PCPRequsitos

IPProdutos

Componentes do Produto, pacotes de trabalho, relatórios de verificação e validação

ValVer

Necessidades do Cliente

19

Processos da Categoria Apoio

MediçãoMedidas e Análises

Ger. Conf

Itens de Conf. e Solicitações de Mudança

NecessidadesDe Informação

Medidas e Análises

Baselines e Relatórios

Solicitações de Mudança

Todos os Processo

Processos e Processos e Produtos de Trabalho

Problemas deQualidade eNão Conformidade

Gar. Qual.Não Conformidade

20

Processos (avançados) ( ç )da Categoria Apoio

ACRPropostas de Melhoria de Processo

Defeitos e Outros Problemas

Melhoria de Processo

Todos os Processos

QuestõesQuestõesSelecionadas

Decisões

GDEEstruturadas

21

Medição do ProcessoMedição do Processo

• Exemplos de Objetivos:p j– Acompanhar melhorias do processo para

assegurar que software seja entregue dentro do g q j gprazo, do custo e da qualidade esperados.

• Conhecer o tamanho do problema a ser resolvido.• Conhecer o esforço e prazo para resolver o problema.• Conhecer o custo.• Conhecer a produtividade.• Conhecer a qualidade.

22

Medição do ProcessoMedição do Processo

• Exemplos de Medidas– Tamanho do SoftwareTamanho do Software

• Pontos de Caso de Uso

– EsforçoEsforço• Horas Trabalhadas (por Atividade)

Prazo:– Prazo:• Precisão de Estimativa do Prazo

– SPI – Performance do Cronograma

– Custo:• Precisão de Estimativa do Custo

– CPI – Performance do Planejamento de Custos23

Medição do ProcessoMedição do Processo

• Exemplos de Medidas (cont.)P d ti id d– Produtividade

• Produtividade Horas por Ponto de Caso de Uso.

– Qualidade• Número de defeitos por fase de desenvolvimento• Número de falhas reveladas nos testes• Número de falhas em produção

• Normalizados por unidade de tamanho e por hora de esforço de Verificação/Validaçãoç ç ç

24

Medindo a Qualidade

M it d I t d ã & D t ãMonitorando Introdução & Detecção6

Estimados

4

5EstimadosIntroduçãoDetecçãoRealI d ãso

de

3

IntroduçãoDetecção

onto

de

Cas

Uso

1

2

Def

eito

s/P

0

1

Requisitos Projeto Implementação Integração Testes Produção

#

Agenda

1 Introdução1 – Introdução2 – O Programa MPS.BR e o Modelo MPS3 – Adoção e Disseminação do Modelo MPS4 – Resultados Obtidos pela Organizações que Adotaram4 – Resultados Obtidos pela Organizações que Adotaram

o modelo MPS5 C id õ Fi i5 – Considerações Finais

Adoção e Disseminação• Até setembro 2009, 174 organizações brasileiras foram avaliadas

ç ç

em diversas regiões do país (24 no Centro Oeste, 31 no Nordeste,2 no Norte, 99 no Sudeste e 18 no Sul).

Adoção e Disseminação• Até Março de 2010, 206 organizações (132 MPS-G, 59 MPS-F, 6

ç ç

MPS-E, 1 MPS-D, 2 MPS-C, 0 MPS-B, and 6 MPS-A) passarampor avaliações MPS bem sucedidas no Brasil.

• Surge o interesse por compreender qualitativamente variáveis dedesempenho decorrentes da adoção destas práticas, como custo,

d ti id d lid dprodutividade e qualidade.

Agenda

1 Introdução1 – Introdução2 – O Programa MPS.BR e o Modelo MPS3 – Adoção e Disseminação do Modelo MPS4 – Resultados Obtidos pela Organizações que Adotaram4 – Resultados Obtidos pela Organizações que Adotaram

o modelo MPS5 C id õ Fi i5 – Considerações Finais

Resultados Obtidos pelas Organizações que AdotaramOrganizações que Adotaram o modelo MPS

• Visando investigar experimentalmente a variação do desempenhoVisando investigar experimentalmente a variação do desempenhodas organizações em função da adoção do modelo MPS, emOutubro de 2007 o projeto iMPS foi contratado pela SOFTEX aogrupo de engenharia de software experimental da COPPE/UFRJ.

• Os resultados de desempenho observados compreendem, ap p ,princípio, seis categorias: custo, prazo, produtividade, qualidade,satisfação do cliente e retorno do investimento (ROI).

iMPSiMPS• O objetivo do iMPS foi planejar e executar um estudo experimental

(survey) para acompanhar e evidenciar resultados de desempenhonas organizações de software que adotaram o modelo MPS.

• Questionários de acompanhamento foram elaborados para quefossem aplicados nos seguintes momentos:

– (i) quando as organizações estão iniciando a implementação domodelo MPS;

– (ii) quando as organizações estão em procedimento deavaliação; e

– (iii) periodicamente para as organizações com avaliaçãopublicada no portal da SOFTEX e com prazo de validadei tvigente.

iMPSiMPS• O iMPS não se propõe a comparar o desempenho de diferentes

organizações, sendo o objetivo compreender apenas a variação dodesempenho em função da adoção do modelo MPS.

• Com a aplicação dos questionários às organizações que adotaram o MPS durante os anos de 2008 e 2009 foi possível obter os seguintes resultados:seguintes resultados:

– Caracterização 2008 das organizações que adotaram o MPS;

– Caracterização 2009 das organizações que adotaram o MPS; eCaracterização 2009 das organizações que adotaram o MPS; e

– Análise da variação 2008/2009, permitindo observar a variação do desempenho das organizações que adotaram o MPS entre 2008 e 2009.

iMPS: Caracterização 2008iMPS: Caracterização 2008• 123 questionários devidamente respondidos por diferentes

i õorganizações.

• Os resultados gerais indicam que as organizações que adotaram o modelo MPS mostraram:modelo MPS mostraram:

– maior satisfação dos seus clientes (correlação positiva de +0,53), )

– maior produtividade (correlação positiva de +0,98),

– capacidade de desenvolver projetos maiores (correlação p p j ( çpositiva de +0,77)

– 94,4% das organizações relataram estar totalmente (70,2%) ou parcialmente satisfeitas (24 2%) com o modeloparcialmente satisfeitas (24,2%) com o modelo.

iMPS: Caracterização 2009iMPS: Caracterização 2009• Contou com 135 respostas de diferentes organizações e o

t t l ticomportamento geral se repetiu.– O aumento da satisfação dos clientes apresentou correlação

positiva de +0,59,p– o aumento da produtividade apresentou correlação positiva de

+0,46, et d j t t l ã iti d– o aumento dos projetos apresentou correlação positiva de

+0,72.– 98,5% relatou estar totalmente (71,1%) ou parcialmente, ( , ) p

satisfeita (27,4%) com o modelo .

• Embora as correlações sejam positivas, o estudo não se propõe aidentificar relacionamentos causais.

– Trata-se de empresas diferentes.

Caracterização – 2008/2009ç

Tamanho dos Projetos (em PF)

500600700

100200300400

Tamanho

0

Em Im

plemen

tação

Em A

valiaç

ão

Níve

l G

Níve

l FNí

veis

E-A

Em

Caracterização – 2008/2009

Caracterização – 2008/2009Produtividade em PF/Mês

180

120

140

160

180

40

60

80

100

PF/M

ês

Produtividade

0

20

40

Nível G Nível F Níveis E-A

iMPS: Análise de Variação ç2008/2009

F id d 43 i õ t d l ã• Foram consideradas 43 organizações, representando a populaçãode organizações que respondeu ao questionário periódico em 2008e 2009e 2009.

• Nesta análise o que chamou particularmente a atenção foram osresultados da variação de desempenho das 9 empresas queresultados da variação de desempenho das 9 empresas quemudaram ou revalidaram seus níveis de maturidade MPS.

Adoção do MPS e continuidade do desenvolvimento seguindo– Adoção do MPS e continuidade do desenvolvimento seguindoas diretrizes oferecidas por ele.

C t t t hi ót i d à tili ã• Comportamento coerente com as hipóteses associadas à utilizaçãode processos de desenvolvimento de software combinado comboas práticas da engenharia de software.boas práticas da engenharia de software.

Análise de Variação – 2008/2009Variação de Desempenho das empresas MPS

• Indicação de tendência observando os resultados individuais dastendências das empresas. Não é possível comparação entre umaempresa com outra, apenas o comportamento do grupo

Exemplo – Número de Funcionários:

Empresa 2008 2009 TendênciaOA 10 15 AUMENTOU

B 10 10 NÃO ALTEROUC 10 8 REDUZIUC 10 8 REDUZIU

Análise de Variação – 2008/2009Variação de Desempenho de 43 Empresas com

MPS – Níveis G-A

100%

Variação Desempenho - Geral

60%

70%

80%

90%

20%

30%

40%

50%

0%

10%

Faturamento No Clientes noPaís

No Funcionários Custo MedioProjeto

Prazo Médio dosProjetos

Tamanho Médiodos Projetos

Produtividade Qualidade SatisfacaoCliente

ROIAumentouNão AlterouReduziu

Indicador A B C D E F G H I JRespostas Válidas 27 35 37 29 40 39 25 15 43 22

Nível de Confiança (%) 88,3 92,7 93,9 89,4 95,8 95,1 87,1 79,2 100 85,1ç ( ) , , , , , , , , ,

Análise dos Dados – 2008/2009Variação de Desempenho de 9 Empresas que

Revalidaram/Mudaram de Nível

90%

100%

Variação Desempenho ‐ Revalidaram/Mudaram de Nivel

50%

60%

70%

80%

10%

20%

30%

40%

0%Faturamento No Clientes no País No Funcionários Custo Medio Projeto  Prazo de Projeto Tamanho Médio dos

ProjetosProdutividade Qualidade Satisfacao Cliente ROI Aumentou

Não Alterou

Reduziu

Indicador A B C D E F G H I JRespostas Válidas 5 8 8 6 8 7 7 3 9 4

Nível de Confiança (%) 70,2 88,2 88,2 76,4 88,2 82,2 82,2 52,3 100 62,7ç ( ) , , , , , , , , ,

Agenda

1 Introdução1 – Introdução2 – O Programa MPS.BR e o Modelo MPS3 – Adoção e Disseminação do Modelo MPS4 – Resultados Obtidos pela Organizações que Adotaram4 – Resultados Obtidos pela Organizações que Adotaram

o modelo MPS5 C id õ Fi i5 – Considerações Finais

Considerações Finais• Neste artigo, apresentamos a estrutura do programa

MPS.BR e da versão mais recente do modelo MPS, ,bem como resultados quantitativos de sua adoção no Brasil e qualitativos a respeito da variação de d h d i õ d t MPSdesempenho das organizações que adotaram o MPS.

• Tendo em vista os dados quantitativos da crescente disseminação do modelo e a constatação de que normalmente as organizações só implementam as boas

áti d h i d ft d t ãpráticas da engenharia de software quando estas são exigidas em avaliações, acreditamos que o programa MPS BR esteja contribuindo para promover boasMPS.BR esteja contribuindo para promover boas práticas da engenharia de software na indústria brasileira, incluindo as PMEs.

Considerações Finais• Como resultado da adoção destas práticas cria-se a

expectativa de melhorar o desempenho destas p porganizações, tornando as mais competitivas.

• Os dados qualitativos obtidos através de uma estratégiaOs dados qualitativos obtidos através de uma estratégia experimental baseada em surveys têm servido como um passo na direção de evidenciar esta melhora de desempenho.

• Assim, acreditamos que estes resultados possam servirAssim, acreditamos que estes resultados possam servir como estímulo e argumentação para que PMEs adotem o modelo, além de fornecer subsídios para tomadas de decisão.

Considerações Finais• Maiores detalhes sobre os resultados do projeto iMPS

estão disponíveis em dois livros publicados pela p p pSOFTEX (www.softex.br/mpsbr)

MPS.BR: Promovendo a Adoção çde Boas Práticas de Engenharia de Software pela Indústriade Software pela Indústria Brasileira

Marcos KalinowskiK li S ftKali Software

mk@kalisoftware commk@kalisoftware.com