Avaliação Conjunta CMMI Nível 3 e MPS Nível C: Lições Aprendidas e Recomendações

Ana Regina Rocha, Andrés Rubinstein, Ana Liddy Magalhães

Anne Elise Katsurayama, Arley Duque, Carlos Barbieri

Crhistian Souza, Cristina Cerdeiral, Leandro Teixeira

Nelson Serranegra de Paiva, Leonardo Barros

Avaliações Conjuntas CMMI/MPS

• Nova modalidade de avaliação

• Uma única avaliação com 2 resultados: Nível MPS Nível CMMI

• Liderada por um avaliador líder MPS e um lead appraiser CMMI

• 1ª. avaliação conjunta foi realizada na Synos Technologies em junho/julho 2009

Avaliações Conjuntas CMMI/MPS

• Condições O avaliador líder MPS deve ser um avaliador líder experiente. O lead appraiser CMMI deve ser membro da equipe de

avaliação, deve ter cursado C1 e não pode ter nenhuma vinculação com a empresa responsável pela implementação do CMMI ou do MPS na empresa avaliada.

Toda a equipe de avaliação deve cumprir as exigências para ser membro da equipe de avaliação CMMI e MPS.

A avaliação inicial MPS deve coincidir com o readiness CMMI e ser presencial, com duração maior ou igual à recomendada para o MPS.

Todos os membros da equipe de avaliação devem estar presentes na avaliação inicial e na avaliação final.

Avaliações Conjuntas CMMI

• Condições (cont.) A avaliação deve ser aprovada pela SOFTEX após fornecida

a seguinte documentação:• Comunicação da avaliação pelo coordenador da IA

• Descrição detalhada do processo de avaliação adotado pelo lead appraiser para a avaliação inicial e a avaliação final

• Declaração do lead appraiser de que nem ele, nem a II, IA e/ou SEI Partner a que pertence deu consultoria nos últimos 3 anos à empresa que será avaliada

Synos Technologies

• Fundada em Fevereiro de 2003• Faturamento atual de 12 milhões, previsão de 20 milhões para

2009• Linhas de negócio são Fábrica de Software, Outsourcing/Body

shop, Consultoria, Treinamento e Licenciamento de Software• Mais de 90 clientes em todas as regiões do país• Conta atualmente com 120 colaboradores, sendo 50 alocados

em sua Fábrica de Software• Seu processo Synos UP já foi avaliado no MPS.BR nível F e

agora MPS.BR nível C / CMMI nível 3• Investimentos em processos continuam, com a certificação de

toda a empresa no modelo ISO 9001:2008 (em implantação)

Lições aprendidas do ponto de vista da empresa avaliada

• Certeza de um maior reconhecimento do mercado e abertura de novas oportunidades com esta dupla certificação

• Consolidação da imagem da empresa como referência de qualidade

• Grande ganho de tempo, esforço e custo com a realização de duas avaliações de uma só vez (CMMI e MPS)

• Forma transparente com que os trabalhos foram conduzidos pela equipe de avaliação tornou o processo único e imperceptível para a empresa

• Preparação do Synos UP para o MPS.BR-C facilitou aderência ao CMMI-3, devido à compatibilidade dos dois modelos

• Ficou evidente que o bom entrosamento e alta experiência da equipe de avaliação foi fundamental para ajudar a empresa a atingir esta conquista

Recomendações

• Tomar o MPS como referência para elaboração dos processos, pois facilita o atendimento aos resultados do CMMI, visto que o MPS é um modelo de maior exigência e abrangência

• Durante a elaboração dos processos, garantir o atendimento dos resultados que forem específicos do CMMI, para evitar problemas na avaliação conjunta

• Procurar manter a cultura de processos da empresa sempre fluente nos dois modelos, CMMI e MPS. Para isso, é fundamental a capacitação do SEPG nos dois modelos

Lições aprendidas do ponto de vista da Instituição Implementadora

• A implementação nível C deve ser bem compreendida pela empresa com relação ao nível de trabalho demandado, principalmente com relação à preparação da planilha de avaliação final MPS.BR e CMMI compartilham a mesma planilha MPS.BR :19 processos com +-150 reps, + 22 raps/proc , * 4

evidências * 4 projetos= 5k-8k linhas de evidências

• A preparação psicológica da equipe a ser entrevistada é fator importante. Isso pode ser feito por entrevistas simuladas e palestras

• A “química” entre as equipes de avaliação(CMMI e MPS.BR) é FCS

Recomendações

• Ao planejar um nível C observar para que a empresa atente para os “custos invisíveis”

• Atentar para que o nível F(ou anterior a C), esteja perfeitamente revisto, cuidando do “platô de acomodação”

• Atentar para que os recursos a serem dedicados ao grupo SEPG sejam maduros e tecnicamente formados, capazes de enfrentar o grande volume de trabalho (equipe ninja)

• Criar uma planilha de mapeamento CMMI e MPS.BR bem detalhada

Lições aprendidas do ponto de vista dos avaliadores MPS

• Não é uma tarefa trivial• Exige:

Experiência em avaliações CMMI e MPS Conhecimento profundo dos dois modelos Objetividade Habilidade para tratar os pontos onde existem diferenças Processo de avaliação do lead appraiser ser compatível com o MA-MPS. Flexibilidade do do avaliador líder MPS e do lead appraiser CMMI Sinergia entre os membros da equipe Uma única planilha de avaliação com o mapeamento dos dois modelos

• Possibilita otimizar tempo e custo• A reunião de consenso é mais demorada

Recomendações

• É desejável que o avaliador líder e o avaliador adjunto tenham experiência em avaliações MPS e CMMI

• É desejável que o lead appraiser já tenha realizado um certo número de avaliações SCAMPI A no nível que será avaliado

• É desejável que a IA escolha para esta avaliação seus membros mais experientes

• É desejável que o coordenador local não seja membro da equipe de avaliação

• Garantir que o lead appraiser e o avaliador líder tenham capacidade de trabalho em equipe e flexibilidade

• Garantir um tempo razoável• Ter-se um material de apoio oficial específico para estas

avaliações (treinamento, planilha, documentos, slides, etc)

Lições aprendidas do ponto de vista do Lead Appraiser CMMI

• É preciso compatibilizar os métodos de avaliação MP-MPS e SCAMPI A Um Readiness/Avaliação Inicial comum, com toda a equipe Revisão profunda das evidencias no Readiness, chegando ao nivel de

caracterização de instâncias e pre-findings (requeridos e oportunidades de melhoria para MA-MPS)

Uma planilha de indicadores (PIID) comum aos dois modelos Apresentações conjuntas de Kick-Off, Validação de Achados e dos

Resultados Finais

• Requer uma equipe muito sólida, com o treinamento focado nas diferenças entre os dois modelos e os métodos de avaliação

• No Planejamento tem que ter em conta o menor tempo requerido para avaliação de documentos (pela experiência da equipe) e o tempo extra para consenso e apresentações

Recomendações

Alem das recomendações dos avaliadores MPS• Desenvolver uma planilha de indicadores (PIID) que possibilite

uma rastreabilidade bidirecional entre os dois modelos• Desenvolver planilhas de cobertura de afirmações por Área de

Processo, com indicações sobre os diferentes requisitos dos metodos de avaliação

• Desenvolver templates para as apresentações conjuntas• Dividir o treinamento da equipe em duas sesões, uma no

Readiness focando na diferença dos modelos e avaliação de evidencias e a outra no inicio do onsite, focando nas entrevistas e as diferenças dos requisitos de cobertura de afirmações

Conclusões

• A experiência na Synos mostrou a viabilidade de avaliações conjuntas CMMI/MPS e a convergência dos dois modelos

• Fator crítico de sucesso: coesão e colaboração entre o lead appraiser e o avaliador líder MPS.

• Pontos positivos: Otimiza tempo e recursos da empresa avaliada Possibilita obter dois “selos” com uma única avaliação Com dois avaliadores líderes há menos possibilidade de falhas no processo

de avaliação como um todo Maior qualidade no resultado da avaliação por se poder contar com a

experiência de dois avaliadores líderes

Conclusões

• Sugestões: Garantir a experiência do avaliador líder e do lead appraiser em várias

avaliações no nível que está sendo avaliado Garantir experiência anterior do avaliador líder e avaliadores adjuntos em

avaliações CMMI Se possível, o lead appraiser ter experiência com o MPS Elaborar material de apoio específico e oficial do MPS para avaliações

conjuntas.