USP-MBA: Administração de Projetos Avaliação de resultados de projetos FEA/USP – nov / 2.001

USP-MBA: Administração de Projetos

Avaliação de resultados de projetos

FEA/USP – nov / 2.001

Folha de São Paulo, Caderno MAIS!, 27/06/99

Avaliar é formar um juízo, seja

leigo ou

científico

zoom

Equação de Drake: Quantas estrelas nascemQuantas estrelas têm sistema planetárioQuantas estrelas têm vidaQuantas estrelas têm vida em estágio de evolução para comunicação

Greek vase Side A: AthenaPhotograph by Maria Daniels,courtesy of the University Museums,University of Mississippi

The Goddess Athena wins over Ignorance,B. Spanger (c. 1591)

Ciência

Pallas AtheneGustav Klimt (1898)

Vienna, Historisches Museum der Stadt Wien

Avaliação é um ÁREA DE APLICAÇÃO DE CONHECIMENTO E PRÁTICA à Administração de Projetos.É uma disciplina acessória cujo conteúdo não é específico à Administração de Projetos.

É a égide de Palas Atena

Project Management Institute, Standards Committee. A guide to the project Management Body of Knowledge. www.pmi.org

Administração de Projetos• Disciplinas do conhecimento (identidade no objeto):

1. Integration Management2. Scope Management3. Time Management4. Cost Management5. Quality Management6. Human Resources Management7. Communication Management8. Risk Management9. Procurement Management

• Avaliação - disciplina básica, propedêutica (identidade em conceitos abstratos, genéricos): Tempo: Espaço: Finalidade: Valores: Meios: Linguagem: Simbologia

Avaliação

• Diferentes objetos com diferentes significados:– Desenvolvimento de produto,

conhecimento, etc.

• Ontológico & semântico:– O quê?– Com que sentido?– Delimitação

temporo-espacial do objeto

Prática Princípios

•Diferentes finalidades:-Tomada decisão-Planejamento-Exploratória-Descritiva

•Teleológico:–Para quê?

Avaliação

• Diferentes juízos de valor:– subjetivo– objetivo

• Axiológico– O que é bom ou

ruim– Como é ajuizado o

valor

Prática Princípios

•Diferentes estratégias metodológicas:

–Medidas qualitativas–Medidas quantitativas–Processamentos matemáticos

•Epistemológico—Medidas—Transformação de

medidas—Métodos analíticos

Princípio ontológico & semântico

O quê?

Espaço Tempo

Delimitação do escopo

Momentos da avaliação do

projeto

Espaço: delimitação do objeto de avaliação

Fatores condicionantes da percepção de sucesso (BAKER, FISHER e MURPHY) Coordenação Adequação da Estrutura de Projeto e de Controle Identidade do projeto. Importância e exposição pública Consenso e relevância dos critérios de sucesso Pressão orçamentária e competitividade do ambiente (impacto negativo) Dificuldades conceituais e excesso de entusiasmo inicial Construção de capacidades internas

Fatores condicionantes da percepção de sucesso (Amaru & Sbragia) Qualidade técnica Observância de custos e prazos Construção de capacitação técnica Avanço do conhecimento Reconhecimento externo Manutenção da instituição.

Delimitados segundo o escopo Ambiente externo Organização-mãe Organização do projeto

Avaliação: tempoEstrutura Organizacional De Uma Instituição

HipotéticaDIRECA

O

DEPTO1

DIV1.1

SER1.1.1

SECAO

SETOR

SER1.1.2

SER1.1.n

DIV1.2

DIV1.n

DEPTO2

DIV2.1

DIV2.n

DEPTOn

DIVn.n

SERVn.n.1

SERVn.n.2

SERVn.n.n

SECAO

SETOR

Bens e serviços

Projetos

Projeto ===> ciclo de vida• King & Cleland (1983)

– 1.de estabelecimento: identifica necessidades e define estratégia de resposta;– 2. de crescimento: identifica recursos, define tarefas e atvdds. Cria documentação;– 3. de maturação: executa, monitoriza e avalia;– 4. de declínio: transfere recursos e faz balanço de resultados.

• Kruglianskas (1987)– 1. de concepção;– 2. de estruturação;– 3. de execução;– 4. de encerramento.

• Tuman Jr (1983)– 1. de estudo e analise: determina o que se tem no presente o que se precisa para o futuro;– 2. de desenho, desenvolvimento e implementação: especifica, constrói, e faz aplicação real– 3. de documentação, treinamento, teste e suporte: assegura uso e faz ajustes

• Pereira e Saes (1995)– 1. Preliminar; – 2. Preparatória; – 3. De campo; – 4. De analise;– 5. De redação;– 6. De divulgação

Categorias de avaliação segundo o tempo

Atividades

Tempo

Ex-ante Ex-cursus Ex-post

Informações para a avaliaçãoEx-ante

Definições estratégicas Definições do projeto Definições do produto

Ex-cursus


Ex-post


Princípio teleológicoPara quê?

Conhecimento

Descritiva Exploratória

vg. estudos acadêmicos

vg. planejamento

Tomada de decisão

vg. definição de prioridades

Condiciona a expressão dos outros princípios

Princípio teleológico

Inovação Competitividade

vg. nova tecnologia,

novo processo

vg. re-inserção no setor

Re-engenharia

vg. re-definição da produção

Condiciona a expressão dos outros princípios

Para quê?Desenvolvimento de produto

P. Teleológico na avaliação de resultados de projetos

Amaru & Sbragia - Anotações conceituais Avaliação deve medir resultados: projetos realizados e dinheiro não desperdiçado; Avaliação deve retroalimentar planejamento; Avaliações de eficiência e eficácia integram o monitoramento do projeto; Avaliação ex-post sucede o encerramento e focaliza impactos Avaliação é feita por EQUIPES DE AVALIAÇÃO com representação das partes interessadas, que compara objetivos com resultados e analisa os impactos;Uma previsão de objetivos finais e intermediários, de indicadores e relatórios facilita o processo de avaliação

Princípio axiológicoValoração

Discricionário Ético

vg. programas de governo

vg. ad hoc

Bench marks

Teórico

vg. consultores, assessores,

literatura

Julgamento de Paris: Rubens (1.577 - 1.640)

Princípio axiológico: juízo de valor

• Discricionário– Da autoridade

• Ético– Excelência reconhecida

• Teórico– Definição metodológica

Subjetivo

Objetivo

Juízos objetivo e subjetivo são complementares

Evolução do conhecimento

Verdade

Mario Bunge. Semântica II:Interpretaçao e verdade. EDUSP, 1976

P. Axiológico na avaliação de resultados de projetos

Jesus Sebastian

Processo de valoração, sempre feito por Comitês, será realizado por comparações internas quando da ausência de metas quantitativas bem definidas

• Há que se considerar avaliação de impactos não previstos• Há que se considerar estudos de casos benchmark• Há que se considerar inquéritos com empresas• Há que se considerar entrevistas com usuários e gestores do

programa• Há que se considerar a comparação com dados secundários

externos ao programa• Pode-se medir eficácia e eficiência, mas impactos serão juizos

externos. Eventualmente pode-se ter indicadores globais de retorno de investimentos.

Princípio epistemológico

• Medidas–Qualitativas X quantitativas

–Precisão X acurácia

• Processamento–Univariado

–Multivariado

Medidas qualitativas

Conceito Técnica Exemplo

Classificação ordinal com ponto médio

Escala de Likert 1,2,3,4,5

Classificação ordinal de afirmação/ negação

Diferencial Semântico de Osgood

-2,-1,0,1,2

Redução à máxima afirmação/ negação

Predição de afirmação/ negação

-1,-0.5,0,0.5,1

Callimachi numeris non est discendus Achilles - Ovídio

Medida univariada

Medidas de governo, leis, normas

Facilitando muitoFacilitando

Não interferindoDificultando um pouc

Dificultanto muito

Co

unt

300

200

100

0

Recursos do centro de pesquisa envolvido



Dificultanto muito

Co

unt

300

200

100

0

Fatores de mercado



Dificultanto muito

Co

unt

300

200

100

0

Recursos $/técnicos de outras fontes



Dificultanto muito

Co

unt

300

200

100

0

Medidas unidimensionais

Indicador sintético combinando aritmeticamente as duas medidas

Com redução a máxima afirmação/ negação

RIAIA E ADMINISTR

HUMANAS E S

MIA E CIENCIA

URA E URBANI

IA E VETERINA

FISICA

ENGENHARIA

ECONOMIA E A

CIENCIAS HUM

BIOLOGIA

ASTRONOMIA

ARQUITETURA

AGRONOMIA E

SAUDE

QUIMICA

MATEMATICA

GEOCIENCIAS

ICA

60%

40%

20%

0%

-20%

-40%

-60%

Medidas de governo,

leis, normas

Recursos do Centro

Pesquisa envolvido

Fatores de mercados

Recursos $/técnicos

de outras fontes

Medida multivariada

Y

A

XZ

B

distância

A e B no espaço X / Y / Z

Medida multivariada

-1

-,7

,6

-,6 -,2-,5 -,2

-1

-,3-,3

-,6

,3

1,3

-,3

,6

,8

2,3

-1-1

-,4

,9

-1

,7

-,7

-1

-,8

,3

-,6

,2

-,8-,7

-,3-,4

-,8

-,2

1,8

-1-,9

-,4

,8

1,8

-,8

1,5

,7

1,8

,8

-,6

2,4

,8

-,4-,6

-,6

,6

-,2

-,7

-,8

,3

-1

1,5

-,3

-,6

-,1

,2

2,7

-,2

1,7

,8

1,4

-,8 -,6

-,4

,1

-,3

,6

-,5

-2

-1

,2

-1

,0

-2

-,4

,1

-,3

-,6

-,4

1,6

-,8-1-1

,1

1,7

-,4

1,4

,4

,6

-,1

1,1

-,2-,8

-1-,9

,9

-,8

-,4

-,8

-,5

-2

1,9

-,9

-,3

-,9

,8,5

,3

1,9

,9

1,7

-1

-1

-,4

,8

-,2

,5

-,2

-1

-,9

,2

-,6

,0

-1

,3

-,3

-,6

-,3

,8

-1-1-1

,1

2,2

-,1

1,6

,5

2,1

,7

-,6

1,0

-,8

PESO

3000020000100000

ES

TATU

RA

120

100

80

60

40

Função de projeção

z = f (x,y)

Precisão e acurácia

xxxx

yyy

y

zzzz

w

w

w

w

Erro aleatório: precisão X acurácia: diagnósticos médicos

FINA MEDIA GROSSEIRA

Precisao

0

0,2

0,4

0,6

0,8

1

KAPPA

Z DE KAPPA (/1000)

Escuder MML & Nunes Silva N, FSP-USP1992

Conclusões: Avaliação

• Princípio ontológico & semântico:– O quê? Com que significado? Com que

delimitação de tempo e de espaço?

• Princípio axiológico:– Como se dá a valoração? Na autoridade, na

referência ética, na definição teórica?

• Princípio teleológico:– Para quê? Com que finalidade?

• Princípio epistemológico:– Quais as estratégias de medidas e

processamento?

Roteiro para uma avaliação ex-post

• Avaliação Terminal: Eficácia, Eficiência

• Avaliação de Impactos: Efetividade– Internos

• Projeto, empresa

– Externos• Setor, sociedade

• Avaliação Estratégica: Implicações

Dimensão

VariávelIndicador

Critério

Tipo Medida

ACOMPANHAMENTO X AVALIAÇÃO DE PROJETOSACOMPANHAMENTO X AVALIAÇÃO DE PROJETOS

ACOMPANHAMENTO AVALIAÇÃO

examina o progresso diário doprojeto, numa base contínua

aceita políticas e normas

analisa o volume de produção

focaliza a transformação de insumos em produtos

concentra-se nos elementos contidos no plano do projeto

reporta o grau de implementaçãodo projeto

examina periodicamente oefeito/impacto do projeto (visãode longo prazo)

questiona políticas e normas

examina o progresso face aosobjetivos previsto, questionandosua pertinência, validade, etc

focaliza a transformação dos produtos em objetivos

avalia os elementos do plano doprojeto e aprecia mudançasocorridas, causas, novos desafios, etc

verifica o grau de progresso e procuraidentificar as lições apreendidas

Prof. Roberto SbragiaPGT-FEA/FIA-USP

DETERMINANTES DE SUCESSO (FCS- Fatores Críticos de Sucesso)

CRITÉRIOS DE SUCESSO(Critérios de Desempenho)

AMBIENTE EXTERNO

ORGANIZAÇÃO MÃE

GERENCIA DO PROJETO

SUCESSO/FRACASSO

NATUREZA DOPROJETO EM SI

PorteComplexidade

Etc.Prof. Roberto SbragiaPGT-FEA/FIA-USP

DIMENSÕES DO SUCESSO DE PROJETOSDIMENSÕES DO SUCESSO DE PROJETOS

EFICÁCIAORGANIZACIONAL

VALIDADETÉCNICA

VALIDADEPARA OUSUÁRIO


OBSERVÂNCIADE CUSTOS

QUALIDADE TÉCNICA

OBSERVÂNCIA DE PRAZOS

SATISFAÇÃO DO

CLIENTE

CAPACITAÇÃOTÉCNICA

AVANÇO DECONHECIMENTOS

CREDIBILIDADEEXTERNA

RELAÇÕESCOMERCIAIS

MANUTENÇÃOINSTITUCIONAL

INTER-CORRELAÇÃO ENTRE CRITÉRIOS DE AVALIAÇÃO DO DESEMPENHO DE PROJETOS TECNOLÓGICOS

0,240+

0,238+

0,26

8+

+ P< 0,05++ P< 0,01

0,268+

0,221+

0,338++0,297+

0,227

0,369++

0,661++

0,394++

0,432++


CRITÉRIOS DE SUCESSO DE PROJETOSCRITÉRIOS DE SUCESSO DE PROJETOS

SUCESSOPROJETO CLIENTE

QUALIDADE

TÉCNICA

USO

PRAZO

CUSTO EFICÁCIA

SATISFA

ÇÃ

O

Pinto & Slevin, 88


Medida: exemplo

Dimensão Variável Indicador CritérioIdentificação correta das necessidades do cliente e do problema a ser resolvido

Procedimentos de acompanhamento e de controle adequados, especialmente como subsídios para decisões

Definição adequada do papel dos atores e de suas responsabilidades básicasDefinição da Estrutura do projeto (WBS)

Confiança despertada/ Bom relacionamento com o cliente

Adequação das habilidades gerenciais, humanas ou técnicas do coordenador do projetoComprometimento da equipe com o projetoEspírito de equipe existente no projeto

Escala ordinal qualitativa Fraco, Insuficiente,

Regular, Bom, Excelente

Ges

tão

do

pro

jeto Planejamento e Controle

Organização

Coordenação

Clima

Exercício: discussão em grupo + plenária

Dimensão Variável CountElucidação Sistemas Aeronáuticos 8

Materiais e Processos p/ Engenharia Aeronáutica 26Total

Desenvolvimento Propulsão Aeronáutica 224Sistemas Aeronáuticos 356Aerodinâmica 499Estruturas Aeroespaciais 239Sistemas de Controle e Defesa Aérea 316Materiais e Processos p/ Engenharia Aeronáutica 559

TotalUso Aerodinâmica 103

TotalTOTAL 2.330

Objetivo do projeto: Desenvolver competências tecnológicas para a competitividade do setor Aeronáutico brasileiro

Sugerir indicadores e critérios de medidas

Medidas utilizadas

Contribuição para Aumentar a Eficiência do Sistema Produtivo

Contribuição para a Melhoria da Qualidade de Vida da População

Contribuição para o Avanço do Conhecimento Científico e Tecnológico

Baixo Muito baixo BaixoMédio Baixo BaixoMuito alto Muito alto Muito alto

Ambiente Externo

Criação de Recursos Humanos Qualificados

Criação de Infra-Estrutura de Pesquisa

Criação de Capacitação Tecnológica no Setor Produtivo

Alto Médio MédioBaixo Baixo MédioAlto Médio Médio

Ambiente do Projeto

Medidas utilizadas

Grau de Conhecimento e Experiência do Respondente no Tópico

Tempo de sobrevidaDependência de Cooperação Internacional

Médio 5 a 6 anos MédioMuito alto 9 a 10 anos AltoMuito baixo Até 2 anos ,

Condicionantes de juízos e de impactos

Projeto

Criação de Recursos Humanos Qualificados

Muito altoAltoMédioBaixoMuito baixoMissing

Co

un

t

1000

800

600

400

200

0

Criação de Infra-Estrutura de Pesquisa


Co

un

t

1000

800

600

400

200

0

Criação de Capacitação Tecnológica no setor Produtivo


Co

un

t

1000

800

600

400

200

0

Sociedade

Contribuição para Aumentar a Eficiência do Sistema Produtivo


Co

un

t1200

1000

800

600

400

200

0

Contribuição para a Melhoria da Qualidade de Vida da População


Co

un

t

1000

800

600

400

200

0

Contribuição para o Avanço do Conhecimento Científico e Tecnológico


Co

un

t

1200

1000

800

600

400

200

0

Condicionantes

Grau de Conhecimento e Experiência do Respondente no Tópico


Co

un

t800

600

400

200

0

Tempo de sobrevida

Após 20 anos

19 a 20 anos

17 a 18 anos

15 a 16 anos

13 a 14 anos

11 a 12 anos

9 a 10 anos

7 a 8 anos

5 a 6 anos

3 a 4 anos

Até 2 anos

Missing

Co

un

t

600

500

400

300

200

100

0

Dependência de Cooperação Internacional


Co

un

t

1000

800

600

400

200

0

Sintetizando medidas

ContContr ib Qld

Contr ib Ef icênc ia

Capac itação Setor

Cr iação Inf ra-Estrut

Cr iação RH

Dependência Cooperaç

Exper t isetr ib C&Tdd V idaa SP

Me

an

,7

,6

,5

,4

,3

,2

,1

0,0

-,1

Hor izonte de v ida

Exper t ise

Me

an

2030

2020

2010

2000 2000

2008

E agora

?Efeito Esperado para Aumentar a Eficiência do Sistema Produtivo

Alto e Muito AltoMuito baixo a médio

70%

60%

50%

40%

30%

20%

61

31

Disponibilidade de Recursos Humanos Qualificados


70%

60%

50%

40%

30%

20%

10%

0%

37

63


70%

60%

50%

40%

30%

20%

61

OU


70%

60%

50%

40%

30%

20%

10%

0%

37E

Operações lógicas

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 0 0,04 0,08 0,13 0,17Baixo 2 0,21 0,25 0,29 0,33 0,38Médio 3 0,42 0,46 0,50 0,54 0,58Alto 4 0,63 0,67 0,71 0,75 0,79Muito alto 5 0,83 0,88 0,92 0,96 1,00

Expertise

Ponderar medidas por expertiseMuito baixo Baixo Médio Alto Muito alto

Avaliação 1 2 3 4 5Muito baixo 1 1 2 3 4 5Baixo 2 2 4 6 8 10Médio 3 3 6 9 12 15Alto 4 4 8 12 16 20Muito alto 5 5 10 15 20 25

Expertise

Uma avaliação 'Muito baixo' por um Expertise 'Muito Alto' = Uma avaliação 'Muito Alto" por um Expertise 'Muito baixo' !

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 11 12 13 14 15Baixo 2 21 22 23 24 25Médio 3 31 32 33 34 35Alto 4 41 42 43 44 45Muito alto 5 51 52 53 54 55

Expertise

E agora

?

Edição de medidas e combinação de informações de

diferentes dimensões

• Next weekNext week

•Same timeSame time

•Same channelSame channel

Documents

USP-MBA: Administração de Projetos Avaliação de resultados de projetos FEA/USP – nov / 2.001