76
Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Embed Size (px)

Citation preview

Page 1: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de resultados de projetos

FEA/USP – nov / 2.001

USP-MBA: Administração de Projetos

Page 2: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 1 2 3 4 5Baixo 2 2 4 6 8 10Médio 3 3 6 9 12 15Alto 4 4 8 12 16 20Muito alto 5 5 10 15 20 25

Expertise

Uma avaliação 'Muito baixo' por um Expertise 'Muito Alto' = Uma avaliação 'Muito Alto" por um Expertise 'Muito baixo' !

Muito baixo Baixo Médio Alto Muito Alto

Juízo Ponderado por expertise altoMuito baixo Baixo Médio Alto Muito Alto

Juízo Ponderado por expertise altoMuito baixo Baixo Médio Alto Muito Alto

Juízo Ponderado por expertise alto

Ponderar medidas

Page 3: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 0 0,04 0,08 0,13 0,17Baixo 2 0,21 0,25 0,29 0,33 0,38Médio 3 0,42 0,46 0,50 0,54 0,58Alto 4 0,63 0,67 0,71 0,75 0,79Muito alto 5 0,83 0,88 0,92 0,96 1,00

Expertise Muito baixo Baixo Médio Alto Muito altoAvaliação 0,2 0,4 0,6 0,8 1Muito baixo -1 -0,2 -0,4 -0,6 -0,8 -1Baixo -0,5 -0,1 -0,2 -0,3 -0,4 -0,5Médio 0 0 0 0 0 0Alto 0,5 0,1 0,2 0,3 0,4 0,5Muito alto 1 0,2 0,4 0,6 0,8 1

Expertise

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 1 2 3 4 5Baixo 2 2 4 6 8 10Médio 3 3 6 9 12 15Alto 4 4 8 12 16 20Muito alto 5 5 10 15 20 25

Expertise

Uma avaliação 'Muito baixo' por um Expertise 'Muito Alto' = Uma avaliação 'Muito Alto" por um Expertise 'Muito baixo' !

Muito baixo Baixo Médio Alto Muito altoAvaliação 1 2 3 4 5Muito baixo 1 11 12 13 14 15Baixo 2 21 22 23 24 25Médio 3 31 32 33 34 35Alto 4 41 42 43 44 45Muito alto 5 51 52 53 54 55

Expertise

Ponderar medidas

Page 4: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de desempenho de projetos em instituições de pesquisaSbragia R. RAUSP 1984, 19(1):83-93

• Revisão de 7 autores na literatura:1. Qualidade técnica

2. Observância de prazos estimados

3. Observância de custos estimados

4. Satisfação do cliente e/ou patrocinadores

5. Geração de lucros / retornos financeiros para a instituição

6. Geração de novos contratos/ trabalhos adicionais

7. Contribuição para o prestígio, reconhecimento e imagem da instituição

8. Capacitação técnica adquirida pela instituição

9. Viabilidade de aplicação comercial dos resultados

10. Satisfação da equipe do projeto

11. Satisfação da alta administração

12. Contribuição para o conhecimento/ estado da arte

13. Compatibilidade com os objetivos da instituição

14. Compatibilidade com os objetivos dos indivíduos

Page 5: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Freqüência de uso

1. Qualidade técnica 85,7%2. Observância de prazos estimados 57,1%3. Observância de custos estimados 71,4%4. Satisfação do cliente e/ou patrocinadores 71,4%5. Geração de lucros / retornos financeiros para a instituição 28,5%6. Geração de novos contratos/ trabalhos adicionais 42,8%7. Contribuição para o prestígio, reconheci/o e imagem da instituição 42,8%8. Capacitação técnica adquirida pela instituição 57,1%9. Viabilidade de aplicação comercial dos resultados 42,8%10. Satisfação da equipe do projeto 14,3%11. Satisfação da alta administração 14,3%12. Contribuição para o conhecimento/ estado da arte 42,8%13. Compatibilidade com os objetivos da instituição 42,8%14. Compatibilidade com os objetivos dos indivíduos 14,3%

Sbragia R. RAUSP 1984, 19(1):83-93

Page 6: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Reconhecimento de dimensões subjacentes

1. Qualidade técnica2. Observância de prazos estimados3. Observância de custos estimados4. Satisfação do cliente e/ou patrocinadores5. Geração de lucros / retornos financeiros para a

instituição6. Geração de novos contratos/ trabalhos

adicionais7. Contribuição para o prestígio, reconhecimento e

imagem da instituição8. Capacitação técnica adquirida pela instituição9. Viabilidade de aplicação comercial dos

resultados10. Satisfação da equipe do projeto11. Satisfação da alta administração12. Contribuição para o conhecimento/ estado da

arte13. Compatibilidade com os objetivos da instituição14. Compatibilidade com os objetivos dos indivíduos

1. Aspectos imediatos

2. Aspectos intermediários

3. Aspectos finais

Sbragia R. RAUSP 1984, 19(1):83-93

Page 7: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Escolha de variáveis

VariávelIndicadores/

CritériosPeso

1. Qualidade técnica

Escala de 1 a 7 para

representar desempenho

de baixo a alto

0,18

2. Observância a custo 0,15

3. Observância a prazo 0,12

4. Satisfação do cliente 0,11

5. Capacitação técnica 0,11

6. Avanço do conhecimento 0,06

7. Reconhecimento institucional 0,09

8. Relações comerciais 0,13

9. Manutenção instituição 0,05Sbragia R. RAUSP 1984, 19(1):83-93

Page 8: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criação de um indicador sintético

ii pvIndicador Avaliação de 55 projetos

0,0%3,5% 5,0%

40,0%

46,5%

5,0%

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

1 - 2 2 - 3 3 - 4 4 - 5 5 - 6 6 - 7Sbragia R. RAUSP 1984, 19(1):83-93

Page 9: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Estratificações segundo categorias de projetos

Avaliação de ??????

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

1 - 2 2 - 3 3 - 4 4 - 5 5 - 6 6 - 7

1. Natureza1. Área disciplinar2. Tipo atividade3. Tipo Cliente

2. Dimensão1. Orçamento2. Duração3. Tamanho Equipe

3. Complexidade1. Nº unidades técnicas

envolvidas2. Intensidade de interação

entre unidades3. Dificuldade de cooperação

entre unidadesIdentifica fatores

condicionantes de resultado

Sbragia R. RAUSP 1984, 19(1):83-93

Page 10: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Estratificações segundo categorias de projetos

Avaliação de ??????

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

1 - 2 2 - 3 3 - 4 4 - 5 5 - 6 6 - 7

4. Características do gerente do projeto

1. Cargo funcional na organização

2. Experiência (nº anos como líder)

3. Congruência entre formação acadêmica e conteúdo técnico do projeto

5. Características da equipe do projeto

1. Grau de especialização2. Grau de experiência com o

assunto do projeto

Identifica fatores condicionantes de resultado

Sbragia R. RAUSP 1984, 19(1):83-93

Page 11: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de desempenho de projetos em instituições de pesquisaSbragia R. RAUSP 1984, 19(1):83-93

• Lições:– Reconhecer dimensões, variáveis, indicadores,

critérios– Estratificar: contemplar aspectos de

• Organização mãe• Projeto• Externo

Ponderar dimensões de potencial, processo e resultado

– Buscar síntese de informação para formação de juízo– Analisar por agrupamentos e estratificações que

designem características de potencial e processo para ponderação / estratificação dos resultados

Page 12: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação e determinantes do sucesso de projetos de cooperação técnica internacional.

Amaru Maximiano AC, Sbragia R

• Tudo parece depender do objetivo– Princípio teleológico da avaliação

• Projetos de desenvolvimento de produto (engenharia) têm objeto e finalidade mais claramente definidos

• Projetos de desenvolvimento de– C&T

– Progresso econômico e social

– Cooperação técnica internacional têm objeto e finalidade menos precisos

• Quanto mais difícil responder “Por quê?” para o projeto, mais difícil é o processo de avaliação.

Page 13: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação e determinantes de sucesso

• Há que se distinguir:– Objetivos específicos do projeto– Atendimento a um dado planejamento

(enunciado X tácito –político-)– Relações entre ambos segundo

• Tempo• Espaço• Custos

• Trata-se de avaliar o cumprimento de– Objetivos– Prazos– Custos

Amaru Maximiano AC, Sbragia R

•Budget

•Schedule

•Performance

•Client satisfaction•Pinto JK et al. Proj Manag J 1988

Page 14: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação e determinantes de sucesso

Amaru Maximiano AC, Sbragia R

Determinantes de sucesso (Baker, Murphy e Fischer)

•Ambiente externo

•Organização mãe

•Organização do projeto

Critérios de sucesso:

1. Qualidade técnica

2. Observância Custos & Prazos

3. Construção de capacidade técnica

4. Avanço do conhecimento

5. Reconhecimento externo

6. Manutenção da instituição

Page 15: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exemplo: questionários

Fatores de êxito 1 2 3 4 5

Ambiente externo

1.

2.

n

Organização mãe

1.

2.

n

Organização do projeto

1.

2.

nAmaru Maximiano AC, Sbragia R

Page 16: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Concluindo um relatório de avaliação

Amaru Maximiano AC, Sbragia R

• Equipe de avaliação:• Executante• Financiador• Cliente / beneficiário• Especialista

• Responder:

a) O que o projeto pretendia fazer?

b) O que efetivamente o projeto conseguiu fazer?

c) Sendo (a) e (b) diferentes, quais as causas?

d) Os objetivos mostrados em (a) continuam válidos ou devem ser alterados?

e) Quais as conclusões?

f) Quais as recomendações?

Page 17: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Lições:Avaliação e determinantes do sucesso de projetos de cooperação técnica

internacional.Amaru Maximiano AC, Sbragia R

1. O quê?

• Específico?

• Geral?

2. Por quê?

• Produtos

• Finalidade

3. Como?

• Variáveis, indicadores

4. Quais os juízos de valor?

• O que é bom?

1. Princípio ontológico e

semântico

2. Princípio teleológico

3. Princípio epistemológico

4. Princípio axiológico

Page 18: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

• Avaliação Terminal: Eficácia, Eficiência

• Avaliação de Impactos: Efetividade– Internos

• Projeto, empresa

– Externos• Setor, sociedade

• Avaliação Estratégica: Implicações

Dimensão

VariávelIndicador

Critério

Tipo Medida

Avaliação ex-post

Page 19: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

• Avaliação Terminal:– Eficácia– Eficiência

• Avaliação de Impactos: Efetividade

• Avaliação Estratégica: Implicações

Entrega de produto Cumprimento de prazo Cumprimento de

orçamento Custo benefício: taxa de

retorno Custo efetividade: preços

Revisão do planejamento

Tipo Medida

Avaliação e determinantes de sucesso

Page 20: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação terminal: custo benefício

Kee JE. Benefit-cost analysis. In: Wholey JS, Hatry HP, Newcomer KE. Handbook of practical program evaluation. San Francisco: Jossey-Bass, 1994, page 458 -

•Consider

•Tangibles and intangibles

•Direct and indirect

•Determine benefits and place a monetary value

•Add costs

•Contrast:

•rates per $ unit

•Different projects

Page 21: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação terminal: custo benefício

ANO CUSTO BENEFÍCIO B-C B-C CORRIGIDO PESO TX DESCONTO1 R$ 3.500 R$ 0 -R$ 3.500 -R$ 3.500 1,0002 R$ 1.000 R$ 2.000 R$ 1.000 R$ 825 1,2123 R$ 2.000 R$ 3.000 R$ 1.000 R$ 680 1,4704 R$ 1.000 R$ 2.000 R$ 1.000 R$ 561 1,7825 R$ 500 R$ 1.500 R$ 1.000 R$ 463 2,1606 R$ 2.000 R$ 1.500 -R$ 500 -R$ 191 2,6187 R$ 500 R$ 3.000 R$ 2.500 R$ 788 3,1748 R$ 1.000 R$ 2.000 R$ 1.000 R$ 260 3,8489 R$ 800 R$ 1.000 R$ 200 R$ 43 4,66510 R$ 100 R$ 500 R$ 400 R$ 71 5,656

TOTAL R$ 12.400 R$ 16.500 R$ 4.100 R$ 0

21,23

Banco Mundial: taxa mínima de retorno de 10%United Nations, 1987 – Apud Amaru & Sbragia

Page 22: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de impacto custo efetividade:produtos

Tarefa AtividadeTempo Total

1

1

2

3

$ 1 1 2 2 1 1 $8

2

1

2

3

Page 23: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de impacto custo efetividade:finalidades

Tarefa FinalidadeEfeitos no Tempo Total

FimFim +1

Fim +2

Fim +3

Fim +4

Fim +n

1

R$

1

2

3

4

2

1

2

3

Page 24: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação impacto- vantagem atribuível

Curva deprodução

Reta deregressão datendênciadecrescente

Diferencialdevido àinovaçãotecnológica

Page 25: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação impacto – vantagem atribuível

Page 26: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação estratégica

Miller R. R&D Management 1992; 22(1):3-20

• Constituency reviews– Board of trustees

• Peer reviews– Comissão científica– Ad hoc

Cleland DI. Project Management. 1999: 359

• British Petroleum’s PostProject Appraisal since 1977

Page 27: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Estratégias para avaliação ex-post

Miller R. R&D Management 1992; 22(1): 3-20

Qualitativas

Strategic audits

Constituency reviews

Scientific peer review

Quantitativas

Cost/ benefit analysis

Organizational studies

Scientometrics and bibliometric indicators

Page 28: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Organizational studies:Auditoria estratégica por matriz de avaliação

Não atendeuAtendeu

parcialmenteNão se aplica

Atendeu Superou

expectativas

Gerar nova tecnologia

Implantar nova tecnologia

Reduzir tempo de produção

Melhorar competitividad

e

Ampliar o mercado

Page 29: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Princípio axiológico: juízo de valor

• Discricionário– Da autoridade

• Ético– Excelência reconhecida

• Teórico– Definição metodológica

Subjetivo

Objetivo

Page 30: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Juízos objetivo e subjetivo são complementares

Evolução do conhecimento

Verdade

Mario Bunge. Semântica II:Interpretaçao e verdade. EDUSP, 1976

Page 31: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Possiamo partire, per amor di chiarezza, da una tesi che fu esposta in proposito, nelle pagine di Palomar, da Italo Calvino: "Ma come si fa a guardare qualcosa lasciando da parte l’io? Di chi sono gli occhi che guardano?[…] Dunque: c'è una finestra che s'affaccia sul mondo. Di là c'è il mondo; e di qua? Sempre il mondo: cos'altro volete che ci sia? È dato che c'è mondo di qua e mondo di là della finestra, forse l'io non è altro che la finestra attraverso la quale il mondo guarda il mondo. Per guardare se stesso il mondo ha bisogno degli occhi (e degli occhiali) del signor Palomar".

Oggettività: Il signor Palomar

Enrico Bellone Come mai cerchiamo l'invarianza in un mondo di trasformazioni?http://www.treccani.it/iteronline/interventi/zoom/ip1b1.htm

Magritte, La promenade d'Euclide, 1955 ©

SIAE

Page 33: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Análise de dados qualitativos

sed

om

nia

sura et numero et pon

e disposuistised

omn

a et numero et sposuistise

d om

et numero eosuisti

sed

o

t numero suisti

sed

o

numerosuisti

Wisdom of Solomon 11:21, vulgata version

Page 34: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Estratégias de processamento de dados

3 abordagens:

1. Criação de um indicador por combinação de medidas

2. Identificação de padrões de relações entre medidas

3. Identificação de padrões de comportamento de objetos

Page 35: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicadorOBJETO Y Y

A 2 1

B 1 4

C 3 2

D 2 2

E 4 3

F 5 5

G 3 2

H 2 2

I 4 1

J 1 4

Page 36: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador

VARX

6543210

VA

RY

6

5

4

3

2

1

0

J

I

H

G F

E

D C

B

A

Page 37: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador

Page 38: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador

A B C E G FD H I

J

1 2 3 4 5 6 7 8 9 10

Page 39: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador

Ciência e Tecnologia

Novos centros

Políticas públicas

Socio-economico

Socio-cultural

0 50 100 150 200 250 300

n respostas para categorias

0 0,5 1 1,5 2 2,5 3

Intensidade para impacto médio

Nenhum Pequeno Médio

Grande Muito grande Impacto médio

Page 40: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Ciência e Tecnologia

Novos centros

Políticas públicas

Socio-economico

Socio-cultural

0 0,5 1 1,5 2 2,5 3 3,5 4

Intensidade para impacto médio

Page 41: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

C&T

Novos centros

Políticas públicas

Socio-economico

Socio-cultural

Impacto pequeno Impacto grande

2,01,00,0-1,0-2,0

Page 42: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

C&T

Novos centros

Políticas públicas

Socio-economico

Socio-cultural

Impacto pequeno Impacto grande

100%50%0- 50%- 100%

Page 43: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador

Impacto

Ciência &Tecnologia

Nenhum

Pequeno

Médio

Grande

Muito grande

Criação novoscentros

Nenhum

Pequeno

Médio

Grande

Muito grande

Políticaspública

Nenhum

Pequeno

Médio

Grande

Muito grande

Socio-economico

Nenhum

Pequeno

Médio

Grande

Muito grande

Socio-cultural

Nenhum

Pequeno

Médio

Grande

Muito grande

Medida em nível de agregação superior

Impacto = Impacto do tipo 1 + Impacto do tipo 2 +

... + Impacto do tipo 5

Page 44: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador: Alpha de Cronbach

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) 1. Q6A IMPACTO C&T 2. Q6B IMPACTO DIFUSÃO CONHECI/O E NOVOS CENTRO 3. Q6C IMPACTO POLÍTICAS PÚBLICAS, NORMAS, LEIS 4. Q6D IMPACTO SOCIO-ECONOMICO 5. Q6E IMPACTO SOCIO-CULTURAL Mean Std Dev Cases 1. Q6A 2,6561 ,8638 570,0 2. Q6B 2,6982 ,9725 570,0 3. Q6C 1,0421 1,2681 570,0 4. Q6D 1,3614 1,1720 570,0 5. Q6E 1,7842 1,2870 570,0

Correlation Matrix

Q6A Q6B Q6C Q6D Q6E

Q6A 1,0000Q6B ,3470 1,0000Q6C ,0951 ,2070 1,0000Q6D ,2236 ,2655 ,4285 1,0000Q6E ,1624 ,2835 ,5106 ,3862 1,0000

Page 45: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador: Alpha de Cronbach

Item-total Statistics

Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation DeletedQ6A 6,8860 11,5142 ,2738 ,1416 ,6868Q6B 6,8439 10,5116 ,3819 ,1883 ,6504Q6C 8,5000 8,5984 ,4920 ,3257 ,6011Q6D 8,1807 8,9954 ,4974 ,2563 ,5987Q6E 7,7579 8,3068 ,5260 ,3181 ,5832

Reliability Coefficients 5 items

Alpha = ,6794 Standardized item alpha = ,6723

Page 46: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Criando um indicador: Alpha de Cronbach

AGRONOMIA E VETERINARIA 9,72ENGENHARIA 9,07GEOCIENCIAS 8,76CIENCIAS HUMANAS E SOCIAIS 8,58QUIMICA 8,51BIOLOGIA 8,31SAUDE 8,14FISICA 7,61ASTRONOMIA E CIENCIA ESPACIAL 7,58ARQUITETURA E URBANISMO 7,40MATEMATICA 7,14ECONOMIA E ADMINISTRACAO 6,38

Page 47: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Identificação de padrões de relações entre medidas

VARX

6543210

VA

RY6

5

4

3

2

1

0

J

I

H

G F

E

D C

B

A

Page 48: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Análise fatorial

VARX

6543210

VA

RY6

5

4

3

2

1

0

2,031,13

,71

-,20

-,15

-,17-,62

-,63

-1,06

-1,05

Page 49: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Fatorial X Indicador aditivo

A B C E G FD H I

J

1 2 3 4 5 6 7 8 9 10

D A B H J C I E G F

-1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03

Total Variance Explained

1,221 61,058 61,058 1,221 61,058 61,058

,779 38,942 100,000 ,779 38,942 100,000

Component

1

2

Total% of

VarianceCumulative

% Total% of

VarianceCumulative

%

Initial EigenvaluesExtraction Sums of Squared

Loadings

Extraction Method: Principal Component Analysis.

Page 50: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Impacto– Factor analysis

Correlation Matrix

Q6A Q6B Q6C Q6D Q6E

Q6A 1,0000Q6B ,3470 1,0000Q6C ,0951 ,2070 1,0000Q6D ,2236 ,2655 ,4285 1,0000Q6E ,1624 ,2835 ,5106 ,3862 1,0000

Page 51: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Estratificação por campos de pesquisa

Page 52: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de pesquisador

Júlio

Outros3210-1-2

2

1

0

-1

-2

-3

Page 53: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Identificação de padrões de comportamento de objetos

A

B

Page 54: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

A

B

Page 55: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

X X

1

2

1 2

Y2 - Y1

X2 - X1 Distância = (x2 - x1) 2 + (y2 - y1)

2

Page 56: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Y

A

XZ

B

distância

)N-(N .... )Z-(Z )Y-(Y )X-(X 212

212

212

212 Distância

Page 57: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Cluster

Page 58: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

VARX

6543210

VA

RY

6

5

4

3

2

1

0

J

I

H

G F

E

D C

B

A

?

Page 59: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Cluster

Proximity Matrix

5

2 5

2 1 4

8 9 2 10

25 20 13 25 5

17 8 9 13 5 4

1 2 1 1 5 18 10

4 13 2 10 4 17 17 5

10 1 8 4 10 17 5 5 18

Case

2:B

3:C

4:D

5:E

6:F

7:G

8:H

9:I

10:J

1:A 2:B 3:C 4:D 5:E 6:F 7:G 8:H 9:I

Squared Euclidean Distance

This is a dissimilarity matrix

Page 60: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Dendrogram using Average Linkage (Between Groups)

Rescaled Distance Cluster Combine

C A S E 0 5 10 15 20 25

Label Num +---------+---------+---------+---------+---------+

B 2 -+-----------+

J 10 -+ +-----------+

D 4 -+ I I

H 8 -+-----------+ +-----------------------+

A 1 -+ I I

C 3 ---+---+ I I

I 9 ---+ +-----------------+ I

E 5 -------+ I

F 6 -----------+-------------------------------------+

G 7 -----------+

Page 61: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Clusters

VARX

6543210

VA

RY6

5

4

3

2

1

0

J

I

H

G F

E

D C

B

A

Page 62: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Fatorial X Indicador aditivo X Cluster

A B C E G FD H I

J

1 2 3 4 5 6 7 8 9 10

D A B H J C I E G F

-1,06 -1,05 -0,63 -0,62 -0,2 -0,17 -0,15 0,71 1,13 2,03

Cluster Baixo X , Baixo Y Cluster Alto X Cluster Alto X e Y

ADBHJ CIE GF

Page 63: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de impacto por Cluster analysis

Page 64: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de impacto por Cluster analysis

Grupo 1Desempenhoexcepcional

Grupo 2

Alto desempenho

Grupo 3

Desempenho normal

Biology &

Biochemistry

Agricultural Sciences Astrophysics Materials Science

Physics Chemistry Computer Science Mathematics

Clinical Medicine Ecology/Environment Microbiology

Engineering Economics & Business Multdisciplinary

Molecular

Biol&Genetic

Education Neuroscience

Plant & Animal

Science

Geosciences Pharmacology

Immunology Psychology/Psychiatry

Law Social Sciences,

general

Page 65: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Factor X Cluster

Page 66: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação de impacto por análise cienciométrica

Segundo performance nosregistros ISI (1981-95)

Segundo investimentos daFAPESP (1978-95)

Segundo investimentos daFAPESP (1990-95)

Física Ciências da Saúde (15.36%) Ciências da Saúde (20.16%)

Biologia e Bioquímica Ciências Biológicas (15.06%) Ciências Biológicas (13.84%)

Clínica Médica Física (14.03%) Física (13.33%)

Engenharias Engenharias (10.49%) Engenharias (12.97%)

Química Química (10.30%) Química (9.57%)

Ciências de Plantas e

Animais

C. Humanas e Sociais

(9.54%)

Ciências Agrárias (7.94%)

Page 67: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exercício: Quais estratégias de análise para analisar os impactos do projeto “Desenvolver competências tecnológicas para a competitividade do setor

Aeronáutico brasileiro”

3 abordagens:

1. Criar um indicador por combinação de medidas?

2. Identificar de padrões de relações entre medidas, uma ou mais dimensão de projeção?

3. Identificar de padrões de comportamento de objetos, criar uma taxonomia de impactos?

Dimensão Variável de impacto Indicador / critério

Criação de Recursos Humanos Qualificados

Criação de Infra-Estrutura de Pesquisa

Criação de Capacitação Tecnológica no Setor Produtivo

Contribuição para Aumentar a Eficiência do Sistema Produtivo

Contribuição para a Melhoria da Qualidade de Vida da População

Contribuição para o Avanço do Conhecimento Científico e Tecnológico

Grau de Conhecimento e Experiência do Respondente no Tópico

Dependência de Cooperação Internacional

Tempo de sobrevida Ano calendário

Dimensão de aplicaçãouso, desenvolvi/o,

elucidação

Muito baixoBaixoMédioAlto

Muito alto

Condicionantes de juízos e de

impactos

Ambiente do Projeto

Ambiente Externo

Page 68: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exercício - resultadoDimensão Variável de impacto

Ediçãopreliminar

Criação de Recursos Humanos QualificadosCriação de Infra-Estrutura de PesquisaCriação de Capacitação Tecnológica no Setor ProdutivoContribuição para Aumentar a Eficiência do Sistema ProdutivoContribuição para a Melhoria da Qualidade de Vida da PopulaçãoContribuição para o Avanço do Conhecimento Científico e TecnológicoGrau de Conhecimento e Experiência do Respondente no Tópico

Peso para anteriores

Tempo de sobrevida logDimensão de aplicação: uso, desenvolvi/o, elucidação

1,2,3

Dependência de Cooperação Internacional -Nº de respostas logProporção de critérios -

Condicionantes de juízos e de impactos

Adiconais

Alpha = .84

Alpha = .82

Ambiente do Projeto

Ambiente Externo

Análise de cluster num espaço heptadimensional

Page 69: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Cluster: 4 gruposC

lust

er

1

2

3

4

Média

,4,3,2,10,0-,1-,2

Indicador Efeito

Indicador Disponibil

idade

Necessidade cooperaç

ão

-,1

,2

,3

,1

,1

,2

,2

,2

Clu

ste

r

1

2

3

4

4,54,03,53,02,52,01,51,0,50,0

Mean Proporção de cr

itérios respondidos

Mode Tipo de tópico

Mean LGN

1,4

3,1

3,9

2,6

1,0

2,0

2,0

2,0

,9

1,0

,9

1,0

Cluster

Efeito para aumentar a eficiência do sistema produtivo

Efeito para melhoria

da qualidade de vida da população

Efeito para avanço do

conhecimento científico e tecnológico

Indicador Efeito

Disponibilidade de RH

qualificado

Disponibilidade de

infraestrutura para pesquisa

Disponibilidade de capacitação tecnológica no setor produtivo

Indicador Disponibilidade

ExpertiseNecessidade cooperação

Horizonte de

realização

Nº respostas ao tópico

Proporção de critérios respondidos

Grupo I 0,27 0,19 0,53 0,19 0,03 0,00 0,02 0,01 0,52 0,15 2008 14 0,96Grupo II 0,38 0,16 0,57 0,24 0,03 -0,06 -0,08 -0,02 0,55 0,29 2008 49 0,94Grupo III 0,34 0,17 0,59 0,20 0,03 0,00 -0,04 0,00 0,52 0,25 2009 23 0,97Grupo IV 0,13 -0,06 0,1 0,02 0,42 0,33 0,40 0,15 0,38 -0,13 2007 4 0,89

Page 70: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Caracterização dos grupos

1. TÓPICOS DE ELUCIDAÇÃO DE ALTA EXEQUIBILIDADE

2. TÓPICOS MAIS PROMISSORES

3. TÓPICOS DE DESENVOLVIMENTO QUE ATRAEM MAIS INTERESSE, PORÉM COM MENOR EXEQUIBILIDADE

4. TÓPICOS DE DESENVOLVIMENTO DE SITUAÇÃO INTERMEDIÁRIA

Page 71: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Projeto Desenvolvimento de competências tecnológicas para a competitividade do setor Aeronáutico brasileiro

I. Tópicos de elucidação de pequeno impacto mas que demandaram pequeno esforço

1. Sistemas aeronáuticos

II. Tópicos de melhor desempenho

2. Estruturas aeroespaciais

3. Aerodinâmica

III. Tópicos de desenvolvimento cujos impactos foram limitados por dificuldades de execução

4. Propulsão aeronáutica

5. Sistemas de controle e defesa aérea

IV. Tópicos de desenvolvimento em situação intermediária

6. Materiais e Processos p/ Engenharia Aeronáutica

Page 72: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exercício

Dendrogram using Average Linkage (Between Groups)

C A S E 0 5 10 15 20 25

Label Num +---------+---------+---------+---------+---------+

Aerodinâmica 3 -+-----------------------------------------------+

Materiais e Processo 6 -+ I

Propulsão Aeronáutic 1 -+-----------+ I

Estruturas Aeroespac 4 -+ +-----------------------------------+

Sistemas Aeronáutico 2 -+-----------+

Sistemas de Controle 5 -+

Proximity Matrix

,26

,99 ,28

,01 ,20 ,85

,15 ,03 ,45 ,10

,93 ,24 ,01 ,80 ,40

Case

2:Sistemas Aeronáutico

3:Aerodinâmica

4:Estruturas Aeroespac

5:Sistemas de Controle

6:Materiais e Processo

1:PropulsãoAeronáutic

2:SistemasAeronáutico 3:Aerodinâmica

4:EstruturasAeroespac

5:Sistemasde Controle

Squared Euclidean Distance

This is a dissimilarity matrix

Page 73: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exercício

,21 ,21 ,22

-,04 ,02 ,00

,96 ,97 ,95

2008,63 2008,35 2008,51

,27 ,13 ,28

232 340 594

E_1

D_1

PROPRESP

HORIZO_1

COOP

N_BREAK

1 2 3

Average Linkage (BetweenGroups)

Page 74: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Exercício

Menor impactoPropulsão AeronáuticaEstruturas Aeroespaciais

Impacto médioSistemas AeronáuticosSistemas de Controle e Defesa Aérea

Maior impactoAerodinâmicaMateriais e Processos p/ Engenharia Aeronáutica

Page 75: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Mauro: multicritério

Link para

Page 76: Avaliação de resultados de projetos FEA/USP – nov / 2.001 USP-MBA: Administração de Projetos

Avaliação: como fazer?

The White Rabbit put on his spectacles. `Where shall I begin, please your Majesty?' he asked.`Begin at the beginning,' the King said gravely, `and go on till you come to the end: then stop.'