USP-MBA: C,T&I Avaliação e seleção de projetos tecnológicos FEA/USP - Agosto 2000

USP-MBA: C,T&I

Avaliação e seleção de projetos tecnológicos

FEA/USP - Agosto 2000

Folha de São Paulo, Caderno MAIS!, 27/06/99

zoom

Equação de Drake: Quantas estrelas nascemQuantas estrelas têm sistema planetárioQuantas estrelas têm vidaQuantas estrelas têm vida em estágio de evolução para comunicação

Greek vase Side A: AthenaPhotograph by Maria Daniels,courtesy of the University Museums,University of Mississippi

The Goddess Athena wins over Ignorance,B. Spanger (c. 1591)

Ciência

Pallas AtheneGustav Klimt (1898)

Vienna, Historisches Museum der Stadt Wien

Gestão de C&T•Disciplinas aplicadas (identidade no objeto):

:Planejamento estratégico:Estrutura organizacional:Adm. de Projetos

•Avaliação - disciplina básica, propedêutica (identidade em conceitos abstratos, genéricos)

:Tempo:Espaço:Finalidade:Valores:Meios:Linguagem:Simbologia

Seleção de projetos:matrizes para julgamento de prioridades

Vasconcellos E, Andrade VL. Altec'95

Mercadoconhecido pelaempresa

Mercado novopara empresa

Mercado novopara o mundo

Tecnologiaconhecida pelaempresa

Mínima incerteza

Tecnologia novapara empresa

Tecnologia novapara mundo Máxima incerteza

Agrupamento por categorias

Seleção de projetos:matrizes para julgamento de prioridades

Vasconcellos E, Andrade VL. Altec'95

Recompensapotencial

Alta Mínimaincerteza

Média

Baixa Máximaincerteza

0% 20% 40% 60% 80% 100%

Probabilidade de sucesso

Categorias e escala contínua

Seleção de projetos: ratings

Technologicalfeasibility

(weight=.2)

Technicalattractiveness

(weight=.3)

Economicpotencial

(weight=.5)

Score

P1 4 3 3 3,2

P2 2 4 3 3,1

P3 4 4 3 3,5

P4 4 3 5 4,2

P5 3 4 3 3,3

INDICADOR POR OPERAÇÃO ARITMÉTICAFahrini P. An application-oriented guide to R&D project selection. R&D Management 1990; 20(2):155-171.


Dimensão de projeçãoWilkinson A. Developing an expert system on project evaluation. R&D Management 1991; 21(4): 309-18.

1 2 30

1

2

3

Need of innovation

Tim

e to

co

mp

leti

on

Corpora

te u

rgen

cy

12

3

3

3

3

•Research problem factorsPriorityOriginalityClarity of objective

•Process factorsOriginality of approachFeasibility of solutionSide-effectsGroup leadership

•Funding requirement•Benefits if successful

Scientific impactEconomic effectsSocial welfareAcademic value


Xiao-Yin Jin. R&D project selection and evaluation.

R&D Management 1987; 17(4): 277-88

Função algébrica

• Corporate objectives/ strategy

• Market/ competitive position

• Technical impact

• R&D infrastructure

• Manufacturability

• Financial impact

• Regulatory/ legal (/environmental) aspects

R.B. Johnson

Os fatores para seleção de projetos são de natureza corporativa

TEMAS CONCEITOS

1. Gestão de Projetos 1. Carteira de projetos

2. Seleção de projetos

3. Monitoramento de projetos

4. Administração de pesquisas

5. Planejamento operacional de pesquisas

2. Gestão de recursosmateriais e financeiros parapesquisa

6. Planejamento de recursos por projetos

7. Autonomia de recursos segundo previsãopor projeto

8. Dotação de recursos segundo avaliação deandamento de projeto

9. Financiamento institucional de projetos

10. Captação de recursos externos paraprojetos

3. Gestão de infra-estruturapara pesquisa

11. Biblioteca com acesso eficiente à literaturanecessária à pesquisa

12. Serviço de reprografia para materialbibliográfico

13. Infra-estrutura para processamento dedados

14. Infra-estrutura de assessoria metodológicapara planos de análise de pesquisa

15. Infra-estrutura para elaboração de materialde divulgação de resultados de pesquisa

4. Gestão de recursoshumanos para pesquisa

16. Delegação de autoridade por projeto

17. Reconhecimento de mérito no trabalhorealizado pelo pesquisador

18. Remuneração complementar dopesquisador segundo o projeto de pesquisaque realiza

Definir prioridades: exemplo

Definindo prioridades

para gestão de C&T em

institutos de pesquisa

Definindo prioridades:Tema 1 - Gestão de projetos

Definindo prioridades:

Tema 3 - Gestão de infra-

estrutura para pesquisa

CONCEITO EXPECTATIVA SITUAÇÃO ATUALBiblioteca Acho indispensável que

um Instituto de Pesquisatenha uma biblioteca queprovidencie acesso ágil eeficiente à literaturanecessária àinvestigação científica

A biblioteca de nossoInstituto atende ospesquisadores comrapidez e providenciaacesso a toda literaturaque necessitam

Reprografia Julgo importante que opesquisador tenha meiospara reproduzir materialbibliográfico para seusestudos

No Instituto tenhofacilidades parareproduzir todo materialde literatura quenecessito

Registro,processa/o eanálise dados

Atualmente nenhumainstituição de pesquisapode prescindir de umcentro de processamentode dados

Nosso Instituto temfacilidades adequadaspara registro,processamento e análisede dados

Assessoriametodológica

A sofisticaçãometodológica (desenho,estatística,epidemiologia) nasciências da saúdeexigem que opesquisador tenhaacesso a assessoriaespecífica

No Instituto opesquisador tem umaassessoria adequadapara desenho,processamento e análiseestatística de dados deprojetos de pesquisa.

Material dedivulgação

Uma instituição depesquisa precisa provermeios para elaboraçãode material de divulgaçãode resultados depesquisa (processamentode textos, gráficos,slides, etc)

No Instituto temos todasas facilidadesnecessárias à elaboraçãode material de divulgação(processamento detextos, gráficos, slides,etc)

CONCEITO EXPECTATIVA SITUAÇÃO ATUALDelegação deautoridade

É indispensável que um projetode pesquisa tenha umresponsável com delegação deautoridade da diretoria paratudo que diga respeito àrealização do projeto.

Tenho (ou o líder de meuprojetos tem) total autoridadesobre a execução dasatividades de meus projetos depesquisa

Reconhecimento de mérito

Um plano de carreira nãoesgota a avaliação do trabalhodo pesquisador, devendo haverformas de reconhecimento daimportância e do valor daspesquisas que realiza (prêmios,títulos, destaques em folha deserviços, folgas, etc).

No Instituto o trabalho dopesquisador é reconhecido equando ele se destaca estereconhecimento toma umaforma concreta através deregalias, prêmios, títulos oumenções honrosas.

Remuneração A remuneração do trabalho empesquisa deveria ser pelomenos complementada atravésde alocação de recursos aoprojeto, como prevêem asnormas de Fundo Especial deDespesas, ou de alguma outraforma que garantisse umaremuneração condizente com otrabalho realizado.

Tenho complementação salarialpelo trabalho que realizo(através do próprio instituto oupôr agência de fomento)

Definindo prioridades:Tema 4 - Administração de pessoal para pesquisa

Expectativas de Gestão em C&T para os Institutos de Pesquisa

JULHO/96

1. Entendo que a autonomia do pesquisador não o isenta de prestar contas

ao Instituto sobre as investigações que realiza, devendo ele informar

cronograma de atividades e apresentar seus resultados para avaliação.

2. Um plano de carreira não esgota a avaliação do trabalho de

pesquisador, devendo haver formas de reconhecimento da importância

e do valor das pesquisas que realiza (prêmios, títulos, destaques em

folha de serviços, folgas, etc.).

3. Tenho complementação através de bolsa, prêmio pelo trabalho que

realizo (através do próprio instituto ou pôr agência de fomento ).

4. A complexidade metodológica (desenho, estatística, epidemiologia) nas

ciências da saúde, exigem que o pesquisador tenha acesso a assessoria

específica.

0 1 2 3 4 N/S

0 1 2 3 4 N/S

0 1 2 3 4 N/S

0 1 2 3 4 N/S

Definindo prioridades: questionário

Definindo prioridades: edição de dados

Composição conceitual dos temas de gestão de C&T,segundo exame de consistência pelo coeficiente alfa de

CronbachTema Cenário inicial Conceitos excluídos por

inconsistência final

1. Gestão deprojetos

Expectativa 0,45 Administração depesquisas

0,66

Situação atual 0,57 Administração depesquisas

0,66

2. Gestão derecursosmateriais efinanceirospara pesquisa

Expectativa 0,42 Autonomia derecursos segundoprevisão por projeto

Financiamentoinstitucional deprojetos

0,63

Situação atual 0,64 0,64

3. Gestão deinfra-estruturapara pesquisa

Expectativa 0,78 0,78


4. Gestão derecursoshumanos parapesquisa

Expectativa 0,36 Delegação deautoridade

0,52


Gestão de C&T na CIP: médias gerais de aprovação

Expectativa

Sit. Atual

Expectativa

Sit. Atual

Expectativa

Sit. Atual

Expectativa

Sit. Atual

Expectativa

Sit. Atual

Reprovação Aprovação

100%

80%60%40%20%0%-20%-40%-60%-80%-100%

Gestão de projetos

Gestão de recursos

G. de infraestrutura

G. de RH p/pesquisa

Geral da gestão C&T

Gestão de recursos materiais e financeiros para pesquisa: composição conceitual

Planej/o por projeto

Dotação c/ avaliação

Captação rec.externo

MÉDIA DE EXPECTATIVA


Autonomia por projeto

Dotação c/ avaliação

Financia/o interno

Captação rec.externo

MÉDIA DE SIT. ATUAL


100%

80%60%40%20%0%-20%-40%-60%-80%-100%

EXPECTATIVAS

SITUAÇÃO ATUAL

Carteira de projetos

Seleção de projetos

Monitora/o projetos

Planeja/o pesquisas

MÉDIA DE EXPECTATIVA



Monitora/o projetos

Planeja/o pesquisas

MÉDIA DE SIT. ATUAL


100%

80%60%40%20%0%-20%-40%-60%-80%-100%

EXPECTATIVAS

SITUAÇÃO ATUAL

Gestão de projetos: composição conceitual

Remuneraçãopor projeto

Planej/o derecursos porprojeto

Centro processa/ode dados

Carteira deprojetos


Serviço dereprografia

Captação de recursos externos

Dotação recursos c/avaliação

Monitora/o de projeto

Biblioteca eficienteMaterial de divulgação

Assessoriametodológica

Reconheci/ode mérito

Planeja/o depesquisa

60%20%0%-20%-40%-60%

100%

90%

80%

70%

60%

50%

40%

Situação Atual

Expectativa

Dimensão dasprioridades de gestão

Mapa de definição de prioridadespara conceitos de gestão de C&T

Mapa de definição de prioridades por instituto de pesquisa

Mapa das relações entre prioridades de gestão e unidades institucionais

ATUAL

6040200-20-40-60

EX

PE

C

100

90

80

70

60

50

40

Instituto

Butantan

Dante

IAL

Lauro

Pasteur

Ribas

Saúde

Conceitos

Remuneração por proj


Centro processa/o de



Serviço de reprograf

Captação de recursos

Dotação recursos c/a

Monitora/o de projet

Biblioteca eficiente

Material de divulgaç

Assessoria metodológ

Reconheci/o de mérit

Planeja/o de pesquis

Instituto

Butantan

Dante

IAL

Lauro

Pasteur

Ribas

Saúde

Conceitos


ATUAL

0-10

EX

PE

C

80

70

60

50

Zoom

Avaliação

• Diferentes objetos com diferentes significados:– projetos corporativos,

programas, etc.

• Ontológico & semântico:– O quê?– Com que sentido?– Delimitação

temporo-espacial do objeto

Experiências Princípios

•Diferentes finalidades:-Tomada decisão-Planejamento-Exploratória-Descritiva

•Teleológico:–Para quê?

Avaliação

• Diferentes juízos de valor:– subjetivo– objetivo

• Axiológico– O que é bom ou

ruim– Como é ajuizado o

valor

Experiências Princípios

•Diferentes estratégias metodológicas:

–Medidas qualitativas–Medidas quantitativas–Processamentos matemáticos

•Epistemológico—Medidas—Transformação de

medidas—Métodos analíticos

Princípio ontológico & semântico

O quê?

Espaço Tempo

Níveis estruturais

de C&T

Momentos da avaliação em

C&T

Avaliação: Níveis estruturais

Pesquisador

Projeto

Departamento

Universidade/ Empresa

Setor/ sociedade

Avaliação: tempoEstrutura Organizacional De Uma Instituição

HipotéticaDIRECA

O

DEPTO1

DIV1.1

SER1.1.1

SECAO

SETOR

SER1.1.2

SER1.1.n

DIV1.2

DIV1.n

DEPTO2

DIV2.1

DIV2.n

DEPTOn

DIVn.n

SERVn.n.1

SERVn.n.2

SERVn.n.n

SECAO

SETOR

Bens e serviços

C & T

Projeto ===> ciclo de vida• King & Cleland (1983)

– 1.de estabelecimento: identifica necessidades e define estratégia de resposta;– 2. de crescimento: identifica recursos, define tarefas e atvdds. Cria documentação;– 3. de maturação: executa, monitoriza e avalia;– 4. de declínio: transfere recursos e faz balanço de resultados.

• Kruglianskas (1987)– 1. de concepção;– 2. de estruturação;– 3. de execução;– 4. de encerramento.

• Tuman Jr (1983)– 1. de estudo e analise: determina o que se tem no presente o que se precisa para o futuro;– 2. de desenho, desenvolvimento e implementação: especifica, constrói, e faz aplicação real– 3. de documentação, treinamento, teste e suporte: assegura uso e faz ajustes

• Pereira e Saes (1995)– 1. Preliminar; – 2. Preparatória; – 3. De campo; – 4. De analise;– 5. De redação;– 6. De divulgação

Categorias de avaliação segundo o tempo

Atividades

Tempo

Ex-ante Ex-cursus Ex-post

Princípio teleológicoPara quê?

Conhecimento

Descritiva Exploratória

vg. estudos acadêmicos

vg. planejamento

Tomada de decisão

vg. definição de prioridades

Condiciona a expressão dos outros princípios

Princípio teleológico

Inovação Competitividade

vg. nova tecnologia,

novo processo

vg. re-inserção no setor

Re-engenharia

vg. re-definição da produção

Condiciona a expressão dos outros princípios

Para quê?Desenvolvimento de produto

Princípio axiológicoJuízo

Discricionário Ético

vg. programas de governo

vg. ad hoc

Epistemológico

vg. consultores, assessores

Julgamento de Paris: Rubens (1.577 - 1.640)

Princípio axiológico: juízo

• Discricionário– Da autoridade

• Ético– Excelência reconhecida

• Epistemológico– Definição metodológica

Subjetivo

Objetivo

Juízos objetivo e subjetivo são complementares

Evolução do conhecimento

Verdade

Mario Bunge. Semântica II:Interpretaçao e verdade. EDUSP, 1976

Princípio epistemológico

• Medidas–Qualitativas X quantitativas

–Precisão X acurácia

• Processamento–Univariado

–Multivariado

Medidas qualitativas

Conceito Técnica Exemplo

Classificação ordinal com ponto médio

Escala de Likert 1,2,3,4,5

Classificação ordinal de afirmação/ negação

Diferencial Semântico de Osgood

-2,-1,0,1,2

Redução à máxima afirmação/ negação

Predição de afirmação/ negação

-1,-0.5,0,0.5,1

Callimachi numeris non est discendus Achilles - Ovídio

Medida univariada

Medidas de governo, leis, normas

Facilitando muitoFacilitando

Não interferindoDificultando um pouc

Dificultanto muito

Co

unt

300

200

100

0

Recursos do centro de pesquisa envolvido



Dificultanto muito

Co

unt

300

200

100

0

Fatores de mercado



Dificultanto muito

Co

unt

300

200

100

0

Recursos $/técnicos de outras fontes



Dificultanto muito

Co

unt

300

200

100

0

Medidas unidimensionais

Indicador sintético combinando aritmeticamente as duas medidas

Com redução a máxima afirmação/ negação

RIAIA E ADMINISTR

HUMANAS E S

MIA E CIENCIA

URA E URBANI

IA E VETERINA

FISICA

ENGENHARIA

ECONOMIA E A

CIENCIAS HUM

BIOLOGIA

ASTRONOMIA

ARQUITETURA

AGRONOMIA E

SAUDE

QUIMICA

MATEMATICA

GEOCIENCIAS

ICA

60%

40%

20%

0%

-20%

-40%

-60%

Medidas de governo,

leis, normas

Recursos do Centro

Pesquisa envolvido

Fatores de mercados

Recursos $/técnicos

de outras fontes

Medida multivariada

Y

A

XZ

B

distância

A e B no espaço X / Y / Z

Medida multivariada

-1

-,7

,6

-,6 -,2-,5 -,2

-1

-,3-,3

-,6

,3

1,3

-,3

,6

,8

2,3

-1-1

-,4

,9

-1

,7

-,7

-1

-,8

,3

-,6

,2

-,8-,7

-,3-,4

-,8

-,2

1,8

-1-,9

-,4

,8

1,8

-,8

1,5

,7

1,8

,8

-,6

2,4

,8

-,4-,6

-,6

,6

-,2

-,7

-,8

,3

-1

1,5

-,3

-,6

-,1

,2

2,7

-,2

1,7

,8

1,4

-,8 -,6

-,4

,1

-,3

,6

-,5

-2

-1

,2

-1

,0

-2

-,4

,1

-,3

-,6

-,4

1,6

-,8-1-1

,1

1,7

-,4

1,4

,4

,6

-,1

1,1

-,2-,8

-1-,9

,9

-,8

-,4

-,8

-,5

-2

1,9

-,9

-,3

-,9

,8,5

,3

1,9

,9

1,7

-1

-1

-,4

,8

-,2

,5

-,2

-1

-,9

,2

-,6

,0

-1

,3

-,3

-,6

-,3

,8

-1-1-1

,1

2,2

-,1

1,6

,5

2,1

,7

-,6

1,0

-,8

PESO

3000020000100000

ES

TATU

RA

120

100

80

60

40

Função de projeção

z = f (x,y)

Precisão e acurácia

xxxx

yyy

y

zzzz

w

w

w

w

Erro aleatório: precisão X acurácia: diagnósticos médicos

FINA MEDIA GROSSEIRA

Precisao

0

0,2

0,4

0,6

0,8

1

KAPPA

Z DE KAPPA (/1000)

Escuder MML & Nunes Silva N, FSP-USP1992

Conclusões: Geração e seleção de projetos

• Geração– espontânea, proposta por pesquisadores– solicitação institucional

• Seleção– julgamento de diretrizes por

• Direção (autoridade)

• Conselho, Comissão (expert)

• Peer review (expert)

– julgamento de diretrizes por• matrizes

• ratings

• funções matemáticas

Conclusões: Geração de projetos

• Iniciativa do pesquisador– Balcão

• Solicitação institucional– Diretrizes estratégicas– Oportunidades tecnológicas– Competitividade mercadológica X processo

produtivo– Competitividade mercadológica X

concorrência

Conclusões: Diretrizes para a seleção de projetos

• Redação livre / padronizada• Qualidade técnico-cientifica

– pertinência do objeto– consistência metodológica– perspectivas de resultados

• Adequação do objeto às linhas de investigação e compromissos institucionais– Viabilidade física– adequação à tecnologia disponível e– capacidade operacional

• Viabilidade financeira

Exercício: discussão em grupo + plenária• Discussão em grupo:

– Uma experiência examinada como exemplo– ou um modelo teórico para um setor

• Discutir e concluir por tópicos:– Princípio Ontológico & semântico

• Qual o objeto do projeto tecnológico e qual seu significado

– Princípio Teleológico• Para quê? Finalidade: conhecimento, tecnologia

– Princípio Axiológico• O que é bom, o que é ruim, quem julga?

– Princípio epistemológico• Como se mede, processa e analisa?

Documents

USP-MBA: C,T&I Avaliação e seleção de projetos tecnológicos FEA/USP - Agosto 2000