EFEITO HALO NA AVALIAÇÃO DE PROJETOS DE PESQUISA … · EFEITO HALO NA AVALIAÇÃO DE PROJETOS DE PESQUISA E DESENVOLVIMENTO ... escolha de projeto de P&D deve levar em conta o

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO

INSTITUTO COPPEAD DE ADMINISTRAÇÃO

HENRIQUE HERMONT BARBOSA

EFEITO HALO NA AVALIAÇÃO DE PROJETOS DE PESQUISA E DESENVOLVIMENTO

Rio de Janeiro

2016



Dissertação de Mestrado apresentada ao Instituto

COPPEAD de Administração, da Universidade

Federal do Rio de Janeiro, como parte dos requisitos

necessários à obtenção do título de Mestre em

Administração.

ORIENTADOR: Marcos Gonçalves Avila

Rio de Janeiro

2016



Dissertação de Mestrado apresentada ao Instituto COPPEAD de Administração, da Universidade Federal do Rio de Janeiro, como parte dos requisitos necessários à obtenção do título de Mestre em Administração.

Aprovada por:

_________________________________________________ Prof. Marcos Gonçalves Avila, Ph.D. - Orientador

Instituto COPPEAD de Administração - UFRJ

_________________________________________________ Prof. Vicente Antônio de Castro Ferreira, D. Sc. Instituto COPPEAD de Administração - UFRJ

_________________________________________________ Prof. Denizar Leal, D. Sc.

Departamento de Ciências Contábeis - UFES

À minha família e aos meus amigos, pela

confiança, apoio e ajuda; e a tudo mais

que conspirou para que essa iniciativa se

concretizasse.

AGRADECIMENTOS

Ao professor Marcos Avila, meu orientador, pela paciência e confiança.

À equipe do COPPEAD, pelo serviço de educação de alto nível oferecido para a

sociedade.

Aos meus colegas de trabalho, por me ajudarem no levantamento de dados e na

realização dos estudos, e por se desdobrarem durante minha ausência.

À empresa onde trabalho, principalmente ao Fernando de Castro Sá, pela confiança,

incentivo e apoio à iniciativa de fazer este mestrado.

Aos amigos e à minha família, pelo incentivo e motivação.

RESUMO

BARBOSA, Henrique. Efeito halo na avaliação de projetos de pesquisa e

desenvolvimento. 2016. 81f. Dissertação (Mestrado em Administração) - Instituto

COPPEAD de Administração, Universidade Federal do Rio de Janeiro, Rio de

Janeiro, 2016.

Esta dissertação investigou a presença de um viés que vem sendo discutido na

literatura desde o início do século XX – o efeito halo. O objetivo deste estudo foi

apurar se o efeito halo se configura no processo de avaliação técnica de propostas

de projetos de pesquisa e desenvolvimento de uma relevante empresa brasileira do

setor energético. Para isso, técnicos da área de pesquisa e desenvolvimento da

empresa estudada foram solicitados a avaliar uma proposta de projeto de pesquisa e

desenvolvimento, por meio da resposta a um questionário – alguns avaliadores

receberam um questionário sem a informação halo (grupo de controle), enquanto

outro grupo avaliou uma proposta contendo a suposta informação halo. O halo

testado foi a informação de que o projeto seria executado em parceria com uma

instituição de pesquisa. A análise das médias das notas dos dois tipos de

questionários e o resultado dos testes estatísticos (paramétricos e não paramétricos)

sugerem a não configuração do efeito halo.

Palavras-chave: efeito halo, projetos de pesquisa e desenvolvimento, P&D, vieses cognitivos.

ABSTRACT

BARBOSA, Henrique. Efeito halo na avaliação de projetos de pesquisa e

desenvolvimento. 2016. 81f. Dissertação (Mestrado em Administração) - Instituto

COPPEAD de Administração, Universidade Federal do Rio de Janeiro, Rio de

Janeiro, 2016.

This study investigated the occurrence of a bias which has been present in the

academic literature since the beginning of the 20th century – the halo effect. This

widely witnessed effect is characterized by the influence of a general impression of

an object in the judgment of its categories. A field experiment was conducted aimed

at verifying whether the halo effect occurs in the process of executing technical

evaluation of research and development project proposals in a relevant Brazilian

corporation in the energy sector. For such, researchers were asked to evaluate a

research and development project proposal by responding to a questionnaire – some

researchers received a questionnaire without the presumed halo (control group),

while others evaluated a proposal in which the halo was included. The analysis of the

average grades of the two types of questionnaire, as well as the results of the

statistical tests (both parametric and nonparametric) suggest the inexistence of the

halo effect.

Keywords: halo effect, research and development projects, R&D, cognitive biases.

LISTA DE FIGURAS

Figura 1 Influência do contexto na interpretação .......................... 25 Figura 2

Desdobramento da estratégia aos projetos de P&D ....... 32

Figura 3

Processo de proposição e aprovação de projetos de P&D na EMPRESA ......................................................... 33

Figura 4

Regressão linear media das notas das PPP em função de ser ou não em parceria .............................................. 46

Figura 5

Teste da diferença entre PPP interna e externa ............. 47

Figura 6

Regressão linear da nota do projeto em função do percentual de seus gastos junto a IC .............................. 51

Figura 7

Regressão linear media da nota da pergunta 2 da PPP em função de ser ou não em parceria com IC ................ 70

Figura 8


Figura 9


Figura 10


Figura 11


Figura 12


Figura 13


Figura 14


LISTA DE GRÁFICOS

Gráfico 1 Histograma para todos os tipos de PPP ............................ 45 Gráfico 2

Histograma para PPP interna ............................................ 45

Gráfico 3

Histograma para PPP externa ........................................... 45

Gráfico 4

Curva teórica da relação nota do projeto concluído em função do percentual dos gastos investido com IC ........... 49

Gráfico 5

Notas das PPP em função do percentual dos gastos realizado com parceiros ..................................................... 50

LISTA DE QUADROS

Quadro 1

Obrigação de investimento em P&D gerada por ano (em R$) ..................................................................................... 16

Quadro 2

Descrição das seções de uma proposta preliminar de projeto ................................................................................ 34

Quadro 3

Previsão de gastos em PPP conduzida internamente (PPP interna) ..................................................................... 38

Quadro 4

Previsão de gastos em PPP com IC (PPP externa) .......... 39

Quadro 5

Perguntas, pontuação e peso das respostas das PPPs .... 40

Quadro 6

Resultado da aplicação do questionário de avaliação da PPP .................................................................................... 42

Quadro 7

Avaliação de PPPs por avaliadores com NENHUMA familiaridade ....................................................................... 44

Quadro 8

Avaliação de PPPs por avaliadores com POUCA familiaridade ....................................................................... 44

Quadro 9

Avaliação de PPPs por avaliadores com MUITA familiaridade ....................................................................... 44

Quadro 10

Relação entre o percentual dos gastos do projeto que foi aplicado em IC com a nota do desempenho do projeto .... 79

LISTA DE TABELAS

Tabela 1 Resultado do teste não paramétrico (Teste das Somas de Wilcoxon) para as respostas ao questionário .................... 78

LISTA DE ABREVIATURAS

ANEEL Agência Nacional de Energia Elétrica

ANP Agência Nacional do Petróleo, Gás Natural e Biocombustíveis

CEO Chief Executive Officer

CTE Comitê tecnológico estratégico

CTO Comitê tecnológico operacional

HH Homem-hora

IC Instituição credenciada pela ANP

P&D Pesquisa e desenvolvimento

PPP Proposta preliminar de projeto

SMS Segurança, meio ambiente e saúde

UFRJ Universidade Federal do Rio de Janeiro

SUMÁRIO

1 INTRODUÇÃO ........................................................................................ 13

1.1 PROBLEMA DE PESQUISA ................................................................... 14

1.2 RELEVÂNCIA .......................................................................................... 16

1.3 ORGANIZAÇÃO DO TRABALHO ........................................................... 18

2 REVISÃO BIBLIOGRÁFICA ................................................................... 20 2.1 CARACTERIZAÇÃO DO EFEITO HALO ................................................ 20

2.2 O EFEITO HALO NO MUNDO CORPORATIVO .................................... 25

2.3 MODELOS DESCRITIVOS DO EFEITO HALO ...................................... 27

2.4 FONTES DO EFEITO HALO ................................................................... 29

2.5 MÉTODOS DE DETECÇÃO E DE REDUÇÃO DO HALO ...................... 31

3 A SISTEMÁTICA DE APROVAÇÃO DE PROJETOS DE P&D DA EMPRESA ............................................................................................... 32

3.1 O CICLO DE DIRECIONAMENTO TECNOLÓGICO .............................. 32 3.2 O PROCESSO DE PROPOSIÇÃO E PRIORIZAÇÃO DE PROJETOS .. 33 3.3 A ESTRUTURA DA PROPOSTA PRELIMINAR DE PROJETO ............. 34 4 EXPERIMENTO PARA ANALISAR A EXISTÊNCIA DO EFEITO

HALO NA AVALIAÇÃO TÉCNICA DAS PPPS .................................................. 36 4.1 METODOLOGIA DO EXPERIMENTO .................................................... 36 4.2 RESULTADO DO EXPERIMENTO ......................................................... 41 5 ESTUDO 2 – SURVEY ........................................................................................ 48 5.1 METODOLOGIA DA SURVEY ................................................................ 48 5.2 RESULTADO DA SURVEY ,,,,,................................................................ 49 6 DISCUSSÃO ........................................................................................... 52 6.1 DELIMITAÇÕES ...................................................................................... 54 7 CONCLUSÃO ......................................................................................... 55 7.1 SUGESTÕES PARA PESQUISAS FUTURAS ........................................ 55 8 REFERÊNCIAS BIBLIOGRÁFICAS ....................................................... 57

ANEXO A - A OBRIGAÇÃO DE INVESTIMENTO EM P&D IMPOSTA PELA ANP .............................................................................................. 62

ANEXO B - ESTRUTURA DA PROPOSTA PRELIMINAR DE PROJETO (PPP) ..................................................................................... 64

ANEXO C - RESULTADO DOS TESTES ESTATÍSTICOS .................... 70

13

1. INTRODUÇÃO

Projetos de pesquisa e desenvolvimento (P&D) possibilitam que empresas

inovem, o que lhes confere vantagem competitiva no seu campo de atuação. A

escolha de projeto de P&D deve levar em conta o potencial deste em atender, no

todo ou em parte, uma estratégia previamente estabelecida na empresa. As

organizações normalmente possuem mais propostas de projeto do que recursos

disponíveis, o que as força a determinar, periodicamente, quais serão iniciados,

continuados e encerrados.

Embora a realização de projetos de P&D ocorra por iniciativa das organizações,

uma vez que estes lhes provêm a oportunidade de alcançar benefícios econômicos,

algumas empresas brasileiras são obrigadas por agências reguladoras a investir um

percentual mínimo de seu faturamento em P&D. No caso de empresas do setor

elétrico e de energia, que tipicamente apresentam faturamentos significativos, o

valor mínimo a ser investido em P&D é em geral bastante alto, o que resulta no

desafio de se selecionar, executar e gerir uma enorme quantidade de projetos.

Mais especificamente no caso de empresas do setor de óleo e gás, a Agência

Nacional de Petróleo, Gás Natural e Biocombustíveis (ANP) estabelece que no

mínimo metade do investimento total em P&D das companhias deve ser feito em

projetos em parceria com instituições credenciadas (IC) pela ANP. As ICs são

geralmente universidades brasileiras, embora possam ser também centros de P&D,

desde que também brasileiros. O restante do montante pode ser investido em

projetos de P&D a serem executados pela própria empresa, que serão referidos

como projetos internos. O detalhamento dessa regra está disponível no Anexo A.

É importante ressaltar a especial dificuldade que as empresas de óleo e gás têm

em realizar, no âmbito das ICs, todo o investimento previsto. Isso se dá devido à

magnitude do valor a ser investido. Além disso, o número de pesquisadores nas ICs

altamente qualificados é, com frequência, insuficiente, há limitação de

coordenadores de projeto nas próprias empresas, e a gestão de projetos em

parceria e a prestação de contas destes perante a ANP são bastante complexos.

Uma possível consequência da obrigação de se investir de forma tão significativa

em parcerias com ICs é a de se criar uma avaliação (inconsciente) diferenciada e

seguindo determinado padrão (viés), conforme será indicado adiante. O objetivo

deste trabalho é investigar essa hipótese.

14

Assume-se, nesta pesquisa, que o processo de avaliação de projetos de P&D

segue critérios técnicos e é realizado por profissionais qualificados e isentos.

Entretanto, segundo a literatura sobre tomada de decisão, é real a possibilidade da

existência de vieses atuando no nível do inconsciente, os quais exercem influência

significativa no processo de avaliação.

1.1. PROBLEMA DE PESQUISA

Este trabalho consiste na realização de um estudo que tem por objetivo avaliar a

existência de vieses cognitivos no processo decisório de aprovação de projetos de

P&D em uma multinacional brasileira do setor de óleo e gás, que será referida aqui

como EMPRESA.

A possibilidade de haver um viés de avaliação a favor da aprovação de projetos

em parcerias com IC surge como uma hipótese a ser investigada neste trabalho em

razão da vasta literatura sobre tomada de decisão que sugere que o julgamento

sobre atributos de um objeto pode ser influenciado, sem que haja consciência de tal

influência, por alguma impressão prévia que se tenha a respeito desse objeto. Essa

impressão prévia é denominada de “halo”, e o viés cognitivo resultante é

denominado “efeito halo”. O efeito halo é definido de forma geral como a influência

de uma avaliação inicial sobre determinado objeto (uma pessoa, uma empresa ou

um projeto de P&D) na avaliação de atributos específicos desse objeto (NISBETT;

WILSON, 1977). O efeito halo tem sido caracterizado como capaz de alterar

percepções, inclusive de atributos relativamente não ambíguos e sobre os quais o

avaliador tenha suficiente informação para exercer um julgamento independente e

de qualidade (NISBETT; WILSON, 1977).

Asch (1946) sugere que o efeito halo se relaciona à teoria de dissonância

cognitiva. De acordo com essa teoria, as pessoas são usualmente motivadas a

reduzir ou evitar inconsistências psicológicas (PLOUS, 1993) e, como afirma

Festinger (1957), tentamos, sempre que possível, reduzir dissonâncias cognitivas.

Isso é feito de diversas formas, e o efeito halo é descrito como uma dessas formas

(ASCH, 1946). Uma vez formada a impressão sobre algum objeto foco de atenção,

novas informações que sirvam para testar a validade dessa impressão, caso tenham

características subjetivas e, portanto, ambiguidade em termos de como podem ser

interpretadas, recebem a interpretação que as torna consistentes com a impressão

15

inicial (ASCH, 1946; FESTINGER, 1957; KAHNEMAN, 2012). Em outras palavras, o

contexto decisório resolveria as ambiguidades. O efeito halo é, nessa linha de

pensamento, um viés de supressão de ambiguidades (em direção à impressão inicial

que exerce o papel de halo).

Projetos de P&D em parceria com ICs (projetos externos) têm que ser aprovados

(em determinado número), conforme indicado. É, sem dúvida, natural e esperado

que esse fato não passe despercebido pelos avaliadores de propostas preliminares

de projetos. Na medida em que a cultura da organização seja a de somente executar

projetos de boa qualidade, pode criar-se um “desejo” de que a proposta preliminar

seja de boa qualidade, ou seja, gera-se um pensamento do tipo “espero que essa

proposta preliminar de projeto seja boa; assim cumprimos as determinações

existentes sem violarmos os padrões de qualidade dos projetos sob

responsabilidade desta organização”. Este estudo se concentra no processo de

avaliação técnica das propostas de projeto de P&D. Essa avaliação, conforme será

mostrado, inclui majoritariamente critérios subjetivos, aos quais são atribuídos

pesos. Parece razoável, em consequência, assumir, como hipótese, a existência de

um efeito halo no processo.

Em face de tais especulações, tendo como referência o que dispõe a literatura

especializada, a pergunta de pesquisa que se pretende responder é: Existe um viés

(efeito halo) na avaliação técnica das propostas de projetos de P&D, em razão de

estes serem fruto de parceria com alguma instituição credenciada?

O que motivou tal estudo, conforme já mencionado, foi a constatação da

dificuldade da EMPRESA em investir o montante destinado a P&D em parceria com

ICs, o que poderia estar induzindo a um halo: se o projeto for ser realizado em

parceria, então ele passa a ser visto como mais atraente. Tal halo poderia estar

atuando, ainda que em nível inconsciente, no momento de avaliação técnica das

propostas de projeto, levando à composição de uma carteira de projetos subótima.

Esta dissertação incluiu um segundo estudo. Uma possível decorrência da

necessidade de se cumprir a exigência de investimento em P&D, imposta pela

agência reguladora, é a existência de uma carteira de projetos de P&D não

otimizada, composta por projetos que não são os de maior atratividade técnica para

a EMPRESA. Uma maneira de se buscar avaliar a concretização dessa hipótese é

por meio da comparação do desempenho dos projetos internos com o desempenho

daqueles que foram realizados com IC. O segundo estudo, focado nessa

16

comparação, foi realizado junto a gestores de projetos já concluídos, na forma de

uma survey, visando-se a quantificar o resultado de tais projetos, por meio da

atribuição de uma nota. Isso permitiu comparar a nota recebida de cada projeto e o

percentual de seus gastos realizados junto a IC. É importante lembrar que, quando

um projeto é realizado em parceria com IC, ainda assim parte de seus gastos é

interna (gastos com gestão, pesquisadores da própria EMPRESA, entre outros). O

percentual de gastos de um projeto junto a IC pode variar entre zero, no caso de

projetos internos, a cem, no caso hipotético em que todos os gastos fossem junto a

ICs (o que não ocorre na prática, pois sempre há gastos com atividades de gestão,

que são declarados à ANP como passíveis de cumprimento da obrigação de

investimento em projetos internos).

Esta dissertação inclui, portanto, dois estudos, que se complementam. O

primeiro, um experimento, buscou indícios da ocorrência do efeito halo no momento

em que os pesquisadores avaliam as propostas de projeto de P&D da empresa. O

segundo, uma survey, buscou verificar se a possível tendência de se avaliarem os

projetos em parceria com IC de forma mais benevolente– mesmo aqueles com

menor mérito técnico – vem impactando a qualidade dos resultados desses projetos.

1.2. RELEVÂNCIA

A EMPRESA estudada é de grande porte e possui um relevante centro de

pesquisa e desenvolvimento, cujo objetivo maior é disponibilizar soluções

tecnológicas para a companhia. Em 2014, o montante gasto com P&D ultrapassou 1

bilhão de reais, o que evidencia a relevância do processo de aprovação de projetos.

O Quadro 1 exibe os valores, em reais, a serem despendidos pela EMPRESA e por

outras concessionárias com P&D entre 1998 e 2014, como decorrência da obrigação

contratual imposta pela ANP.

Quadro 1: Obrigação de investimento em P&D gerada por ano (em R$)

Ano EMPRESA Outras Concessionárias Total

1998 1.884.529 1.884.529

1999 29.002.556 29.002.556

17

2000 94.197.339 94.197.339

2001 127.274.445 127.274.445

2002 263.536.939 263.536.939

2003 323.299.906 323.299.906

2004 392.585.953 11.117.686 403.703.639

2005 506.529.318 2.279.136 508.808.454

2006 613.841.421 2.547.915 616.389.336

2007 610.244.146 6.259.121 616.503.267

2008 853.726.089 7.132.144 860.858.233

2009 633.024.264 5.858.020 638.882.284

2010 735.337.136 11.579.885 746.917.021

2011 990.480.683 41.416.212 1.031.896.895

2012 1.148.763.766 77.922.924 1.226.686.690

2013 1.161.786.262 98.080.694 1.259.866.956

2014 1.246.469.446 161.095.784 1.407.565.230

TOTAL 9.731.984.197 425.289.522 10.157.273.719

Dentre as possíveis consequências decorrentes do possível viés a ser avaliado

neste trabalho destacam-se: projetos cujos objetivos previstos não se alinhem

plenamente aos desafios estratégico-tecnológicos da companhia; execução de

projetos com grupos de pesquisadores de ICs que não sejam os mais qualificados

para tal; seleção de projetos com escopo e prazo inadequados; rigor insuficiente no

acompanhamento dos projetos por apresentarem baixa expectativa de retorno; e

grande número de projetos a se gerir (tamanho do portfolio).

É plausível supor que essas implicações indesejadas possam ocorrer em outras

empresas do setor com atividades no Brasil, sujeitas à mesma obrigação perante a

ANP. Tal efeito também poderia ocorrer com empresas sujeitas a obrigações

18

semelhantes de investimento em P&D, impostas por outras agências reguladoras,

como a ANEEL, de modo que os resultados deste trabalho podem interessar a

essas instituições. Sob uma óptica ainda mais ampla, uma eventual constatação do

efeito halo na avaliação de propostas de projetos de P&D pode servir como alerta

para o processo de seleção de projetos de qualquer empresa.

Cabe ressaltar finalmente que, conforme será discutido no capítulo seguinte, o

efeito halo pode ocorrer de forma inconsciente, principalmente onde houver

ambiguidades, incerteza sobre o significado das categorias avaliadas, e não

expertise sobre o conteúdo avaliado. O esforço de se tentar detectá-lo deve, pois,

passar pelo procedimento científico, com o desenho de um experimento,

levantamento dos dados, avaliação e publicação dos resultados. Apesar de a

medição do efeito halo nem sempre ser imediata, ela é fundamental em algumas

situações. No caso deste trabalho, o montante envolvido no aporte em projetos de

P&D, anualmente, gira em torno de 1 bilhão de reais, conforme citado. Sabe-se que,

no mínimo, metade desse valor é investido em projetos em parceria com IC. Caso o

processo de aprovação das propostas desses projetos esteja sujeito a vieses, os

impactos à EMPRESA podem ser de imensa relevância.

Embora este trabalho não foque a estimativa dos tipos desses impactos, nem

sua quantificação, a metodologia de medição de halo aqui adotada pode ser

replicada em outros processos da EMPRESA, e também em processos semelhantes

de outras organizações.

1.3. ORGANIZAÇÃO DO TRABALHO

O restante do trabalho está organizado da seguinte forma: no Capítulo 2, o efeito

halo será discutido – conceito, aplicações em diversos contextos e formas de

medição. No Capítulo 3, explicar-se-á como a estratégia da EMPRESA se desdobra

em metas e projetos de P&D. Também nesse capítulo será descrito o procedimento

de criação, avaliação e aprovação das propostas de projeto de P&D na EMPRESA.

No Capítulo 4 será apresentada a metodologia de pesquisa adotada para a

realização do experimento em que se testou o efeito halo, assim como os resultados

obtidos. O Capítulo 5 apresenta a metodologia usada para quantificar o resultado de

projetos de P&D concluídos, por meio da survey, assim como seus resultados. No

Capítulo 6, discutem-se os resultados obtidos, e apresentam-se as limitações do

19

trabalho. Por fim, o Capítulo 7 apresenta a conclusão do trabalho, com a sugestão

de estudos subsequentes.

20

2. REVISÃO BIBLIOGRÁFICA

2.1. CARACTERIZAÇÃO DO EFEITO HALO

Ainda que sem usar o termo “efeito halo”, Wells (1907) constatou um “erro

constante” na avaliação do mérito literário de dez autores, em dez categorias e em

um item global. Ele identificou a tendência, por parte dos examinadores, de

avaliarem atributos sob a influência de uma percepção geral, principalmente para as

categorias mal definidas.

Thorndike (1920) descreveu o efeito halo, ou “erro do halo”, como a tendência de

se pensar que um indivíduo é, de uma forma geral, bom ou mau, superior ou inferior,

e de se efetuarem julgamentos sobre suas qualidades sob a influência de tal

tendência. Logo, o termo “halo” foi empregado para se referir ao erro constante

verificado nos resultados de estudos de avaliação de indivíduos, os quais mostraram

correlação bastante elevada entre seus atributos. Em um estudo mencionado por

Thorndike (1920), em que se avaliaram militares quanto a quatro atributos –

inteligência, aspectos físicos, personalidade e liderança –, frisou-se aos oficiais que

considerassem cada característica de forma independente das demais. Mesmo

assim, a correlação entre os atributos avaliados foi superior à suposta correlação

real. Um dos avaliadores avaliou 137 cadetes de aviação supervisionados por ele. A

correlação do atributo inteligência com os atributos aspectos físicos, liderança e

caráter foi de 0,51, 0,58 e 0,64, respectivamente. Segundo Thorndike, os pares

inteligência e caráter, e inteligência e liderança, deveriam ter correlação três vezes

mais próxima do que a correlação entre inteligência e aspectos físicos.

Ainda na primeira metade do século XX, Newcomb (1929, 1931) documentou e

anteviu problemas advindos do efeito halo: em sua pesquisa, ele constatou que

quando campistas eram avaliados ao final do verão, as correlações entre categorias

eram bem superiores às correlações derivadas de observações diárias, o que

sugere que lapsos na memória, sobre determinadas características, seriam supridos

pela disponibilidade de informação a respeito do indivíduo sendo avaliado, conforme

será detalhado mais adiante neste capítulo.

Diversos estudos subsequentes apontaram para a presença do efeito halo no

processo de avaliação de indivíduos. Dion et al. (1972) publicaram um artigo

bastante citado, cujos resultados apontam para a tendência de se formarem

estereótipos a partir de aspectos físicos, principalmente a aparência do rosto.

21

Indivíduos fisicamente atraentes são vistos como tendo personalidades mais

desejáveis socialmente, e lhes é atribuída maior chance de sucesso em diversas

dimensões.

Cada um dos 60 estudantes participantes da pesquisa de Dion et al. (1972),

metade de cada sexo, recebeu três envelopes, cada um contendo uma foto de uma

pessoa de idade próxima à do avaliador. Uma das fotos era de um indivíduo

atraente, outra era de um indivíduo de atração média, e a terceira foto era de

indivíduo não atraente. Para cada envelope, os estudantes foram instruídos a avaliar

27 traços de personalidade da pessoa da foto, listados em ordem aleatória (altruísta,

convencional, estável, genuíno, sensitivo, sociável, competitivo, entre outros).

Posteriormente, receberam uma lista com outros cinco traços de personalidade, para

responderem qual das três pessoas das fotos mais e menos provavelmente

apresentaria cada um deles. As cinco características eram: afabilidade, entusiasmo,

atratividade física, postura social e confiabilidade. Os estudantes também foram

solicitados a apontar qual dos três avaliados teria mais e menos chance de vivenciar

alguns tipos de experiência. Esses tipos de experiência compuseram índices de

felicidade em quatro áreas: vida conjugal, paternidade, social/profissional, e

felicidade geral (soma dos anteriores). Por fim, foram orientados a classificar o nível

de status profissional de cada individuo fotografado.

Os resultados obtidos mostraram alta correlação entre atratividade do indivíduo e

as características sociais desejáveis. A única característica que se apresentou

inferior para as pessoas mais atraentes foi a competência para ser pai ou mãe.

Homens e mulheres mais atraentes são vistos como mais prováveis de ter

profissões de maior prestigio, casamentos mais felizes e maior realização social.

Na tentativa de avaliar se a aparência física é levada em conta na avaliação de

outros atributos, Landy e Sigall (1974) solicitaram a alunos universitários do sexo

masculino que lessem um texto elaborado por uma aluna, para, em seguida, avaliar

a qualidade da redação, assim como diversas habilidades da escritora. Havia duas

versões de texto: uma de melhor e outra de pior qualidade. Para cada uma das

versões, o texto foi acompanhado: ou de uma foto de uma mulher atraente, ou de

uma foto de uma mulher não atraente, ou de nenhuma foto. De uma forma geral, os

textos com mais qualidade foram mais bem avaliados que os de pior qualidade.

Tanto para a redação de maior quanto para a de menor qualidade, os textos

acompanhados de foto da mulher atraente foram mais bem avaliados que os textos

22

sem foto, que por sua vez foram mais bem avaliados que os textos com fotos de

uma mulher não atraente. O impacto da atratividade foi mais acentuado na avaliação

da redação de qualidade inferior.

O efeito halo também foi estudado no campo da política. Olivola e Todorov

(2010) mostraram que a aparência do candidato está correlacionada com sua

probabilidade de ser eleito, e que tal relação é especialmente marcante quando não

há percepção sólida quanto à competência do candidato. Verhulst et al. (2010)

utilizaram os dados do estudo de Olivola e Todorov (2010) para sugerir que a

percepção de atratividade e de familiaridade atuam diretamente no processo de

determinação da competência do candidato, assumindo, assim, papel ainda mais

importante na probabilidade de sua eleição.

No Brasil, são raras as menções ao efeito halo como a fonte de vieses em

julgamentos e processos decisórios no cenário doméstico. A maioria da literatura

brasileira que trata do efeito halo não o faz como tema central de estudo. Ele é

mencionado como possível ocorrência na realização de avaliações, notadamente de

indivíduos e de produtos, principalmente em publicações na área de marketing, mas

também na área médica e em estudos de internacionalização de produtos (BREI;

ROSSI, 2005; DOMINGUES; AMARAL; ZEFERINO, 2007; GIRALDI; CARVALHO,

2004; GIRALDI; IKEDA; CARVALHO, 2008; LOTTA, 2002; URDAN, 2004).

Contudo, existem menções ao efeito halo relacionadas aos negócios. A revista

Época, em 2008, descreve alguns exemplos do viés em julgamentos associados a

questões políticas:

Com a economia brasileira em alta, o presidente Lula bateu recordes de popularidade, mesmo durante o escândalo político do mensalão. Nos Estados Unidos, logo após os ataques terroristas de 11 de setembro de 2001, quando um sentimento de união tomou conta do país, o presidente Bush foi bem avaliado em pesquisas sobre sua política econômica. Inversamente, quando as críticas à invasão do Iraque aumentaram, os americanos avaliaram sua conduta da economia como ruim. (COHEN, 2008).

Diniz (2014) sugere que evidências de incidência do efeito halo acompanharam o

noticiário sobre o desempenho das empresas de Eike Batista a partir de 2012. Em

junho de 2012, a mídia tornou público o baixo desempenho financeiro e operacional

da holding EBX. A partir desse momento, argumenta Diniz, as avaliações

supostamente neutras, por parte da mídia, sobre as estratégias e liderança de Eike

Batista, até então descritas como visionárias e de execução impecável, passaram a

23

ser totalmente diferentes. Alguns exemplos de informações sobre Eike Batista antes

de junho de 2012:

• A revista Carta capital declarou, em 2011: “Entre os líderes

empresariais, Eike Batista, o homem mais rico do País e homem-forte do Grupo

EBX, é considerado o empresário mais respeitado do Brasil em 2011” (CAPITAL,

2011).

• Em janeiro de 2012, a revista Veja dedicou ao empresário a capa "Eike Xiaoping"

e afirmou (na carta ao leitor) que o empresário seria a cara de um Brasil que

"trabalha muito, compete honestamente, orgulha-se de gerar empregos e não se

envergonha da riqueza" (CARVALHO et al., 2012, p.77). A capacidade para atrair

executivos de sucesso era exaltada: Sua “voracidade pelos melhores talentos”

garantiu “nacos inteiros de equipes de suas principais concorrentes, incluindo

Petrobras e Vale” (FRANÇA; SOARES, 2008).

A partir do segundo semestre de 2012, o padrão das reportagens se alterou, de

forma imediata. Alguns exemplos, conforme assinala Diniz (2014):

• No segundo semestre de 2012, a revista Época, em reportagem ainda em tom

parcialmente elogioso ao empresário, usa uma linguagem mais ambígua ao

descrevê-lo: “Ousado” ou “temerário”? “Oportunista” ou “empreendedor”?

(NEGÓCIOS, 2014).

• A revista Veja, em 2013, afirma que “Eike foi vítima de Eike, da arrogância, da

megalomania” (CONSTANTINO, 2013a).

• A ousadia e o otimismo, antes elogiados, agora são apresentados como “excesso

de confiança”, e sua genialidade se limitava a vender projetos (FIGUEIRA, 2013).

• O sucesso de Eike havia se dado muito mais a fatores externos do que a mérito

pessoal (CONSTANTINO, 2013b). A revista Exame, em 2013, apontou os sete

24

erros de Eike. Dentre eles, fragilidade em definir estratégias, inabilidade em definir

políticas de bonificação de executivos, promoção somente de otimistas, e

confusão entre ambição e pressa (JUBILONI, 2013).

Em outro estudo brasileiro, Santos Junior (2015) apresenta uma descrição e

análise penetrantes sobre a possibilidade de vieses cognitivos terem influenciado o

processo decisório associado a tragédia do voo 655 da Iran Air, com 290 pessoas a

bordo, abatido pelo USS Vincennes em 1988. O Airbus 300 foi confundido com um

F-14 iraniano. É nítido o descompasso entre a reconstrução dos fatos a partir dos

dados gravados a bordo do navio e a interpretação desses mesmos dados pelos

seus tripulantes – segundo Santos Junior (2015): “Enquanto os dados gravados

mostravam que se tratava de uma aeronave comercial, a mesma era percebida pela

tripulação como um F-14 iraniano na eminência de um ataque ao navio”.

Embora Santos Junior não cite diretamente o efeito halo como o viés cognitivo

em ação no caso, a caracterização do viés como uma manifestação do efeito halo é,

acredita-se, justificada e consistente. O cenário no USS Vincennes, nas três horas

que antecederam a decisão de lançamento dos dois mísseis, é descrito como de alta

tensão (havia um engajamento em curso entre o Vincennes e lanchas iranianas, e

havia a presença de uma aeronave P-3 iraniana no local). Por uma infeliz

coincidência, naquele exato momento, o navio acabou posicionado sob a aerovia

que minutos depois seria utilizada pela aeronave comercial iraniana. Esse contexto,

cuja tensão fica acentuada por eventos pontuais (ver Santos Junior, 2015) nos

momentos que antecederam a tragédia, levou, presumivelmente, a uma

interpretação de informações inconclusivas (e envolvendo algum grau de

ambiguidade), recebidas nos instantes daquela manhã de 3 de julho de 1988,

consistente com a impressão geral predominante no navio naquele momento. Esse

é exatamente o efeito halo em ação. Como afirma Kahneman, ao comentar sobre a

interpretação dada aos elementos da Figura 1 (onde o símbolo 13 pode ser

interpretado tanto como o número 13 quanto como a letra B, e a palavra “Banco”

pode se referir a um “prédio com caixas e dinheiro” ou a algo diferente, se você

estiver pensando, por exemplo, em “praças”):

O contexto todo ajuda a determinar a interpretação de cada elemento. A forma é

ambígua, mas você tira uma conclusão precipitada sobre sua identidade e não toma

consciência da ambiguidade que foi resolvida. (KAHNEMAN, 2012 p. 104).

25

Figura1 – Influência do contexto na interpretação (KAHNEMAN, 2012, p. 104)

2.2. O EFEITO HALO NO MUNDO CORPORATIVO

A ocorrência do efeito halo no ambiente corporativo tem sido amplamente

estudada. Em um trabalho relacionado à teoria da atribuição, que busca

compreender como as pessoas atribuem causalidade a eventos observados, Staw

(1975) realizou uma pesquisa com 60 alunos do curso de graduação em

administração de empresas da universidade de Illinois, que foram divididos em

grupos de três pessoas. Cada grupo recebeu informação financeira sobre uma

empresa de médio porte, não muito conhecida, da área de eletrônicos, e foi

solicitado a projetar seu lucro por ação para o ano seguinte, em 30 minutos. Feito

isso, o aplicador do experimento aleatoriamente disse a alguns grupos que eles

tinham feito projeções muito precisas, e que estavam entre os 20% melhores; para

outros grupos, foi dito o contrário. Em seguida, cada grupo se reuniu para preencher

um questionário sobre seu desempenho, com perguntas sobre coesão do grupo,

influência, comunicação, motivação, entre outros. Ainda que não tenha havido

diferença no desempenho entre os grupos rotulados como sendo de alto e de baixo

desempenho, os resultados mostraram que os grupos aleatoriamente caracterizados

como de alto desempenho se autoavaliaram de forma mais positiva que os grupos

de suposto baixo desempenho. A avalição do desempenho de colegas do próprio

grupo seguiu o mesmo padrão.

Posteriormente ao trabalho de Staw (1975), McElroy e Downey (1982) decidiram

replicar o mesmo experimento, utilizando os mesmos dados, porém com

respondentes que tinham um histórico de atuação em conjunto. Além disso, foi-lhes

concedido maior tempo para estimativa do parâmetro. Mesmo com tais

modificações, o efeito da atribuição se configurou de forma semelhante à do estudo

anterior.

Os resultados dos estudos citados acima são importantes, pois mostram que os

processos de avaliação de desempenho, bem como os de autoavaliação, são

passíveis de distorção quando se tem informação sobre o resultado do trabalho, o

que ocorre comumente nas organizações. Outro trabalho relevante a respeito de

26

vieses relacionados a julgamentos, nesse caso sobre o desempenho de

organizações, é o de Rosenzweig (2007). Segundo ele, erros de atribuição ocorrem

frequentemente porque muitos conceitos de gestão e negócios, tais como liderança

e cultura corporativa, são ambíguos e difíceis de definir. Com isso, nossa percepção

de tais conceitos fica baseada em outros que parecem mais concretos e tangíveis,

notadamente o desempenho financeiro das corporações.

Como exemplo de seu argumento, Rosenzweig (2007) cita o caso da empresa

Dell Computer. Em fevereiro de 2005, a empresa foi considerada a mais admirada

do mundo pela revista Fortune. Porém, dois anos depois, diante de uma forte queda

em seus resultados, seu presidente foi retirado, no intuito de se recuperar a

companhia. Rosenzweig (2007) critica a atitude da mídia e de especialistas, que

atacaram o modelo de negócio da empresa, acusaram-na de ter-se acomodado, e

atribuíram seu fracasso à sua liderança e a questões culturais. O autor mostra

diversas ações da empresa que contrariam tais acusações: a aquisição da

ConvergeNet, a redução de custos e a expansão de sua manufatura para produtos

relacionados.

Rosenzweig (2007) defende que o desempenho de uma empresa cria uma

impressão geral na forma como percebemos sua estratégia, liderança, seus

empregados, cultura e outros elementos. Quando uma empresa vivencia um

momento próspero, com aumento de vendas e valorização de suas ações,

observadores naturalmente inferem que essa empresa possui uma estratégia

eficiente, uma liderança visionária, empregados motivados, foco no cliente, cultura

vibrante, e assim por diante. É até mesmo comum atribuir-se relação de

causalidade: as características da empresa, quando esta desempenha bem, seriam

causas de seu sucesso. Mas quando, pouco tempo depois, essa mesma empresa

sofre um declínio, atribui-se o pior desempenho às mesmas características que

outrora foram consideradas causa do seu sucesso. Segundo Kahneman (2012,

p.212), “devido ao efeito halo, compreendemos a relação causal do modo inverso:

ficamos inclinados a acreditar que a empresa fracassa porque seu CEO é inflexível,

quando a verdade é que o CEO parece inflexível porque a empresa está indo mal”.

27

2.3. MODELOS DESCRITIVOS DO EFEITO HALO

Na visão de Kahneman (2012, p.85), “o efeito halo é uma das maneiras pelas

quais a representação do mundo que o Sistema 1 gera é mais simples e mais

coerente do que a coisa real”. Os termos “Sistema 1” e “Sistema 2” fazem referência

a dois sistemas na mente, tendo sido cunhados pelos psicólogos Stanovich e West

(2000). Kahenman (2012) refere-se ao Sistema 1 e ao Sistema 2 para descrever a

vida mental com a metáfora de dois agentes que produzem, respectivamente, o

pensamento rápido e o lento. Enquanto este opera de maneira ágil e automática,

requerendo pouco esforço, aquele requer atenção para a realização de operações

mais complexas. Detectar que um objeto está mais distante que outro, orientar-se

em relação à fonte de um som repentino e detectar hostilidade em uma voz são

atividades que acionam o Sistema 1, enquanto manter-se no lugar para o tiro de

largada numa corrida, concentrar-se na voz de determinada pessoa em uma sala

cheia e barulhenta, contar as ocorrências da letra “a” numa página de texto e

verificar a validade de um argumento lógico complexo são atividades demandantes

do Sistema 2 (KAHNEMAN, 2012). Ainda segundo o autor, embora o Sistema 1

provenha respostas ágeis, que não requerem muito esforço, seu uso na resolução

de determinados problemas pode levar a erros sistemáticos que se repetem de

forma previsível, denominados vieses (KAHNEMAN, 2012).

Além da visão de que o efeito halo é causado por uma impressão geral do

avaliador acerca do objeto avaliado (THORNDIKE, 1920; WELLS, 1907), o

fenômeno também é entendido como o resultado da influência de alguma dimensão

avaliada sobre as demais. Tal entendimento é conhecido como modelo da dimensão

saliente. Num experimento em que alunos formaram impressões sobre pessoas, a

partir de uma pequena lista de características, Asch (1946) notou que algumas

características eram centrais para a formação da impressão, e que a interpretação

de um traço de personalidade variava em decorrência do contexto de outros traços,

o que mostra a influência de um atributo na avaliação dos demais.

De forma semelhante, Fisicaro e Lance (1990) descrevem três modelos que

explicam a ocorrência do efeito halo: o modelo da impressão geral, o modelo da

dimensão significativa e o modelo de discriminação inadequada. No primeiro

modelo, o efeito halo é visto como “a tendência de um avaliador permitir que

impressões gerais de um indivíduo influenciem o julgamento do desempenho

28

daquele indivíduo ao longo de diversas dimensões quase-independentes de

desempenho no trabalho” (KING et al., 1980, p.507), ou como “a influência de uma

avaliação global em avaliações de atributos individuais de uma pessoa” (NISBETT;

WILSON, 1977, p.250). Essa visão coincide com a daqueles que iniciaram o uso do

termo “efeito halo”, como Wells (1907) e Thorndike (1920), conforme exposto no

início deste capítulo.

No modelo da dimensão significativa, o efeito halo é visto como “a tendência de

um avaliador em permitir que a avaliação de um determinado atributo de um

indivíduo influencie sua avaliação de outros atributos daquele indivíduo” (ROBBINS,

1989). Essa visão coincide com a exemplificada por meio do trabalho de Asch

(1946), citado acima. Kahneman (2012), ao alegar que o efeito halo contribui para a

coerência porque nos inclina a equiparar nossa visão de todas as qualidades de um

determinado objeto com nosso julgamento de um único atributo que nos seja

relevante, está apresentando uma interpretação de efeito halo sob a óptica do

modelo da dimensão significativa. Ao entender o efeito halo como tendência de se

proceder à avaliação baseando-se em um só traço, Robbins (1989) também

apresenta uma visão associada a esse modelo.

No modelo de discriminação inadequada, o efeito halo é conceituado como “o

fracasso do avaliador em discriminar aspectos distintos e potencialmente

independentes do comportamento do avaliado” (SAAL et al., 1980, p.413). O uso,

por parte do avaliador, da heurística da representatividade (TVERSKY; KAHNEMAN,

1974), em que a semelhança entre atributos é confundida com covariância entre

eles, ilustra a ocorrência do efeito halo sob a óptica do modelo da discriminação

inadequada.

Lance et al. (1994) realizaram um estudo visando a determinar se as condições

de avaliação poderiam ser manipuladas de tal forma a ocasionar as diferentes

formas de erro de avaliação propostas por Fisicaro e Lance (1990), ou se o erro

previsto no modelo da impressão geral ocorre independentemente do contexto de

avaliação. Os resultados mostraram que o erro relacionado ao modelo da impressão

geral ocorre mesmo quando as condições experimentais são projetadas para induzir

outras formas de erro do efeito halo, o que sugere que “o erro do avaliador é um

fenômeno unitário que deve ser definido como a influência da impressão geral de um

avaliador nas avaliações de qualidades específicas do avaliado” (LANCE et al.,

1994, p.332).

29

2.4. FONTES DO EFEITO HALO

Os estudos relatados até aqui realçam o ato humano de se julgar atributos de

forma melhor ou pior, em função de alguma impressão sobre o que está sendo

avaliado. É marcante que tal fenômeno ocorra mesmo quando se explicita ao

avaliador que ele deve se atentar para apenas o atributo que estiver sendo avaliado.

Como a mente funciona nesse processo de julgamento? Quão consciente somos

dos processos cognitivos que ocorrem na formulação de um julgamento?

Nisbett e Wilson (1977) avaliaram a capacidade de acesso introspectivo a

processos cognitivos. Eles constataram que, ocasionalmente, as pessoas não têm

ciência da existência do estímulo que influencia uma determinada resposta de

maneira significativa; às vezes nem mesmo se dão conta da existência do estímulo.

Às vezes são incapazes de detectar a existência de respostas a estímulos, e outras

vezes não se dão conta da ocorrência de um processo de inferência. Os autores

também verificaram que, quando as pessoas avaliam algum processo cognitivo

empregado na elaboração de alguma resposta, o fazem não a partir de um ato de

introspecção, mas com base em teorias causais implícitas estabelecidas a priori. A

terceira e última conclusão do trabalho de Nisbett e Wilson (1977) é que nos casos

em que os relatos dos processos mentais ocorridos na elaboração da resposta são

reportados corretamente, o sucesso se dá em razão da aplicação de teorias causais

implícitas incidentalmente corretas, e não por causa de um acesso ao introspectivo.

Cooper (1981) avaliou diversos estudos sobre o efeito halo, com a finalidade de

identificar possíveis fontes do fenômeno. Um aspecto importante sobre o efeito halo

é que nem sempre ele ocorre por falha do avaliador. Os comportamentos

observados podem ser de fato correlacionados, ou as categorias a serem avaliadas

podem ser redundantes, casos em que há um halo verdadeiro, conforme

apresentado por Bingham (1939). Cooper (1981) argumenta que as habilidades

requeridas para o desempenho de atividades de algum trabalho normalmente

presumem alguma correlação entre categorias, o que torna as avaliações de

comportamento no trabalho um caso típico de constatação do halo verdadeiro. Há,

contudo, casos em que o halo oriundo da avaliação supera o halo verdadeiro – esse

é o halo ilusório, cujas possíveis fontes serão discutidas em seguida.

A primeira fonte do halo ilusório ocorre, segundo Cooper (1981), quando o

avaliador tem amostra insuficiente do comportamento avaliado, ficando passível de

30

maior influência da impressão geral e de observações relevantes e irrelevantes

sobre as categorias. Outra fonte do halo ilusório seria o entendimento, por parte do

avaliador, de que as categorias covariam com a impressão geral ou com a dimensão

saliente, atribuindo maior covariância às categorias. A terceira fonte é a concretude

insuficiente, em que categorias a serem avaliadas não são descritivas o bastante,

nem são devidamente específicas ou concretas, o que leva o avaliador a agregar

informações sobre as categorias, utilizando erradamente informação de uma

categoria na avaliação de outra – a avaliação final das categorias fica redundante e

sobreposta. Ainda segundo Cooper (1981), quando o avaliador apresenta

conhecimento e motivação insuficientes, ou distorções cognitivas, o halo ilusório

tende a se configurar.

Como se pode notar, as fontes do halo ilusório se baseiam na teoria de que

avaliadores são influenciados pela semelhança aparente entre categorias ou

atributos, o que os leva a estimar erradamente sua covariância. Isso se relaciona à

heurística da representatividade (TVERSKY; KAHNEMAN, 1974), evocada,

tipicamente, quando se pretende avaliar alguma destas probabilidades: de um objeto

A pertencer a uma classe B, do evento A ser originado do processo B, e do processo

B gerar o evento A. Segundo Tversky e Kahneman (1974), a heurística se concretiza

quando as probabilidades são avaliadas com base em quanto A é representativo de

B, ou seja, pelo quanto A se assemelha a B.

Cooper (1981) explorou os motivos que levariam os avaliadores a atribuir

equivocadamente a covariância dos atributos, tendo concluído que há quatro

processos geradores dessa tendência. O primeiro é a tendência das pessoas em

ignorar taxas de acerto, de modo a se lembrarem de previsões corretas e de se

esquecerem das erradas. Quando acertamos alguma previsão, reforçamos nossa

teoria, sem antes verificarmos qual é de fato nosso índice de acerto. O segundo

processo, descrito por Tversky (1977), é a tendência de vermos similaridades, como

prestar mais atenção aos fatores comuns de um estímulo, ao se fazer julgamentos

de similaridade. A terceira causa seria o viés da confirmação no teste de hipótese,

segundo o qual tendemos a testar hipóteses na tentativa de confirmá-las, em vez de

procurarmos tanto confirmá-las quanto negá-las. Segundo Tversky e Kahneman

(1971), um pequeno número de confirmações pode ser suficiente para reforçar a

ilusão de validade. O quarto motivo seria a propensão a desconsiderarmos

31

informação inconsistente com a impressão que temos do objeto em análise, ou de

algum de seus atributos.

Cooper (1981) apresenta uma visão resumida do processo de criação do halo. O

halo verdadeiro, que tende a ser alto para avaliações de domínios homogêneos, é

acrescido do halo ilusório, quando as categorias são conceitualmente similares, ou

devido a uma série de outros fatores: propensão a ver similaridade e consistência, o

fracasso em nos lembrarmos das taxas de acerto, o viés da confirmação e a

propensão a desconsiderar informação inconsistente com a impressão.

2.5. MÉTODOS DE DETECÇÃO E DE REDUÇÃO DO HALO

Cooper (1981) identifica alguns métodos de detecção do efeito halo. O primeiro,

utilizado por Thorndike (1920), baseia-se no cálculo da correlação entre categorias e

na comparação com o que seria a correlação verdadeira. O segundo método

consiste em computar a variância entre as categorias de cada avaliado e comparar

seu valor ao da variância esperada. Também pode-se identificar a estrutura do fator

entre as categorias e, por fim, é possível avaliar o efeito de categorias manipuladas

em avaliações de categorias não manipuladas, o que permite realizar inferências

sobre o halo ilusório.

Cooper (1981) também aponta métodos de redução do halo: (i) aumentar a

familiaridade do avaliador com o avaliado, (ii) utilizar a avaliação média de diversos

avaliadores, (iii) avaliar categorias irrelevantes (ao avaliar o comportamento

profissional com base na impressão de beleza, por exemplo, poder-se-ia incluir a

categoria ‘beleza’, porque, ao avaliá-la explicitamente, o avaliador teria menos

chance de transpor sua visão desse quesito na avaliação de outras categorias), (iv)

remover componentes globais estatisticamente, (v) avaliar a partir da exposição

atual, dada a tendência a menor halo para observações mais recentes, (vi) avaliar

todos os avaliados em uma categoria, em vez de avaliar todas as categorias de um

mesmo indivíduo ou objeto, (vii) treinar avaliadores para aumentar motivação e

conhecimento, (viii) envolver avaliadores na construção da escala de avaliação, e

(ix) utilizar escalas melhoradas.

32

3. A SISTEMÁTICA DE APROVAÇÃO DE PROJETOS DE P&D DA EMPRESA

3.1. O CICLO DE DIRECIONAMENTO TECNOLÓGICO

A EMPRESA dispõe de uma metodologia que auxilia desde a formulação de sua

estratégia até o desdobramento dessa estratégia em projetos de P&D. Por questões

de confidencialidade, tal metodologia será descrita de forma sucinta, mas ainda

assim suficiente para se entenderem os antecedentes do processo de aprovação de

projetos de pesquisa, que é o foco deste trabalho.

O Plano Estratégico contém os direcionadores e metas de longo prazo, por área

de negócio da EMPRESA. A partir dele determina-se o Direcionamento Tecnológico

Corporativo, que identifica os desafios e objetivos da função tecnologia. A

periodicidade de avaliação do Plano Estratégico e do Direcionamento Tecnológico

Corporativo é de dois anos.

Uma vez definidos esses direcionadores, um Comitê Tecnológico Estratégico

(CTE) define, também bienalmente, os desafios tecnológicos, os programas e áreas

tecnológicas, com seus respectivos objetivos e prazos (metas). Um programa

tecnológico agrupa projetos que têm como objetivo superar demandas identificadas

nos planos de negócio da EMPRESA. As áreas tecnológicas, por sua vez, têm

carteiras de projetos predominantemente disciplinares e voltadas para as

competências essenciais da indústria de energia.

Também a cada dois anos, os comitês tecnológicos operacionais (CTO) se

reúnem para priorizar projetos de pesquisa e desenvolvimento a serem executados

no período. Esses projetos pertencem a algum programa ou área tecnológica, logo

estão também alinhados a algum desafio tecnológico, e seu objetivo é auxiliar no

cumprimento das metas. Os CTOs são agrupados por segmentos: gás e energia,

exploração e produção, abastecimento e transversal.

Figura 2 – Desdobramento da estratégia aos projetos de P&D

33

3.2. O PROCESSO DE PROPOSIÇÃO E PRIORIZAÇÃO DE PROJ ETOS

Ao identificar alguma meta ainda não plenamente atingida, um gestor de carteira

de projetos de P&D da EMPRESA pode enviar uma solicitação de elaboração de

uma proposta preliminar de projeto (PPP) a algum pesquisador de sua equipe. O

pesquisador cria a PPP por meio do preenchimento de um formulário de

detalhamento, que fica disponível em um sistema da EMPRESA. Enquanto a PPP

se encontra em fase de rascunho, o pesquisador que a criou, também conhecido

como proponente da PPP, pode enviá-la a colegas, para que estes a critiquem. Uma

vez finalizado o preenchimento da PPP, o seu proponente a submete para a

avaliação técnica, por meio do sistema. Ao ser notificado sobre o recebimento de

uma PPP para análise, o técnico avaliador, que é um pesquisador bastante

experiente, emite um parecer técnico. Tal parecer passa a fazer parte da PPP, que é

enviada pelo seu proponente para o comitê tecnológico operacional (CTO)

pertinente ao tema. A figura abaixo resume esse processo.

Figura 3 – Processo de proposição e aprovação de projetos de P&D na EMPRESA

Na reunião bienal do CTO, avaliam-se as diversas PPPs que foram submetidas

ao longo do período, tomando-se como base as avaliações técnicas realizadas.

Embora a decisão do CTO não deva ser vinculada à avaliação técnica, esta exerce

influência considerável naquela. A decisão do CTO sobre uma PPP pode ser de

recusa ou aprovação, sendo as aprovadas caracterizadas como: nova atividade de

um projeto existente, pré-projeto ou novo projeto, a depender de sua robustez.

Para este trabalho, o processo crítico a ser estudado é a avaliação técnica da

PPP, pois é justamente nesse momento que se pretende avaliar se existe alguma

influência que possa caracterizar o efeito halo. Conforme será apresentado a seguir,

a avaliação técnica é realizada a partir do preenchimento de um questionário que

contém oito perguntas. Embora nenhuma dessas oito perguntas avalie a

34

participação ou não de uma IC como parceira, espera-se apurar se essa informação

interfere ou não na avaliação do questionário.

A avaliação técnica é importante, pois serve de input para a tomada de decisão

do CTO quanto à aprovação ou não da PPP. Este trabalho não tem a intenção de

apurar a existência do halo na fase de aprovação das PPPs no CTO, visto que é de

fato esperado que o CTO leve em conta o fato de a proposta referir-se ou não a um

projeto em parceria.

3.3. A ESTRUTURA DA PROPOSTA PRELIMINAR DE PROJETO

Uma PPP contém diversas seções: Identificação, Detalhamento, Estimativas,

Direcionamento Estratégico e Avaliação de Atratividade (questionário). Os campos

dessas seções estão apresentados no Quadro 2 – a estrutura completa da PPP está

disponível no Anexo B.

Quadro 2 – Descrição das seções de uma proposta preliminar de projeto

Seção da PPP Itens da seção

Identificação • CTO pertinente ao tema da PPP • Número da PPP • Título • Dados do proponente: nome, matrícula, lotação

Detalhamento • Objetivo do projeto proposto • Classificação (pesquisa básica, pesquisa aplicada) • Ambiente de aplicação • Histórico • Resultados e produtos esperados • Justificativa e benefícios esperados • Projeto de SMS (campo ‘Sim’ ou ‘Não’) • Duração estimada • Início previsto • Data limite para término • PPP oriunda de pré-projeto (campo ‘Sim’ ou ‘Não’) • PPP de disponibilização de tecnologia (campo ‘Sim’ ou ‘Não’) • Anexos

Estimativas • HH (horas) • Materiais (R$) • Serviços não ANP e ANEEL (R$) • Encargos (R$) • Serviços com instituições credenciadas com a ANP (R$) • Serviços com instituições credenciadas com a ANEEL (R$) • Entidades envolvidas

35

Direcionamento Estratégico

• Programa tecnológico ou área tecnológica vinculados • Desafios tecnológicos aos quais a PPP vai atender

Avaliação de Atratividade

Questionário contendo perguntas sobre: • Benefício potencial do projeto • Criticidade do desafio tecnológico correspondente • Abrangência de aplicação da tecnologia • Custo do projeto • Impacto no atendimento aos requisitos de SMS • Incorporação de conceitos de eficiência energética • Risco tecnológico • Risco de implantação

As seções da PPP mais relevantes para este trabalho são as de Estimativas e a

de Avaliação de Atratividade. É justamente na seção de Estimativas que o

proponente da PPP indica se o projeto será em parceria ou não. Como se pode

perceber, essa seção do documento é justamente onde estaria a causa do efeito

halo, e é onde se fizeram as manipulações que permitiram inspecionar sua

existência, conforme será descrito no capítulo seguinte. A seção de Avaliação da

Atratividade também é importante porque é nela que se manifestaria o viés advindo

da informação sobre o projeto ser ou não em parceria com IC.

36

4. EXPERIMENTO PARA ANALISAR A EXISTÊNCIA DO EFEITO HALO NA

AVALIAÇÃO TÉCNICA DAS PPPS

4.1. METODOLOGIA DO EXPERIMENTO

O primeiro estudo se constituiu em um experimento de campo em que se

investigou a existência do efeito halo no processo de avaliação técnica de PPPs na

EMPRESA. Conforme discutido no Capítulo 2, existem diversos modelos que

explicam a ocorrência do efeito halo (FISICARO; LANCE, 1990). O modelo que se

entendeu mais adequado para descrever o suposto efeito halo a ser avaliado pelo

estudo de campo é o da impressão geral, pelos motivos expostos a seguir.

Os pesquisadores que realizam as avaliações técnicas das propostas de projeto

de P&D sabem do grande número de projetos que deve ser aprovado anualmente,

especialmente aqueles junto a IC. Quando avaliam propostas de alta qualidade,

alinham a perspectiva de bons projetos ao cumprimento da obrigação de

investimento em P&D – nesses casos, o processo funciona adequadamente.

Quando o avaliador sabe que o projeto ocorrerá em parceria com IC, surge a

possibilidade de uma dissonância cognitiva, que a ação do efeito halo ajudaria a

neutralizar. Projetos de P&D em parceria com ICs (projetos externos) têm que ser

aprovados e, conforme sugerido na Seção 1.1 deste trabalho, esse fato não irá

passar despercebido pelos avaliadores, atuando como um possível “halo”, no

sentido de uma expectativa (desejo) de que a proposta de projeto seja de boa

qualidade (e assim possam-se cumprir as “regras do jogo” sem se violarem os

padrões técnicos de avaliação). A avaliação do questionário inclui, majoritariamente,

critérios subjetivos. Qualquer ambiguidade, lacuna de conhecimento para avaliação,

ou qualquer dúvida concernente às categorias de avaliação tenderiam a ser

resolvidas sob a influência do alerta, na mente do avaliador, de que se trata de uma

PPP em parceria com IC –esse contexto poderia induzi-lo a avaliá-la de forma mais

positiva.

É importante lembrar que a informação sobre o projeto ser ou não em parceria

com IC é um item presente no formulário da proposta de projeto, que o avaliador lê

antes de preencher o questionário de avaliação. Tal informação não está listada

como um atributo específico do questionário a ser avaliado, o que exclui a

possibilidade de visualizar o halo como sendo resultante da influência de uma

categoria nas demais – modelo da dimensão significativa.

37

Outro motivo para a adoção do modelo da impressão geral decorre do estudo de

Lance et al. (1994), que constatou que a ocorrência do halo por causa da impressão

geral se dá mesmo quando o experimento é elaborado de forma a induzir o avaliador

a focar em determinada categoria a ser avaliada, o que sugere que a impressão

geral sobre o objeto avaliado deve sempre ser considerada como possível fonte do

efeito halo.

O experimento foi realizado a partir da aplicação de uma PPP a diversos técnicos

do centro de P&D da EMPRESA. A PPP utilizada nesse estudo já havia sido

formulada, mas, até então, não tinha sido submetida para avaliação técnica. O

conteúdo da PPP, que não será publicado integralmente por questões de

confidencialidade (estrutura da PPP disponível no Anexo B), é relacionado à área de

manutenção e inspeção em ambientes de unidades marítimas de produção de óleo

e gás. O fato de ter sido utilizada uma PPP real no experimento permitiu aproximá-lo

da realidade.

A hipótese nula do experimento foi que os avaliadores não incorreriam no viés,

ou seja, agiram de forma totalmente racional, não sendo influenciados pela

informação de que o projeto se daria em parceria com IC (halo). A hipótese

alternativa é que o efeito halo estaria presente na avaliação técnica das PPPs.

H0: avaliação isenta de halo (a média das PPPs é igual)

H1: avaliação enviesada (a média das PPPs externas é superior)

A variável independente do experimento é se a PPP é em parceria ou não. A

variável dependente é sua atratividade. Para se caracterizar a variável independente

do experimento, deve-se retomar o conteúdo da seção de Estimativas da PPP. Nela,

o proponente informa diversas categorias de dispêndios previstos: gasto com

homem-hora (essa estimativa é feita na unidade HH), gasto com a aquisição de

materiais (por exemplo, para a realização de experimentos químicos nos

laboratórios), encargos, serviços não ANP e ANEEL, e serviços com instituições

credenciadas com a ANP. Esses dois últimos campos são fundamentais, pois é

neles que se fez a manipulação da variável independente. Um dos campos se refere

ao montante que será gasto internamente, pela EMPRESA, na realização do projeto.

O outro campo diz respeito ao valor a ser aportado junto à universidade ou centro de

pesquisa parceiro, podendo, dessa forma, auxiliar no cumprimento da obrigação de

38

investimento junto a IC. O campo ‘Entidades envolvidas’ também é importante, pois

contém o nome da instituição parceira, quando for o caso.

Duas versões de PPP foram criadas. Em uma das versões, foi previsto o

dispêndio de R$ 1.000.000 como ‘Serviços não ANP e ANEEL’. Os campos

‘Serviços com instituições credenciadas com a ANP’ e ‘Entidades envolvidas’ foram

deixados em branco. Como se pode notar, o objetivo desse tipo de PPP (a ser

denominada PPP interna) foi comunicar ao avaliador que se tratava de um projeto a

ser executado internamente, ou seja, pelo próprio centro de P&D da EMPRESA.

Essa versão de PPP foi adotada como o grupo de controle do experimento. O

Quadro 3 mostra como tal manipulação se refletiu na PPP interna.

Quadro 3 – Previsão de gastos em PPP conduzida internamente (PPP interna)

Seção de Estimativas da PPP Valores atribuídos à PPP Interna

HH (horas): 800

Materiais (R$): 400.000

Serviços não ANP e ANEEL (R$): 1.000.000

Encargos (R$): -

Serviços com instituições credenciadas com a ANP (R$): -

Serviços com instituições credenciadas com a ANEEL (R$): -

Entidades Envolvidas: -

Na outra versão de PPP, o campo ‘Serviços não ANP e ANEEL’ ficou em branco.

Dessa vez, o montante de R$ 1.000.000 foi alocado no campo ‘Serviços com

instituições credenciadas com a ANP’, e a Universidade Federal do Rio de Janeiro

(UFRJ) foi listada no campo ‘Entidades envolvidas’, por se tratar de uma

universidade comumente envolvida em parcerias com a EMPRESA. A finalidade

desse tipo de PPP (denominada PPP externa) foi comunicar a seus avaliadores que

se tratava de um projeto em parceria com uma IC, logo possível de abatimento da

desafiadora obrigação de investimento em P&D junto a IC. O Quadro 4 mostra como

tal manipulação se refletiu na PPP externa.

39

Quadro 4 – Previsão de gastos em PPP com IC (PPP externa)

Seção de Estimativas da PPP Valores atribuídos à

PPP Externa HH (horas): 800


Serviços não ANP e ANEEL (R$): -

Encargos (R$): -

Serviços com instituições credenciadas com a ANP (R$): 1.000.000


Entidades Envolvidas: UFRJ

A manipulação supracitada foi a única diferença entre as PPPs – todo o restante

das duas versões de documento permaneceu idêntico. Dessa forma, caracterizou-se

a variável independente do experimento: PPP em parceria (ou não) com IC (cujo

valor pode ser ‘sim’ ou ‘não’). É importante notar que o custo total previsto para a

realização dos dois tipos de PPP é o mesmo, o que foi propositalmente feito para

evitar diferentes avaliações quanto a esse quesito.

Uma vez que se deseja avaliar se o fato da PPP ser ou não em parceria com IC

impacta na avaliação técnica do questionário das PPPs, a variável dependente do

experimento foi definida como a atratividade da PPP. A medição da atratividade

depende da resposta dos técnicos ao questionário disponibilizado na seção de

Avaliação de Atratividade da PPP. A nota de cada avaliação da PPP é a soma da

nota atribuída a cada pergunta, ponderada por seu peso, conforme será explicado

no item seguinte. Essa nota varia de 0,2 a 1,0, sendo o projeto tão mais atrativo

quanto maior for sua nota. A existência do efeito halo fica caracterizada caso a

atratividade média das PPPs em parceria com IC for estatisticamente diferente da

atratividade média da outra versão da PPP – a de um projeto a ser executado

internamente.

As perguntas do questionário, suas possíveis respostas, as notas

correspondentes a cada opção de resposta e sua ponderação estão listadas no

Quadro 5. A primeira pergunta, que trata de familiaridade do avaliador com o tema, é

a única que não consta no questionário padrão de uma PPP real. O objetivo de tal

inclusão foi viabilizar a análise de ter havido ou não diferenças no padrão de

respostas em razão do domínio que o avaliador respondeu ter a respeito do assunto.

É importante ter em mente que todos os respondentes são gestores de projetos e/ou

40

técnicos que rotineiramente avaliam propostas de projetos. Esses respondentes

foram selecionados por atuarem em áreas do conhecimento diretamente

relacionadas, ou no mínimo correlatas, ao tema da PPP utilizada.

Quadro 5 – Perguntas, pontuação e peso das respostas das PPPs

Item do

questionário

Respostas

possíveis Notas Peso Critério Peso total

1 - Familiaridade

do avaliador

com o tema

Nenhuma Pergunta incluída pelo autor – não faz parte da PPP

real e não foi levada em conta no cálculo da nota da

avaliação do questionário.

Pouca

Muita

2 - Benefício

potencial do

projeto

Pequeno 0,2

25%

Resultado 50%

Moderado 0,6

Elevado 1,0

3 - Criticidade do desafio tecnológico correspondente

Importante 0,2

10% Muito importante

0,6

Crítico 1,0

4 - Abrangência

de aplicação da tecnologia

Pequena 0,2

15% Moderada 0,6

Elevada 1,0

5 - Custo do projeto

Alto 0,2

20% Custo 20% Médio 0,6

Baixo 1,0

6 - Impacto no

atendimento aos requisitos

de SMS

Negativo 0,2

5% Segurança,

Meio

Ambiente e Saúde (SMS)

10%

Não influencia 0,6

Positivo 1,0

7 - Incorporação de conceitos de

eficiência energética

Negativo 0,2

5% Não influencia 0,6

Positivo 1,0

8 - Risco

Tecnológico

Alto 0,2

10%

Risco 20%

Médio 0,6

Baixo 1,0

9 - Risco de

Implantação

Alto 0,2

10% Médio 0,6

Baixo 1,0

O experimento contou com 58 respondentes. Destes, metade avaliou a versão

interna da PPP, enquanto a outra metade avaliou a proposta de projeto em parceria

com a UFRJ.

41

A aplicação dos questionários foi realizada pelo autor deste trabalho. Não houve

qualquer reforço verbal, por parte do aplicador do questionário, no sentido de

chamar a atenção para a informação-halo. Assim como ocorre na prática, não foi

estipulado limite de tempo nem para a leitura da PPP, nem para a resposta do

questionário.

Embora na situação real os respondentes utilizem o computador para acessar a

PPP, ler seu conteúdo e responder ao questionário, optou-se pela aplicação

presencial e em papel. Essa distorção da forma padrão teve a desvantagem de

afastar o respondente da situação real, mas trouxe, em contrapartida, diversos

benefícios. A aplicação presencial garantiu que cada respondente realizasse a

análise individualmente, sem consultar colegas. Além disso, após a leitura da PPP

em papel e o preenchimento do questionário, tanto o texto da PPP quanto o

questionário foram devolvidos ao aplicador, sem que os avaliadores pudessem

comparar a diferença das PPPs e intuir qual era a intenção do estudo, o que poderia

comprometer avaliações seguintes, caso tal diferença fosse divulgada. Por fim, a

presença do aplicador aumentou a taxa de resposta.

Cada avaliador leu apenas um tipo de PPP e respondeu ao questionário apenas

uma vez. Como não havia avaliadores suficientes na gerência de origem da PPP, foi

solicitado a pessoas de outras gerências que avaliassem a PPP. Buscou-se aplicar

um número aproximado de cada versão de PPP para cada gerência, de modo a se

reduzirem riscos de distorções oriundas por eventuais vieses inerentes a cada

gerência. O período de realização deste experimento foi de 22/06/2015 a

15/10/2015.

4.2. RESULTADO DO EXPERIMENTO

As 58 respostas aos questionários foram computadas, transformadas em uma

pontuação e depois ponderadas, em conformidade com o procedimento adotado na

EMPRESA, e como já foi apresentado no Quadro 5 (ver Seção 4.1).

As análises realizadas excluíram as respostas à primeira pergunta, que tratava

sobre a familiaridade do avaliador com o tema da PPP, visto não ser esta uma

pergunta do questionário-padrão. As respostas referentes a esse item foram

consideradas em algumas análises específicas, a serem descritas mais adiante.

42

O Quadro 6 apresenta a totalidade das respostas obtidas no experimento. A

primeira coluna indica se o projeto foi ou não realizado em parceria com alguma IC.

As colunas seguintes apresentam a nota correspondente à resposta dada, já

ponderada pelo seu peso. A última coluna mostra a média da nota ponderada, ou

seja, a nota que a PPP recebeu daquela avaliação.

Quadro 6 – Resultado da aplicação do questionário de avaliação da PPP

Familiaridade Resultado Custo SMS Risco

1 2 3 4 5 6 7 8 9

Ponderação

PPP

Externa? Familiaridade 25% 10% 15% 20% 5% 5% 10% 10%

Média da

nota

ponderada

NÃO Muita 0,15 0,02 0,09 0,04 0,03 0,03 0,1 0,1 0,56

NÃO Muita 0,25 0,02 0,15 0,2 0,05 0,03 0,1 0,1 0,9

NÃO Muita 0,15 0,02 0,09 0,2 0,05 0,05 0,1 0,1 0,76

SIM Muita 0,05 0,02 0,09 0,12 0,03 0,03 0,1 0,06 0,5

SIM Muita 0,25 0,02 0,09 0,12 0,03 0,03 0,1 0,1 0,74

SIM Muita 0,15 0,02 0,09 0,12 0,03 0,03 0,1 0,1 0,64

SIM Pouca 0,25 0,02 0,09 0,2 0,05 0,03 0,1 0,1 0,84

SIM Nenhuma 0,05 0,02 0,15 0,04 0,03 0,03 0,1 0,06 0,48

NÃO Pouca 0,15 0,02 0,03 0,2 0,03 0,03 0,1 0,06 0,62

NÃO Pouca 0,15 0,06 0,09 0,2 0,05 0,05 0,1 0,02 0,72

SIM Pouca 0,15 0,02 0,09 0,2 0,03 0,03 0,06 0,06 0,64

SIM Pouca 0,15 0,02 0,15 0,12 0,03 0,03 0,1 0,1 0,7

SIM Pouca 0,15 0,02 0,09 0,12 0,03 0,03 0,1 0,02 0,56

SIM Pouca 0,05 0,02 0,09 0,12 0,03 0,03 0,1 0,1 0,54

NÃO Muita 0,15 0,02 0,15 0,04 0,03 0,03 0,1 0,1 0,62

NÃO Pouca 0,15 0,06 0,09 0,2 0,05 0,03 0,1 0,06 0,74

NÃO Pouca 0,25 0,06 0,15 0,12 0,05 0,05 0,1 0,1 0,88

SIM Pouca 0,25 0,02 0,15 0,2 0,03 0,03 0,1 0,02 0,8

SIM Pouca 0,25 0,02 0,15 0,12 0,05 0,05 0,06 0,1 0,8

SIM Muita 0,25 0,02 0,15 0,12 0,03 0,03 0,1 0,1 0,8

NÃO Pouca 0,15 0,02 0,15 0,04 0,03 0,03 0,02 0,02 0,46

NÃO Nenhuma 0,15 0,02 0,09 0,12 0,03 0,03 0,02 0,02 0,48

NÃO Nenhuma 0,25 0,06 0,09 0,04 0,03 0,03 0,02 0,02 0,54

NÃO Pouca 0,05 0,02 0,15 0,12 0,05 0,03 0,02 0,1 0,54

SIM Nenhuma 0,05 0,02 0,09 0,04 0,05 0,01 0,06 0,02 0,34

SIM Pouca 0,15 0,02 0,09 0,12 0,05 0,05 0,06 0,06 0,6

SIM Nenhuma 0,15 0,1 0,09 0,12 0,03 0,03 0,02 0,02 0,56

NÃO Pouca 0,25 0,06 0,15 0,12 0,05 0,03 0,06 0,1 0,82

SIM Pouca 0,15 0,02 0,15 0,04 0,03 0,03 0,02 0,06 0,5

43

SIM Pouca 0,15 0,1 0,15 0,04 0,05 0,03 0,1 0,1 0,72

NÃO Pouca 0,15 0,02 0,09 0,12 0,03 0,03 0,06 0,06 0,56

SIM Pouca 0,15 0,1 0,15 0,04 0,03 0,03 0,1 0,06 0,66

NÃO Muita 0,15 0,02 0,09 0,12 0,03 0,03 0,06 0,06 0,56

SIM Pouca 0,05 0,1 0,15 0,12 0,05 0,03 0,1 0,06 0,66

SIM Pouca 0,15 0,02 0,03 0,12 0,05 0,03 0,06 0,1 0,56

NÃO Nenhuma 0,25 0,06 0,15 0,2 0,05 0,03 0,1 0,1 0,94

NÃO Pouca 0,15 0,02 0,15 0,12 0,05 0,03 0,1 0,1 0,72

NÃO Nenhuma 0,15 0,02 0,09 0,12 0,05 0,03 0,06 0,06 0,58

SIM Pouca 0,05 0,02 0,15 0,12 0,05 0,03 0,1 0,1 0,62

NÃO Nenhuma 0,15 0,02 0,15 0,12 0,05 0,03 0,1 0,06 0,68

NÃO Nenhuma 0,05 0,02 0,03 0,12 0,03 0,03 0,06 0,06 0,4

SIM Nenhuma 0,15 0,06 0,15 0,12 0,05 0,05 0,06 0,1 0,74

SIM Muita 0,05 0,02 0,15 0,04 0,03 0,03 0,1 0,1 0,52

SIM Pouca 0,15 0,02 0,09 0,2 0,05 0,03 0,02 0,02 0,58

NÃO Pouca 0,15 0,06 0,09 0,2 0,03 0,03 0,1 0,06 0,72

NÃO Pouca 0,15 0,06 0,15 0,12 0,05 0,03 0,1 0,1 0,76

NÃO Nenhuma 0,15 0,02 0,09 0,2 0,05 0,03 0,06 0,06 0,66

SIM Pouca 0,15 0,02 0,15 0,12 0,03 0,03 0,1 0,1 0,7

NÃO Nenhuma 0,05 0,02 0,09 0,2 0,05 0,03 0,06 0,1 0,6

NÃO Muita 0,25 0,1 0,15 0,12 0,05 0,05 0,1 0,1 0,92

NÃO Nenhuma 0,25 0,1 0,15 0,2 0,05 0,05 0,1 0,1 1

SIM Muita 0,05 0,1 0,15 0,2 0,03 0,03 0,1 0,1 0,76

SIM Pouca 0,25 0,06 0,15 0,12 0,03 0,03 0,1 0,06 0,8

NÃO Pouca 0,15 0,02 0,15 0,04 0,05 0,05 0,06 0,06 0,58

SIM Pouca 0,05 0,06 0,09 0,04 0,03 0,03 0,02 0,02 0,34

SIM Pouca 0,05 0,02 0,09 0,2 0,05 0,03 0,1 0,1 0,64

NÃO Pouca 0,15 0,02 0,15 0,2 0,05 0,03 0,1 0,1 0,8

NÃO Nenhuma 0,05 0,02 0,03 0,04 0,03 0,03 0,1 0,06 0,36

A nota média de todas as avaliações foi 0,6521 (serão utilizadas 4 casas

decimais). A média das avaliações das PPPs externas foi 0,6324, enquanto a média

das avaliações das PPPs internas foi 0,6717. A aplicação do teste t (apresentado na

Figura 4, mais adiante nesta seção) mostra que a diferença entre as notas médias

dos dois grupos não foi estatisticamente significante (p-valor do teste foi de 31,84%).

Portanto, a hipótese nula de pesquisa não pode ser rejeitada e não se pode afirmar

ter existido um viés de avaliação em relação aos projetos em parceria com ICs.

As médias das avaliações das PPPs internas e externas foram comparadas com

base na segregação pela familiaridade do avaliador com o tema, obtida por meio da

Pergunta 1 do questionário. Em todos os casos, ou seja, nos casos de “nenhuma”,

44

“pouca” e “muita” familiaridade com o tema, a média das PPPs internas foi também

superior à das PPPs externas.

Quadro 7 – Avaliação de PPPs por avaliadores com NENHUMA familiaridade

NENHUMA familiaridade

Respon-dentes

Item do questionário Média da nota

ponderada 2 3 4 5 6 7 8 9

Média PPP Externa

4 0,1000 0,0500 0,1200 0,0800 0,0400 0,0300 0,0600 0,0500 0,5300

Média PPP Interna

10 0,1500 0,0360 0,0960 0,1360 0,0420 0,0320 0,0680 0,0640 0,6240

Total 14 0,1357 0,0400 0,1029 0,1200 0,0414 0,0314 0,0657 0,0600 0,5971

Quadro 8 – Avaliação de PPPs por avaliadores com POUCA familiaridade

POUCA familiaridade

Respon-dentes


ponderada 2 3 4 5 6 7 8 9

Média PPP Externa

19 0,1447 0,0368 0,1184 0,1242 0,0395 0,0321 0,0789 0,0705 0,6453

Média PPP Interna

13 0,1577 0,0385 0,1223 0,1385 0,0438 0,0346 0,0785 0,0723 0,6862

Total 32 0,1599 0,0411 0,1197 0,1284 0,0420 0,0335 0,0720 0,0729 0,6581

Quadro 9 – Avaliação de PPPs por avaliadores com MUITA familiaridade

MUITA familiaridade

Respon-dentes


ponderada 2 3 4 5 6 7 8 9

Média PPP Externa

6 0,1333 0,0333 0,1200 0,1200 0,0300 0,0300 0,1000 0,0933 0,6600

Média PPP Interna

6 0,1833 0,0333 0,1200 0,1200 0,0400 0,0367 0,0933 0,0933 0,7200

Total 12 0,1592 0,0547 0,1169 0,1278 0,0360 0,0337 0,0848 0,0611 0,6447

O fato de as médias das PPPs internas (grupo de controle) terem sido superiores

às médias das PPPs externas sugere que a informação prévia sobre a execução do

projeto em parceria com instituição credenciada não induz o efeito-halo na avaliação

técnica das PPPs.

A partir disso, há resultados possíveis e, portanto, merecedores de apuração:

poderia haver indiferença diante do fato de se tratar ou não de uma proposta de

projeto em parceria com IC, ou os projetos internos podem de fato ser preferidos

pelos técnicos, por motivos ainda não especulados neste trabalho. A fim de se

verificar se a avaliação das PPPs internas foi significativamente maior que a das

externas, foram realizados alguns testes estatísticos, apresentados a seguir.

45

Primeiramente, um histograma para as notas das avaliações sugere uma

distribuição não normal, tanto para cada tipo de PPP, como para a combinação

delas.

Gráfico 1 – Histograma para todos os tipos de PPP

Gráfico 2 – Histograma para PPP interna

Gráfico 3 – Histograma para PPP externa

Por causa do tamanho relativamente pequeno da amostra e da incerteza quanto

à normalidade da população, foram realizados testes paramétricos e não

paramétricos.

46

O teste paramétrico foi feito no software GRETL. O método adotado foi o dos

mínimos quadrados (OLS). Foi realizada uma regressão linear utilizando-se como

variável dependente a média da avaliação do projeto, denominada ‘media’. Foi

utilizada como variável independente (regressor) uma variável binária DummyANP,

que assumiu valor 0 para as PPPs internas, e 1 para as PPPs externas. Também foi

usada como regressor uma constante (const). O resultado dessa regressão

encontra-se na Figura 4.

Figura 4 – Regressão linear media das notas das PPP em razão de ser ou não em parceria

O p-valor da variável DummyANP foi 31,84%, o que não nos permite rejeitar a

hipótese nula, de que a média para os tipos de projeto é igual. Testes semelhantes

foram realizados, trocando-se a variável dependente pelas perguntas do

questionário. Naturalmente, o objetivo era avaliar uma possível correlação entre a

avaliação daquele item do questionário com o fato de a PPP ser ou não em parceria

com IC. Em todos os casos, o p-valor foi bastante alto. Apenas para a pergunta 6 do

questionário, obteve-se um p-valor de 6,79%. Tal pergunta diz respeito ao impacto

47

da PPP no atendimento a requisitos de SMS. O resultado das regressões lineares

realizadas tendo como variável dependente a nota dada para cada pergunta do

questionário está disponível no Anexo C.

O teste não paramétrico também foi realizado no software GRETL. O método

adotado foi o Teste Ordinal da Soma de Wilcoxon, que consiste na elaboração de

ranque das médias dos dois tipos de PPP conjuntamente, da menor para a maior, e

da posterior soma dos ranques de cada tipo de PPP. A hipótese-nula do teste é que

as amostras são retiradas de populações com a mesma mediana. O resultado do

teste encontra-se na Figura 5, e o resultado detalhado está disponível no Anexo C.

Figura 5 – Teste da diferença entre PPP interna e externa

O p-valor unilateral (mediana das avaliações das PPPs internas superiores à das

externas) foi de 21,84%, e o p-valor bilateral foi de 43,68%. Assim como no teste

paramétrico, o resultado deste teste sugere que as avaliações dos dois tipos de PPP

não foram divergentes.

48

5. ESTUDO 2 - SURVEY

5.1. METODOLOGIA DA SURVEY

O segundo estudo foi uma survey, conduzida junto a gestores de projetos de

P&D concluídos, com o intuito de quantificar o resultado desses projetos para,

posteriormente, investigar se existe alguma correlação entre o resultado desses

projetos e o fato de ele ter sido ou não realizado em parceria com IC.

Buscou-se investigar também se projetos em parceria com IC trazem resultados

inferiores, segundo as percepções dos gestores desses projetos. Conforme foi

discutido em seções anteriores deste documento, a necessidade de se executar

tantos projetos em parceria com ICs, somada à possível limitação de grupos de

pesquisa altamente qualificados nas ICs, poderia estar levando a EMPRESA a

realizar projetos cujos resultados poderiam estar aquém do desejado. Para isso, foi

solicitado, entre 20 e 24 de junho de 2016, que 45 gestores de projetos avaliassem o

resultado de projetos de P&D concluídos a partir de 2010 (alguns gestores avaliara

mais de um projeto). Feito isso, seria avaliada a correlação entre o resultado

percebido do projeto e o percentual dos gastos do projeto passível de abatimento da

obrigação contratual de investimento em P&D junto a IC.

Optou-se por quantificar o resultado dos projetos por meio da atribuição de uma

nota única, a ser fornecida pelo seu gestor. Para isso, o autor do trabalho perguntou

ao gestor de cada projeto, por telefone, entre 20 e 24 de junho de 2016, que nota ele

daria ao projeto, em uma escala de 1 a 10, sendo 10 o melhor resultado possível.

Como muitos gestores associam o sucesso do projeto à aplicação ou não da

tecnologia, embora diversos projetos não tenham esse objetivo, poderia haver uma

discrepância nas notas dadas considerando-se o estágio da tecnologia pesquisada.

Para reduzir essa possível distorção, foi solicitado aos gestores dos projetos que

avaliassem os resultados em relação a seus objetivos.

Foram obtidas 92 respostas (notas aos projetos). A nota recebida para cada

projeto foi inserida numa tabela obtida de uma base de dados da EMPRESA,

contendo o percentual dos gastos passível de cumprimento da obrigação de

investimento em P&D junto às ICs. Essa tabela está disponível no Anexo C.

49

5.2. RESULTADO DA SURVEY

Se os resultados de projetos fossem tão melhores quanto menor a proporção de

seus gastos efetuada com ICs, o gráfico da nota do projeto em razão do percentual

dos seus gastos aportado em ICs teria o comportamento parecido ao do Gráfico 4.

Gráfico 4 – Curva teórica da relação nota do projeto concluído em função do percentual dos

gastos investido com IC

Dos 92 projetos avaliados, 47 não tiveram qualquer valor aportado em parcerias

com instituições credenciadas, ou seja, tratou-se de projetos internos. Dos 45

restantes, o que teve o maior percentual aplicado em parceria com ICs atingiu

97,45%. O Gráfico 5 exibe os resultados obtidos. A tabela a partir da qual o gráfico

foi elaborado encontra-se no Anexo C.

50

0

1

2

3

4

5

6

7

8

9

10

0,00% 20,00% 40,00% 60,00% 80,00% 100,00%

Nota

% investido em parceria com Instituição Credenciada

Avaliação de Projetos Concluídos

Gráfico 5 – Notas das PPP em razão do percentual dos gastos realizado com parceiros

A regressão linear foi realizada no software GRETL, tendo como regressores

uma constante (const) e a variável dependente ANP (percentual dos gastos do

projeto passível de abatimento da obrigação de investimento em P&D junto às ICs).

A variável dependente foi a nota dada pelo gestor do projeto (Notaprojeto). O

resultado da regressão, mostrado na Figura 6, não permite depreender a existência

do comportamento teórico descrito, visto que o p-valor da variável %ANP foi de

61,30%. Em outras palavras, o resultado da regressão sugere que os projetos

internos não são melhores que os projetos em parceria com ICs.

51

Figura 6 – Regressão linear da nota do projeto em razão do percentual de seus gastos junto a IC

52

6. DISCUSSÃO

O resultado do experimento de campo realizado neste trabalho aponta para a

não existência do efeito halo oriundo da detenção da informação sobre a proposta

do projeto de P&D ser ou não em parceria com uma IC, no momento de sua

avaliação técnica. A survey, por sua vez, sugere não haver distinção no resultado

dos projetos concluídos pelo fato de terem sido realizados ou não em parceria com

ICs.

Aparentemente, o processo atual de avaliação de PPPs na EMPRESA não se

torna mais frágil quando seus avaliadores técnicos sabem como os gastos

influenciarão o abatimento da obrigação de investimento em P&D, uma vez que os

avaliadores parecem se vincular mais ao conteúdo técnico do projeto proposto do

que a outras questões. De fato, ao aplicar os questionários, o autor do trabalho

percebeu que alguns respondentes não leram com muita atenção as informações

sobre os custos e a presença de parceiros, na seção de Estimativas da PPP. Isso

sugere que, assim como já ocorre, tal informação não precisa ser omitida desses

avaliadores na PPP.

A revisão da literatura verificou que estudos anteriores mostraram maior

propensão à influência de halos em casos de menor expertise sobre o conteúdo

avaliado. No caso do experimento ora realizado, conforme apresentado nos

resultados, não houve maior vulnerabilidade ao halo manipulado por parte daqueles

que declaram possuir pouca ou nenhuma familiaridade com o tema, o que pode ser

interpretado positivamente pela EMPRESA – a mesma pode contar, em tese, com

um leque maior de avaliadores de PPP do que apenas aquelas pessoas altamente

familiarizadas com o tema.

Os resultados deste estudo, no entanto, não permitem concluir que não há

impactos decorrentes do fato de o avaliador saber se a PPP é ou não em parceria

com IC.

Um aspecto importante a ser considerado é que a aprovação das PPPs nos

CTOs leva em conta seu potencial de abatimento da dita obrigação. Conforme já foi

discutido neste documento, tal consideração é de fato relevante e razoável, porque,

se não fosse feita, a EMPRESA poderia não cumprir a obrigação prevista num

determinado período, ficando obrigada a fazê-lo no período seguinte, incorrendo

também em multas, em alguns casos. Isso faria com que os gastos com P&D

53

fossem ainda maiores, o que extrapolaria o orçamento da EMPRESA para fins de

pesquisa e desenvolvimento tecnológico.

Com relação ao resultado do segundo estudo, a survey, pode-se afirmar que este

também se apresentou consistente com a inexistência de vieses nas avaliações de

projetos na EMPRESA, tendo em vista que não houve correlação significativa entre

a nota do projeto e o fato de este ser ou não em parceria com IC. No entanto, antes

de se aceitar esse resultado, deve-se ter em mente os seguintes pontos.

Em primeiro lugar, a nota de cada projeto concluído foi definida por apenas uma

pessoa, que foi justamente seu gestor. É razoável esperar algum viés nesse

julgamento. De fato, alguns chegaram a manifestar surpresa ao serem solicitados a

avaliar os projetos que haviam sido geridos por eles mesmos. Este aspecto pode ser

aprofundando em outros estudos: possivelmente existe um fator cultural associado a

esse estranhamento; mais ainda, os gestores podem ter confundido a noção de

resultado do projeto com seu próprio desempenho como gestor. O importante, para

fins deste trabalho, é que essa forma de avaliação pode não ter sido traduzida na

nota mais apropriada ao projeto.

Outro aspecto relevante, ainda relacionado à avaliação dos projetos concluídos,

diz respeito aos parâmetros de avaliação. Enquanto alguns gestores prontamente

atribuíram uma nota aos projetos, outros demonstraram desconforto em quantificar

os resultados. Para dirimir esse empecilho, o entrevistador solicitou aos gestores

que julgassem a qualidade dos resultados do projeto com base nos seus objetivos

propostos. Essa base de comparação apresentou a vantagem de permitir que

projetos de P&D de tecnologias em diversos níveis de maturidade pudessem ser

comparados de forma mais equilibrada, pois supõe-se haver uma tendência de se

avaliarem como mais bem-sucedidos os projetos que resultaram na implantação de

tecnologias. Ao comparar o resultado de cada projeto com seu objetivo, o grau de

maturidade da tecnologia fica expurgado.

Por outro lado, o objetivo do projeto pode ter sido propositalmente diminuto

desde sua proposição, em razão de se saber que aquele projeto seria proposto em

parceria com alguma IC, para ajudar no cumprimento da obrigação imposta pela

ANP. Nesse caso, julgar o projeto com base em seu objetivo poderia resultar numa

percepção mais positiva, como decorrência de uma baixa expectativa desde o início,

sem ter havido, necessariamente, resultados efetivos.

54

Por fim, é importante frisar que o objetivo deste estudo não foi verificar os prós e

os contras da obrigação de investimento mencionada; mas apenas verificar seu

potencial impacto na avaliação técnica de propostas de projetos de pesquisa e

desenvolvimento junto a instituições credenciadas, e no resultado desses projetos.

6.1. DELIMITAÇÕES

Embora a PPP usada seja uma proposta real de projeto de P&D, conforme

detalhado na seção de METODOLOGIA deste trabalho, a manifestação do efeito

halo pode ter sido atenuada ou intensificada pelo fato de se tratar de uma situação

experimental, em que os avaliadores não estiveram sob estímulos idênticos da

situação real.

Esse fenômeno poderia ter seu impacto reduzido se fosse realizada uma análise

a partir das PPPs reais que foram efetivamente avaliadas. O desafio vinculado a

essa alternativa é que cada PPP sofre um número pequeno de avaliações técnicas,

logo ter-se-ia que comparar as poucas avaliações feitas para cada uma de diversas

PPPs diferentes, o que traria a necessidade de se expurgarem das avaliações as

distorções inerentes às diferenças técnicas de cada PPP. Uma vez que o

procedimento atual de avaliação de PPPs é recente, não há dados suficientes para a

manipulação e a análise das avaliações reais já realizadas.

Um aspecto que deve ser levado em conta neste trabalho é que a ANP publicou

um novo regulamento durante o período de realização deste trabalho - Regulamento

Técnico ANP Nº 3/2015, aprovado pela Resolução Nº 50, de 25 de novembro de

2015, Seção 1, página 101. Em razão das alterações impostas no novo

regulamento, considerou-se mais prudente interromper o processo de aplicação de

questionários, para evitar possíveis distorções nas respostas, tendo em vista

eventuais dúvidas que os respondentes poderiam apresentar com relação à

alteração das regras de investimento em P&D. No entanto, é importante notar que a

relevância deste trabalho persiste, visto que o novo regulamento também prevê a

obrigação de significativa parte dos recursos em projetos em parceria com

instituições credenciadas.

55

7. CONCLUSÃO

Devido ao alto valor investido na área de P&D da EMPRESA, e dada a

relevância dos projetos de P&D na superação dos desafios tecnológicos, é

importante, estrategicamente, que a EMPRESA tenha uma carteira de projetos tão

otimizada quanto possível. Nesse cenário, a identificação de eventuais vieses

cognitivos é, sugere-se, de significativa relevância. Acrescente-se o fato de a

literatura de tomada de decisão chamar a atenção para o fato de que vieses

cognitivos atuam de forma silenciosa. Ou seja, temos pouca (ou nenhuma, em

muitos casos) consciência de que eventuais vieses influenciam, de forma

sistemática, nosso julgamento. Como afirma Kahenman (2012, p.10): "O trabalho

mental que gera impressões, intuições e diversas decisões ocorre silenciosamente

em nossa cabeça".

Este trabalho testou especificamente a possibilidade da existência de um dos

vieses considerados de maior relevância na avaliação de decisões organizacionais –

o efeito halo (ROSENZWEIG, 2007). Os resultados não apontaram para a existência

desse viés na avaliação técnica de propostas de projetos de P&D da EMPRESA, o

que representa uma informação positiva para a organização, já que a avaliação

técnica não sofre influência de uma informação presente no formulário de avaliação,

e que supostamente seria causadora de um viés. Dessa forma, o procedimento

avaliado não precisa sofrer alterações, no que diz respeito a evitar tal halo.

Por fim, independentemente do resultado específico em relação à EMPRESA,

esta dissertação delineou uma proposta para a investigação da incidência do efeito

halo em outras categorias de projetos e em iniciativas similares, no ambiente

organizacional. Destaca-se a aplicabilidade da metodologia no cenário brasileiro,

onde o efeito halo, apesar da importância ressaltada na literatura internacional, tem

sido objeto de limitada atenção em pesquisas.

7.1. SUGESTÕES PARA PESQUISAS FUTURAS

Estudos subsequentes podem ser realizados na tentativa de verificar como as

PPPs internas que foram rejeitadas pelo CTO seriam reavaliadas pelos técnicos,

caso fossem alteradas de modo que grande parte de seus gastos fosse junto a ICs.

Outra oportunidade de estudo seria a determinação das relações entre o número de

propostas de cada tipo de projeto (interno ou externo) e seus índices de aprovação e

56

rejeição, de modo a se poder avaliar se tem havido propensão a aprovar (ou negar)

um determinado tipo de PPP. Os dois estudos realizados neste trabalho - o

experimento e a survey – levaram em conta apenas o percentual dos gastos do

projeto aportado junto à IC. Logo, estudos subsequentes poderiam avaliar também

se o montante a ser investido no projeto causa o efeito halo.

Pesquisas futuras poderiam também buscar avaliar os impactos da obrigação de

investimento em P&D, imposta pela ANP, nas empresas de óleo e gás atuantes no

Brasil. Outro fator que pode ser abordado é a avaliação do efeito halo em diversos

processos de avaliação, tanto da EMPRESA, quanto de outras organizações,

potencialmente utilizando-se a abordagem deste trabalho.

57

8. REFERÊNCIAS BIBLIOGRÁFICAS

ASCH, S. E. Forming impressions of personality. The Journal of Abnormal and

Social Psychology , v. 41, p. 258-290, 1946.

BINGHAM. W. V. Halo, invalid and valid. Journal of Applied Psychology , v. 23, p.

221-228, 1939.

BRASIL. Lei no 9.478, de 6 de agosto de 1997. Dispõe sobre a política energética

nacional, as atividades relativas ao monopólio do petróleo, institui o Conselho

Nacional de Política Energética e a Agência Nacional do Petróleo e dá outras

providências. Diário Oficial [da] República Federativa do Brasil , Brasília, DF, 7

ago. 1997. Disponível em:< http://www.planalto.gov.br/ccivil_03/leis/L9478.htm>.

Acesso em: 22 jul. 2015.

BREI, V. Rossi, C. Confiança, valor percebido e lealdade em trocas relacionais de

serviço: um estudo com usuários de Internet Banking no Brasil. Rev. adm. contemp .

Curitiba, v. 9, n. 2, 2005.

CAPITAL, C. Natura e Eike Batista os vencedores da noite. In: Carta Capital , 2011.

Disponível em <http://www.cartacapital.com.br/economia/natura-e-eike-batista-os-

vencedores-da-noite>.

CARVALHO, J., DINIZ, L., RANGEL, C. Eu quero ser Eike. Eike Xiaoping. Veja, São

Paulo, p. 77-80, 2012.

COHEN, D. O efeito Halo. In: Época , 2008 Disponível em

<http://revistaepoca.globo.com/Revista/Epoca/0,,EDR82702-8056,00.html>

CONSTANTINO, R. Você confia no mapa astral de Eike Batista. In: Veja, 2013a.

Disponível em <http://veja.abril.com.br/blog/rodrigo-constantino/investimentos/voce-

confia-no-mapa-astral-de-eike-batista/>

CONSTANTINO, R. A mensagem de Eike Batista. 2013b. Disponível em

<http://rodrigoconstantino.blogspot.com.br/2013/07/a-mensagem-de-eike-

batista.html>

COOPER, W. H. Ubiquitous halo. Psychological Bulletin , v. 90, p. 218–244, 1981.

58

DINIZ. O relato da trajetória de Eike Batista: Uma reflexão sobre a possível

manifestação do efeito halo e do viés retrospectivo. TCC apresentado à graduação

de Defesa e Gestão Estratégica Internacional, como requisito para obtenção do

diploma, sob a orientação do professor Marcos Gonçalves Avila, 2014.

DION, K; BERSCHEID, E; WALSTER, E. What is beautiful is good. Journal of

Personality and Social Psychology , v. 24, n. 3, p. 285-290, 1972.

DOMINGUES, R., AMARAL, E., ZEFERINO, A. Auto-Avaliação e Avaliação por

Pares – Estratégias para o Desenvolvimento Profissional do Médico. REVISTA

BRASILEIRA DE EDUCAÇÃO MÉDICA . Rio de Janeiro, v. 29, n. 1, p. 173-175,

2007.

FESTINGER, L. A theory of cognitive dissonance, Evanston, H.: Row, Peterson.

1957

FIGUEIRA, P. (2013). O sonho acabou para Eike Batista? In: Exame . Disponível em

<http://exame.abril.com.br/revista-exame/edicoes/1040/noticias/o-sonho-acabou-

para-eike-batista?page=2>

FISICARO, S., LANCE, C. Implications of Three Causal Models for the Measurement

of Halo Error, Applied Psychological Measurement , v. 14, N. 4, p. 419-429, 1990.

FRANÇA, R., SOARES, R. (2008). O Mr. X da Bolsa In: Veja. Disponível em

<http://veja.abril.com.br/180608/p_094.shtml>

GIRALDI, J., CARVALHO, D. (2004). A importância da imagem do país de origem na

internacionalização de produtos brasileiros. Acessado em 27/07/2016 <

http://www.unifal.com.br/Bibliotecas/Artigos_Cientificos/INTERNACIONALIZA%C3%

87%C3%83O%20DE%20PRODUTOS%20BRASILEIROS.pdf>

GIRALDI, J., IKEDA, A., CARVALHO, D. (2008). Atitudes em relação a produtos

brasileiros: uma investigação com estudantes holandeses. Revista de

Administração Mackenzie . Capa > v. 9, n. 3 (2008) > de Moura Engracia Giraldi.

<http://editorarevistas.mackenzie.br/index.php/RAM/article/view/172/172> Acessado

em: 27/07/2016.

59

JUBILONI, M. (2013). A ascensão e queda de Eike Batista, em 41 imagens. In:

Exame , 2013b. Disponível em <http://exame.abril.com.br/negocios/noticias/a-

ascensao-e-queda-de-eike-batista-em-xx-imagens> Acessado em: 20/03/2014

KAHNEMAN, D. Rápido e Devagar: Duas Formas de Pensar . Editora Objetiva,

2012.

KAHNEMAN, D., TVERSKY, A. On the psychology of prediction. Psychological

Review , v. 80, p. 237-25, 1973.

KING, L., HUNTER, J., SCHMIDT, F. Halo in a multidimensional forced-choice

performance evaluation scale. Journal of Applied Psychology , v. 65, p. 507-516,

1980.

LANCE, C., LAPOINTE, J., STEWART, A. A Test of the Context Dependency of

Three Causal Models of Halo Rater Error. Journal of Applied Psychology , v. 79, n.

3, p. 332-340, 1994.

LANDY, D., SIGALL, H. Beauty is talent: Task evaluation as a function of the

performer's physical attractiveness. Journal of Personality and Social

Psychology , v. 29, p. 299-304, 1974.

LOTTA, G. Avaliação de desempenho na área pública: perspectivas e propostas

frente a dois casos práticos. RAE-eletrônica , v. 1, n. 2, 2002. Disponível em:

<http://www.scielo.br/pdf/raeel/v1n2/v1n2a12> Acessado em: 27/07/2016.

NEGÓCIOS, E. (2014). Eike Batista é destaque na lista dos ex-bilionários da Forbes.

In: Época Negócios . Disponível em:

<http://epocanegocios.globo.com/Informacao/Resultados/noticia/2014/03/eike-

batista-e-destaque-na-lista-do-ex-bilionarios-da-forbes.html#>

NEWCOMB, T. The Consistency of Certain Extrovert-introvert Behavior Patterns in

51 Problem Boys, Teachers College, Columbia University, v. 382, 1929.

NEWCOMB, T. An experiment designed to test the validity of a rating technique.

Journal of Educational Psychology , v. 22, n. 4, p. 279-289, 1931.

60

NISBETT, R., WILSON, T. The halo effect: Evidence for unconscious alteration of

judgments. Journal of Personality and Social Psychology , v. 35, p. 250-256,

1977.

OLIVOLA, C., TODOROV, A. Elected in 100 milliseconds: Appearance-Based Trait

Inferences and Voting. Journal of Nonverbal Behavior , v. 34, n. 2, p. 83-110, 2010.

PLOUS, S. The Psychology of judgment and decision making, McGraw-Hill , 1993.

ROBBINS, S. Organizational behavior. Englewood Cliffs , NJ: Prentice-Hall, 1989

ROSENZWEIG, P. Misunderstanding the Nature of Company Performance: The halo

Effect and Other Business Delusions, California Management Review , v. 49, n. 4,

2007.

SAAL, F., Downey, R., Lahey, M. Rating the ratings: Assessing the psychometric

quality of rating data. Psychological Bulletin , v. 88, p. 413-428, 1980.

SANTOS JUNIOR. Ilusões cognitivas, consequência reais: O processo decisório na

tragédia do voo 655 da Iran Air abatido pelo USS Vincennes. Monografia

apresentada à Escola de Guerra Naval, como requisito parcial para a conclusão do

Curso de Estado-Maior para Oficiais Superiores, sob a orientação de CMG (Ref.)

Claudio Rogério de Andrade Flôr. Rio de Janeiro, 2015.

STANOVICH, K., WEST, R. Individual Differences in Reasoning: Implications for the

Rationality Debate, Behavioral and Brain Sciences, v. 23, p. 645-726, 2003.

STAW, B. Attribution of the "causes" of performance: A general alternative

interpretation of cross-sectional research on organizations. Organizational Behavior

and Human Performance , v. 13, n. 3, p. 414-432, 1975.

THORNDIKE, E. L. A Constant Error in Psychological Ratings, Journal of Applied

Psychology , 1920.

TVERSKY, A. Features of Similarity. Psychological Review , v. 84, p. 327-352,

1977. Disponível em <http://www.ai.mit.edu/projects/dm/Tversky-features.pdf>

21/07/2016.

61

TVERSKY, A., KAHNEMAN, D. Belief in the law of small numbers. Psychological

Bulletin , v. 76, n. 2, p. 105-110, 1971.

TVERSKY, A., KAHNEMAN, D. Judgment under uncertainty Heuristics and biases.

Science , v. 185, p. 124-1131, 1974.

URDAN, F. Medindo a orientação para o mercado: empresas brasileiras versus

empresas estrangeiras. Revista FACEF Pesquisa, Desenvolvimento e Gestão ,

v.7, n.1, 2004

<http://periodicos.unifacef.com.br/index.php/facefpesquisa/article/view/22/88>

Acessado em: 27/07/2016.

VERHULST, B., LODGE, M., LAVINE, H. The Attractiveness Halo: Why Some

Candidates are Perceived More Favorably than Others. Journal of Nonverbal

Behavior , v. 34, n. 2, p. 111–117, 2010.

WELLS, F. A Statistical Study of Literary Merit. Archives of Psychology , p. 1-30,

1907.

62

ANEXOS

ANEXO A - A OBRIGAÇÃO DE INVESTIMENTO EM P&D IMPOST A PELA ANP

A Agência Nacional de Petróleo, Gás Natural e Biocombustíveis (ANP) é uma

entidade integrante da Administração Federal Indireta, submetida ao regime

autárquico especial, vinculada ao Ministério de Minas e Energia, instituída pela lei

9.478, de 6 de agosto de 1997. Segundo a mesma lei, a finalidade da ANP é

promover a regulação, a contratação e a fiscalização das atividades econômicas

integrantes da indústria do petróleo, do gás natural e dos biocombustíveis, cabendo-

lhe, entre outros, estimular a pesquisa e a adoção de novas tecnologias na

exploração, produção, transporte, refino e processamento.

O Regulamento ANP nº 5/2005, aprovado pela Resolução ANP Nº 33 , de

24.11.2005 – Diário Oficial da União de 25.11.2005 -, define as normas referentes à

realização, no Brasil, dos investimentos em P&D e à elaboração do relatório

demonstrativo a que se refere a Cláusula de Investimentos em Pesquisa e

Desenvolvimento dos Contratos de Concessão. Esse regulamento é o que estava

vigente no momento de realização de aplicação dos questionários para a realização

deste trabalho.

Os contratos de concessão são parte dos editais de licitações e estabelecem que

“caso a Participação Especial seja devida para um Campo em qualquer trimestre do

ano calendário, o Concessionário será obrigado a realizar Despesas Qualificadas

com Pesquisa e Desenvolvimento em valor equivalente a 1% (um por cento) da

Receita Bruta da Produção para tal Campo.”

• O termo “Participação Especial” refere-se ao valor devido pelo Concessionário

nos casos de grande volume de produção ou de grande rentabilidade. Essa

participação é aplicada sobre a receita bruta da produção, deduzidos os

royalties, os investimentos na exploração, os custos operacionais, a

depreciação e os tributos previstos na legislação em vigor.

• O termo “Campo” refere-se a “Campo de Petróleo” ou “Campo de Gás

Natural”, conforme definido na Lei do Petróleo, qual seja, “área produtora de

petróleo ou gás natural, a partir de um reservatório contínuo ou de mais de

um reservatório, a profundidades variáveis, abrangendo instalações e

equipamentos destinados à produção”.

63

• O termo “Concessionário” refere-se à empresa petrolífera que firmou o

contrato com a ANP.

• O termo “Despesas Qualificadas com Pesquisa e Desenvolvimento” significa

despesas com atividades de Pesquisa e Desenvolvimento relativas a serviços

de tecnologia relacionados à descoberta, teste ou uso de novos produtos,

processos ou técnicas no setor de Petróleo e Gás Natural, ou à adaptação de

produtos, processos ou técnicas existentes para novas circunstâncias no

setor de Petróleo e Gás Natural.

Os Contratos de Concessão também estabelecem que “até 50% (cinquenta por

cento) das Despesas Qualificadas com Pesquisa e Desenvolvimento poderão ser

realizadas através de atividades desenvolvidas em instalações do próprio

Concessionário ou suas Afiliadas, localizadas no Brasil, ou contratadas junto a

empresas nacionais, independentemente do fato destas envolverem ou estarem

relacionadas às Operações deste Contrato. O restante deverá ser destinado à

contratação dessas atividades junto a universidades ou institutos de pesquisa e

desenvolvimento tecnológico nacionais que forem previamente credenciados para

este fim pela ANP, independentemente do fato destas envolverem ou estarem

relacionadas às Operações deste Contrato”.

Caso em um determinado período a empresa não realize integralmente o

investimento em P&D previsto pela ANP, ao montante não investido aplicam-se juros

de mora e multa, o que não cessa a obrigação de investimento de tal montante em

P&D.

O regulamento que prevê tal obrigação foi alterado durante a realização do

trabalho, tendo sido mantida a obrigação de investimento de grande montante em

projetos de P&D com ICs. Embora sua essência tenha sido mantida para fins desse

trabalho, optou-se por cessar a aplicação de questionários após disponibilização do

novo regulamento.

64

ANEXO B – ESTRUTURA DA PROPOSTA PRELIMINAR DE PROJE TO (PPP)

Parte do conteúdo foi removida por questões de confidencialidade.

PPP – versão projeto interno (PPP interna)

Proposta Preliminar de Projeto

Contextualização A seguinte PPP ainda não foi apresentada ao CTO. Independentemente disso vir a ocorrer ou não, a presente avaliação não será usada como input para encaminhamento ao CTO. Ainda assim, solicito que avalie esta proposta preliminar de projeto supondo que a mesma esteja sendo avaliada para que se decida sobre sua aprovação. Peço que realize esta avaliação independentemente do grau de familiaridade que tenha com o assunto.

Identificação CTO: * Manutenção, Inspeção (E&P-CORP/PROM)

Ano Zero:

No PPP:

2015

CM-CENPES-028

Título: * Soluções para Tubings de Instrumentação em Plataformas Marítimas

Proponente:

Chave: Matrícula: *

Gerência: CENPES/PDEP/TMEC

Detalhamento Objetivo: *

Classificação: * PA - Pesquisa aplicada

Este é um estudo de Julgamento e Tomada de Decisão. O tempo estimado de resposta é de 15 minutos. Agradeço desde já sua participação.

65

Ambiente de Aplicação: Tubings de instrumentação e de injeção química em unidades marítimas de produção.

Histórico: *

Resultados e Produtos Esperados: * Apresentar alternativas mais robustas aos materiais atualmente empregados nos tubings de instrumentação e de injeção química em unidades marítimas de produção.

Justificativa e Benefícios Esperados: *

É um projeto de SMS? Não Duração Estimada: * 24 meses

Início Previsto (mês/ano): 03/2016

Data Limite para Término (mês/ano): 03/2018

Há pré-projeto que tenha originado a PPP? * Não

É uma PPP de disponibilização de tecnologia?* Não

Anexar Arquivo(s):

Estimativas HH (horas): 800


Serviços não ANP e ANEEL (R$): 1.000.000

Encargos (R$): -

Serviços com instituições credenciadas com a ANP (R$): -


Entidades Envolvidas: -

Direcionamento Estratégico Programa / Área Tecnológica: Procap

66

Quantos Desafios Tecnológicos a PPP irá atender?

1 - Integridade, segurança e confiabilidade

1 – Familiaridade do avaliador com o tema.

� Muita

� Pouca

� Nenhuma

2 - Benefício potencial do projeto.

� Pequeno

� Moderado

� Elevado

3 - Criticidade do desafio tecnológico correspondente.

� Importante

� Muito importante

� Crítico

4 - Abrangência de aplicação da tecnologia.

� Pequena

� Moderada

� Elevada 5 – Custo do projeto.

� Alto

� Médio

� Baixo

6 - Impacto no atendimento aos requisitos de SMS.

� Negativo

� Não influencia

� Positivo

7 - Incorporação de conceitos de eficiência energética (EE).

� Negativo

� Não influencia

� Positivo 8 - Risco Tecnológico. Avalia a incerteza em relação ao sucesso do projeto, em função da maturidade e complexidade da tecnologia. � Alto

� Médio

� Baixo

9 - Risco de Implantação. Avalia a dificuldade de implementação dos resultados do projeto em função das limitações operacionais, logísticas e orçamentárias.

� Alto

� Médio

� Baixo

67

PPP – versão projeto em parceria com IC (PPP externa)

Proposta Preliminar de Projeto

Contextualização A seguinte PPP ainda não foi apresentada ao CTO. Independentemente disso vir a ocorrer ou não, a presente avaliação não será usada como input para encaminhamento ao CTO. Ainda assim, solicito que avalie esta proposta preliminar de projeto supondo que a mesma esteja sendo avaliada para que se decida sobre sua aprovação. Peço que realize esta avaliação independentemente do grau de familiaridade que tenha com o assunto.

Identificação CTO: * Manutenção, Inspeção (E&P-CORP/PROM)

Ano Zero:

No PPP:

2015

CM-CENPES-028

Título: * Soluções para Tubings de Instrumentação em Plataformas Marítimas

Proponente:

Chave: Matrícula: *

Gerência: CENPES/PDEP/TMEC

Detalhamento Objetivo: *

Classificação: * PA - Pesquisa aplicada

Ambiente de Aplicação: Tubings de instrumentação e de injeção química em unidades marítimas de produção.

Este é um estudo de Julgamento e Tomada de Decisão. O tempo estimado de resposta é de 15 minutos. Agradeço desde já sua participação.

68

Histórico: *

Resultados e Produtos Esperados: * Apresentar alternativas mais robustas aos materiais atualmente empregados nos tubings de instrumentação e de injeção química em unidades marítimas de produção.

Justificativa e Benefícios Esperados: *

É um projeto de SMS? Não Duração Estimada: * 24 meses

Início Previsto (mês/ano): 03/2016

Data Limite para Término (mês/ano): 03/2018

Há pré-projeto que tenha originado a PPP? * Não

É uma PPP de disponibilização de tecnologia?* Não

Anexar Arquivo(s):

Estimativas HH (horas): 800


Serviços não ANP e ANEEL (R$): -

Encargos (R$): -

Serviços com instituições credenciadas com a ANP (R$): 1.000.000,00


Entidades Envolvidas: UFRJ

Direcionamento Estratégico Programa / Área Tecnológica: Procap

Quantos Desafios Tecnológicos a PPP irá atender?

1 - Integridade, segurança e confiabilidade

69

1 – Familiaridade do avaliador com o tema.

� Muita

� Pouca

� Nenhuma

2 - Benefício potencial do projeto.

� Pequeno

� Moderado

� Elevado

3 - Criticidade do desafio tecnológico correspondente.

� Importante

� Muito importante

� Crítico 4 - Abrangência de aplicação da tecnologia.

� Pequena

� Moderada

� Elevada

5 – Custo do projeto.

� Alto

� Médio

� Baixo

6 - Impacto no atendimento aos requisitos de SMS.

� Negativo

� Não influencia

� Positivo 7 - Incorporação de conceitos de eficiência energética (EE).

� Negativo

� Não influencia

� Positivo

8 - Risco Tecnológico. Avalia a incerteza em relação ao sucesso do projeto, em função da maturidade e complexidade da tecnologia.

� Alto

� Médio

� Baixo 9 - Risco de Implantação. Avalia a dificuldade de implementação dos resultados do projeto em função das limitações operacionais, logísticas e orçamentárias. � Alto

� Médio

� Baixo

70

ANEXO C – RESULTADO DOS TESTES ESTATÍSTICOS

ESTUDO 1 - EXPERIMENTO

Regressões lineares para cada pergunta (Perg 2 até Perg 9) do questionário da PPP

como variável dependente. A variável independente nas regressões foi Projeto em

Parceria (“sim” ou “não”).

Figura 7 – Regressão linear media da nota da pergunta 2 da PPP em função de ser ou não em

parceria com IC

71


parceria com IC

72


parceria com IC

73


parceria com IC

74


parceria com IC

75


parceria com IC

76


parceria com IC

77


parceria com IC

78

Tabela 1 – Resultado do teste não paramétrico (Teste das Somas de Wilcoxon) para

as respostas ao questionário

Teste da diferença entre Interno e Externo

Teste das Somas de Wilcoxon

Hipótese nula: as duas medianas são iguais

value rank group

0,34 1 b

0,34 2 b

0,36 3 a

0,4 4 a

0,46 5 a

0,48 6 b

0,48 7 a

0,5 8,5 b

0,5 8,5 b

0,52 10 b

0,54 11 a

0,54 12 b

0,54 13 a

0,56 14 b

0,56 17 a

0,56 17 a

0,56 17 a

0,56 17 b

0,56 17 b

0,58 21 a

0,58 21 a

0,58 21 b

0,6 23 a

0,6 24 b

0,62 25 b

0,62 26 a

0,62 27 a

0,64 28 b

0,64 29 b

0,64 30 b

0,66 31 b

0,66 32,5 b

0,66 32,5 a

0,68 34 a

0,7 35,5 b

0,7 35,5 b

0,72 37 a

0,72 38,5 b

0,72 38,5 a

0,72 40 a

0,74 41,5 b

0,74 41,5 a

0,74 43 b

0,76 45 a

0,76 45 b

79

0,76 45 a

0,8 48 b

0,8 48 a

0,8 48 b

0,8 50,5 b

0,8 50,5 b

0,82 52 a

0,84 53 b

0,88 54 a

0,9 55 a

0,92 56 a

0,94 57 a

1 58 a

n1 = 29, n2 = 29

w (soma de postos, amostra 1) = 905,5

z = (905,5 - 855,5) / 64,3033 = 0,777565

P(Z > 0,777565) = 0,218413

Valor p bilateral = 0,436826

ESTUDO 2 - SURVEY

Quadro 10 – Relação entre o percentual dos gastos do projeto que foi aplicado em

IC com a nota do desempenho do projeto

Percentual dos gastos passíveis de abatimento da obrigação de investimento em P&D junto a ICs Nota dada pelo gestor do projeto

0,00% 3

0,00% 5

0,00% 6

0,00% 7

0,00% 7

0,00% 7

0,00% 7

0,00% 7

0,00% 7

0,00% 7

0,00% 8

0,00% 8

0,00% 8

0,00% 8

0,00% 8

0,00% 8

0,00% 8

80

0,00% 8

0,00% 8

0,00% 8

0,00% 8

0,00% 8

0,00% 9

0,00% 9

0,00% 9

0,00% 9

0,00% 9

0,00% 9

0,00% 9

0,00% 9

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,00% 10

0,04% 8

1,00% 10

2,97% 10

3,18% 10

4,88% 10

5,00% 5

5,03% 10

5,50% 9

7,71% 8

8,82% 10

9,88% 8

9,89% 10

10,58% 10

12,13% 10

14,14% 9

81

14,24% 10

15,34% 5

16,30% 10

16,55% 9

17,92% 8

19,02% 3

19,14% 8

19,88% 10

20,60% 9

20,83% 9

23,80% 7

25,33% 7

26,49% 8

27,78% 7

29,83% 7

31,63% 8

33,28% 7

34,00% 9

37,80% 4

48,75% 10

49,62% 7

49,78% 9

54,02% 10

55,20% 10

56,97% 10

59,69% 8

61,74% 9

67,74% 8

79,62% 10

97,45% 7

Documents

EFEITO HALO NA AVALIAÇÃO DE PROJETOS DE PESQUISA … · EFEITO HALO NA AVALIAÇÃO DE PROJETOS DE PESQUISA E DESENVOLVIMENTO ... escolha de projeto de P&D deve levar em conta o