Levantamento e avaliação da literatura econômica sobre ... · 6 Lista de Figuras Figura 1 - Esquema representativo das fases da montagem do banco de dados do Projeto “Literatura

Levantamento e avaliação da literatura econômica

sobre o BNDES

Produto 5 – Análise Bibliométrica

Maio de 2013

2

3

Levantamento e avaliação

da literatura econômica

sobre o BNDES

Pesquisa Científica nº 03/2011 – FEP/BNDES

Literatura Econômica1

Pesquisadores:

Alex Luiz Ferreira

Anne Hanley

Júlio Manuel Pires

Maurício Jorge Pinto de Souza

Renato Leite Marcondes

Rosane Nunes de Faria

Sérgio Naruhiko Sakurai

Assistentes:

Guilherme Byrro Lopes

Graziella Magalhães Candido de Castro

Gustavo Foresto Crispim

1 Este projeto está sendo executado com o apoio financeiro do Banco Nacional do Desenvolvimento

Econômico e Social (BNDES), por meio de financiamento não reembolsável com recursos do Fundo de

Estruturação de Projetos do BNDES (FEP). O conteúdo dos estudos e pesquisas é de exclusiva

responsabilidade dos autores, não refletindo, necessariamente, a opinião do BNDES. Para maiores

informações sobre essa modalidade de financiamento, acesse o site

http://www.bndes.gov.br/programas/outros/fep.asp

4

5

Índice Lista de Figuras .............................................................................................................. 6

Lista de Tabelas .............................................................................................................. 7

Indicadores bibliométricos para a avaliação da Literatura Econômica do BNDES

no período de 1952-2013 ................................................................................................ 8

1. Introdução ............................................................................................................. 8

2. Indicadores Bibliométricos ................................................................................. 10

3. Metodologia ........................................................................................................ 13

3.1. Banco de Dados ............................................................................................ 13

3.2. Método de Análise ....................................................................................... 17

4. Resultados ........................................................................................................... 20

4.1. Indicadores de Produção .............................................................................. 20

4.1.1. Variáveis de característica das obras ........................................................ 20

4.1.2 Variáveis de classificação das obras ......................................................... 33

4.2. Indicadores de Desempenho......................................................................... 37

4.2.1. Variáveis de característica das obras ........................................................ 37

4.2.2. Variáveis de classificação das obras ......................................................... 46

4.3. Indicadores Relacionais................................................................................ 49

5. Considerações Finais .......................................................................................... 61

Referências Bibliográficas ......................................................................................... 64

Anexo I............................................................................................................................66

Anexo II........ ................................................................................................................. 71

Anexo III....... ................................................................................................................. 76

Anexo IV..... ................................................................................................................... 78

Anexo V............ ............................................................................................................. 80

6

Lista de Figuras

Figura 1 - Esquema representativo das fases da montagem do banco de dados do Projeto

“Literatura Econômica sobre BNDES” .......................................................................... 13

Figura 2 - Resumo do processo de análise bibliométrica ............................................... 18

Figura 3 - Evolução dos documentos da literatura econômica sobre o BNDES no

período 1957-2013 e instituição responsável ................................................................. 22

Figura 4 - Documentos da literatura econômica sobre o BNDES, por tipo e Instituição

responsável pela publicação ........................................................................................... 24

Figura 5 - Distribuição de frequência dos periódicos acadêmicos ................................. 28

Figura 6 - Distribuição das publicações sobre o BNDES por autores ............................ 31

Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva instituição de

afiliação .......................................................................................................................... 32

Figura 8 - Documentos da literatura econômica sobre o BNDES, por idioma e país da

publicação ....................................................................................................................... 33

Figura 9 - Classificação das obras sobre o BNDES de acordo com o grau de referência

que o documento confere ao banco ................................................................................ 35

Figura 10 - Distribuição de frequência dos documentos da literatura econômica sobre o

BNDES por número de citação recebida ........................................................................ 38

Figura 11 - Evolução do número de citações dos principais trabalhos mais citados no

Banco de Dados .............................................................................................................. 42

Figura 12 - Distribuição dos autores por número de citação recebida ........................... 43

Figura 13 - Distribuição das obras sobre o BNDES de acordo com o número de citações

recebidas e grau de referência ao banco ......................................................................... 49

Figura 14 - Redes de citação dos dezessete trabalhos mais citados no Banco de Dados 51

Figura 15 - Redes de co-citação dos dezessete trabalhos mais citados .......................... 52

Figura 16 - Distribuição dos autores de acordo com o número de coautores, segundo

afiliações ao BNDES e outras instituições ..................................................................... 55

Figura 17 - Três principais redes de coautoria identificadas no Banco de Dados .......... 56

Figura 18 - Número de documentos produzidos em coautoria e sua participação no total

(1968-2013) .................................................................................................................... 57

Figura 19 - Redes de cooperação entre instituições ....................................................... 60

7

Lista de Tabelas

Tabela 1 - Temáticas consideradas na Fase III de classificação dos documentos .......... 16

Tabela 2 - Características gerais do Banco de Dados ..................................................... 21

Tabela 3 - Documentos da literatura econômica sobre o BNDES, por tipo e década da

publicação ....................................................................................................................... 25

Tabela 4 - Principais instituições nacionais responsáveis pela publicação da literatura

econômica sobre o BNDES, por tipo de documento ...................................................... 26

Tabela 5 - Principais instituições internacionais responsáveis pela publicação da

literatura econômica sobre o BNDES ............................................................................. 27

Tabela 6 - Principais periódicos em que foram publicados artigos sobre o BNDES,

quantidade de artigos e participação no total de artigos publicados............................... 29

Tabela 7 - Classificação Qualis/CAPES dos periódicos em que foram publicados artigos

sobre o BNDES, quantidade e participação no total ...................................................... 30

Tabela 8 - Principais temáticas tratadas nas obras sobre o BNDES, número de vezes e

participação ..................................................................................................................... 34

Tabela 9 - Principais períodos tratados nas obras sobre o BNDES, número de vezes e

participação ..................................................................................................................... 35

Tabela 10 - Principais temáticas e períodos tratados nas obras sobre o BNDES ........... 36

Tabela 11 - Estatísticas Descritivas do Número de citações por documento por

instituição responsável .................................................................................................... 38

Tabela 12 - Os dezessete principais trabalhos de acordo com o número de citações

recebidas ......................................................................................................................... 39

Tabela 13 - Citações com código unificado, principais documentos ............................. 41

Tabela 14 - Autores mais citados e indicador de citação média por publicação ............ 44

Tabela 15 - Periódicos mais citados e indicador de citação média por publicação ........ 45

Tabela 16 - Distribuição das obras sobre o BNDES de acordo com o número de citações

recebidas e temática tratada ............................................................................................ 47

Tabela 17 - Distribuição das obras sobre o BNDES de acordo com o número de citações

recebidas e período avaliado........................................................................................... 48

Tabela 18 - Análise Fatorial aplicada a rede de citações dos trabalhos mais citados ..... 54

Tabela 19 - Distribuição das obras realizadas em coautoria com cooperação externa, de

acordo com afiliação ao BNDES e a outras instituições ................................................ 58

Tabela 20 – Citações com código unificado, por documento......................................... 71

Tabela 21 – Comparação das consultas dos principais documentos no Google

Acadêmico ...................................................................................................................... 75

Tabela 22 – Número de documentos identificados nas principais ferramentas de busca79

Tabela 23 - Resultado completo da Análise Fatorial ...................................................... 80

8

Indicadores bibliométricos para a avaliação da Literatura

Econômica do BNDES no período de 1952-2013

1. Introdução

A despeito da importância do BNDES para provisão de financiamento de longo

prazo desde sua criação na década de 1950, e da literatura econômica produzida a seu

respeito, não existe ainda uma sistematização e avaliação do perfil dessa literatura.

Algumas questões importantes como o tamanho da produção acadêmica sobre o

BNDES desde o seu início; a repercussão das publicações; os autores mais prolíficos; as

principais instituições que têm desenvolvido trabalhos acadêmicos sobre o BNDES; as

principais temáticas dessa produção; a tendência da produção, entre outras questões

relacionadas, ainda não foram respondidas.

Nesse contexto, o presente relatório aborda a seguinte problemática: quais as

principais características da produção acadêmica em economia sobre o BNDES no

período de 1952-2013. Assim, a partir de uma avaliação quantitativa da literatura

econômica sobre o BNDES, a principal contribuição desta pesquisa é prover o banco de

informações que contribuam para a maior compreensão da literatura que tem sido

desenvolvida a seu respeito e da tendência dessa produção.

A análise quantitativa é conduzida por meio de indicadores bibliométricos

calculados a partir de um Banco de Dados gerado pelo projeto intitulado “Levantamento

e avaliação da literatura econômica acadêmica brasileira e internacional sobre o

BNDES” (FEP 03/2011).

Apesar de o termo bibliometria ter sido criado apenas em 1969, por Alan

Pritchard, a análise de citação e outras medidas de impacto têm sido discutidas e

aplicadas a diferentes objetivos desde o primeiro quartil do século XX. Gross e Gross

(1927) aplicaram a análise de citação de periódicos para a identificação dos periódicos

mais influentes para os estudantes de química e, dessa forma, orientar a política de

aquisição dos periódicos de uma biblioteca.

O termo bibliometria é definido como a aplicação de métodos matemáticos e

estatísticos para medir a quantidade e o desempenho de publicações como livros, artigos

e outros meios de comunicação (PRITCHARD, 1969).

9

A análise bibliométrica caracteriza-se como um instrumento importante para as

organizações, pois consiste em uma ferramenta que possibilita a criação de perfis de

áreas de interesse, o mapeamento de relacionamento de autores, a análise de tendência e

o desenvolvimento de indicadores de inovação (OKUBO, 1997; PENTEADO et al.,

2003). Os indicadores bibliométricos também podem auxiliar as organizações na

tomada de decisão sobre áreas de pesquisa de maior interesse e fornecer subsídio na

alocação de fundos orçamentários para pesquisa (DURIEUX e GEVENOIS, 2010).

Nesse sentido, a análise bibliométrica torna-se importante como meio de conhecimento

mais pormenorizado das informações levantadas sobre a produção acadêmica

relacionada ao BNDES desde sua fundação.

Este volume do relatório divide-se em cinco seções incluindo esta introdução.

Na seção 2 discutem-se os principais indicadores bibliométricos utilizados na literatura.

A seção 3 descreve o Banco de Dados utilizado e os procedimentos adotados para a

condução do presente trabalho. A seção 4 destina-se à apresentação e discussão dos

resultados da análise bibliométrica para os indicadores de produção, repercussão e

relacionais. As principais conclusões desta etapa da pesquisa evidenciam-se na última

seção.

10

2. Indicadores Bibliométricos

A literatura reporta basicamente três tipos de indicadores bibliométricos:

quantitativos ou de produção, desempenho ou de impacto e estruturais ou relacionais

(ROUSSEAU, 1998; GAUTHIER, 1998; LUNDBERG, 2006; DURIEUX e

GEVENOIS, 2010). Não raramente, esses indicadores apresentam denominações

diferentes, porém relacionados ao mesmo conceito e objetivo.

Os indicadores quantitativos objetivam a métrica da produção a partir da

contagem do número de publicações, por autor, por tipo de documento e o número de

publicação por instituição de pesquisa ou país. Quando esses indicadores tornam-se

disponíveis para um período de tempo suficientemente longo, eles permitem conjecturar

sobre a tendência da publicação (DURIEUX e GEVENOIS, 2010).

Para Okubo (1997), esses indicadores oferecem uma medida aproximada e

simplificada da produção científica em um determinado período, entretanto algumas

limitações devem ser observadas como, por exemplo, a incapacidade de se avaliar

aspectos qualitativos da publicação. .

Diferentemente dos indicadores quantitativos, os indicadores de desempenho

procuram fornecer uma medida de qualidade e repercussão da publicação, dos autores e

das instituições analisadas (DURIEUX e GEVENOIS, 2010). Por exemplo, o número

de vezes que um autor, um artigo ou uma instituição é citado por outros pesquisadores,

em outros trabalhos ou por outras instituições constitui um indicador de desempenho ou

impacto amplamente empregado em análises bibliométricas. Garfield (1955) apresentou

a importância dos índices de citação como fonte de informação para os pesquisadores e

argumentou que, para o caso de um artigo relevante, o índice de citação apresenta-se

como uma medida do grau de influência do artigo para outros pesquisadores, ou seja, o

seu fator de impacto. Entretanto, devido à dificuldade em definir o conceito de

qualidade em sua totalidade e, principalmente, mensurá-la por meio de indicadores

quantitativos, as discussões têm se concentrado na definição do conceito de “impacto da

publicação”.

Martin e Irvine (1983) apresentam e distinguem os conceitos de “qualidade”,

“importância” e “impacto” de uma publicação. Para os autores, não existe uma medida

direta desses aspectos, que somente podem ser apreendidos de forma indireta por meio

das percepções dos cientistas (avaliação por pares) e por práticas sociais dos cientistas

como, por exemplo, a citação. Nesse sentido, o número de citações de uma publicação

11

não reflete diretamente sua qualidade ou importância, mas sim um indicador parcial de

impacto de um trabalho científico que pode depender, em parte, da importância da

publicação, mas também pode ser afetado por outros fatores como a localização do

autor, o seu prestígio na comunidade científica, a língua em que foi publicado e a

disponibilidade da revista.

Okubo (1997) também salienta outra limitação desses indicadores, qual seja, a

autocitação, que é um problema real e crescente na comunidade científica. Aksnes

(2003) argumenta que embora a autocitação possa ser considerada um procedimento

natural e aceitável, particularmente quando o número de citações é empregado como um

indicador de impacto, a autocitação pode ser tratada como um problema pelo fato de

não refletir apropriadamente o impacto da publicação para a comunidade científica.

Alguns analistas recomendam não a exclusão da autocitação, mas sim o cálculo

da proporção de autocitação presente e a utilização dessa informação como variável de

controle. As taxas de autocitação variam consideravelmente para diferentes campos do

conhecimento (ANU, 2005).

Considerando algumas das limitações relacionadas aos indicadores de impacto,

deve-se atentar que a utilização desses indicadores constitui importante meio para

mensurar um aspecto da qualidade, mas não a qualidade da publicação em sua

totalidade.

Por fim, os indicadores estruturais ou relacionais mensuram as conexões entre

publicações, entre autores ou campo de pesquisa (DURIEUX e GEVENOIS, 2010).

Esses indicadores são amplamente utilizados na literatura bibliométrica principalmente

nas análises de coautoria e co-citação de artigos e documentos. A análise de co-citação

tipicamente apresenta uma rede onde os autores/documentos mais citados estão

conectados pelo link de co-citação. Os indicadores relacionais são aplicados para o

mapeamento de estruturas de conhecimento e de redes de relacionamento entre autores,

documentos, instituições, e países, sendo importantes para a identificação das parcerias

entre autores ou entre instituições; e para mostrar ligações entre temas ou áreas de

pesquisa, ou mesmo tópicos emergentes em um campo do conhecimento (LIMA et al. ,

2010; OKUBO, 1997; GAUTHIER, 1998).

A Análise de Co-citação é um dos métodos quantitativos amplamente utilizados

para a estruturação de redes de relacionamento, sendo o foco dessas análises a

identificação de padrões estruturais de especialização no campo de pesquisa analisado

(CHEN, IBEKWE-SANJUAN, HOU, 200X). Esse padrão pode ser avaliado tanto por

12

meio de Análise de Co-citação de Autores (ACA) ou pela Análise de Co-citação de

Documentos (DCA) (WHITE e GRIFFITH, 1981).

Small (1973) define a análise de co-citação como a frequência com que dois

documentos da literatura são citados conjuntamente por um documento posterior.

Adicionalmente, o autor argumenta que quando dois artigos são frequentemente co-

citados, eles são necessariamente mais citados individualmente e os artigos mais citados

individualmente representam os conceitos, os métodos ou os experimentos chave em

um campo do conhecimento. Dessa forma, o padrão da co-citação pode ser utilizado

para mapear o relacionamento entre esses conceitos chave.

White e Griffith (1981) argumentam que o mapeamento de uma área do

conhecimento pode ser realizado empregando os autores como unidade de análise e as

co-citações de pares de autores como variáveis que indicam a distância entre eles, sendo

que quanto maior a frequência em que dois autores são citados conjuntamente maior

seria relação entre eles.

No presente trabalho, os indicadores quantitativos da produção são úteis para

descrever o perfil da literatura econômica sobre o BNDES, enquanto a avaliação da

literatura relevante para a comunidade científica pode ser investigada por meio dos

indicadores de impacto e de redes de citação, co-citação e coautoria.

13

3. Metodologia

3.1. Banco de Dados

A Figura 1 apresenta as fases associadas à montagem do Banco de Dados

utilizado na condução da Análise Bibliométrica desenvolvida no presente capítulo. O

Banco de Dados foi desenvolvido no âmbito desse projeto que tem por objetivo geral

realizar uma sistematização e avaliação da literatura econômica produzida a respeito do

BNDES desde o seu início.

Figura 1 - Esquema representativo das fases da montagem do banco de dados do

Projeto “Literatura Econômica sobre BNDES”

Fonte: Elaboração Própria

Na Fase I foi realizado um extenso trabalho de identificação da literatura

acadêmica, de forma bastante abrangente, não se restringindo, por exemplo, apenas aos

trabalhos que no título contemplavam o nome BNDE(S). De fato, as buscas abrangeram

também o resumo, as palavras-chave e também, em algumas ferramentas de busca, ao

corpo de texto e à referencia bibliográfica das obras.

A identificação das obras foi realizada por meio de buscas por palavras-chave

associadas à missão do BNDES de ser instrumento de financiamento de longo prazo

para a realização de investimentos. Essas buscas incluíram palavras e expressões como:

financiamento de longo prazo, BNDE(S), investimento de longo prazo, banco de

desenvolvimento, financiamento de bem de capital, financiamento de infraestrutura,

14

privatizações e financiamento do desenvolvimento. As consultas também contaram com

as palavras-chave e expressões em língua espanhola e em inglesa2.

Tais consultas foram realizadas por diferentes frentes de trabalho, tal que,

primeiramente, foram acessadas as principais bibliotecas e acervos brasileiros. Para tal,

foi utilizada, inicialmente, a relação dos cursos recomentados e reconhecidos pela Capes

(com filtro para Grande Área: Ciências Sociais Aplicadas e Área: Economia), com o

objetivo de levantar os potenciais centros de pesquisa e publicação nacionais,

principalmente teses e dissertações3. Além disso, em todos esses centros, foram

identificados os sites específicos dos acervos de teses e dissertações, assim como os

sites gerais das bibliotecas4 e as revistas acadêmicas associadas a cada centro, quando

presentes. Ademais, outros periódicos acadêmicos também foram consultados de acordo

a listagem dos periódicos avaliados pela CAPES. Uma vez identificados os

documentos, o acesso ao material pôde ser realizado de forma on-line ou por meio de

obtenção físicas das obras, por parte da equipe de pesquisa. Outra frente direcionou

esforços nas consultas presenciais nas bibliotecas do BNDES, FEA-RP/USP, FEA/USP,

PUC/SP, UFF, UFRJ. Uma terceira frente de consultas ateve-se na identificação da

literatura internacional sobre o BNDES, buscando os acervos das principais instituições

e centros de pesquisa fora do país5. Adicionalmente, foram também consultados fontes e

acervos online de documentos acadêmicos, como JSTOR, Scielo, Web of Knowledge,

Science Direct, Google Acadêmico (cobrindo assim tanto os periódicos nacionais e

internacionais associados à centros de pesquisa e os que não tem essa associação). Por

fim, muitos outros centros de pesquisa que não foram relacionados acima, também

foram consultados, uma vez que estes apareceram nas referencias bibliográficas dos

documentos identificados como relevantes dentro desse projeto.

Essa busca abrangeu principalmente os periódicos acadêmicos, as teses e

dissertações desenvolvidas em instituições nacionais e estrangeiras, assim como livros,

2Em inglês: Long-term financing, long-term investment, development bank, capital goods financing,

infrastructure financing, infrastructure investment, privatization development investments, National Bank

of Social and Economic Development, Brazilian Development Bank. Em Espanhol: financiamiento a

largo plazo, inversión(es) a largo plazo, banco de desarrollo, financiamiento de infraestructura,

privatización, inversión(es) del desarrollo, Banco de Desarrollo de Brasil. 3 Relação completa das fontes de consultas está apresentada no anexo. 4 Em muitos casos há uma separação dos sites de pesquisa dos documentos acadêmicos sob forma de

dissertações e teses, dos sites de publicações de working papers ou documentos para discussão, das

bibliotecas de livros e dos catálagos de artigos das revistas acadêmicas dos centros de pesquisa. 5 A relação completa das principais instituições internacionais cobertas na pesquisadas é apresentada

também no anexo.

15

capítulos de livros e textos para discussão, entre outros6. O período de referência para a

pesquisa compreendeu os trabalhos produzidos desde a fundação do BNDES até maio

de 2013.

Esse protocolo inicial de busca indicou a existência de um amplo material

acadêmico. No entanto, uma parcela significativa dos trabalhos que possuíam essas

palavras-chave não tratava de fato do BNDES. Assim, para identificar as potenciais

obras que avaliam o papel do banco, foi executada uma primeira leitura dos

documentos, para selecionar aquelas que realmente se encaixavam no objetivo da

presente pesquisa e que seriam alvo de estudo e leitura de forma mais aprofundada.

Como resultado, um vasto material bibliográfico foi avaliado, mas nem todos compõem

a versão atual do Banco de Dados (ver Anexo IV).

A Fase II corresponde à coleta e cadastramento das informações bibliográficas

dos documentos, quais sejam, autor, título, ano, resumo, palavras-chave, afiliação

institucional dos autores e informações sobre as referências bibliográficas citadas pelos

trabalhos. As referências bibliográficas citadas nos documentos representam um aspecto

relevante da pesquisa, em primeiro lugar, porque permitem a identificação de novos

trabalhos para compor o Banco de Dados (complementando a Fase I) e, em segundo

lugar, porque permitem identificar os documentos mais citados entre os trabalhos

acadêmicos que avaliam o BNDES. É importante ressaltar que não foram incluídas no

Banco todas as referências dos artigos, mas apenas aqueles trabalhos citados que se

aproximavam dos mesmos critérios de temas-chave associados à missão do BNDES,

utilizados na Fase I.

O tratamento das referências bibliográficas na Fase II é constituído de duas

etapas. Na primeira etapa, foram identificadas nos documentos relevantes, as referências

bibliográficas com potencial de pertencer ao Banco. Tais referências formaram um

conjunto próprio de dados, uma ferramenta de pesquisa e identificação de novos

trabalhos, muitos dos quais não apareceram nas primeiras consultas realizadas na Fase I.

A segunda etapa envolveu a leitura e avaliação destas referências, assim como na Fase I,

resultando num mecanismo de retroalimentação do próprio Banco de Dados. Dessa

forma, foram incluídas no Banco de Dados às referências que eram pertinentes ao

escopo desse trabalho. Assim, as referências incluídas no Banco de Dados para cada

trabalho se constituem em referências qualificadas ao objetivo do projeto e, como

6 Foi criada uma categoria “outros” para incluir working papers, estudos especiais e alguns relatórios de

pesquisa.

16

consequência, são também uma entrada do próprio Banco de Dados. As citações

analisadas a partir desse Banco mostram-se restritas aos trabalhos que se referem ao

BNDES.

Na Fase III, os textos foram classificados de acordo com o período a que se

referem e a temática tratada. A divisão cronológica foi definida a partir da história do

BNDES e abrange cinco subperíodos: 1952-1964; 1964-1980; 1980-1990; 1990-2002 e

2002-20137. A Tabela 1 apresenta as temáticas tratadas que foram definidas seguindo as

linhas de financiamento do BNDES. Adicionalmente, foram criadas três temáticas,

“Privatizações”, “Teórico – Banco de desenvolvimento” e “Outros” considerando que

vários trabalhos trataram especificamente desses temas. Cabe ressaltar, que um único

documento pode tratar de mais de uma temática e abranger mais de um período.

Tabela 1 - Temáticas consideradas na Fase III de classificação dos documentos

Temáticas

Agropecuária Inovação

Infraestrutura Meio Ambiente

Mercado de Capitais Privatizações

Exportação e Inserção Internacional Indústria Teórico - Banco de Desenvolvimento

Comércio, Serviços e Turismo Outros

Desenvolvimento Social e Urbano, Esporte e Cultura

Fonte: Elaboração Própria

Os documentos também foram classificados quanto ao grau de referência ao

BNDES no texto. Para tal classificação foi adotado o seguinte critério, representado por

uma variável binária denominada “Grau de Referência ao BNDES”:

1 – O objeto do estudo é a própria atuação do BNDES ou o banco ocupa papel

importante no documento;

0 – O objeto de estudo não é o BNDES ou este não é referido de maneira significativa

no documento8.

7 Alguns documentos não avaliam um período específico, por exemplo, aqueles que tratam do papel

teórico dos bancos de desenvolvimento. Essas obras foram agrupadas num item denominado “atemporal”. 8 Por exemplo, um documento que avalia o papel do BNDES na geração de postos de trabalhos recebe

classificação 1, quanto ao grau de referência. Já um documento que descreve as fontes de financiamento

no Brasil e apenas apresenta tabelas ou figuras dos desembolsos do BNDES, sem uma avaliação crítica,

recebe classificação 0. Adicionalmente, alguns documentos que se restringem a descrever sumariamente a

história do BNDES também receberam classificação 0.

17

A dimensão desse esforço nas Fases I, II e III foi tal que resultou num Banco de

Dados bastante direcionado e único, apenas com obras selecionadas e qualificadas, que

atendiam às especificidades do projeto de levantamento de literatura acadêmica sobre o

BNDES. O Anexo IV apresenta um comparativo do Banco de Dados com os resultados

de consultas semelhantes nas principais ferramentas de busca.

Na Fase IV, o Banco de Dados é consolidado no Microsoft Access, permitindo

assim a criação de relações entre as suas diferentes informações, a construção das

consultas associadas à obtenção de estatísticas de acompanhamento da pesquisa, bem

como as consultas destinadas à Análise Bibliométrica (Produto 5). Particularmente

importante nesta fase é a obtenção da “Lista de Títulos” destinada aos pesquisadores,

que se trata da lista dos documentos citados (uma ou mais vezes) e cuja classificação de

Grau de Referência ao BNDES é definida como um pela variável binária.

Por fim, a Fase V envolveu a adequação do Banco de Dados para um formato de

“Navegação” com uma interface User-friendly (Produto 4 do Projeto). Nesta versão do

Banco, é possível realizar buscas por meio de palavras-chave, título, autores, temáticas e

ter acesso a todas as informações coletadas na pesquisa, incluindo as referências

bibliográficas relevantes. Essa versão também permite visualizar as principais

estatísticas que caracterizam o Banco de Dados construído.

3.2. Método de Análise

A partir das informações do Banco de Dados, ainda no Microsoft Access, foram

construídas várias consultas de acordo com a questão de interesse e essas consultas

foram transferidas para planilhas eletrônicas do Microsoft Excel e para o editor de

dados do IBM SPSS Statistics 20 para a geração de tabelas, gráficos e testes de média.

As redes de citação e co-citação foram elaboradas com o apoio do software UCINET

6.0 (BORGATTI et al, 2002) e Netdraw (BORGATTI, 2002). A Figura 2 resume o

processo da análise.

18

Figura 2 - Resumo do processo de análise bibliométrica

As informações do Banco de Dados são utilizadas na construção dos indicadores

de produção e de impacto e foram separadas em “variáveis de características”, que são

aquelas que possibilitam caracterizar a produção, e “variáveis de classificação”,

construídas a partir da classificação definida pelos pesquisadores quanto ao período de

análise, temáticas tratadas e grau de referência ao BNDES no texto. As informações são

analisadas por meio de estatísticas unidimensionais (por exemplo, número de

publicações), estatísticas bidimensionais, ou seja, a relação entre duas variáveis (como

número de publicações por tipo de documento), estatísticas multidimensionais, ou seja,

relação entre mais de duas variáveis (exemplo: número de publicações por tipo de

documento por ano) e estatísticas que detectam padrões de distribuição de frequência

das variáveis quantitativas.

O período de análise da presente pesquisa corresponde aos anos de 1952 a 2013.

Portanto, todos os indicadores referentes à quantidade como o número de citações, o

número de documentos publicados, entre outros, se referem ao estoque para o período

fixado. Na literatura de análise bibliométrica e cientométrica vários autores têm

proposto a condução da análise para períodos de tempo relativamente longos (JOHNES,

1988; VAN LEEUWEN et al., 2003). Um período longo apresenta o benefício de

reduzir a influência de fatores aleatórios na análise, além de corresponder a um período

em que existem razões substantivas para que os documentos possam ser citados

(NEDERHOF, 1988, Apud ANU, 2005).

Obtenção dos dados

no Banco de Dados

do Projeto

Envio das

informações para

planilhas eletrônicas

Elaboração de

estatísticas básicas e

análises gráficas A

ná

lise do

s

da

do

s

Elaboração do

Relatório Final

Fonte: Elaboração Própria com base em Margazão et al. (2010).

19

Ademais, considerando o fato de que parcela significativa da produção publicada

sobre o BNDES se deu por meio de seus veículos de divulgação e disseminação do

conhecimento como Livros, Revista do BNDES, BNDES Setorial, Working Papers,

Seminários, etc., torna-se relevante analisar de forma separada as publicações cujo

responsável é o BNDES. Essa análise é feita a partir de um filtro para a instituição, ou

seja, são considerados os documentos em que o BNDES é a instituição responsável pela

publicação. A partir desse filtro é possível calcular os indicadores separadamente

considerando o caso em que o BNDES é a instituição responsável pela publicação e o

caso em que outras instituições são responsáveis. Os resultados encontrados são

comparados por meio de alguns testes não paramétricos para comparação de médias. A

opção pelos testes não paramétricos se deve ao fato de que as distribuições das

publicações, autores entre outras não apresentarem aderência à normalidade, violando

um dos pressupostos para quase todos os tipos de testes de médias. São utilizados tantos

testes para amostras independentes como o Teste de Mann-Whitney e o Teste de

Kruskal-Wallis, quanto teste para amostras emparelhadas como o Teste de Wilcoxon.

O Teste de Mann-Whitney é um teste alternativo ao Teste t para amostras

independentes e compara o centro de localização (tendência central) das duas amostras

como forma de detectar diferenças entre as duas populações correspondentes. Já o Teste

de Kruskal-Wallis é uma generalização do Teste de Mann-Whitney para mais de dois

grupos. A partir de amostras aleatórias de K populações, pode-se testar a hipótese da

existência de um parâmetro de localização comum a todas as populações. Finalmente, o

Teste de Wilcoxon aplica-se para analisar diferenças entre duas condições no mesmo

grupo de sujeitos, ou seja, é uma alternativa ao Teste t para amostra emparelhada e

permite testar se as populações diferem em localização (PESTANA e GAGEIRO,

2005).

A técnica multivariada da Análise Fatorial também é aplicada objetivando

identificar características comuns entre os trabalhos mais citados no Banco de Dados. A

análise fatorial é um conjunto de técnicas estatísticas que permite reduzir o número

original de variáveis por meio da extração de fatores independentes, de tal forma que

esses fatores possam explicar, de forma resumida, as variáveis originais. A análise

fatorial pressupõe a existência de um número menor de variáveis não observáveis e

subjacentes aos dados, que indicam o que existe de comum nas variáveis originais

(PESTANA e GAGEIRO, 2005).

20

4. Resultados

Esta seção estrutura-se em três partes. Na seção 4.1 são apresentados os

indicadores de produção, na seguinte os indicadores associados aos trabalhos mais

citados (seção 4.2) e, na sequência, a análise relacional (seção 4.3). Nas duas primeiras

seções destacam-se as características gerais dos trabalhos e os principais resultados da

classificação destas obras, de acordo com o período e a temática a que se referem, bem

como ao grau de referência ao BNDES no texto.

4.1. Indicadores de Produção

4.1.1. Variáveis de característica das obras

O Banco de Dados do BNDES compõe-se de 821 trabalhos acadêmicos

publicados no período entre 1952 a 20139. A Tabela 2 apresenta as características gerais

do Banco de Dados de obras de literatura econômica sobre o BNDES. Dessas obras,

773 (equivalente a 94,2%) foram lidas, avaliadas e classificadas conforme a

metodologia exposta acima. Ainda, durante a realização da fase de identificação da

literatura econômica sobre o BNDES, foram utilizadas duas outras categorias: não

localizado e não classificado, que representam 5,8% do Banco de Dados10.

9 Cabe ressaltar que o documento mais antigo localizado foi publicado em 1957. Ademais, algumas

publicações do ano de 2013 já foram incorporadas ao Banco de Dados. 10 Compõem o grupo de “não localizados” aqueles documentos que foram identificados, principalmente

pelo critério de citação, mas que não foram obtidos para avaliação de classificação. No geral, esses são

documentos mais antigos ou documentos internacionais (exemplo teses), em que o acesso ao material é

restrito e até o momento não foi possível obter uma cópia física. Esse grupo corresponde a 1,6% do

Banco de Dados. Os documentos que se enquadram dentro do grupo de “não classificados” podem ser

separados em dois subgrupos igualmente representados: o primeiro composto por livros que são

coletâneas de artigos e o segundo abrange os documentos que já foram localizados na pesquisa, porém

não foram ainda avaliados e incorporados aos classificados. Entende-se que essas coletâneas (livros) são

relevantes dentro do Banco de Dados uma vez que é utilizada como referência bibliográfica em muitos

documentos, ou seja, nesses casos a citação refere-se à coletânea e não ao artigo em específico. Contudo,

já que os artigos que compõem essas coletâneas foram avaliados e classificados entende-se como

desnecessária a classificação da coletânea, evitando a dupla contagem.

21

Tabela 2 - Características gerais do Banco de Dados

BNDES responsável pela

publicação Total

Classificação Não Sim

Classificados 517 256 773

Não Classificado 23 12 35

Não Localizado 13 - 13

Total 553 268 821 Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.

A Figura 3 permite compreender a evolução e a tendência da literatura ao longo

do período analisado considerando separadamente os trabalhos publicados pelo próprio

BNDES dos trabalhos publicados por outras instituições. Observa-se uma tendência

crescente no número total de publicações referente à literatura econômica sobre o

BNDES e verifica-se uma mudança considerável da tendência da série na década de

1990 e a partir do ano 2000. Até o ano de 1969, apenas 13 publicações constam no

Banco de Dados. Nas décadas de 1970 e 1980, as publicações referentes ao BNDES

ainda foram relativamente reduzidas apresentando média anual de 4,54 publicações.

Contudo, na década de 1990, observa-se significativo aumento nas publicações, que

apresentaram média de 15,7 publicações por ano. Essa tendência de crescimento torna-

se mais acentuada a partir do ano 2000, quando a publicação média anual é de 38,3,

com concentração no ano de 2010, em que foram registradas no Banco de Dados 77

publicações. Desta forma, percebe-se que taxa de crescimento das publicações sobre o

banco está acima da taxa de crescimento de elaboração de trabalhos científicos no

Brasil, que está em torno de 8% ao ano, segundo dados do Portal Brasil (BRASIL,

2013).

22

Figura 3 - Evolução dos documentos da literatura econômica sobre o BNDES no

período 1957-2013 e instituição responsável

Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES.

Portanto, esse crescimento da literatura sobre o BNDES reflete o maior

interesse por parte dos pesquisadores nos temas relacionados ao banco, acompanhando

o próprio crescimento dos desembolsos do BNDES nos últimos anos11. No entanto, é

preciso ponderar que o aumento da publicação sobre o BNDES também é resultado do

aumento da produção científica em geral no Brasil.

Ainda na Figura 3 fica perceptível que até o final da década de 1980, o BNDES

praticamente não se associou significativamente à literatura que surgia a respeito do

banco. Nesse período a média anual das publicações patrocinadas pelo BNDES foi de

apenas 0,7, enquanto as publicações patrocinadas por outras instituições apresentou

média de 3,9 publicações por ano. Entretanto, a partir de 1990 a instituição aumenta sua

participação na publicação total, sendo responsável por parcela significativa e crescente

da literatura econômica sobre o banco. Durante a década de 1990, a média anual das

publicações patrocinadas pelo BNDES foi de 3,9, elevando-se para quinze a partir do

ano de 2000, enquanto para as publicações patrocinadas por outras instituições, a média

anual de publicações por ano passou de 11,8, na década de 90, para 23,4, a partir dos

anos 2000. Tal fato decorre da reedição da Revista do BNDES a partir de 1994 e do

apoio à publicação de livros, especialmente comemorativos. O pico de publicações do

BNDES em 2002, por exemplo, ocorre em virtude da comemoração dos cinquenta anos

11 A correlação calculada entre os desembolsos do BNDES como proporção do PIB e o número de

publicações sobre o BNDES foi de 0,78.

0

10

20

30

40

50

60

70

80

901

95

7

196

1

196

4

196

8

197

0

197

2

197

4

197

6

197

8

198

0

198

2

198

4

198

6

198

8

199

0

199

2

199

4

199

6

199

8

200

0

200

2

200

4

200

6

200

8

201

0

201

2

Outros BNDES

23

do banco, que gerou um grande número de publicações especialmente capítulos de

livros12.

Para avaliar o argumento de crescimento das publicações ao longo do tempo foi

aplicado o Teste de Kruskal-Wallis, assumindo a hipótese nula de que o número de

publicações nos três períodos – até o final da década de 1980, década de 1990 e a partir

dos anos 2000 – são iguais em tendência central. O teste foi realizado para o grupo de

publicações do BNDES, de outras instituições e para o total delas. Os resultados dos

testes permitem afirmar que o número de publicações se difere nos períodos analisados,

ao nível de significância de 1%, para os três grupos de publicações. Dessa forma, pode-

se argumentar que o número de documentos cresceu ao longo do tempo, tanto para os

documentos publicados pelo BNDES, quanto para aqueles publicados por outras

instituições.

Com o objetivo de avaliar se o número de documentos publicados pelo BNDES

difere dos publicados por outras instituições foi utilizado o Teste de Wilcoxon, para os

três períodos mencionados acima. O resultado permite afirmar, a um nível de

significância de 5%, que o número de documentos publicados pelo BNDES se difere do

número de documentos publicados por outras instituições em cada período.

A Figura 4 fornece a distribuição desta produção por tipo de documento.

Observa-se que a contribuição do BNDES como responsável pela publicação em

relação às outras instituições atingiu quase um terço (32,6%) dos documentos. Ainda se

nota que 44,7% das publicações são artigos, 19,4% capítulos de livros, 13,1% livros e a

categoria “outros13” totaliza 4,4% dos documentos. Por fim, é perceptível a

predominância de artigos científicos em relação aos outros tipos de documentos. No que

se refere às publicações do BNDES, nota-se também a concentração em artigos,

representando 51,1% do total das publicações do banco.

12 No caso dos livros comemorativos aos 50 anos do banco especificamente: “BNDES: Um banco de

ideias - 50 anos refletindo o Brasil” e “BNDES 50 ANOS: HISTÓRIAS SETORIAIS”, diferente dos

outros livros comemorativos do banco, por se tratar de uma coletânea de capítulos com autorias

individualizadas optou-se por contar separadamente cada um dos capítulos. Esses dois livros respondem

por cerca da metade das publicações deste ano. 13 A categoria “outros” engloba working papers, estudos especiais e alguns relatórios de pesquisa.

24

Figura 4 - Documentos da literatura econômica sobre o BNDES, por tipo e

Instituição responsável pela publicação


A Tabela 3 apresenta a evolução da produção bibliográfica, por tipo de

documento, ao longo das décadas analisadas. Observa-se nas duas primeiras décadas a

concentração dos documentos em livros. A partir de 1990, verifica-se o crescimento na

publicação de artigos em relação aos outros tipos de documentos, o que, como

mencionado, está associado ao maior volume de publicações na área de economia de

forma geral. Cabe destacar ainda a participação de teses e principalmente de

dissertações nas décadas de 2000 e 2010.

25

Tabela 3 - Documentos da literatura econômica sobre o BNDES, por tipo e década

da publicação

Década

Tipo de Documento

Artigo Livro Capítulo

de livro

Dissertação

de mestrado

Tese de

doutorado

Texto

para

discussão

Outros Total

1957 - 1959 - - 1 - - - - 1

1960 - 1969 2 9 - - - - 1 12

1970 - 1979 19 11 8 5 3 - - 46

1980 - 1989 23 12 13 9 6 - 5 68

1990 - 1999 93 12 10 10 12 16 4 157

2000 - 2009 164 42 77 33 12 13 18 359

2010 - 2013 66 22 50 20 5 7 8 178

Total 367 108 159 77 38 36 36 821


As Tabelas 4 e 5 apresentam respectivamente as principais instituições nacionais

e internacionais responsáveis pela publicação dos documentos sobre a literatura

econômica referente ao BNDES. As instituições nacionais respondem por 79,8% da

publicação total que compõem o Banco de Dados, enquanto as internacionais por

21,2%. Observa-se que a instituição que mais publicou trabalhos foi o próprio BNDES,

representando 32,6% de toda publicação. Em segundo e terceiro lugar, respectivamente,

aparecem o Instituto de Pesquisa Econômica Aplicada – IPEA e a Universidade

Estadual de Campinas – UNICAMP. A publicação de livros e capítulos de livros ficou

concentrada no BNDES. Enquanto que as teses e dissertações foram desenvolvidas

principalmente pelos centros de pós-graduação da UNICAMP e da UFRJ.

26

Tabela 4 - Principais instituições nacionais responsáveis pela publicação da

literatura econômica sobre o BNDES, por tipo de documento

Instituição Nacional Artigo

Livro e

Capítulo

de Livro

Tese de

doutorado

Dissertação

de mestrado

Texto

para

discussão

Outros Total

BNDES 137 113 - - 11 7 268

IPEA 9 18 - - 17 3 47

UNICAMP 16 5 10 12 - 1 44

UFRGS 26 - 1 2 - - 29

UFRJ 6 1 3 16 1 - 27

USP 9 - 5 7 - 1 22

FGV-RJ 6 5 1 8 - - 20

UFRJ/UNICAMP - 16 - - - - 16

FGV-SP 13 - - - - - 13

Centro Celso Furtado 5 4 - - - 1 10

ANBID - 9 - - - - 9

UFF - - 2 5 1 - 8

PUC-Rio - 1 - 5 - - 6

UFMG 2 - 1 2 1 - 6

Civilização Brasileira - 6 - - - - 6

Outras 42 51 3 18 5 5 124

Total 271 229 26 75 36 18 655


No que tange às instituições internacionais (Tabela 5) destaca-se a presença da

editora Elsevier e da Universidade de Illinois com 21 e 15 publicações respectivamente.

Além da Elsevier, outras grandes editoras também figuram como responsáveis pela

publicação de documentos sobre o BNDES (Pergamon Press, Sage publications). Isso

ocorre porque essas instituições publicam diversos periódicos internacionais, tais como:

Energy Policy, World Development e Latin American Perspectives.

27

Tabela 5 - Principais instituições internacionais responsáveis pela publicação da

literatura econômica sobre o BNDES

Instituição Internacional Quantidade de

Publicações

Participação no Total

de Instituições

Internacionais

Elsevier 21 12,7%

University of Illinois 15 9,0%

Latin American Studies Association

(LASA) 8 4,8%

Pergamon Press 7 4,2%

Universidade de Miami 7 4,2%

Sage publications 7 4,2%

Instituto de Desarrollo Económico y

Social 6 3,6%

University of Wisconsin 5 3,0%

Cambridge University 4 2,4%

Harvard University 4 2,4%

Edward Elgar Publishing 3 1,8%

Taylor & Francis 3 1,8%

CEPAL 3 1,8%

Universidad Nacional Autónoma de

México 3 1,8%

BID 2 1,2%

Outras 68 41,0%

Total 166 100,0%


Avaliando apenas os artigos, pode-se identificar em quais periódicos se

concentram a produção sobre o BNDES. Os artigos relacionados ao BNDES foram

publicados em 92 diferentes periódicos acadêmicos no período analisado, sendo em

média quatro artigos por periódicos. No entanto, observa-se a concentração de artigos

em poucos periódicos, sendo que 57,6% dos periódicos acadêmicos possuem apenas um

artigo publicado. Por outro lado, apenas a Revista do BNDES concentra 107 artigos, o

que a torna o principal veículo de publicação sobre o banco14. A Figura 5 apresenta a

distribuição de frequência de publicação de artigos nos periódicos acadêmicos.

14Sem considerar a Revista do BNDES (107 artigos) e BNDES Setorial (18 artigos), a média de artigos

publicados por periódico reduz-se a 2,6.

28

Figura 5 - Distribuição de frequência dos periódicos acadêmicos


A Tabela 6 apresenta a lista dos vinte periódicos em que mais foram publicados

artigos sobre o banco. Fica evidente a concentração da publicação em periódicos do

próprio banco, sendo a Revista do BNDES responsável por 29% de todos os artigos

considerados no Banco de Dados, embora o BNDES Setorial também apareça com

participação significativa. Outros cinco periódicos apresentaram mais de 10 artigos

publicados.

29

Tabela 6 - Principais periódicos em que foram publicados artigos sobre o BNDES,

quantidade de artigos e participação no total de artigos publicados

Revista Quantidade de

Publicações

Participação no

total de Revistas

Revista do BNDES 107 29,2%

BNDES Setorial 18 4,9%

Economia e Sociedade 14 3,8%

Análise econômica 13 3,5%

Revista de Economia Política 13 3,5%

Ensaios FEE 13 3,5%

The Quarterly Review of Economics and

Finance 12 3,3%

Latin American Perspectives 8 2,2%

Estudos Econômicos 8 2,2%

Pesquisa e planejamento econômico 7 1,9%

Desarrollo Económico 7 1,9%

Latin American Research Review 7 1,9%

Journal of interamerican Studies and World

Affairs 6 1,6%

Journal of Latin American Studies 6 1,6%

Energy Policy 5 1,4%

Outras 123 33,5%

Total 367 100%


Como a literatura econômica sobre o BNDES concentra-se em artigos

publicados em periódicos, um indicador adicional associado à qualidade dessa

publicação é a classificação Qualis/CAPES na área de Economia e áreas correlatas15. A

Tabela 7 mostra que dos artigos listados no Banco de Dados, 83% foram publicados em

periódicos com classificação Qualis/CAPES. Entretanto, observa-se concentração da

publicação em revistas classificadas como B5, aproximadamente 36%. A publicação em

periódicos A1 totaliza 7,9%, enquanto que as classificações B1, B2 e B3 apresentam

participações semelhantes em torno de 10 a 12%. Quando se compara essa distribuição

dos trabalhos com a das revistas na área de economia classificadas pela CAPES

verifica-se uma relação bastante próxima. Por exemplo, os estratos B1 e B2 abrangem

24% das revistas classificadas em economia e no Banco de Dados sobre o BNDES tal

15 Administração, História, Ciências Sociais e Multidisciplinar. Cabe ressaltar que a Revista do BNDES e

BNDES Setorial não possuem classificação Qualis/CAPES na área de economia.

30

percentual foi de 25%. A proporção de periódicos B5 na CAPES de economia atingiu

cerca de 22%.

Tabela 7 - Classificação Qualis/CAPES dos periódicos em que foram publicados

artigos sobre o BNDES, quantidade e participação no total

Qualis Quantidade de

Publicações

Participação no total de artigos com

Qualis/CAPES

A1 29 7,9%

B1 44 12,0%

B2 43 11,7%

B3 39 10,6%

B4 17 4,6%

B5 132 36,0%

C 1 0,3%

Não definido 62 16,9%

Total 367 100,0%


Nota: Dos 132 artigos com Qualis B5, 125 foram publicados na Revista do BNDES ou no BNDES

Setorial.

Em relação aos autores que trabalham na construção da literatura econômica

sobre o BNDES, foram identificados no Banco de Dados um total de 824 autores. No

que se refere à instituição de afiliação, foi verificado que 28,4% dos autores afiliam-se

ao BNDES no momento da publicação do trabalho e 71,6% são pesquisadores de outras

instituições.

O banco de dados contém 821 trabalhos e 824 autores, o que representa uma

média de 0,99 trabalhos por autor. O maior número de autores do que de trabalhos

reflete a existência de coautoria na publicação em maior grau do que a existência de

autores com mais de um trabalho. Outra medida pode ser obtida se for considerado que

cada coautor individualizado do documento recebe crédito total pelo trabalho, assim a

média de textos publicados por autor é 1,57, sendo que os valores variam de um a 31

documentos por autor16. A distribuição de frequência das publicações por autor é

assimétrica como apresenta a Figura 6, o que evidencia a concentração da publicação

por autor abaixo dessa última média. De fato, 76,1% dos autores publicaram apenas um

16 Para os casos em que os documentos possuem mais de um autor, foi adotado o critério de que cada

autor individualizado do documento recebe crédito total pelo trabalho.

31

documento durante todo o período analisado e 97,5% dos autores têm até cinco textos

publicados no período. Essa assimetria na distribuição de autores que mais publicam é

em geral encontrada na literatura de análise bibliométrica. Isso reflete o fato de que

alguns poucos autores se dedicam especificamente ao tema e muitos autores contribuem

marginalmente em termos da quantidade de publicações. Assim, não há recorrência na

autoria de trabalhos sobre o banco, dificultando muitas vezes a especialização na

pesquisa sobre o banco.

O número de documentos publicados por autor também se difere quando se

considera separadamente os autores afiliados ao BNDES e autores afiliados a outras

instituições, sendo que os afiliados ao BNDES publicam maior número de documentos

em média. Os percentis mostram que 75% dos autores afiliados ao BNDES têm até dois

documentos publicados enquanto que para os autores de outras instituições, 75% dos

autores têm um documento publicado.

Para avaliar se essa diferença é estatisticamente significativa foi aplicado o teste

não paramétrico para amostras independentes de Mann-Whitney. O resultado permite

rejeitar, ao nível de significância de 1%, que as distribuições do número de documentos

por autor são iguais em tendência central. Portanto pode-se afirmar que a publicação por

autor é diferente considerando as afiliações, sendo que os autores afiliados ao BNDES

publicam mais em média.

Figura 6 - Distribuição das publicações sobre o BNDES por autores


Cabe ressaltar que do total de 821 documentos que constam na Base de Dados,

cerca de 30% foram produzidos por pelo menos um autor afiliado ao BNDES. Das

publicações pelas quais o BNDES é responsável (268 textos) verifica-se que 82%

32

apresentam pelo menos um autor afiliado ao banco. De forma ilustrativa observa-se que

a Revista do BNDES publica quase exclusivamente documentos de autores afiliados ao

banco, refletindo uma política editorial. Assim, a concentração de publicações sobre o

banco patrocinadas pela própria instituição, associada à centralização da autoria em seus

afiliados, demonstra certo de grau de endogenia da literatura.

A Figura 7 permite identificar os autores que contribuíram mais vezes para a

literatura econômica referente ao BNDES. O autor que mais publicou sobre o BNDES é

o economista Fernando Pimentel Puga, com 31 trabalhos no período analisado. Outros

autores que aparecem com 15 ou mais publicações são Ernani Torres Filho (21),

Armando Castelar Pinheiro (20), Gilberto Borça Jr. (16), Werner Baer (16) e Fábio

Giambiagi (15).

Figura 7 - Autores que mais publicaram sobre o BNDES com a respectiva

instituição de afiliação


Ainda considerando os aspectos gerais das publicações que compõem o Banco

de Dados, a Figura 8 apresenta o idioma da publicação dos trabalhos referentes ao

BNDES, que é um indicador do grau de internacionalização da literatura. Observa-se

que o Português (idioma nacional) e o Inglês (principal idioma do meio científico) são

responsáveis por quase a totalidade das publicações. Percebe-se também que

BNDES

BNDES

IPEA/FGV/UFRJ/BNDES/PUC-RIO

BNDES

University of Illinois

BNDES/UFRJ

BNDES

INSPER

BNDES

UFRJ

BNDES/UFRJ

BNDES/LSE/UFF

UNICAMP

PUC-RIO/ANBID/IEPE

BNDES

0 5 10 15 20 25 30 35

PUGA, F. P.

TORRES FILHO, E.

PINHEIRO, A. C.

BORÇA JÚNIOR,…

BAER, W.

GIAMBIAGI, F.

BNDES

LAZZARINI, S. G.

NASCIMENTO, M.…

HERMANN, J.

MONTEIRO…

SOUSA, F. L.

SUZIGAN, W.

OLIVEIRA FILHO,…

CASTRO, L. B.

33

aproximadamente 18% dos trabalhos foram publicados em Inglês, o que sinaliza um

grau relativamente alto de internacionalização da publicação sobre o banco, tendo em

vista que a instituição está diretamente envolvida com a questão do desenvolvimento

nacional, portanto as pesquisas podem ser de maior interesse para os veículos de

divulgação internos. No que se refere aos países de publicação, o Brasil destaca-se

como o principal responsável pela publicação, outros países com maior destaque são os

Estados Unidos e em menor grau o Reino Unido. Por fim, a internacionalização das

publicações sob responsabilidade do BNDES é limitada, compreendendo apenas três

documentos em inglês e um em espanhol.

Figura 8 - Documentos da literatura econômica sobre o BNDES, por idioma e país

da publicação


4.1.2 Variáveis de classificação das obras

Conforme mencionado anteriormente os arquivos foram classificados de acordo

com a temática tratada no texto. Considerando essa dimensão é possível identificar os

principais temas tratados nas publicações referentes ao BNDES, assim como a

importância desses temas em cada período analisado. A Tabela 8 apresenta o número de

vezes que cada temática foi tratada pelos trabalhos do Banco de Dados, salientando que

um único trabalho pode tratar várias temáticas conjuntamente. Percebe-se a maior

representatividade das temáticas Indústria e Infraestrutura, o que já era esperado tendo

em vista que são as principais áreas de atuação do banco.

80,0%

17,7%

2,1% 0,2%

Português

Inglês

Espanhol

Francês79,8%

9,6%

3,7%

2,6% 2,4% 1,0% 1,0% Brasil

Estados

UnidosReino Unido

Outros

Holanda

Argentina

Canada

34

Tabela 8 - Principais temáticas tratadas nas obras sobre o BNDES, número de

vezes e participação

Temática Número vezes Participação total

(%)

Indústria 231 21,8%

Infraestrutura 160 15,1%

Privatizações 96 9,0%

Desenvolvimento Social e Urbano, Esporte e

Cultura

113 10,7%

Mercado de Capitais 107 10,1%

Teórico - Banco de Desenvolvimento 91 8,6%

Exportação e Inserção Internacional 72 6,8%

Inovação 55 5,2%

Agropecuária 24 2,3%

Meio Ambiente 14 1,3%

Comércio, Serviços e Turismo 6 0,6%

Outros 92 8,7%

Total 1061 100%

Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES

Os documentos que compõem o Banco de Dados também foram classificados de

acordo com o período a que se referem. Como mencionado, essa divisão cronológica foi

definida a partir da história do BNDES. A Tabela 9 apresenta a frequência em que esses

períodos são estudados nas obras selecionadas.

Observa-se que a análise está concentrada nos períodos 1990-2002 e 2002-2013,

o primeiro período caracteriza-se por profundas reformas com o objetivo de redefinir o

papel do Estado na economia e aprofundamento do grau de internacionalização da

economia brasileira na área comercial e financeira. No que se refere ao período mais

recente, a expansão dos desembolsos do banco e a sua ação anticíclica pode ter elevado

o interesse dos pesquisadores pela instituição.

35

Tabela 9 - Principais períodos tratados nas obras sobre o BNDES, número de vezes

e participação

Período Número de vezes Participação no

total (%)

1952-1964 130 11,9%

1964-1980 152 13,9%

1980-1990 137 12,5%

1990-2002 285 26,1%

2002-2013 333 30,4%

Atemporal 57 5,2%

Total 1094 100% Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES

Outro ponto relevante para a pesquisa é compreender qual o grau de referência

dado pelo documento ao BNDES, nesse sentido foi criada uma variável binária para

permitir a classificação dos textos de acordo com essa referência. A Figura 9 apresenta a

distribuição dos documentos classificados de acordo com a variável “Grau de referência

ao BNDES”. Nota-se que a metade dos documentos que compõem o Banco de Dados

tem como objeto de estudo a atuação do BNDES, a outra metade incorpora documentos

em que o BNDES não é o objeto de estudo.

Figura 9 - Classificação das obras sobre o BNDES de acordo com o grau de

referência que o documento confere ao banco


386387

Alta referência ao BNDES Baixa referência ao BNDES

36

A Tabela 10 apresenta o cruzamento da classificação das temáticas com a

classificação dos períodos tratados pelos documentos. Observa-se que as temáticas

Infraestrutura e Indústria têm participação elevada em todos os períodos de análise,

porém apresentam tendência de perda de participação para outras temáticas emergentes,

embora de forma distinta. A temática Indústria apresenta uma queda mais acentuada a

partir da década de 1980, enquanto que a temática Infraestrutura reduz sua participação

apenas entre os dois primeiros períodos. Em outras palavras, a Infraestrutura mostra-se

mais recorrente como tema de estudo em todos os períodos. Nos trabalhos que analisam

o período de 2002-2013 observa-se maior participação das temáticas como

Desenvolvimento Social e Urbano, Esporte e Cultura, Mercado de Capitais e Inovação.

Em linha com o crescimento dos aportes do banco para o setor agropecuário, as

pesquisas que tratam deste tema apresentaram um relativo aumento nos últimos

períodos. Outro ponto de destaque é a importância do tema Privatização nos trabalhos

que abordam os períodos 1980-1990 e 1990-200217.

Tabela 10 - Principais temáticas e períodos tratados nas obras sobre o BNDES

Período

Temática

1952-

1964

1964-

1980

1980-

1990

1990-

2002

2002-

2013 Total

Agropecuária 1,40% 1,58% 3,24% 2,44% 3,33% 2,55%

Comércio, Serviços e Turismo 0,00% 0,00% 0,00% 0,24% 1,11% 0,44%

Desenvolvimento Social e Urbano,

Esporte e Cultura 8,41% 7,11% 6,02% 8,78% 14,41% 9,77%

Exportação e Inserção Internacional 5,61% 6,72% 6,48% 9,27% 9,31% 7,78%

Indústria 34,11% 34,39% 25,46% 17,32% 14,41% 22,53%

Infraestrutura 22,43% 17,79% 15,74% 13,66% 15,08% 15,99%

Inovação 0,93% 3,16% 3,24% 5,12% 7,98% 4,67%

Meio Ambiente 0,00% 0,40% 0,93% 0,98% 2,44% 1,24%

Mercado de Capitais 4,67% 9,09% 8,33% 9,27% 14,19% 9,58%

Outros 10,28% 6,72% 6,02% 7,07% 6,65% 7,34%

Privatizações 4,21% 5,14% 17,59% 20,24% 3,10% 9,83%

Teórico - Banco de Desenvolvimento 7,94% 7,91% 6,94% 5,61% 7,98% 8,28%

Total 100% 100% 100% 100% 100% 100%


17Uma vez que um documento pode tratar de mais de uma temática e também mais de um período, os

resultados da Tabela 10 devem ser avaliados com cautela. Por exemplo, podem ocorrer casos em que um

documento avaliou todos os períodos e, na década de 90, deu atenção especial ao processo de

privatizações. Na classificação foram alocados para esse documento todos os períodos e também, dentre

as temáticas tratadas, a privatização. Dessa forma por se tratarem de classificações independentes, no

cruzamento dessas duas informações (Tabela 10) o tema privatizações aparecerá como tratado em todos

os períodos, uma vez que não é possível isolar o período específico em que determinada temática foi

tratada em cada texto. Em função desta limitação, os resultados da Tabela 10 são apenas um sinalizador

de quais temáticas foram mais importantes em cada subperíodo.

37

4.2. Indicadores de Desempenho

4.2.1. Variáveis de característica das obras

O número de citações que um trabalho ou autor recebe dentro do Banco de

Dados pode ser utilizado como um indicador de impacto, ou seja, da repercussão ou

visibilidade desse trabalho ou autor para a comunidade acadêmica e, principalmente,

para a literatura econômica sobre o BNDES. Os trabalhos mais citados servem de

referência para outros pesquisadores que pretendem investigar uma determinada área.

Do total de 821 documentos, 58,6% não foram citados e 79,0% receberam até duas

citações. De acordo com João Faria (2008) e David Hamilton (1991), tal resultado é

bastante comum em Ciências Sociais Aplicadas. O maior valor para o número de

citações que um trabalho recebeu foi 36.

A Figura 10 apresenta a distribuição de frequência das obras que compõem o

Banco de Dados de acordo com o número de citações que receberam, desagregado pela

instituição patrocinadora da publicação. A assimetria da distribuição evidencia a

concentração do número de citações abaixo da média, ou seja, concentração em poucos

documentos. Essa assimetria ainda é mais evidente para os documentos cuja instituição

responsável pela publicação não é o BNDES. Dentre os documentos publicados pelo

BNDES, 48,5% não receberam citações, enquanto para os documentos publicados por

outras instituições, esse percentual atinge 63,5%. Desta forma, a repercussão dos

trabalhos patrocinados pelo banco mostra-se relativamente maior.

38

Figura 10 - Distribuição de frequência dos documentos da literatura econômica

sobre o BNDES por número de citação recebida


Do total de 821 documentos analisados, 268 são documentos cujo BNDES é a

instituição responsável pela publicação e 553 são publicados por outras instituições. A

Tabela 11 apresenta as estatísticas descritivas para o número de citações por documento.

É possível observar que três quartos dos documentos publicados pelo BNDES

receberam até três citações, enquanto que para os documentos publicados por outras

instituições três quartos receberam até duas citações. Observa-se ainda, a média de 1,89

citações por documento, mas essa média se difere quando é considerada instituição

responsável pela publicação. O Teste de Mann-Whitney para amostras independentes

permite rejeitar a hipótese, com 1% de significância, de que o número de citações por

documentos são iguais em tendência central para as publicações BNDES e outras

instituições. Portanto, pode-se afirmar que os documentos publicados pelo BNDES são

mais citados em média que os documentos publicados por outras instituições.

Tabela 11 - Estatísticas Descritivas do Número de citações por documento por

instituição responsável

Instituição Responsável Média Mediana Terceiro quartil

BNDES 2,14 1 3

Outra Instituição 1,77 0 2

Todas 1,89 0 2 Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES

Para analisar mais detalhadamente quais são as publicações que receberam

maior número de citações, a Tabela 12 apresenta os dezessete documentos mais citados

com seus respectivos autores e o ano de publicação.

39

Tabela 12 - Os dezessete principais trabalhos de acordo com o número de citações

recebidas

Título Ano de

Publicação Autor

Número

de

Citaçõe

s

Quinze anos de política econômica 1982 LESSA, C. 36

A industrialização e o desenvolvimento econômico do Brasil 1988 BAER, W. 36

The Brazilian economy: growth and development 2001 BAER, W. 28

BNDES, 40 anos: um agente de mudanças 1992 BNDES 26

A aplicação de fundos compulsórios pelo BNDES na formação da

estrutura setorial da indústria: 1952 a 1989 1994

MONTEIRO FILHA,

D. 26

Privatização de recursos públicos: os empréstimos do sistema

BNDES ao setor privado nacional com correção monetária parcial 1989 NAJBERG, S. 22

The Development of the brazilian steel industry 1969 BAER, W. 20

BNDES: 50 anos de desenvolvimento 2002 BNDES 18

O BNDE e a industrialização brasileira: 1952-1961 1981 VIANA, A. 18

O papel da poupança compulsória no financiamento do

desenvolvimento: desafios para o BNDES 1994

BONELLI, R.,

PINHEIRO, A. 18

JK e o programa de metas, 1956-1961: processo de planejamento e

sistema político no Brasil 2002 LAFER, C. 17

Fontes de recursos do BNDES 1995 PROCHNIK, M. 17

The changing role of the State in the Brazilian economy 1973

BAER, W.,

KERSTENETZKY, I.,

VILLELA, A.

17

A atuação do sistema BNDES como instituição financeira de

fomento no período 1952-1996 1998 CURRALERO, C. 16

A economia brasileira em marcha forçada 1985 CASTRO, A.,

SOUZA, F. 15

Aspectos macroeconômicos da privatização no Brasil 1989 WERNECK, R. 15

Da substituição de importações ao capitalismo financeiro: ensaios

sobre economia brasileira 1972 TAVARES, M. 15

Outros

1193

Total 1553

Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES *Considera-se o ano da publicação da edição que foi incorporada ao Banco de Dados

O livro “Quinze anos de política econômica” de Carlos Lessa e o livro “A

industrialização e o desenvolvimento econômico do Brasil” de Werner Baer são os

documentos mais citados do banco de dados, totalizando 36 citações18.

Também, há que se atentar para o fato de que alguns dos documentos do Banco

de Dados possuem algumas características peculiares. Em primeiro lugar, há um grupo

de documentos que representam coletâneas de artigos de outros autores. Tais coletâneas

fazem parte do Banco de Dados, pois muitos autores citam diretamente a coletânea ao

invés de citar a referência de um texto específico. Também, há um grupo de documentos

que foram publicados em diferentes formatos, como dissertações ou teses que foram

posteriormente publicadas em forma de artigos ou como livros. Nestes casos há

18 Algumas obras tratam de maneira mais abrangente a economia brasileira, mas também mencionam o

BNDES na publicação, como algumas de Werner Baer, Celso Lafer e Antonio Barros de Castro. Pode

acontecer, em alguns casos, que as citações decorram não em função da análise que os trabalhos fizeram

sobre o BNDES, mas da parte de análise da economia brasileira.

40

diferentes modos de citar o mesmo trabalho. Para melhor representar estes casos foi

criado um código de identificação unificado, entendendo que esses documentos

específicos tratam não só do mesmo assunto, mas apresentam a mesma visão e

argumentação de um documento anterior do próprio autor. O código unificado soma as

citações dessas diferentes versões dos trabalhos.

A Tabela 13 apresenta os documentos mais citados que estão nessa condição.

Por exemplo, o primeiro documento “A aplicação de fundos compulsórios pelo BNDES

na formação da estrutura setorial da indústria: 1952 a 1989” possui um título adicional

associado ao principal, cuja publicação foi de uma tese de doutorado que foi

posteriormente publicada em formato de artigo. A tese recebeu 26 citações, mas

unificando com o artigo, o número de citações passa para 34. A coletânea “BNDES:

Um banco de ideias - 50 anos refletindo o Brasil” compreende 17 obras ao Banco de

Dados, mas foi citada 11 vezes, com referência à própria coletânea. De outro lado,

unificando com as citações que os artigos que compõem coletânea receberam, o total de

citações sobe para 28. Os resultados da Tabela 13 traduzem outra forma de avaliar a

repercussão dos trabalhos, salientando a importância das coletâneas para a literatura

sobre o BNDES19.

19 O Anexo II apresenta os resultados das citações por documento, separando pelo tipo de formato

publicado.

41

Tabela 13 - Citações com código unificado, principais documentos

Citações - Código

Unificado Qt.

Títulos

associados Título Autor sem cód. com cód.

A aplicação de fundos

compulsórios pelo BNDES na

formação da estrutura setorial da

indústria: 1952 a 1989

MONTEIRO FILHA, D. C.

(1994) 26 34 1

BNDES: Um banco de ideias -

50 anos refletindo o Brasil

MONTEIRO FILHA, D.

C.; MODENESI, R. L.

(2002)

11 28 17

A economia brasileira nos

anos 90

GIAMBIAGI, F.;

MOREIRA, M. M. (1999) 8 27 4

Direcionamento do crédito: o

papel dos bancos de

desenvolvimento e a experiência

recente do BNDES

TORRES FILHO, E. (2007) 14 24 1

BNDES 50 Anos: Histórias

Setoriais

FILHO, J. K.; SÃO

PAULO, E. M. (2002) 5 22 14

JK e o programa de metas, 1956-

1961: processo de planejamento

e sistema político no Brasil

LAFER, C. (2002) 17 17 1

O BNDES e o Plano de Metas DIAS, J. L. (1996) 6 13 1

A reforma do sistema FAT-

BNDES: críticas à proposta

Arida

TORRES FILHO, E. (2005) 10 12 1

Desenvolvimento econômico e

desenvolvimento político JAGUARIBE, H. (1962) 10 10 1

O BNDES em um Brasil em

transição

ALÉM, A. C.;

GIAMBIAGI, F. (2010) 2 10 12

Total: 43 documentos 125 279 -


O desenvolvimento das citações de um trabalho ao longo do tempo aponta um

comportamento aproximado a de um ciclo de vida. Na Figura 11 apresentam-se os

ciclos dos seis trabalhos mais citados. Pode-se observar o pico de citações dos trabalhos

ao redor dos dez anos após sua publicação. Como os dois trabalhos mais antigos de

Lessa (1964) e Baer (1965) tornaram-se referências clássicas do período, seu ciclo

mostra-se mais alongado e não apresentando retração expressiva nos últimos anos.

Dessa forma, como grande parte dos textos foi publicada nas últimas duas décadas o

ciclo de citações desses trabalhos ainda não se completou.

42

Figura 11 - Evolução do número de citações dos principais trabalhos mais citados

no Banco de Dados


Além do número de citações por documento, outro indicador relevante é o

número de citações por autor. Os autores mais citados tornam-se referências em suas

respectivas áreas de atuação e, dessa forma, pode-se destacar os autores-chave da

literatura econômica do BNDES. Para os casos em que os documentos possuem mais

de um autor, foi adotado o critério de que cada autor do documento recebe crédito total

pelo trabalho.

A análise estatística mostra que em média os autores receberam 2,6 citações,

mas o desvio-padrão elevado de 8,7 indica alta dispersão das citações. Considerando a

distribuição de frequência dos autores de acordo com o número de citações que

receberam, a Figura 12 evidencia a assimetria com concentração de autores com número

de citações igual a zero, totalizando 59,5% dos autores. Esses resultados são coerentes

com o que se verifica na literatura de análise bibliométrica. De maneira geral, a

distribuição das citações apresenta essa assimetria, caracterizando uma situação em que

0123456789

101112131415161718

Quinze anos de política econômica (1964)

A industrialização e o desenvolvimento econômico do Brasil (1965)

BNDES, 40 anos: um agente de mudanças (1992)

The Brazilian economy: growth and development (1979)

A aplicação de fundos compulsórios pelo BNDES na formação da estrutura setorial da

indústria: 1952 a 1989 (1994)Privatização de recursos públicos: os empréstimos do sistema BNDES ao setor privado

nacional com correção monetária parcial (1989)

43

poucos autores-chave recebem muitas citações e a grande maioria dos autores recebem

poucas citações.

Apesar de em média os autores receberam 2,64 citações, esse número se difere

consideravelmente quando se considera a instituição de afiliação do autor. Os autores

afiliados ao BNDES apresentam em média mais que o dobro de citações que os autores

afiliados a outras instituições. O Teste de Mann-Whitney para amostras independentes

rejeita a 1% de significância a hipótese nula de que o número de citações por autor

afiliado BNDES e afiliado a outras instituições são iguais em tendência central.

Portanto, pode-se afirmar o número de citações por autor se diferem entre as

instituições, sendo que os autores afiliados ao BNDES são mais citados que os autores

afiliados a outras instituições. Adicionalmente, observou-se que há certa endogeneidade

nas citações do BNDES, já que quando se considera unicamente as citações oriundas de

trabalhos de autores afiliados ao banco verifica-se que estes citam proporcionalmente

mais obras de autores que também possuem afiliação do BNDES. Cerca de 56,7% das

citações de autores afiliados ao BNDES são direcionadas à obras cuja afiliação de pelo

menos um dos autores é o próprio banco, enquanto 39,4% das citações de autores não

afiliados ao banco direcionam-se a documentos de afiliados ao banco.

Observa-se, ainda, que há uma maior assimetria na distribuição do número de

citações para os autores não afiliados ao BNDES. Ou seja, para os autores externos ao

BNDES, as citações são ainda mais concentradas em poucos autores.

Nota- se também, um menor percentual de autores sem citação para os afiliados ao

BNDES. Dentre os autores afiliados a outras instituições, 68,6% não receberam citações

de seus documentos publicados, esse percentual cai para 36,1% para os autores afiliados

ao BNDES, evidencia de que maior número de autores do BNDES recebem citações.

Figura 12 - Distribuição dos autores por número de citação recebida


44

O número de citações por autor, como um indicador de impacto, pode apresentar

alguns vieses que devem ser minimizados. Existem autores que podem receber muitas

citações porque publicaram muitos trabalhos, mas cada um desses trabalhos conta

isoladamente com menor repercussão no campo científico. Por outro lado, alguns

autores, apesar de publicarem poucos trabalhos, podem produzir material importante

para a comunidade acadêmica. Neste contexto, um indicador relativo relevante que pode

amenizar esse viés é o número de citações que um determinado autor recebe em relação

ao total de artigos publicados pelo autor, ou seja, a citação média por publicação de

determinado autor. Esse indicador apresenta o impacto médio do trabalho do autor.

Outro problema relacionado ao número de citações por autor é a questão da

autocitação20. A Tabela 12 apresenta o indicador citação por publicação assim como o

número de autocitação.

Tabela 14 - Autores mais citados e indicador de citação média por publicação

Autores Citações Publicações

Indicador

Citações/

Publicações Autocitação

Indicador

Autocitação/

Citações

BAER, W. 124 16 7,75 25 20,2%

PINHEIRO, A. C. 122 20 6,10 33 27,0%

GIAMBIAGI, F. 70 15 4,67 10 14,3%

TORRES FILHO, E. 66 21 3,14 8 12,1%

MONTEIRO FILHA, D.C. 64 7 9,14 6 9,4%

BNDES 64 12 5,33 1 1,6%

LESSA, C. 45 3 15,00 0 0,0%

ALÉM, A. C. 36 5 7,20 3 8,3%

VILLELA, A. V. 34 6 5,67 1 2,9%

NAJBERG, S. 34 5 6,80 1 2,9%

PUGA, F. P. 31 31 1,00 4 12,9%

VELASCO JÚNIOR, L. 29 3 9,67 3 10,3%

SUZIGAN, W. 28 7 4,00 0 0,0%

PROCHNIK, M. 27 3 9,00 1 3,7%

WERNECK, R. L. F. 23 2 11,50 1 4,3%

Fonte: Elaboração Própria a partir do Banco de Dados BNDES.

20 A autocitação autoral é uma referência que o autor faz em seu próprio artigo de trabalhos publicados

por ele.

45

Carlos Lessa destaca-se como o autor com maior indicador de citação média.

Apesar de possuir apenas três obras listadas no Banco de Dados, o autor atingiu 45

citações, resultando em um indicador de 15 citações por publicação. Ainda se destacam

nesse quesito, Rogério L. F. Werneck, Licinio Velasco Jr., Dulce Monteiro Filha, Marta

Prochnik, Werner Baer e Ana Claudia Além21. Quanto à questão da autocitação,

observa-se que o autor mais citado no Banco de Dados também se destaca como o autor

que mais cita seus próprios trabalhos.

Outro indicador importante na avaliação da repercussão da produção acadêmica

consiste na citação média por periódico. A Tabela 13 mostra os periódicos mais citados

e o número de documentos publicados nele. A Revista do BNDES destaca-se pelo

elevado número de citações recebidas (278), representando quase um quinto do total de

citações identificadas na pesquisa. Em segundo plano, a Pesquisa e Planejamento

Econômico do IPEA atingiu 48 citações. Outro grupo com certo destaque em termos de

citações compõe-se das revistas: The Quarterly Review of Economics and Finance,

Revista de Economia Política, World Development e Economia e Sociedade.

Tabela 15 - Periódicos mais citados e indicador de citação média por publicação

Revista Citações Publicações Citação/Publicação

Revista do BNDES 278 107 2,60

Pesquisa e planejamento econômico 48 7 6,86

Revista de Economia Política 36 13 2,77

The Quarterly Review of Economics and Finance 36 12 3,00

World Development 28 2 14,00

Economia e Sociedade 25 14 1,79

BNDES Setorial 18 18 1,00

Visão do desenvolvimento 16 4 4,00

Estudos Econômicos 13 8 1,63

Journal of interamerican Studies and World Affairs 13 6 2,17

Ensaios BNDES 12 2 6,00

Revista brasileira de economia 11 3 3,67


Quando se considera a citação média de cada revista verifica-se que a publicação

World Development apresentou, ainda que com apenas dois textos, a maior taxa de

21 Cabe ressaltar que foram contabilizadas separadamente as publicações semelhantes de mesma autoria

em idiomas e formatos diferentes. Neste último caso, um autor pode ter publicado primeiramente uma

tese, dissertação ou texto para discussão e posteriormente um artigo, capítulo de livro ou livro. No

formato atual do banco de dados, tais documentos contabilizaram-se isoladamente.

46

repercussão média por documento publicado (14). O periódico Pesquisa e Planejamento

Econômico também apresentou uma repercussão média expressiva para os documentos

publicados. Adicionalmente, destacam-se nesse indicador as publicações do BNDES:

Ensaios BNDES e Visão do Desenvolvimento.

4.2.2. Variáveis de classificação das obras

De forma semelhante ao que foi realizado na seção anterior, os trabalhos citados

são analisados de acordo com a temática e o período a que se referem, bem como ao

grau de importância que o BNDES ocupa no documento.

O número de citações que cada temática recebe pode ser um indicador de

repercussão do tema. A Tabela 16 apresenta o número de documentos que tratam da

temática por número de citações que receberam, bem como o número de citações totais

que cada temática recebeu. Como esperado, de maneira geral, as temáticas mais tratadas

pelos autores em suas publicações também foram as mais citadas. A primeira coluna da

Tabela 16 mostra que existe uma concentração do número de documentos que

receberam dez ou mais citações tratando das temáticas Indústria e Infraestrutura, 17 e 13

documentos respectivamente. No entanto, do total de trabalhos que avaliam a temática

Indústria (231), cerca de 55,0% não receberam nenhuma citação (127). Já para a

temática Infraestrutura, 45,0% dos trabalhos não tiveram repercussão. A penúltima

coluna da Tabela 16 mostra que a temática Indústria recebeu no total 598 citações,

enquanto que Infraestrutura recebeu 511 citações.

Quando esses resultados são comparados com a Tabela 8, que mostra o número

de vezes que cada temática foi tratada pelos trabalhos, infere-se que a temática

Infraestrutura repercutiu relativamente mais. Na Tabela 8, Infraestrutura mantinha

participação de cerca de 15,1% no total de temáticas tratadas. Quando o indicador de

citações totais para cada temática é analisado, a participação do tema Infraestrutura sobe

para 22,2% (Tabela 16). Privatizações foi outra temática que foi tratada pelos trabalhos

que repercutiram na literatura, ou seja, documentos que receberam mais de uma citação.

Do total de 96 documentos que tratam desta temática, 42 documentos (43,8%) não

receberam citações, percentual relativamente reduzido quando comparado às outras

temáticas avaliadas. No agregado, a temática Privatização recebeu 324 citações.

Apesar de ser um tema que ganhou importância para a literatura sobre o BNDES mais

47

recentemente, como mostra a Tabela 10, o tema Mercado de Capitais apresentou uma

significativa repercussão no período. Do total de 107 trabalhos que avaliam essa

temática, 41,1% receberam uma ou mais citações, isso representa um total de 217

citações. Comércio e Meio Ambiente foram as temáticas com maior percentual de

trabalhos sem nenhuma citação, indicando que ainda há uma limitada repercussão

desses temas na literatura, possivelmente por serem temáticas emergentes.

Tabela 16 - Distribuição das obras sobre o BNDES de acordo com o número de

citações recebidas e temática tratada

Quantidade de Documentos

Citações

10 ou

mais 5 a 9 1 a 4 0

Total de

Documentos

Citados

% de 0

citações

Total de

Citações

Participação

no Total de

Citações

Total de Títulos 43 70 227 481 821

Temáticas

Agropecuária 0 0 6 18 24 75% 7 0%

Comércio, Serviços e

Turismo 0 0 1 5 6 83% 1 0%

Desenvolvimento Social e

Urbano, Esporte e Cultura 1 3 29 80 113 71% 88 4%

Exportação e Inserção

Internacional 6 6 15 45 72 63% 148 6%

Indústria 17 23 64 127 231 55% 598 26%

Infraestrutura 13 21 54 72 160 45% 511 22%

Inovação 0 4 15 36 55 65% 51 2%

Meio Ambiente 0 0 3 11 14 79% 5 0%

Mercado de Capitais 7 6 31 63 107 59% 217 9%

Privatizações 11 21 22 42 96 44% 324 14%

Teórico - Banco de

Desenvolvimento 3 13 24 51 91 56% 161 7%

Outros 8 6 23 55 92 60% 195 8%

Total de Citações 2306 100%


Em relação aos períodos históricos tratados pelos documentos que compõem o

Banco de Dados, é possível, por meio dos trabalhos mais citados, identificar quais

períodos receberam maior atenção da comunidade acadêmica que investiga temas

relacionados ao BNDES. A Tabela 17 apresenta os períodos com o respectivo número

de citações.

Embora grande parte dos documentos que compõem o Banco de Dados avaliem

os períodos mais recentes, como observado na Tabela 9, no que se refere ao número de

citações, nota-se que os primeiros períodos apresentam número de citações

relativamente maiores, pois esses trabalhos já estão mais avançados no ciclo de citações.

48

Considerando os três períodos iniciais, percebe-se que estes representam 56,6% do total

de citações recebidas. Esse resultado está de acordo com o esperado, pois trabalhos mais

recentes ainda apresentam pouca repercussão. Da primeira parte da Tabela 17, observa-

se que do total de documentos que avaliam os períodos de 1952-1964, 1964-1980,

1980-1990, 1990-2002 aproximadamente metade deles não receberam nenhuma citação.

Já do total de 333 documentos que avaliaram a última década (2002-2013), 228 não

receberam nenhuma citação (68,5%). Em termos absolutos o período mais citado foi o

de 1990-2002, que recebeu 615 citações (penúltima coluna da Tabela 15).

Tabela 17 - Distribuição das obras sobre o BNDES de acordo com o número de

citações recebidas e período avaliado

Quantidade de Documentos

10 ou mais

citações

5 a 9

citações

1 a 4

citações

0

citação

Total de

Documentos

Citados

Percentual

de 0

citações

Total de

Citações

Participação

no Total de

Citações

Total de

Títulos 43 70 227 481 821

Período

1952-1964 14 17 33 66 130 51% 495 21%

1964-1980 10 18 42 82 152 54% 428 18%

1980-1990 13 18 40 66 137 48% 429 18%

1990-2002 18 35 91 141 285 49% 615 26%

2002-2013 7 14 84 228 333 68% 308 13%

Atemporal 3 5 20 29 57 51% 111 5%

Total de

Citações 2386 100%


Outra questão relevante associada à classificação dos documentos citados refere-

se ao grau de referência dos textos ao BNDES. A Figura 13 apresenta a distribuição dos

documentos que compõem o banco de dados por número de citações e pelo grau de

referência que faz ao BNDES. Nota-se que em geral os documentos mais citados

também são aqueles que têm o BNDES como objeto de estudo. Entre os documentos

com 10 ou mais citações observa-se que 66,7% são obras em que o BNDES aparece de

maneira significativa no documento, já entre os documentos com zero citações apenas

41,3% têm o BNDES como objeto de estudo.

49

Figura 13 - Distribuição das obras sobre o BNDES de acordo com o número de

citações recebidas e grau de referência ao banco


A média de citações dos trabalhos com elevado grau de referência ao BNDES,

que assume valor da variável binária igual a 1, é de 2,15. Para os trabalhos com baixo

grau de referência ao BNDES, cujo valor da variável binária é igual a 0, a média é de

1,77. Para verificar se existe diferença estatística entre as médias desses dois grupos

foram aplicados os Testes de Mann Whitiney, que testa se a distribuição das citações por

trabalho diferem entre os dois grupos (1 e 0) e o Teste de Mediana, que testa se as

medianas dos grupos são diferentes22. Em ambos os testes os resultados permitem

rejeitar a hipótese nula, ao nível de significância de 1%, que a média ou mediana são

iguais. Assim, a repercussão dos trabalhos que têm o BNDES como objeto de estudo é

maior que os trabalhos que não se referem ao BNDES de modo expressivo.

4.3. Indicadores Relacionais

Outra forma de visualizar a estrutura de citações do Banco de Dados é por meio

das redes. Esses indicadores são amplamente utilizados na literatura de análise

22

Foram aplicados testes não paramétricos de diferenças de médias para amostras independentes tendo

em vista que a variável número de citações por trabalho não apresentou distribuição normal, conforme

teste de normalidade de Kolmogorov-Smirnov.

0%

20%

40%

60%

80%

100%

10 oumais

citações

5 a 9citações

1 a 4citações

0citações

Baixa referência ao BNDES 33% 31% 40% 59%

Alta referência ao BNDES 67% 69% 60% 41%

Baixareferência aoBNDESAltareferência aoBNDES

50

bibliométrica, principalmente nas análises de co-citação e coautoria de artigos e

documentos. A Figura 14 apresenta a rede de citações dos documentos mais citados

conforme foi detalhado na Tabela 1223.

O valor da densidade da rede é de 0,1061 indicando que apenas 10,6% de todas

as conexões possíveis são estabelecidas na rede, o que aponta para uma rede pouco

densa. Para a construção da rede e análise dos documentos mais centrais, optou-se pelo

método de Grau de Centralidade (Centrality Degree) que considera o número de

interações que os atores de uma rede estabelecem com os outros24. Ademais, o tamanho

do nó reflete a frequência com que o documento foi citado.

O alto grau de centralidade dos trabalhos de Baer (1998), Lessa (1982),

Monteiro Filha (1994), Baer (2001) e BNDES (1992) aponta para uma maior influência

desses documentos na literatura econômica sobre o BNDES. De fato, com exceção de

Baer (2001), os outros documentos têm o BNDES como objeto de estudo, ou seja,

analisam de maneira significativa a atuação do banco. Pode-se dizer que esses

documentos formam a rede principal de citações.

Alguns documentos também apresentam grau elevado de centralidade, porém

essa caracteriza-se por ser apenas local. Em outras palavras, embora o documento seja

amplamente citado, a rede de citações desse documento não está conectada aos outros

documentos mais citados. Esse é o caso, por exemplo, dos trabalhos de Baer et al.

(1973), Werneck (1989) e BNDES (2002) que recebem várias conexões por meio das

citações de outros trabalhos que pouco se conectam a rede principal. Analisando

especificamente os trabalhos de Baer et al. (1973) e Werneck (1989) observa-se que os

mesmos não analisam o BNDES de maneira significativa. Na verdade são documentos

que discutem temas de grande repercussão na área acadêmica e estreitamente

relacionados à atuação do BNDES, como a intervenção do Estado no processo de

industrialização do Brasil analisado em Baer et al. (1973) e o processo de privatização

no Brasil tratado por Werneck (1989). Essas características podem explicar o padrão

desses documentos na rede, ou seja, o potencial de gerarem redes locais dentro da rede

principal.

23 Devido ao alto número de autores com poucas citações e, portanto, a dificuldade em representá-los em

uma rede inteligível optou-se pela construção da rede considerando os 17 documentos mais citados, sendo

que esses trabalhos obtiveram mais de 14 citações. 24 O método do Grau de Centralidade também foi utilizado para a construção das redes de co-citação,

autores e parcerias institucionais.

51

Figura 14 - Redes de citação dos dezessete trabalhos mais citados no Banco de Dados


A Figura 15 apresenta a rede de co-citação construída considerando os dezessete

documentos mais citados no Banco de Dados. A análise de co-citação tipicamente

apresenta uma rede onde os autores/documentos mais citados estão conectados pelo link

de co-citação.

Figura 15 - Redes de co-citação dos dezessete trabalhos mais citados


Observa-se, na parte mais densa da rede, que os trabalhos de Viana (1981) e

Najberg (1989) formam o par de documentos com maior número de co-citação seguido

por Viana (1981) e Curralero (1998). Essas três dissertações de mestrado analisam

detalhadamente a atuação do BNDES, podendo ser considerados os trabalhos centrais,

ou mais influentes da rede. Além desses principais, ainda são co-citados em menor grau

os trabalhos de Lessa (1982), Castro (1985), Prochnik (1995), Monteiro Filha (1994) e

Baer (1998). Dessa forma, pode-se argumentar que esses seriam os documentos

referências para os pesquisadores que investigam sobre o BNDES.

Para avaliar a relação entre os trabalhos mais citados do Banco de Dados, foi

aplicada a técnica multivariada da análise fatorial visando agregar os trabalhos de

acordo com as citações e co-citações recebidas. A Tabela 23, no anexo V, traz os

resultados completos da análise fatorial, bem como, os valores dos testes aplicados para

verificar a adequação dos dados à técnica. O modelo estimado apresentou adequado

ajustamento considerando os testes de Kaiser-Meyer-Olkin (KMO), esfericidade de

53

Bartlett (LR test) e alpha de Crobach. O resultado da análise identificou sete autovalores

superiores à unidade, de tal forma que sete fatores podem ser usados para explicar as

relações de citações e co-citações dos trabalhos do Banco de Dados. Esses autovalores

explicam 57% da variância total das variáveis originais. A Tabela 18 a seguir, apresenta

as cargas fatoriais correspondentes a cada um dos sete fatores. As cargas fatoriais

correspondem aos coeficientes de correlação entre cada fator e cada um dos 17

trabalhos considerados na análise.

Verifica-se que o Fator 1 está forte e positivamente correlacionado com cinco

documentos que apesar das informações textuais, tem como característica principal a

apresentação de estatísticas sobre o banco, tal que é um grupo usado conjuntamente

como “Fonte de Dados”. Por exemplo, o trabalho de Viana (1981) apresenta correlação

de 71% com o Fator 1. Os demais trabalhos que compõem esse grupo apresentaram

correlação em torno de 50% ou mais com esse fator. Nota-se que Viana (1981) e Bonelli

e Pinheiro (1994) são análises de períodos mais curtos e os demais analisam mais de

uma década de atuação do banco. O Fator 2 está relativamente mais correlacionado

com documentos cujo os autores são referências clássicas quanto à economia brasileira,

que são citados conjuntamente. O Fator 3 se relaciona fortemente com documentos em

língua inglesa publicados pelo Werner Baer. Portanto, os documentos em questão

tratam-se de referências clássicas sobre economia brasileira, porém citados pela

literatura internacional. Os documentos correlacionados com o Fator 4 assemelham-se,

em conteúdo, aos documentos do Fator 2, sendo importantes também principalmente

como base ou panorama histórico para os trabalhos. Nota-se que os demais fatores estão

correlacionados com trabalhos individuais, o que corrobora o resultado de redes locais

mencionado anteriormente. Ou seja, trabalhos que repercutiram na literatura em termos

de citação, mas não possuem ligação, em termos de co-citação, com os demais

documentos citados.

54

Tabela 18 - Análise Fatorial aplicada a rede de citações dos trabalhos mais citados

Fator

Trabalhos 1 2 3 4 5 6 7

WERNECK, R. L. F. (1989) 0.00 -0.19 -0.55 -0.35 -0.24 0.00 -0.11

VIANA, A. L. D. (1981) 0.71 0.30 -0.01 0.02 0.04 0.16 0.01

CURRALERO, C. R. B. (1998) 0.49 -0.07 -0.04 -0.12 0.10 0.38 0.46 PROCHNIK, M. (1995) 0.58 -0.20 -0.09 -0.04 -0.03 -0.29 -0.10

NAJBERG, S. (1989) 0.55 0.09 -0.06 -0.03 0.39 0.02 -0.32

BAER, W. (1988) -0.04 0.62 0.34 -0.34 -0.01 -0.10 -0.05 BONELLI, R.; PINHEIRO, A. C. (1994) 0.52 -0.32 0.06 0.31 -0.16 -0.25 -0.04

LAFER, C. (2002) -0.07 0.05 0.01 -0.02 0.10 -0.10 0.84

LESSA, C. (1982) 0.11 0.75 -0.06 0.21 -0.13 -0.07 0.08 CASTRO, A. B.; SOUZA, F. E. P. (1985) -0.03 0.14 -0.03 0.74 -0.06 -0.01 -0.05

BAER, W.; KERSTENETZKY, I.; VILLELA, A. V.

(1973) -0.24 -0.11 0.07 -0.30 -0.16 -0.23 -0.09

BAER, W. (2001) 0.05 -0.15 0.71 0.02 -0.26 0.00 0.02

MONTEIRO FILHA, D. C. (1994) 0.03 -0.10 -0.07 -0.02 0.83 -0.09 0.15

TAVARES, M. C. (1972) 0.00 0.53 -0.10 0.14 -0.09 -0.18 0.00 BNDES (2002) 0.01 -0.11 -0.04 0.03 -0.08 0.85 -0.09

BNDES (1992) 0.12 -0.21 0.10 0.45 0.39 0.15 -0.27

BAER, W. (1969) -0.20 0.18 0.59 -0.27 0.06 -0.12 -0.13


A análise de coautoria permite avaliar as parcerias e redes de cooperação

estabelecidas entre pesquisadores que investigam um determinado tema. Esses autores

podem ser afiliados à mesma instituição ou podem pertencer a instituições diferentes,

localizadas até mesmo em países distintos.

Inicialmente, verificou-se que 65,0% dos documentos do Banco de Dados foram

escritos por apenas um autor, que é resultado bastante comum em ciências sociais

(Figura 16). Esse percentual é ainda maior para os documentos cujos autores não são

afiliados ao BNDES (74,6%), já para o caso em que pelo menos um dos autores é

afiliado ao BNDES, verifica-se que 44,9% dos documentos não apresentam coautoria.

Entre os trabalhos em coautoria, destacam-se as colaborações de dois e três

autores, representando respectivamente um quinto e menos de um décimo do total. No

caso em que pelo menos um dos autores é afiliado ao BNDES, a Figura 14 indica um

grau ainda maior de coautoria em seus trabalhos. Para verificar se a coautoria dos

trabalhos cuja afiliação dos autores refere-se ao BNDES é, estatisticamente, maior que a

coautoria em trabalhos cuja afiliação dos autores é de outras instituições, realizou-se o

Teste de Mann-Whitney25.

Dos 821 documentos analisados, 235 tiveram sua afiliação associada ao

BNDES, pois pelo menos um de seus autores é afiliado ao banco, enquanto o restante

dos documentos (586) possui autores afiliados a outras instituições. Dentre os trabalhos

cuja afiliação do autor foi associada ao BNDES, encontra-se, em média, 1,81 autores

por obra, enquanto para os documentos publicados por autores não afiliados ao banco, o

25 Teste permite rejeitar, a 1% de significância, a hipótese nula de que o número de autores por documento é igual em

tendência central para autores não afiliados ao Banco e pelo menos um autor afiliado ao banco.

55

número médio de autores por obra é de 1,53. O Teste de Mann-Whitney para amostras

independentes permite afirmar que existe um maior grau de coautoria nos trabalhos

publicados por pelo menos um autor afiliado ao Banco.

Figura 16 - Distribuição dos autores de acordo com o número de coautores,

segundo afiliações ao BNDES e outras instituições


Para a construção da rede de coautoria, o método utilizado também foi o Grau de

Centralidade, resultando o valor da densidade da rede de 0,22%. Esse resultado salienta

que as relações de coautoria são reduzidas para os documentos publicados sobre o

BNDES.

A Figura 17 apresenta as três principais redes de coautoria identificadas no

Banco de Dados. O tamanho do nó (circunferência) reflete a frequência com que o autor

aparece em trabalhos em coautoria. A espessura da ligação entre os autores indica a

frequência em que esses pesquisadores trabalham conjuntamente. O primeiro grupo

inclui dois pesquisadores centrais que são Puga, F. P. e Torres Filho, E. T. que

estabelecem uma ampla rede de coautoria. As duas outras redes menores possuem cada

uma um autor central. Observa-se que Giambiagi, F. é o autor central da segunda rede

que também se conecta a rede principal. Já a terceira rede caracteriza-se por ser

relativamente mais local do que as anteriores, apresentando De Negri, J. A. como autor

central.

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

1 2 3 4 5 6 7

Fre

qu

ênci

a R

ela

tiv

a

Quantidade de Autores por Obra

Outras Afiliações Uma das afiliações é BNDES

Figura 17 - Três principais redes de coautoria identificadas no Banco de Dados


Adicionalmente, a literatura econômica nacional e internacional relata que o

número de trabalhos em coautoria aumentou ao longo do tempo (Sutter e Kocher, 2004;

Faria et al. 2007). A Figura 18 apresenta o número de trabalhos produzidos em

coautoria a partir de 1968, quando foi publicado o primeiro texto nessa condição.

Verifica-se uma tendência crescente da coautoria nos documentos sobre o BNDES a

partir dos anos 1990. Nos últimos anos, mais da metade dos trabalhos foram em

coautoria, revelando um aumento da colaboração e especialização entre os

pesquisadores.

Figura 18 - Número de documentos produzidos em coautoria e sua participação no

total (1968-2013)


No caso de coautoria, a instituição de afiliação dos autores pode ser utilizada

como uma medida de cooperação interinstitucional. A colaboração é interna quando a

coautoria do trabalho caracteriza-se por autores afiliados à mesma instituição. Por outro

lado, a colaboração é externa quando os autores afiliam-se a diferentes instituições.

Dentre os trabalhos desenvolvidos em coautoria, os resultados mostraram que 62% dos

documentos publicados foram produzidos em redes de colaboração interna, enquanto

38% resultaram de colaboração externa.

0%

10%

20%

30%

40%

50%

60%

70%

0

5

10

15

20

25

30

35

40

45

50

196

81

97

01

97

11

97

21

97

31

97

51

97

81

97

91

98

01

98

21

98

41

98

51

98

61

98

71

98

91

99

01

99

11

99

21

99

31

99

41

99

51

99

61

99

71

99

81

99

92

00

02

00

12

00

22

00

32

00

42

00

52

00

62

00

72

00

82

00

92

01

02

01

12

01

22

01

3

Co-autoria Percentual de co-autoria

58

Ao analisar separadamente os autores afiliados ao BNDES, constata-se que as

redes de colaboração externa do banco mostram-se ainda mais restritas, chegando a

21% dentre os documentos com coautoria.

Essa relativa menor cooperação externa dos afiliados ao BNDES também pode

ser verificada na Tabela 19. Essa tabela apresenta o número de documentos produzidos

por autores do banco com parceiras nacionais ou internacionais, bem como o mesmo

indicador para os autores de outras afiliações. Observa-se que os trabalhos de afiliados a

outras instituições foram produzidos contando com uma relativa maior colaboração

externa internacional.

Tabela 19 - Distribuição das obras realizadas em coautoria com cooperação

externa, de acordo com afiliação ao BNDES e a outras instituições

Cooperação Externa

Nacional % no Total Internacional % no Total Total

BNDES 23 77% 7 23% 30 100%

Outras 50 67% 25 33% 75 100% Fonte: Elaboração Própria a partir do Banco de Dados de obras sobre o BNDES

A Figura 19 apresenta a rede de cooperação interinstitucional no

desenvolvimento de trabalhos em coautoria. O valor da densidade da rede é de 0,0336

indicando que apenas 3,36% de todas as conexões possíveis são estabelecidas, o que

aponta para uma rede com reduzidas relações entre as instituições. Neste caso, o

tamanho do nó (dimensão da circunferência) indica a frequência com que a instituição

aparece em trabalhos com coautoria, como consequência da atuação de seus afiliados, e

a espessura da ligação entre as instituições denota a frequência de coautoria entre duas

instituições.

Nota-se que a rede de colaboração é constituída de uma rede principal que

conecta as instituições nacionais mais importantes, em termos de colaboração na

coautoria de trabalhos, dentre elas o BNDES, a UFRJ, o IPEA, a UNICAMP, a USP, a

UFF e a PUC-Rio. Além dessa rede principal, verifica-se ainda a existência de algumas

redes locais com destaque para duas principais constituídas de instituições

internacionais. No caso da rede local centrada na Universidade de Illinois as demais

instituições não estabelecem parcerias de coautoria entre si. Um padrão oposto é

observado na rede local que inclui o BIRD, ONU e três universidades estrangeiras, no

qual não há centralidade em apenas uma instituição.

59

No que se refere à rede principal, observa-se que o BNDES aparece como a

instituição com maior número de trabalhos em coautoria, portanto com maior nível de

colaboração. No entanto, a colaboração interna, ou seja, entre autores do Banco, é

predominante na rede. Em termos de colaboração interinstitucional, a UFRJ sobressai

como a principal parceira do BNDES na coautoria dos trabalhos. Outras colaborações

de parceira relevantes entre as instituições são UNICAMP e IPEA, UNICAMP e UFRJ,

UNICAMP e UFF e UFRJ e USP.

60

Figura 19 - Redes de cooperação entre instituições


5. Considerações Finais

Os indicadores apresentados na presente pesquisa permitiram traçar um perfil

pormenorizado da literatura econômica sobre o BNDES e vislumbrar a trajetória dessa

publicação. A partir das informações levantadas foram construídos indicadores

bibliométricos que associados à análise de redes sintetizam o perfil bibliográfico,

autoral e de repercussão.

A publicação acadêmica sobre o BNDES concentra-se em artigos publicados em

periódicos e capítulos de livros. Ademais, um volume significativo de teses e

dissertações foi desenvolvido, indicando que o tema recebeu atenção dos centros de

pós-graduação no país, especialmente nos programas da UNICAMP e da UFRJ.

Verificou-se uma tendência de crescimento da publicação acadêmica sobre o

BNDES, especialmente nas duas últimas décadas, com taxas superiores ao crescimento

da elaboração de trabalhos científicos no Brasil. Isso reflete o crescimento das

publicações na área de economia de forma geral ocorrido no período e a maior atenção

dada pela literatura à contribuição do BNDES, especialmente com o crescimento dos

seus desembolsos. Adicionalmente, a análise do Banco de Dados revelou que as

publicações sobre o tema são altamente concentradas, tanto em termos de instituições

responsáveis pela publicação, como em autores que mais publicam.

A preocupação do BNDES em gerar informação e pesquisas sobre a sua atuação

refletiu-se nos resultados da Análise Bibliométrica. De maneira geral, o BNDES é a

instituição responsável pelo maior número de publicações sobre o banco e,

adicionalmente, a instituição de afiliação de pouco mais de um quarto dos autores que

produzem sobre o tema. A despeito da atenção do banco à geração de informação e

produção bibliográfica, isso gerou um grau de endogenia na literatura.

Sobre os indicadores internacionais, foi possível observar que aproximadamente

um quinto da publicação sobre o BNDES foi realizada em idioma diferente do

português, em especial inglês. Adicionalmente, pouco menos de um terço dos

documentos foram publicados fora do Brasil, revelando o interesse e a possibilidade de

publicação no exterior. Apesar de não existir uma base sólida para tal comparação,

entende-se que se trata de um indicador expressivo de internacionalização quando

comparado com outras temáticas em ciências sociais, principalmente por se tratar de um

tema mais relacionado à economia brasileira.

62

No que se refere à classificação dos documentos, as temáticas mais tratadas

foram Indústria e Infraestrutura, sendo essas também as mais citadas. Grande parte dos

trabalhos avaliam esses dois temas conjuntamente. Os períodos mais tratados pelas

publicações foram as três últimas décadas, no entanto, como esperado, os trabalhos que

avaliaram os primeiros períodos de atuação do BNDES receberam maior número de

citações. Adicionalmente, verificou-se que os documentos mais citados são também

aqueles que avaliam o papel do BNDES com maior grau de profundidade.

Foi possível identificar um grupo de autores-chave que mais publicaram e que

receberam um elevado número de citações. As análises estatísticas evidenciaram a

concentração das citações em poucos documentos e autores. Como resultado, infere-se

que apesar da extensa lista de trabalhos e autores que tem se dedicado ao tema, o

número de documentos que repercutiu em termos de citações na literatura é

relativamente reduzido. Adicionalmente, a análise de redes de citação e co-citação dos

principais trabalhos indicou a existência de um expressivo número de redes locais, ou

seja, embora o documento seja amplamente citado, a rede de citações desse documento

não está conectada aos outros documentos que formam a rede principal. Essa reduzida

densidade na rede de citações também foi observada nas redes de coautoria e de

parcerias institucionais entre autores.

Aceitando o indicador de qualidade da produção intelectual da CAPES (Qualis),

nota-se que grande parte dos artigos do Banco de Dados sobre o BNDES foi publicada

em periódicos que possuem classificação Qualis. Entretanto, apenas cerca de um terço

estão nos periódicos classificados nos estratos mais elevados, quais sejam A1, B1 e B2.

Por outro lado, quase metade da publicação encontra-se em periódicos classificados nos

estratos: B3, B4, B5 e C.

Em termos de cooperação, os autores afiliados ao BNDES publicam

relativamente mais em coautoria e estabelecem cooperação entre si. Por outro lado, as

redes de colaboração entre afiliados ao BNDES e autores de outras instituições são

relativamente menores que o padrão observado para os demais autores do Banco de

Dados. A análise de redes para as instituições de afiliação dos autores revelou que a

principal rede de cooperação entre pesquisadores ocorre entre UFRJ e BNDES.

Com base nas principais evidências apresentadas nesta pesquisa, algumas

sugestões ao Banco podem ser colocadas. Primeiramente, sugere-se o estabelecimento

de redes de colaboração com autores de outras instituições nas publicações em que o

BNDES é o responsável. Tal diretiva fortaleceria os laços de publicação entre o corpo

63

técnico do banco com outras instituições nacionais e estrangeiras. Ademais, uma

política de publicação em outros periódicos de qualidade reconhecida permitirá maior

exposição da literatura às críticas externas, além de maior visibilidade dos trabalhos na

comunidade acadêmica científica. Adicionalmente, como a Revista do BNDES é o

principal veículo de publicação sobre o banco, uma sugestão para ampliar o impacto da

revista consistiria na maior abertura deste periódico a autores não afiliados ao banco,

permitindo assim um debate mais amplo. Finalmente, uma proposta para a divulgação

das pesquisas sobre o banco na literatura econômica internacional seria a submissão

para periódicos que já publicaram trabalhos sobre o tema.

64

Referências Bibliográficas

AKSNES, D. W. A macro study of self-citation. Scientometrics, v. 56, n. 2, p. 235-

246, 2003.

ANU – The Australian National University. Quantitative indicators for research

assessment – a literature review. Canberra: Research School of Social Sciences,

2005. 84 p. (REPP Discussion Paper 05/1).

BORGATTI, S. P.; EVERETT, M .G.; FREEMAN, L. C. Ucinet for Windows:

Software for Social Network Analysis. Harvard, MA: Analytic Technologies, 2002.

BORGATTI, S. P. NetDraw: Graph Visualization Software. Harvard: Analytic

Technologies, 2002.

BRASIL. Portal Brasil. Produção científica. Disponível em:<

http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-

cientifica> Acesso em 12 de março de 2013.

CHEN, C.; IBEKWE-SANJUAN, F.; HOU, J. The structure and dynamics of

cocitation clusters: A multiple-perspective cocitation analysis. Journal of the

American Society for Information Science and Technology, v. 61, n. 7, p. 1386-

1409, Jul, 2010.

DURIEUX, V.; GEVENOIS, P. A. Bibliometric Indicators: Quality Measurements of

Scientific Publication. Radiology, v. 255, n. 2, p. 342-351, May, 2010.

FARIA, J. R.; ARAUJO JR, A. F. & SHIKIDA, C. The Citation Pattern of Brazilian

Economists. Estudos Econômicos, v. 37, n. 1, p. 151-166, jan./mar. 2007.

FARIA, J. R. Citation. International Encyclopedia of the Social Sciences, 2008.

Disponível em: <http://www.encyclopedia.com/doc/1G2-3045300336.html>. Acesso

em 12 de março de 2013.

GARFIELD, E. Citation Indexes for Science A New Dimension in Documentation

through Association of Ideas. Science, v. 122, n. 3159, p.108-11, July, 1955.

GAUTHIER, E. Bibliometric analysis of scientific and technological research:a

user's guide to the methodology. Canadá: Observatoire des Sciences et des

Technologies, 1998. 59 p. (88F0006XPB No. 8).

GROSS, P. L. K; GROSS, E. M. College Libraries and Chemical Education. Science,

v. 66, n. 1713, p. 385-389, Oct, 1927.

HAMILTON, D. P. Research Papers: Who’s Uncited Now? Science, v. 251, p. 25,

1991.

JOHNES, G. Research performance indications in the university sector. Higher

Education Quarterly, v. 42, p. 54-71, 1988.

http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-cientifica

http://www.brasil.gov.br/sobre/ciencia-e-tecnologia/fomento-e-apoio/producao-cientifica

http://www.encyclopedia.com/doc/1G2-3045300336.html

65

LIMA, R. A.; VELHO, L. M. L. S.; FARIA, L. I. L. Análise Bibliométrica da

Atividade Científica da Embrapa Solos (1975-2009). Rio de Janeiro: EMBRAPA,

2010. 26 P. (Boletim de Pesquisa e Desenvolvimento 153).

LUNDBERG, J. Blibliometrics as a research assessment tool – impact beyond the

impact factor. 2006. 57 p. Tese (Doutorado) - Department of Learning, Informatics,

Managements and Ethics, Karolinska Institute, Stockholm, 2006.

MARTIN, B. R.; IRVINE, J. Assessing basic research. Some partial indicators of

scientific progress in radio astronomy. Research Policy, n. 12, p. 61-90, 1983.

MARZAGÃO, D. S. L.; ERARIO, A. L.; CARVALHO, M. M. Sistemas de

indicadores de desempenho: revisão bibliográfica por métodos bibliométricos. In: XXX

CONGRESSO NACIONAL DE ENGENHARIA DE PRODUÇÃO, São Carlos – SP,

12 a 15 de Outubro, 2010.

MOED, H. F.; DE BRUIN, R. E.; VAN LEEUWEN, TH. N. New bibliometric tools

for the assessment of national research performance: database description,

overview of indicators and first applications. Scientometrics, v. 33, n. 3, p. 381-422,

1995.

PENTEADO, R.; DOU, H.; BOUTIN, E.; QUONIAM, L. De la création des bases de

données au développement de systèmes d’intelligence pour l’entreprise. Information

Sciences for decision Making, v. 8, n. 67, p. 05, 2003.

PRITCHARD, Alan. Statistical bibliography or bibliometrics. Journal of

Documentation, v. 25, n. 4, p.348-349, Dec. 1969.

OKUBO, Y. Bibliometric indicators and analysis of research systems: methods

and examples. Paris: OECD, 1997. 70 p. (STI Working Papers, 1997/1).

ROUSSEAU, R. Indicadores bibliométricos e econométricos para a avaliação de

instituições científicas. Ci. Inf., Brasília, v. 27, n. 2, p. 149-158, maio/ago.1998.

SMALL, H. Co-citation in the scientific literature: a new measure of the relationship

between two documents. Journal of de American Society for Information Science,

v. 24, n. 4, p. 265-269, Jul/Aug 1973.

SUTTER, M.; KOCHER, M. Patterns of co-authorship among economics departments

in the USA. Applied Economics, v. 36, p. 327-333, 2004.

VAN LEEUWEN, TH. N.; VISSER, M. S.; MOED, H. F.; NEDERHOF, T. J.; VAN

RAAN, A. F. J. The Holy Grail of science policy: Exploring and combining

bibliometric tools in search of scientific excellence. Scientometrics, v. 57, n. 2, p. 257-

280, 2003.

WHITE, H. D; GRIFFITH, B. C. Author cocitation: A literature measure of intellectual

structure. Journal of the American Society for Information Science, v. 32, n. 3, p.

163–171, May 1981.

66

Anexo I

Lista de Instituições Nacionais

UFMT

http://www.uftm.edu.br/paginas/ensino/cod/83/area/9/t/TESES+E+DISSERTACOES

http://www.biblioteca.ufmt.br/pergamum/biblioteca/index.php

UNICAMP

www.bibliotecadigital.unicamp.br

http://acervus.unicamp.br/

USP (FEA, FEARP, ESALQ)

http://www.teses.usp.br/

www.dedalus.usp.br

UERJ

http://www.bdtd.uerj.br/

http://virtua.sirius.uerj.br:8000/cgi-bin/gw_2012_2/chameleon

UFPR

http://dspace.c3sl.ufpr.br/dspace/handle/1884/284

http://acervo.ufpr.br/

UFPR



UNICAMP

www.bibliotecadigital.unicamp.br


FUFSE

http://www.ufs.br/

UFMA

http://www.tedebc.ufma.br/

https://www.secureweb.ufma.br/sab/

UFAL http://www.sibi.ufal.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

UFBA

http://www.bibliotecadigital.ufba.br/

http://www.pergamum.bib.ufba.br/pergamum/biblioteca/index.php

UFC

http://www.teses.ufc.br/tde_busca/index.php

http://www.biblioteca.ufc.br/index.php?option=com_content&task=section&id=29&Itemid=55

UFC



UNB

http://bdtd.bce.unb.br/tedesimplificado/tde_busca/index.php

http://www.uftm.edu.br/paginas/ensino/cod/83/area/9/t/TESES+E+DISSERTACOES

http://www.biblioteca.ufmt.br/pergamum/biblioteca/index.php

http://www.bibliotecadigital.unicamp.br/


http://www.teses.usp.br/

http://www.dedalus.usp.br/

http://www.bdtd.uerj.br/

http://virtua.sirius.uerj.br:8000/cgi-bin/gw_2012_2/chameleon





http://www.bibliotecadigital.unicamp.br/


http://www.ufs.br/

http://www.tedebc.ufma.br/

https://www.secureweb.ufma.br/sab/

http://www.sibi.ufal.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

http://www.sibi.ufal.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

http://www.bibliotecadigital.ufba.br/

http://www.pergamum.bib.ufba.br/pergamum/biblioteca/index.php







http://bdtd.bce.unb.br/tedesimplificado/tde_busca/index.php

67

http://consulta.bce.unb.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=

UCB

http://www.biblioteca.ucb.br/

UFES

http://www.bdtd.ufes.br/tde_busca/index.php

http://www.bc.ufes.br/

UFMG

http://www.bibliotecadigital.ufmg.br/dspace

https://catalogobiblioteca.ufmg.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

UFV

http://www.tede.ufv.br/tedesimplificado/tde_busca/index.php

http://alexandria.cpd.ufv.br:8000/cgi-bin/gw/chameleon

UFU

http://www.bibliotecas.ufu.br/

UFPA

http://bc.ufpa.br

UFPB/J.P.

http://bdtd.biblioteca.ufpb.br/tde_busca/index.php

http://150.165.241.35/biblioteca/side.htm

UFPE

http://www.bdtd.ufpe.br/bdtd/tedeSimplificado/tde_busca/index.php

http://www.biblioteca.ufpe.br/pergamum/biblioteca/

UEM

http://www.pce.uem.br/

UFF

http://www.bdtd.ndc.uff.br/tde_busca/

http://www.sdc.uff.br/consulta/

PUC-RIO

http://www.econ.puc-rio.br/biblioteca.php

FGV/RJ

http://epge.fgv.br/pt/pesquisa/teses-dissertacoes

http://bibweb.fgv.br/cgi-bin/gw_2010_3/chameleon?&skin=fgvrj&lng=pt

IBMEC

http://pergamum.ibmec.br/biblioteca/index.php

UFRN

http://bdtd.bczm.ufrn.br/tedesimplificado/tde_busca/index.php

http://www.ufrn.br/ufrn/conteudo/servicos/bibliotecas.php

UFRGS

http://sabi.ufrgs.br/F?RN=882975189

http://www.lume.ufrgs.br/handle/10183/1

PUC/RS

http://www3.pucrs.br/portal/page/portal/biblioteca/Capa/BCEPesquisa/BCETesesDiss

http://www3.pucrs.br/portal/page/portal/biblioteca/Capa

UNISINOS



http://www.biblioteca.ucb.br/

http://www.bdtd.ufes.br/tde_busca/index.php

http://www.bc.ufes.br/

http://www.bibliotecadigital.ufmg.br/dspace






http://www.bibliotecas.ufu.br/

http://bc.ufpa.br/

http://bdtd.biblioteca.ufpb.br/tde_busca/index.php

http://150.165.241.35/biblioteca/side.htm



http://www.pce.uem.br/

http://www.bdtd.ndc.uff.br/tde_busca/

http://www.sdc.uff.br/consulta/

http://www.econ.puc-rio.br/biblioteca.php

http://epge.fgv.br/pt/pesquisa/teses-dissertacoes

http://bibweb.fgv.br/cgi-bin/gw_2010_3/chameleon?&skin=fgvrj&lng=pt

http://pergamum.ibmec.br/biblioteca/index.php

http://bdtd.bczm.ufrn.br/tedesimplificado/tde_busca/index.php

http://www.ufrn.br/ufrn/conteudo/servicos/bibliotecas.php

http://sabi.ufrgs.br/F?RN=882975189

http://www.lume.ufrgs.br/handle/10183/1

http://www3.pucrs.br/portal/page/portal/biblioteca/Capa/BCEPesquisa/BCETesesDiss

http://www3.pucrs.br/portal/page/portal/biblioteca/Capa

68

http://biblioteca.asav.org.br/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

UFSC http://aspro02.npd.ufsc.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=

UFSCAR

http://200.136.241.56/htdocs/tedeSimplificado/tde_busca/index.php

http://200.9.84.221/cgi-bin/wxis.exe?IsisScript=phl82.xis&cipar=phl82.cip&lang=por

UNESP/ARAR

http://www.athena.biblioteca.unesp.br/F/?func=find-b-0&local_base=BDTD

http://unesp.br/bibliotecadigital/

PUC/SP

http://www.sapientia.pucsp.br/tde_busca/index.php?tipoPesquisa=1

http://lumen.pucsp.br/F/?func=find-b-0&local_base=bngk

UFPE



INSPER

http://tede.insper.edu.br/tde_busca/index.php

http://pergamum.insper.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&termo=&tipo_obra_selecionados=

UFV



UFJF

http://www.bdtd.ufjf.br/tde_busca/index.php

http://siga.ufjf.br/index.php?module=biblioteca&action=main:pesquisasimples#1359463766668

UFRJ

http://fenix2.ufrj.br:8991/F/

PUC/SP



FEAD

http://www.fead.br/papyrus/pesquisa.asp

FGV/SP

http://bibliotecadigital.fgv.br

UFSM

http://cascavel.cpd.ufsm.br/tede/tde_busca/index.php

http://bibweb.si.ufsm.br/

UCAM

http://www.ucam.edu.br/informa/

UEL

http://www.bibliotecadigital.uel.br/teses_dissertacoes.php

http://virtua.uel.br:8000/cgi-bin/gw/chameleon

UFC




http://aspro02.npd.ufsc.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=

http://aspro02.npd.ufsc.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=

http://200.136.241.56/htdocs/tedeSimplificado/tde_busca/index.php

http://200.9.84.221/cgi-bin/wxis.exe?IsisScript=phl82.xis&cipar=phl82.cip&lang=por

http://www.athena.biblioteca.unesp.br/F/?func=find-b-0&local_base=BDTD

http://unesp.br/bibliotecadigital/





http://tede.insper.edu.br/tde_busca/index.php





http://www.bdtd.ufjf.br/tde_busca/index.php



http://fenix2.ufrj.br:8991/F/



http://www.fead.br/papyrus/pesquisa.asp

http://bibliotecadigital.fgv.br/

http://cascavel.cpd.ufsm.br/tede/tde_busca/index.php

http://bibweb.si.ufsm.br/

http://www.ucam.edu.br/informa/

http://www.bibliotecadigital.uel.br/teses_dissertacoes.php

http://virtua.uel.br:8000/cgi-bin/gw/chameleon


69


UFPEL

http://www.ufpel.edu.br/tede/tde_busca/index.php

http://pergamum.ufpel.edu.br/pergamum/biblioteca/index.php?resolution2=1024_1&tipo_pesquisa=&filtro_bibliotecas=&filtro_obras=&id=

IPEA

http://www.ipea.gov.br/biblioteca/

Lista de Instituições Internacionais

Universidades website

UNAM - Universidad Nacional Autónoma de México

http://dgb.unam.mx/

UBA - Universidad de Buenos Aires

http://www.sisbi.uba.ar/

CEPAL http://www.eclac.cl/biblioteca/default.asp

Universidade do Chile http://www.uchile.cl/bibliotecas

Universidade de Lisboa http://ulisses.sibul.ul.pt/ulisses/portal/html/index.htm

Universidade de Coimbra http://www.uc.pt/bguc

Universidade do Porto http://sigarra.up.pt/up/WEB_BASE.GERA_PAGINA?P_pagi

na=1007165

Universidade Complutense de Madrid

http://www.ucm.es/BUCM/

Universidad Politécnica de Madrid http://www.upm.es/institucional/UPM/Biblioteca

Universidad de Vallidolid http://www.uva.es

Universitat de Valencia http://biblioteca.uv.es/

Universitat de Barcelona http://www.bib.ub.edu/

Università di Bologna http://www.unibo.it/Portale/Biblioteche+e+musei/default

.htm

CNR Itália http://library.isti.cnr.it:8080/index.php?lang=en&page=cat

alog1

Università di Milano http://www.sba.unimi.it/

Università di Padova http://www.cab.unipd.it/

La Sapienza http://w3.uniroma1.it/biblioteche/

École Normale Supérieure Paris http://halley.ens.fr/

Sorbonne http://www.bibliotheque.sorbonne.fr/biu/

Université Paris http://www.univ-paris1.fr/bibliotheques/

Technische Universität München http://www.ub.tum.de/em

Universität Heideberg http://www.ub.uni-heidelberg.de/

Universität Göttingen http://www.sub.uni-goettingen.de/sub-aktuell/

Universität Freiburg http://www.ub.uni-freiburg.de/

Universität Bonn http://www.ulb.uni-bonn.de/

Universität München http://www.ub.uni-muenchen.de/

Universidade de Tóquio http://www.lib.u-tokyo.ac.jp/

Universidade de Kyoto http://www3.kulib.kyoto-u.ac.jp/index-e.html

Universidade de Osaka http://www.library.osaka-u.ac.jp/



http://www.ufpel.edu.br/tede/tde_busca/index.php



http://www.ipea.gov.br/biblioteca/

http://dgb.unam.mx/

http://www.sisbi.uba.ar/

http://www.eclac.cl/biblioteca/default.asp

http://www.uchile.cl/bibliotecas

http://ulisses.sibul.ul.pt/ulisses/portal/html/index.htm

http://www.uc.pt/bguc

http://sigarra.up.pt/up/WEB_BASE.GERA_PAGINA?P_pagina=1007165

http://sigarra.up.pt/up/WEB_BASE.GERA_PAGINA?P_pagina=1007165

http://www.ucm.es/BUCM/

http://www.upm.es/institucional/UPM/Biblioteca

http://www.uva.es/

http://biblioteca.uv.es/

http://www.bib.ub.edu/

http://www.unibo.it/Portale/Biblioteche+e+musei/default.htm

http://www.unibo.it/Portale/Biblioteche+e+musei/default.htm

http://library.isti.cnr.it:8080/index.php?lang=en&page=catalog1

http://library.isti.cnr.it:8080/index.php?lang=en&page=catalog1

http://www.sba.unimi.it/

http://www.cab.unipd.it/

http://w3.uniroma1.it/biblioteche/

http://halley.ens.fr/

http://www.bibliotheque.sorbonne.fr/biu/

http://www.univ-paris1.fr/bibliotheques/

http://www.ub.tum.de/em

http://www.ub.uni-heidelberg.de/

http://www.sub.uni-goettingen.de/sub-aktuell/

http://www.ub.uni-freiburg.de/

http://www.ulb.uni-bonn.de/

http://www.ub.uni-muenchen.de/

http://www.lib.u-tokyo.ac.jp/

http://www3.kulib.kyoto-u.ac.jp/index-e.html

http://www.library.osaka-u.ac.jp/

70

Universidade de Tohoku http://tul.library.tohoku.ac.jp/

Instituto de Tecnologia de Tóquio http://www.libra.titech.ac.jp/welcome_e.php

Cambridge University http://www.lib.cam.ac.uk/

Oxford University http://www.ox.ac.uk/research/libraries/index.html

Imperial College London http://www3.imperial.ac.uk/library

University College London http://www.ucl.ac.uk/library/catalog.shtml

London School of Economics http://www2.lse.ac.uk/library/home.aspx

University of Edinburgh http://www.ed.ac.uk/schools-departments/information-

services/library-museum-gallery

King’s College London http://www.kcl.ac.uk/library/index.aspx

Manchester University http://www.library.manchester.ac.uk/

Bristol University http://www.bris.ac.uk/library/#page=page-1

Leeds University http://library.leeds.ac.uk/

Sheffield University http://www.shef.ac.uk/library

Harvard University http://lib.harvard.edu/

Stanford University http://www-sul.stanford.edu/

University of California - berkeley http://www.lib.berkeley.edu/

MIT - Massachusetts Institute of Technology

http://libraries.mit.edu/

Caltech http://library.caltech.edu/

Columbia University http://library.columbia.edu/

Princeton University http://library.princeton.edu/

University of Chicago http://www.lib.uchicago.edu/e/index.html

Yale University http://www.library.yale.edu/

Cornell University http://www.library.cornell.edu/

UCLA - University of California, Los Angeles

http://www.library.ucla.edu/

UC San Diego http://libraries.ucsd.edu/

University of Pennsylvania http://www.library.upenn.edu/

John Hopkins University https://catalyst.library.jhu.edu/

Washington University http://library.wustl.edu/

University of Wisconsin-Madison http://library.wisc.edu/#books

http://tul.library.tohoku.ac.jp/

http://www.libra.titech.ac.jp/welcome_e.php

http://www.lib.cam.ac.uk/

http://www.ox.ac.uk/research/libraries/index.html

http://www3.imperial.ac.uk/library

http://www.ucl.ac.uk/library/catalog.shtml

http://www2.lse.ac.uk/library/home.aspx

http://www.ed.ac.uk/schools-departments/information-services/library-museum-gallery

http://www.ed.ac.uk/schools-departments/information-services/library-museum-gallery

http://www.kcl.ac.uk/library/index.aspx

http://www.library.manchester.ac.uk/

http://www.bris.ac.uk/library/#page=page-1

http://library.leeds.ac.uk/

http://www.shef.ac.uk/library

http://lib.harvard.edu/

http://www-sul.stanford.edu/

http://www.lib.berkeley.edu/

http://libraries.mit.edu/

http://library.caltech.edu/

http://library.columbia.edu/

http://library.princeton.edu/

http://www.lib.uchicago.edu/e/index.html

http://www.library.yale.edu/

http://www.library.cornell.edu/

http://www.library.ucla.edu/

http://libraries.ucsd.edu/

http://www.library.upenn.edu/

https://catalyst.library.jhu.edu/

http://library.wustl.edu/

http://library.wisc.edu/#books

71

Anexo II

Tabela 20 – Citações com código unificado, por documento

Título do

Documento

Mestre

Código

Obra Título do Documento

Tipo do

Objeto Citações

A aplicação de

fundos

compulsórios

pelo BNDES na

formação da

estrutura setorial

da indústria:

1952 a 1989

378

A aplicação de fundos

compulsórios pelo BNDES

na formação da estrutura

setorial da indústria: 1952 a

1989

Tese de

doutorado 26

359

A contribuição do BNDES

para a formação da estrutura

setorial da indústria brasileira

no período 1952/89

Artigo 8

A aplicação de fundos compulsórios pelo BNDES na formação da

estrutura setorial da indústria: 1952 a 1989 Total 34

BNDES: Um

banco de ideias -

50 anos refletindo

o Brasil

567 BNDES: Um banco de ideias

- 50 anos refletindo o Brasil Livro 11

322

Transformação do sistema

BNDES em financiador do

setor privado nacional

Capítulo de

livro 8

210

O BNDES e seus critérios de

Financiamento Industrial:

1952 a 1989

Capítulo de

livro 3

345

Novos paradigmas de

competitividade: implicações

para a atuação do Sistema

BNDES

Capítulo de

livro 2

576

A criatividade e a informação

em um processo decisório

contínuo e participativo

Capítulo de

livro 1

574

Comparação entre os

pressupostos do BNDES e da

análise de custo-benefício na

análise de projetos

Capítulo de

livro 1

573 O BNDES e a agroindústria Capítulo de

livro 1

347 Crescer e distribuir: uma

pauta para o BNDES

Capítulo de

livro 1

578

Prospec: modelo de geração

de cenários em planejamento

estratégico

Capítulo de

livro -

570 Avaliação de Projetos no

Brasil

Capítulo de

livro -

575 Metodologia de análise de

projetos

Capítulo de

livro -

72

579 Participação do setor privado

nas áreas de infraestrutura

Capítulo de

livro -

577

Usinas de reciclagem de lixo:

aspectos sociais e viabilidade

econômica

Capítulo de

livro -

568 Perspectivas da Economia

Brasileira

Capítulo de

livro -

583

Fundo de Amparo ao

Trabalhador (FAT):

Metodologia de avaliação do

impacto das aplicações pelo

BNDES no emprego

Capítulo de

livro -

569

Em busca de um modelo de

segurança de suprimento de

matérias-primas

fundamentais

Capítulo de

livro -

572

Tecnologia: suas formas, a

legislação e o apoio

institucional

Capítulo de

livro -

571

Avaliação "social" de

projetos: uma metodologia

para a dependência

Capítulo de

livro -

BNDES: Um banco de ideias - 50 anos refletindo o Brasil Total 28

A economia

brasileira nos

anos 90

342 Privatização no Brasil: Por

quê? Até onde? Até quando?

Capítulo de

livro 9

469 A economia brasileira nos

anos 90 Livro 8

255 Privatização: Mitos e Falsas

Percepções

Capítulo de

livro 5

468

Sistema Financeiro

Brasileiro: Reestruturação

Recente, Comparações

Internacionais e

Vulnerabilidade à Crise

Cambial

Capítulo de

livro 5

693

The Brazilian Financial

System: Recent

Restructuring, International

Comparisons, and

Vulnerability to a Foreign

Exchange Crisis

Artigo -

A economia brasileira nos anos 90 Total 27

Direcionamento

do crédito: o

papel dos bancos

de

desenvolvimento

213

Direcionamento do crédito: o

papel dos bancos de

desenvolvimento e a

experiência recente do

BNDES

Capítulo de

livro 14

73

e a experiência

recente do

BNDES 214

Mecanismos de

direcionamento do crédito,

bancos de desenvolvimento e

a experiência recente do

BNDES

Capítulo de

livro 10

Direcionamento do crédito: o papel dos bancos de desenvolvimento e a

experiência recente do BNDES Total 24

BNDES 50

ANOS:

HISTÓRIAS

SETORIAIS

768 BNDES 50 ANOS:

HISTÓRIAS SETORIAIS Livro 5

424 O Setor Siderúrgico Livro 4

435 O setor elétrico Livro 4

427 O complexo automotivo Livro 2

431 O setor de bens de capital Livro 2

434 O setor de telecomunicações Livro 1

432 O complexo têxtil Livro 1

436 O transporte ferroviário de

cargas Livro 1

426 A agroindústria Livro 1

433 A infraestrutura urbana Livro 1

437

O desenvolvimento social e

urbano: período de 1996-

2002

Livro -

430 O setor petroquímico Livro -

428 Os setores de comércio e de

serviços Livro -

425 O setor de celulose e papel Livro -

429 O complexo eletrônico

brasileiro Livro -

BNDES 50 ANOS: HISTÓRIAS SETORIAIS Total 22

JK e o programa

de metas, 1956-

1961: processo de

planejamento e

sistema político

no Brasil

264

JK e o programa de metas,

1956-1961: processo de

planejamento e sistema

político no Brasil

Livro 17

115

El planeamiento em el Brasil.

Observaciones sobre el Plan

de Metas (1956-1961)

Artigo -

JK e o programa de metas, 1956-1961: processo de planejamento e

sistema político no Brasil Total 17

O BNDES e o

Plano de Metas

250 O BNDE e o Plano de Metas

- 1956/61

Capítulo de

livro 7

249 O BNDES e o Plano de

Metas Livro 6

O BNDES e o Plano de Metas Total 13

A reforma do

sistema FAT-

BNDES: críticas

à proposta Arida

204

A reforma do sistema FAT-

BNDES: críticas à proposta

Arida

Artigo 10

679 A proposta Arida para o

BNDES Artigo 2

74

A reforma do sistema FAT-BNDES: críticas à proposta Arida Total 12

Desenvolvimento

econômico e

desenvolvimento

político

540 Desenvolvimento econômico

e desenvolvimento político Livro 10

543

Economic e political

development - a theoretical

approach and a brazilian case

study

Livro -

Desenvolvimento econômico e desenvolvimento político Total 10

O BNDES em

um Brasil em

transição

446 BNDES e emprego Capítulo de

livro 3

596

Os desafios da

sustentabilidade ambiental e

as políticas do BNDES

Capítulo de

livro 2

648 O BNDES em um Brasil em

transição Livro 2

644

O Brasil diante de um novo

ciclo de investimento e

crescimento econômico

Capítulo de

livro 1

594

O papel do BNDES no

desenvolvimento do setor

sucroenergético

Capítulo de

livro 1

253 O BNDES e o apoio às

exportações

Capítulo de

livro 1

595

O "S" do BNDES e a

sustentabilidade do

desenvolvimento

Capítulo de

livro -

589

O BNDES e o mercado de

capitais: uma abordagem

sustentável

Capítulo de

livro -

588

Políticas governamentais

pró-investimento e o papel

do BNDES

Capítulo de

livro -

593

A reestruturação mundial da

indústria automotiva, o Brasil

e o papel do BNDES

Capítulo de

livro -

590

Reflexões sobre a inovação

no Brasil e o papel do

BNDES

Capítulo de

livro -

591 O BNDES e a estruturação

de projetos de infraestrutura

Capítulo de

livro -

592 O BNDES e os novos

caminhos da logística

Capítulo de

livro -

O BNDES em um Brasil em transição Total 10 Fonte: Elaboração Própria a partir do Banco de Dados BNDES.

75

Tabela 21 – Comparação das consultas dos principais documentos no Google Acadêmico

nº citações

Banco de

Dados

Google

Scholar

Quinze anos de política econômica 1982 LESSA, C. 36 216

A industrialização e o desenvolvimento econômico

do Brasil 1988 BAER, W. 36 271

The Brazilian economy: growth and development 2001 BAER, W. 28 648

BNDES, 40 anos: um agente de mudanças 1992 BNDES 26 0

A aplicação de fundos compulsórios pelo BNDES

na formação da estrutura setorial da indústria: 1952

a 1989

1994 MONTEIRO

FILHA, D. C. 26 20

Privatização de recursos públicos: os empréstimos

do sistema BNDES ao setor privado nacional com

correção monetária parcial

1989 NAJBERG, S. 22 20

The Development of the brazilian steel industry 1969 BAER, W. 20 116

BNDES: 50 anos de desenvolvimento 2002 BNDES 18 0

O BNDE e a industrialização brasileira: 1952-1961 1981 VIANA, A. L. D. 18 10

O papel da poupança compulsória no financiamento

do desenvolvimento: desafios para o BNDES 1994

BONELLI, R.,

PINHEIRO, A. C. 18 18

JK e o programa de metas, 1956-1961: processo de

planejamento e sistema político no Brasil 2002 LAFER, C. 17 41

Fontes de recursos do BNDES 1995 PROCHNIK, M. 17 28

The changing role of the State in the Brazilian

economy 1973

BAER, W.,

KERSTENETZKY,

I., VILLELA, A. V.

17 79

A atuação do sistema BNDES como instituição

financeira de fomento no período 1952-1996 1998

CURRALERO, C.

R. B. 16 13

A economia brasileira em marcha forçada 1985 CASTRO, A. B.,

SOUZA, F. E. P. 15 447


76

Anexo III

A análise fatorial de dados permite reduzir o número original de variáveis, de tal

forma que os fatores extraídos possam explicar as variáveis originais. Segundo Johnson

e Wichern (2002) o modelo fatorial para a i-ésima variável pode ser expresso

algebricamente da seguinte forma:26

iimimiiii FlFlFlY ...2211 (1)

Em que: i é a média da variável i; jF representa o j-ésimo fator comum não-

correlacionado, como média zero e variância unitária; ijl é o fator de carga da i-ésima

variável no j-ésimo fator e i é o termo de erro, com média zero, que capta a variação

específica em iY não explicada pelos fatores comuns.

O modelo fatorial implica a seguinte estrutura de covariâncias para a i-ésima

variável:

iimiii lllYVar 22

2

2

1 ...)( (2)

kmimkiki llllYYCov ...),( 11 (3)

ijji lFYCov ),( pi ,...,2,1 e mj ,...,2,1 (4)

Em que: a porção ( 22

2

2

1 ... imii lll ) explicada pelos m fatores comuns é chamada

de i-ésima comunalidade (indica a proporção da variância total da variável que é

explicada pelo conjunto de fatores comuns) e a porção i é chamada de variância

específica.

26 Para maiores detalhes sobre análise fatorial ver: Anderson (1984) e Morrison (1976).

77

As estimativas das cargas fatoriais podem ser obtidas por vários métodos, porém

nesse trabalho empregou-se o método mais comum que são os componentes principais e

utilizou-se a rotação ortogonal Varimax.

Para testar a adequação do modelo de análise fatorial geralmente utiliza-se a

estatística de Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett. O KMO

é um indicador que compara a magnitude dos coeficientes de correlação observados

com as magnitudes dos coeficientes de correlação parcial e varia entre 0 e 1. Pequenos

valores de KMO (abaixo de 0,5) indicam que o uso da análise fatorial não é adequado.

Por sua vez, o teste de esfericidade de Bartlett serve para testar a hipótese nula de que a

matriz de correlação é uma matriz identidade. Se essa hipótese não for rejeitada, o uso

do modelo de análise fatorial deve ser reavaliado.

Na determinação do número de fatores necessários para representar o conjunto

de dados, considera-se a contribuição individual e adicional de cada fator para a

variância explicada do conjunto de dados. Usualmente, consideram-se apenas os fatores

cuja raiz característica é maior que a unidade, isto é, aqueles que correspondem a uma

proporção da variância superior àquela atribuída a uma variável isolada.

78

Anexo IV Uma maneira de avaliar a importância do Banco de Dados construído no projeto

consiste na comparação com outras ferramentas de busca. Para tal exercício, foi

avaliada a qualidade da busca pelos documentos que apresentam a palavra “BNDE” ou

“BNDES” em seu título, nos sites de pesquisa disponíveis na internet. Na Tabela 22,

apresenta-se a síntese desse resultado.

Uma busca simples pela palavra “BNDE” na base JSTOR revela a existência de

154 documentos com essa característica. Deste total avaliado, 42 compõe o atual Banco

de Dados do projeto (27,3%), valor entre parêntesis na tabela. A busca pela palavra

“BNDES” retorna 104 documentos, sendo que 35 compõe o banco (33,7%). Esses

valores encontrados representam os documentos que pertencem ao escopo desse

trabalho. Todo o restante refere-se a documentos de inúmeras áreas do conhecimento,

destacando-se documentos sobre química, física e biofísica, matemática e outras

ciências naturais. Dessa forma, cerca de 70% dos resultados de busca no JSTOR não

são de documentos referentes à literatura econômica associada ao BNDES.

Usando o mesmo critério de busca na base Scielo(BNDE), dos 22 documentos

encontrados na primeira busca, nenhum deles faz menção ao banco. Na grande maioria,

são documentos relacionados ao estudo de nutrientes no solo27. Na segunda consulta,

apesar de 50% dos documentos se referirem ao BNDES, o número absoluto de obras é

bastante baixo. Em relação às buscas na base Science Direct, nota-se um expressivo

aumento do número de documentos encontrados em ambos os casos. Apesar disso, em

termos absolutos a quantidade de documentos que se enquadram no critério de seleção

não é diferente do caso do JSTOR. Com isso, em termos percentuais, cerca de 12% a

13% dos resultados satisfazem o critério de seleção descrito anteriormente. A base Web

of knowledge é muito restrita em relação às demais, sendo que poucos resultados foram

obtidos.

De maneira geral, deriva-se destes resultados uma das principais vantagens do

Banco de Dados construído para a presente pesquisa, uma vez que, além de já incluir os

resultados destas ferramentas de busca, inclui apenas os documentos da literatura

econômica que referem-se ao BNDES e que atendem ao objetivo do projeto.

27 Além disso, muitos dos 22 resultados de busca no Scielo aparecem apenas devido ao financiamento do

BNDES ao longo da pesquisa e, no final dos trabalhos, há um agradecimento ao banco.

79

Tabela 22 – Número de documentos identificados nas principais ferramentas de

busca Palavra

Chave Jstor Scielo Science Direct Web of Knowledge

BNDE 154 (42) 22 (0) 188 (21) 4 (0)

BNDES 104 (35) 10 (5) 437 (59) 5 (1)


Ao considerar as buscas via Google Acadêmico, uma ferramenta de busca

amplamente utilizada, alguns pontos merecem atenção. Em primeiro lugar, a quantidade

de resultados supera a dos demais sites, pois a consulta é realizada em diversos campos

dos documentos, que não apenas o título. Dessa forma, não é possível realizar a mesma

comparação com as demais ferramentas. Os resultados da consulta compreenderam uma

série de documentos que tiveram financiamento do BNDES, documentos que tratam

sobre política e fatos históricos do país, programas de disciplinas de curso superior,

documentos que citam a autores que pertenceram ao banco, trabalhos jurídicos etc.De

fato, grande parte dos documentos identificados na busca não está relacionada à

literatura econômica sobre o papel da instituição. Adicionalmente, em alguns casos

constatou-se também dupla contagem de trabalhos, nos casos em que havia um mesmo

documento com grafia diferente.

Nessa última ferramenta, a consulta por documentos específicos do banco ajuda

a colocar em perspectiva os resultados presentes no banco de dados construído ao longo

do projeto. Os resultados da consulta com base nos principais trabalhos (mais citados)

do Banco de Dados, que serão detalhados e discutidos a frente, apontam para duas

interpretações. Por um lado, trabalhos clássicos sobre o tema geral Economia Brasileira

receberam um número maior de citações, em termos absolutos, nos trabalhos

encontrados pelo Google Acadêmico do que no atual Banco de Dados. Esse resultado

era esperado uma vez que se tratam de importantes referências bibliográficas para

outros inúmeros trabalhos que não tratam da literatura econômica sobre o BNDES. Por

outro lado, contudo, considerando as obras mais citadas no Banco de Dados e que

tratam de especificamente dessa literatura, observou-se um maior número de citações no

Banco de Dados do presente trabalho do que no Google Acadêmico. Esse resultado

reforça o argumento de que o atual Banco de Dados faz uma abordagem mais ampla, no

sentido de conter um maior número de trabalhos sobre o tema, ao mesmo tempo, que

qualifica esses documentos de acordo com o objetivo do levantamento de literatura

acadêmica sobre o BNDES.

80

Anexo V Tabela 23 - Resultado completo da Análise Fatorial

Fator Autovalor %

Variancia Explicada

% Variancia

Acumulada Fator1 2,16 0,13 0,13

Fator2 1,71 0,10 0,23

Fator3 1,33 0,08 0,31

Fator4 1,21 0,07 0,38

Fator5 1,18 0,07 0,45

Fator6 1,11 0,07 0,51

Fator7 1,00 0,06 0,57

Fator8 0,98 0,06 0,63

Fator9 0,96 0,06 0,68

Fator10 0,91 0,05 0,74

Fator11 0,84 0,05 0,79

Fator12 0,79 0,05 0,83

Fator13 0,67 0,04 0,87

Fator14 0,64 0,04 0,91

Fator15 0,54 0,03 0,94

Fator16 0,50 0,03 0,97

Fator17 0,47 0,03 1,00

Documento Fator1 Fator2 Fator3 Fator4 Fator5 Fator6 Fator7 Comunalidade

doc17 0,06 -0,37 0,24 -0,22 0,51 -0,07 -0,15 0,47

doc78 0,47 0,53 0,10 0,09 0,20 0,26 -0,03 0,38

doc84 0,44 0,07 0,46 0,22 -0,02 0,36 0,18 0,38

doc208 0,43 0,10 -0,13 0,22 0,42 -0,15 0,14 0,52

doc243 0,52 0,29 -0,11 0,23 0,12 -0,02 -0,37 0,43

doc258 -0,49 0,50 0,04 0,22 0,10 0,15 -0,23 0,38

doc259 0,46 0,07 -0,33 0,08 0,22 -0,10 0,41 0,44

doc264 -0,12 0,07 0,61 0,20 -0,26 -0,12 0,47 0,26

doc277 -0,15 0,71 0,14 -0,31 0,02 -0,02 0,00 0,35

doc295 0,16 0,26 -0,28 -0,46 -0,34 -0,15 0,22 0,43

doc330 -0,35 -0,21 -0,08 0,12 0,22 -0,09 -0,01 0,75

doc334 -0,23 0,03 -0,41 0,32 -0,07 0,38 0,36 0,40

doc378 0,30 -0,03 0,23 0,42 -0,42 -0,39 -0,29 0,27

doc541 -0,17 0,49 0,06 -0,24 0,06 -0,15 -0,03 0,65

doc566 0,24 -0,25 0,09 -0,29 -0,20 0,68 -0,20 0,25

doc645 0,44 -0,02 -0,37 0,00 -0,41 -0,06 -0,14 0,48

doc851 -0,49 0,14 -0,25 0,41 -0,08 0,15 -0,13 0,47

Estat. KMO 0,56 alpha 0,53 LR chi2(136)= 265,53 Prob>chi2 = 0,00 Fonte: Elaboração Própria a partir do Banco de Dados BNDES.

81

Documents

Levantamento e avaliação da literatura econômica sobre ... · 6 Lista de Figuras Figura 1 - Esquema representativo das fases da montagem do banco de dados do Projeto “Literatura