1

UNIVERSIDADE DE SO PAULO

INSTITUTO DE PSICOLOGIA

MARIA IMACULADA CARDOSO SAMPAIO

Qualidade de artigos includos em reviso sistemtica:

comparao entre latino-americanos e de outras regies

So Paulo

2013

2

MARIA IMACULADA CARDOSO SAMPAIO

Qualidade de artigos includos em reviso sistemtica: comparao

entre latino-americanos e de outras regies (Verso corrigida)

Tese apresentada ao Instituto de Psicologia da Universidade de So Paulo, como parte dos requisitos para a obteno do grau de Doutor em Psicologia.

rea de concentrao: Psicologia Experimental

Orientadora: Profa. Dra. Sonia Beatriz Meyer

So Paulo 2013

3

Autorizo a divulgao total ou parcial deste trabalho, por qualquer meio convencional

ou eletrnico, para fins de estudo e pesquisa, desde que citada a fonte.

Catalogao na publicao Biblioteca Dante Moreira Leite

Instituto de Psicologia da Universidade de So Paulo

Sampaio, Maria Imaculada Cardoso.

Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies / Maria Imaculada Cardoso Sampaio; orientadora Sonia Beatriz Meyer. -- So Paulo, 2013.

223 f. Tese (Doutorado Programa de Ps-Graduao em

Psicologia. rea de Concentrao: Psicologia Experimental) Instituto de Psicologia da Universidade de So Paulo.

1. Trabalho cientfico 2. Psicologia baseada em evidncias 3. Reviso sistemtica 4. Depresso ps-parto 5. Prevalncia 6. Amrica Latina I. Ttulo.

Q180

4

Nome: Sampaio, Maria Imaculada Cardoso Ttulo: Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies

Tese apresentada ao Instituto de Psiclogia da Universidade de So Paulo como parte dos requisitos para a obteno do grau de Doutor em Psicologia

Aprovado em: 4 de outubro de 2013.

Banca examinadora

Prof. Dr Sonia Beatriz Meyer

Instituio: IP-USP

Prof. Dr. Briseida Dogo de Resende

Instituio: IP-USP

Prof. Dr. Piotr Trzesniak

Instituio: UNIFEI

Prof. Dr. Tamara Melnik

Instituio: UNIFESP

Prof. Dr. Adrs Eduardo Aguirre Antnez

Instituio: IP-USP

5

In Memoriam

In Memoriam de Caio Luiz Cardoso Sampaio, meu professor, meu marido, pai dos meus filhos, meu nico e verdadeiro amor.

Nos primeiros dias do nosso namoro, no ano de 1975, o Caio me trouxe USP e me explicou o que era uma Universidade.

Ento Caio, capito estelar, ainda estou aqui na Universidade e ofereo este trabalho a voc!

Ateno senhor Scotty, velocidade de transcorder, preparar para deixar o planeta

Terra, temos uma longa viagem pela frente."

"Para casa - respondeu Kirk.

Para o Universo Alternativo?

O senhor entende isso?

Sim, capito. E concordo com sua partida. S peo que me coloque

desacordado com um disparo de feiser em tonteio antes de partir. Meus agentes

confirmaro qualquer histria que eu contar depois."

(Star Trek Episdios da Srie Clssica)

Nave Star Trek

6

Dedicatria

Dedico esta tese ao Professor Doutor Arrigo Leonardo Angelini que, dentre

tantas coisas maravilhosas que fez pela Psicologia brasileira, no ano de 1954,

realizou uma reviso da literatura sobre O emprego do cido glutmico na terapia

da debilidade mental. O estudo teve como objetivo

...rever e comparar os resultados de tais pesquisas, no sentido de verificar at que ponto so eles concordantes e autorizariam o emprego dessa droga como teraputica da deficincia mental. (Angelini, 1954, p.130)

Muito alm do seu tempo, mesmo sem utilizar o termo reviso sistemtica, o

estudo reuniu e sistematizou 36 artigos sobre o tema e concluiu que:

Smente quando um maior nmero de pesquisas, feitas com o maior rigor cientfico, evidenciarem resultados positivos definidos, e se ficar bem tambm provado que o uso da droga no constitui perigo para a integridade do organismo, ento poderemos empregar o cido glutmico, sem receio, na teraputica da deficincia mental. (p.131)

Penso que a Psicologia Baseada em Evidncias deu seus primeiros passos

no Brasil com este artigo.

7

Agradecimento(s)

Muitas pessoas contriburam para que essa etapa dos meus estudos fosse

concluda, agradeo a cada uma, sensibilizada. Morrendo de medo de ser injusta,

vou agradecer especialmente a algumas pessoas e algumas instituies aqui. Quem

se sentir injustiado, por favor, desculpe-me, foi falha mesmo, nada intencional.

Profa. Dra. Sonia Beatriz Meyer, minha orientadora, que me adotou e foi

competente, envolvida e carinhosa, meu muito obrigada, do fundo do corao.

Gabriela Andrade da Silva, autora da tese irm, como disse a Sonia. Obrigada por

surgir e remodelar meu estudo. J sinto saudades dos nossos cafs, reunio por

Skype noite, e-mails... Ainda bem que temos projetos futuros juntas. Ainda bem!

Aparecida Anglica Paulovic Z. Sabadini, amiga, parceira de tantos projetos,

bibliotecria exemplar, obrigada pela reviso cuidadosa das referncias, leitura

atenta de parte do texto e por ficar comigo at o ltimo minuto.

Aos membros da banca de defesa, que compartilharam comigo um momento nico e

especial da minha vida acadmica e promoveram um debate rico e instrutivo, alm

de fornecerem contribuies excelentes para a verso revisada deste trabalho.

Helina, muito obrigada por arrumar minhas tabelas, figuras, formatar o texto e

cuidar de mim com tanto carinho e dos passarinhos tambm.

Obrigada aos colegas da Biblioteca Dante Moreira Leite: Aline; Ana Rita; Carla;

Cristiane; Elaine; Fernanda; Flvio; Lilian; Lcia; Marcos; Marta; Nilza; Renato;

Roseni; Silvana; Tatiana; Teresa; Vanessa e Wanderley, por todo o apoio e

pacincia nos ltimos tempos, quando minha cabea estava na tese e na tese e na

tese.

Profa. Dra. Emma Otta por ter me apoiado na deciso de fazer meus estudos no

Programa de Psicologia Experimental.

8

Eneida Cardoso Sampaio (In Memoriam) por ter me apresentado

Biblioteconomia e Elza Correa Granja, por me apresentar Psicologia e por terem

me ensinado tantas coisas, agradeo emocionada.

Sonia Maria Caetano de Souza, obrigada pelas orientaes seguras e ateno.

minha me, Maria do Nascimento Leite e meu pai, Jos Leite da Silva (In

Memoriam) por terem me ensinado a nunca desistir e lutar pelo que eu quero. Me,

amo voc, vamos ter mais tempo juntas agora!

Aos meus filhos, Cassio Luiz Cardoso Sampaio e Glauco Luiz Cardoso Sampaio (na

ordem de chegada) simplesmente por existirem, por serem meu orgulho maior, por

fazerem minha vida mais feliz e por terem me trazido duas filhas: Maria Soledad

Zabalza Sampaio e Janana Cipriano. Duas moas lindas e queridas.

minha irm e meus irmos, cunhado, cunhadas e sobrinhos pelo carinho e por

estarem sempre presentes em minha vida.

USP, ao IPUSP e aos seus funcionrios, meus colegas, professores e alunos.

Ao Departamento de Psicologia Experimental do Instituto de Psicologia da

Universidade de So Paulo por me receber com tanto carinho e pelo apoio financeiro

para obteno de artigos por comutao bibliogrfica.

Aos editores e autores que me trouxeram a inquietao para fazer este estudo.

9

Epgrafe

Em princpio, a comunidade cientfica uma repblica democrtica.

Qualquer pessoa com ideias novas ou com crticas vlidas acerca

das ideias correntes pode publicar seu trabalho.

(John Ziman, A fora do conhecimento: a dimenso cientfica da sociedade, 1981)

10

RESUMO

Sampaio, M. I. C. (2013). Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies. Tese de Doutorado, Instituto de Psicologia, Universidade de So Paulo, So Paulo.

Introduo: A qualidade de um artigo cientfico diretamente proporcional qualidade metodolgica e apresentao dos resultados da pesquisa que o originou. Perguntas, ou hipteses, muito bem explicitadas, objetivos claramente definidos, metodologia adequada que conduza aos objetivos propostos, com base em procedimentos metodolgicos rigorosos e suficientemente descritos e justificados, so elementos essenciais no relato de pesquisas. Objetivo: Avaliar a qualidade metodolgica e da apresentao de resultados de artigos sobre prevalncia de depresso ps-parto, includos em reviso sistemtica, comparando artigos latino-americanos e de outras regies. Metodo: O delineamento do estudo foi de pesquisa documental, com anlise crtica da literatura. As etapas de definio das bases de dados, elaborao da estratgia de busca, classificao dos estudos de acordo com os critrios de incluso e anlise dos estudos foram efetuadas por duas revisoras independentes. A qualidade dos artigos foi mensurada de acordo com a Escala de Loney, comparados o desempenho dos artigos latino-americanos e no latino-americanos e a procedncia das revistas que os publicaram. Ttulos, resumos e palavras-chave tambm foram avaliados, em funo de normas internacionais e terminologias da rea. Tcnicas estatsticas foram aplicadas e as hipteses testadas com o uso de testes no paramtricos. Resultados: Foram recuperados 1.894 registros de estudos originais e, aps o processo de seleo, 337 foram includos na reviso sistemtica. Desses, 34 eram estudos latino-americanos que foram avaliados e comparados com uma amostra aleatria pareada de 34 artigos no latino-americanos. A qualidade da apresentao da metodologia e dos resultados dos dois grupos de artigos no apresentou diferena significativa, sendo considerada fraca em ambos os casos. Em relao procedncia das revistas, tambm, no foram encontradas diferenas significativas. Discusso: Artigos cientficos so evidncias que podem apoiar a tomada de deciso, tanto na prtica clnica como na gesto pblica. Para que possam ser utilizados com essa finalidade, a qualidade da metodologia e os resultados devem ser primorosos. Concluso: Revisar o vasto conhecimento psicolgico, gerado nos ltimos anos, em revises sistemticas, narrativas e exploratrias um caminho para o registro e anlise constante dos procedimentos utilizados e das intervenes que podem promover melhorias na qualidade de vida das pessoas. No entanto, a capacidade do pesquisador em desenvolver estudos que produzam resultados confiveis e generalizveis demanda investimentos, tanto na Amrica Latina, quanto em outras regies. Palavras-chave: Trabalho cientfico. Reviso sistemtica. Psicologia baseada em evidncias. Prevalncia. Depresso ps-parto. Amrica Latina.

11

ABSTRACT

Sampaio, M. I. C. (2013). Quality articles included in the systematic review: Comparison between Latin-american and others regions. Tese de Doutorado, Instituto de Psicologia, Universidade de So Paulo, So Paulo.

Introduction: The quality of an article is directly proportional to the methodological quality and to the presentation of its associated research results. Questions or hypothesis well explained, clearly defined objectives, proposed objectives supported by an adequate methodology based on sufficiently described and justified rigorous methodological procedures are all essential elements in the correct presentation of research findings. Objective: Assess the quality of both the methodology and results presentation on articles about postpartum depression, included in systematic review, contrasting Latin-American with foreign articles. Method: The study is of the documentary research type with critical literary analysis. Two independent reviewers performed the definition of the data sources, definition of the search criteria, classification of the studies according to the selection criteria and data analysis. The quality of the articles was measured according to the Loney Scale in comparing the performance of Latin-American and foreign articles and the location of the respective publishing journals. Titles, summaries and keywords were also evaluated in terms of international normative references and field specific terminologies. Technical statistics were applied and the hypothesis tested through the usage of non-parametric tests. Results: 1,894 original study records were retrieved and 337 included in the systematic review after passing through the selection process. Amongst those, 34 were identified as Latin American studies and which were evaluated and compared to a random sample of 34 foreign articles. The quality of both the methodology presentation and results of the two groups or articles did not show a significant difference. In both cases, quality was found to be low. The same results in regards to regional differences could was found when comparing the country of origin of the journals. Discussion: Scientific articles are evidences that can support decision making both in the clinical practice and in public policymaking. That can only be achieved if the quality of methodological quality and results presentation are high. Conclusion: The review of the vast sources of psychological knowledge (created over the last few years) in systematic reviews, narratives and exploratory is a path to record the constant analysis of the utilized procedures and of the intervention methods that could promote quality of life improvements. However, the ability of researchers to develop studies that generate reliable results that can be generalized (both in Latin American and worldwide) requires significant investments. Keywords: Scientific work. Systematic review. Psychology evidence based. Postpartum depression. Prevalence. Latin America.

12

RESUMEN

Sampaio, M. I. C. (2013). Calidad de artculos incluidos en revisin sistemtica:

comparacin entre latinoamericanos y otras regiones. Tese de Doutorado, Instituto de Psicologa, Universidade de So Paulo.

Introduccin: La calidad de un artculo cientfico es directamente proporcional a la calidad metodolgica y a la presentacin de los resultados de la investigacin que lo origin. Preguntas o hiptesis muy bien explicitadas, objetivos claramente definidos, metodologa adecuada que conduzca a los objetivos propuestos con base en procedimientos metodolgicos rigurosos y suficientemente descriptos y justificados, son elementos esenciales en el relato de las investigaciones. Objetivo: Evaluar la calidad metodolgica y la presentacin de resultados de artculos sobre la prevalencia de depresin post parto. Estos artculos han sido sujetos a una revisin sistemtica, comparando artculos latinoamericanos y de otras regiones. Mtodo: El delineamiento del estudio se ha constituido en una investigacin documental con un anlisis crtico de la literatura pertinente. Las etapas de definicin de las bases de datos, elaboracin de la estrategia de bsqueda, clasificacin de los estudios de acuerdo con los criterios de inclusin, y anlisis de los mismos, fueron efectuadas por dos revisoras independientes. La calidad de los artculos fue medida de acuerdo con la Escala de Loney comparando el desempeo de los artculos latinoamericanos y no latinoamericanos y la procedencia de las revistas que los publicaron. Ttulos, resmenes y palabras clave tambin fueron evaluados en funcin de las normas internacionales y terminologas del rea. Tcnicas estadsticas fueron aplicadas y las hiptesis evaluadas con el uso de pruebas no paramtricas. Resultados: Fueron recuperados 1.894 registros de estudios originales y, despus del proceso de seleccin, 337 fueron incluidos en la revisin sistemtica. De stos 34 estudios latinoamericanos fueron evaluados y comparados con la muestra aleatoria pareada de 34 artculos no latinoamericanos. La calidad de la presentacin de la metodologa y de los resultados de los dos grupos de artculos no present diferencia significativa siendo considerada dbil en ambos casos. En relacin a la procedencia de las revistas, tampoco fueron encontradas diferencias significativas. Discusin: Los artculos cientficos son evidencias que pueden apoyar la toma de decisin, tanto en la prctica clnica como en la gestin publica. Para que puedan ser utilizados con esta finalidad, la calidad de la metodologa y los resultados deben ser primorosos. Conclusin: Revisar el vasto conocimiento psicolgico, generado en los ltimos aos en revisiones sistemticas, narrativas y exploratorias es un camino para el registro y anlisis constante de los procedimientos utilizados y de las intervenciones que pueden promover mejoras en la calidad de vida de las personas. No obstante, la capacidad del investigador de desenvolver estudios que produzcan resultados confiables y generables demandan inversiones, tanto en Amrica Latina, como en otras regiones. Palabras clave: Trabajo cientfico. Revisin sistemtica. Psicologa basada en evidencias. Prevalencia. Depresin post parto. Amrica Latina.

13

LISTA DE ILUSTRAES

Figura 1 Mtodos de Pesquisa ......................................................................... 52 Figura 2 Pirmide das Evidncias Cientficas..................................................... 55 Figura 3 Um autor latino-americano diante de editor internacional?................... 79 Figura 4 Fluxograma da seleo de estudos para a reviso sistemtica......... 108

Figura 5 - Universo do estudo comparativo...........................................................144

Figura 6 Frequncia total das pontuaes aos artigos (68), em funo da Escala

de Loney et al. (1998) ............................................................................ 144 Figura 7 Comparao das pontuaes totais obtidas na Escala de Loney et al. (1998) pelos artigos latino-americanos e de outras regioes (em nmeros de artigos)...................................................................................................................151 Figura 8 Comparao das pontuaes totais obtidas na Escala de Loney et al.

(1998) pelas revistas latino-americanas e no latino-americanas (em nmero de artigos)......................................................... ..................... 152

Figura 9 Pontuaes dos artigos em relao ao objetivo do estudo.................... 153

14

LISTA DE TABELAS

Tabela 1 Escala de Qualidade para Avaliao de Artigos Cientficos (ARR).........32

Tabela 2 Diferenas entre a Reviso Sistemtica Clssica e a Reviso Sistemtica

Exploloratria........................................................................................64

Tabela 3 Tipos de Pesquisa Definidos na Fora Tarefa APA.................................64

Tabela 4 Escala de Loney et al. (1998)...................................................................96

Tabela 5 Bases de dados, data de consulta e de registros recuperados 106

Tabela 6 Estratgias de busca para as bases de dados consultadas..................107

Tabela 7 Concordncia entre avaliadoras quanto incluso de estudos pelos

ttulos, resumos e textos completos....................................................109

Tabela 8 Ttulos das revistas e numero dos artigos includos na reviso sistemtica

............................................................................................................111

Tabela 9 Pases em que a coleta de dados dos trabalhos includos na reviso

sistemtica foi realizada......................................................................119

Tabela 10 Data de publicao e frequncia dos estudos includos na reviso

sistemtica..........................................................................................122

Tabela 11 Distribuo dos pases em que a coleta de dados foi realizada: latino-

americanos e de outras regies................ ........................................125

Tabela 12 Distribuio dos artigos conforme o ano de publicao e a origem da

revista.................................................................................................127

Tabela 13 Ttulo e pas e procedncia da revista, frequncia de artigos por revista

e ndices de impacto no JCR (FI), ndice H no SCImago e FI no

SciELO...............................................................................................129

Tabela 14 Ttulo da revista que publicou os estudos latino-americanos, pas e

frequncia de publicao....................................................................133

Tabela 15 Ttulo do estudo latino-americano, revista estrangeira que publicou o

artigo, pas de origem do estudo, nmero de citaes no Google

Acadmico, Scopus e WOK e ano de publicao...............................135

15

Tabela 16 Ttulo do artigo e da revista, pas de origem, nmero de citaes no

Google Acadmico, WOK e Scopus e ano de publicao..................137

Tabela 17 Concordncia entre avaliadoras para os itens da Escala de Loney et al.

(1998)..................................................................................................143

Tabela 18 - Nmero e frequncia de artigos que obtiveram pontuaes em cada

item da Escala de Loney et al. (1998).................................................146

Tabela 19 Frequncia de artigos que realizaram a coleta de dados em pases

latino-americanos e no latino-americanos que obtiveram pontuao

em cada item da Escala de Loney et al. (1998)..................................154

Tabela 20 - Frequncia de artigos publicados em revistas latino-americanas e no latino-americanas que obtiveram pontuao nos itens da Escala de Loney et al. (1998) ...............................................................................157

Tabela 21 - Posicionamento dos estudos latino-americanos e no latino-americanos em funo da Escala Loney et al. (1998)..............................................161

Tabela 22 - Posicionamento dos artigos publicados em revistas latino-americanas e no latino-americanas em funo da Escala de Loney et al. (1998)....161

Tabela 23 - Pases latino-americanos e nmero de registros LILACS e em ttulos de revistas em SciELO..............................................................................176

16

LISTA DE ABREVIATURAS E SIGLAS

ARR - Acceptable, Revise, Reject (escala de avaliao de artigos)

ARRR - Accepted (without revision), Revision (minor), Revision (enough), Rejected (idem ARR, com reviso e ampliao)

APA American Psychological Association

BIREME Centro Latino-Americano e do Caribe de Informao em Cincias da Sade

BVS-PSI ULAPSI Biblioteca Virtual em Sade - Psicologia - Unio Latino-americana de Psicologia

CAPES Coordenao de Aperfeioamento de Pessoal de Nvel Superior

CINAHL Cumulative Index to Nursing & Allied Health Literature

CLASE Citas Latinoamericanas en Ciencias Sociales y Humanidades

Comut Programa de Comutao Bibliogrfica

DECS Descritores em Cincias da Sade

DPN Depresso ps-natal

DPP Depresso ps-parto (em ingls, PPD postpartum depression)

DSM-IV Manual Diagnstico e Estatstico de Transtornos Mentais. 4a Edio

EMBASE Excerpta Medica Database

ERIC Education Resources Information Center

EVIPNet Rede de Polticas Informadas por Evidncias

FAPESP Fundao de Amparo Pesquisa do Estado de So Paulo

FI Fator de Impacto

IC Intervalo de Confiana

IDH ndice de Desenvolvimento Humano

IPUSP Instituto de Psicologia da Universidade de So Paulo

Lilacs Literatura Latino-Americana e do Caribe em Cincias da Sade (base de dados)

MEDLINE Medical Literature Analysis and Retrieval System Online (Sistema Online de Busca e Anlise de Literatura Mdica)

17

MESh Medical Subjects Headings

NLM National Library of Medicines

OMS Organizao Mundial de Sade

PBE - Prticas Baseadas em Evidncias

PEP Psychonalytic Electronics Publishing

PePSIC Peridocos Eletrnicos em Psicologia

PICO Participantes, Interveno, Controle e Outcomes (desfechos)

PNUD Programa da Naes Unidas para o Desenvolvimento

PPBE Prtica da Psicologia Baseada em Evidncias

ProQuest Base de dados de dissertaes, teses e outros tipos de documentos cientficos.

Psicodoc Base de dados do Colgio de Psiclogos de Madrid

PsycINFO Psychological Information (APA)

PsycLIT Psychological Literatura (APA)

PsycNet Rede de Fonte de Informaes da APA

PubMed Base de dados publicada pelo National Center for Biotechnology Information (NCBI) na National Library of Medicine (NLM)

PVO Participantes, Variveis e Outcomes (desfechos)

RedAlyc Red de Revistas Cientficas de Amrica Latina y el Caribe, Espaa y Portugal

SCAD Servio de Acesso ao Documento

SciELO Scientific Electronic Library Online (Biblioteca Cientfica Eletrnica Online)

SciMago - SCImago Journal & Country Rank Portal de indicadores bibliomtricos

SCOPUS Base de dados multidisciplinar, produzida pela editora Elsevier

Sociofile Sociological Abstracts (base de dados)

UNIFESP Universidade Federal do Estado de So Paulo

WOK - Web of Knowledge

WOS - Web of Science

18

SUMRIO

1 APRESENTAO .............................................................................20

2 INTRODUO ...................................................................................25 2.1 O processo de avaliao de artigos cientficos ........................................................... 27 2.2 Avaliao de artigos na rea de Psicologia ................................................................ 37

2.3 Pergunta de pesquisa ................................................................................................ 44 2.4 Tipos de pesquisas utilizados pela cincia psicolgica .............................................. 47

2.5 Reviso Sistemtica: padro-ouro das evidncias cientficas? ................................... 53 2.5.1 Aprendendo com a Medicina Baseada em Evidncias ......................................... 55 2.5.2 Evidncias cientficas: a tomada de deciso nos processos psicolgicos ............ 59 2.5.2.1 Psicologia Baseada em Evidncias ................................................................... 68

2.6 Artigos publicados em revistas latino-americanas contm boas evidncias? ............. 77 2.7 Por qu Prevalncia de DPP? .................................................................................... 80

2.7.1 Estudos de Prevalncia ....................................................................................... 80 2.8 Depresso Ps-Parto: um grave transtorno do humor ................................................ 84

3 OBJETIVOS E HIPTESES ..............................................................87 3.1 Objetivo geral ............................................................................................................. 87 3.2 Objetivos especficos.................................................................................................. 87 3.3 Hipteses ................................................................................................................... 87

4 MTODO............................................................................................88 4.1 Etapas da reviso sistemtica .................................................................................... 89

4.1.1 Formulao da pergunta da reviso sistemtica .................................................. 89 4.1.2 Critrios de incluso dos trabalhos ...................................................................... 89 4.1.3 Bases de dados selecionadas .............................................................................. 91 4.1.4 Definio da estratgia de busca ......................................................................... 92 4.1.5 Confronto de duplicidades ................................................................................... 93 4.1.6 Armazenamento e gerenciamento dos dados dos registros ................................. 93 4.1.7 Triagem pelo ttulo do trabalho ............................................................................. 94 4.1.8 Triagem pelo resumo ........................................................................................... 94 4.1.9 Obteno dos textos completos ........................................................................... 94 4.1.10 Avaliao do texto completo .............................................................................. 95 4.1.11 Incluso de outras variveis para avaliao metodolgica ............................... 101 4.1.12 Verificao do nvel de concordncia entre as revisoras .................................. 102

4.2 Procedimentos especficos deste estudo comparativo ............................................. 102 4.2.1 Universo do estudo ............................................................................................ 103 4.2.2 Instrumentos ...................................................................................................... 103 4.2.3 Critrios de seleo ........................................................................................... 103

4.3 Avaliao da qualidade de forma ............................................................................. 103 4.4 Anlise dos dados ................................................................................................... 104

5 RESULTADOS ................................................................................. 105 5.1 Resultados gerais da reviso sistemtica ................................................................. 105

19

5.2 Seleo dos estudos ................................................................................................ 108 5.3 Anlises descritivas da Reviso Sistemtica ............................................................ 110 5.4 Resultados da qualidade de artigos includos na reviso sistemtica ....................... 124 5.5 Qualidade metodolgica e da apresentao dos resultados dos estudos ................. 140 5.6 Testes de hipteses ................................................................................................. 150 5.7 Anlise da qualidade dos ttulos, resumos e palavras-chave dos artigos ................. 162

5.7.1 Avaliao dos ttulos dos artigos ........................................................................ 163 5.7.2 Avaliao dos resumos dos artigos .................................................................... 164 5.7.3 Avaliao das palavras-chave dos artigos ......................................................... 167

6 DISCUSSO .................................................................................... 168 6.1 Buscando a literatura para a reviso sistemtica ...................................................... 170 6.2 Diminuindo os vieses de seleo: concordncia entre avaliadoras........................... 173 6.3 Presena de estudos latino-americanos na reviso .................................................. 175 6.4 Publicao em ingls e impacto dos artigos latino-americanos ................................ 177 6.5 Avaliao de contedo e busca por evidncia cientfica ........................................... 180 6.6 Qualidade de forma: ttulos, resumos palavras-chave .............................................. 185

7 CONCLUSO ............................................................................. 186 7.1 Direes Futuras ...................................................................................................... 189

REFERNCIAS ................................................................................... 191

APNDICE A - Instrues para seleo e anlise dos estudos ..... 204

APNDICE B - Referncias dos estudos avaliados ........................ 217

20

1 APRESENTAO

Esta tese um conjunto de textos organizados de acordo com normas e

procedimentos, encerra um ciclo da minha vida, um importante ciclo, por isso vou me

permitir falar na primeira pessoa do singular nesta seo do trabalho. Foi realizada

no Programa de Ps-Graduao em Psicologia Experimental, do Instituto de

Psicologia da Universidade de So Paulo, sete anos depois da concluso do meu

mestrado, na Escola de Comunicao e Artes da mesma Universidade, na qual

tambm conclui a graduao, no ano de 1989. Portanto, minha formao na rea

de Comunicao, precisamente, em Cincia da Informao ou Biblioteconomia.

Fazer o doutorado em Psicologia foi uma forma de me aproximar ainda mais da rea

que atuo h 23 anos, desde que me formei bibliotecria, e realiza dois desejos: 1)

colocar em prtica o que temos tentado mostrar nos cursos que oferecemos sobre

escrita cientfica; 2) aprender mais sobre uma rea que vem despertando muito meu

interesse: o uso de evidncias cientficas na tomada de deciso em sade. Claro

que preenche uma lacuna que considero importante na minha formao: operar no

universo da pesquisa e usar o mtodo cientfico, efetivamente.

Afinal, o que uma tese? Tem origem na palavra grega Thesis e quer dizer

proposio. Consiste numa assero discutida e defendida por algum, com base

em hipteses ou pressupostos e, atualmente, encerra um ciclo de estudos

acadmicos em uma determinada universidade. Entre o incio dos meus estudos

ps-graduados e a concluso desta tese, muitas coisas aconteceram.

Desde o projeto inicial para participao do processo de seleo, denominado:

Psicologia Latino-Americana Baseada em Evidncias: Diretrizes para uma Prtica

em Prol de Melhores Condies de Vida finalizao deste trabalho, algumas

coisas mudaram e outras permaneceram inalteradas. Das coisas que mudaram e

que gostaria de destacar foi a chegada minha vida acadmica e pessoal de uma

colega de turma que se tornou pea essencial deste estudo e da qual jamais

esquecerei. Na verdade, Gabriela Andrade da Silva, foi a minha co-orientadora e me

ensinou muitas coisas. Interferiu na transformao do meu projeto, dos meus

objetivos, auxiliou-me a redefinir minhas hipteses, e, principalmente, apresentou-

me a uma rea nunca antes apreendida: a prevalncia da depresso ps-parto. Do

projeto inicial ao estudo aqui apresentado as mudanas foram profundas e o

aprendizado imenso.

21

Outra mudana a ser comemorada foi a chegada da professora Sonia Beatriz

Meyer no meu projeto. Do pouco contato que eu tinha com a Sonia inicialmente, at

as interferncias que ela fez no meu texto, sugerindo, questionando e participando

ativamente da construo do trabalho, houve uma trajetria de surpresas felizes.

Tenho a plena convico que a providncia a colocou no meu caminho para

colaborar muitssimo na remodelao do meu projeto. Sonia Meyer, sua presena

forte nesta tese!

Dentre as mudanas, duas convices se mantiveram firmes e inabalveis: 1) a

de querer aprender e falar da Psicologia Baseada em Evidncias, e 2) a de verificar

se estudos latino-americanos apresentam diferenas de qualidade em relao aos

no latino-americanos.

Buscar caminhos para incrementar o interesse de pesquisadores e autores da

rea de Psicologia pela Psicologia Baseada em Evidncias, que uma rea

importante e necessria para a regio, foi uma das motivaes deste estudo. Para

tanto, era necessrio avaliar artigos cientficos, pois so essas as evidncias

consideradas mais vlidas na atualidade.

A oportunidade de participar de uma reviso sistemtica, discutindo cada etapa

com a Gabriela, definindo critrios, buscando nas bases de dados, avaliando os

artigos por ttulo, pelo resumo e, finalmente, pelo texto completo, foram lies que

levarei para o resto da minha vida. Enquanto esse percurso era percorrido, eu ia

aprendendo sobre prevalncia, depresso ps-parto, taxas de concordncia entre

avaliadores, tcnicas de amostragem, taxas de perdas, sensibilidade, especificidade,

intervalo de confiana e outras variveis que faziam parte do estudo. Assim, quando

me perguntam: Por que prevalncia de depresso ps-parto?, eu respondo: O

motivo foi o de participar de uma reviso sistemtica e a prevalncia de depresso

ps-parto foi a oportunidade que eu tive de estudar uma rea nova e que integra a

Psicologia com a Cincia da Informao. Participar de todas as etapas de uma

reviso sistemtica foi uma oportunidade mpar de aprendizado. Mesmo que no

houvesse a tese, o conhecimento adquirido j teria valido o esforo.

Os objetivos de fortalecer a pesquisa de processos comportamentais bsicos

em nosso pas, com o sentido de se obter independncia na soluo de problemas,

atravs da produo do conhecimento cientfico e a partir das oportunidades

criadas por esse fortalecimento, formar novos pesquisadores e docentes,

qualificados para difundir e multiplicar esse conhecimento em outros centros do pas

22

e derivar desse conhecimento a soluo prtica de problemas sociais e regionais,

declarados na pgina web do Programa de Ps-graduao em Psicologia

Experimental, do Instituto de Psicologia da USP,1 tambm chamou minha ateno e

despertou-me um interesse em realizar meus estudos no programa.

A interao com profissionais da informao, pesquisadores, professores,

editores e autores responsveis pela gerao do conhecimento cientfico na rea de

Biblioteconomia e Psicologia, promovida pela minha atuao como bibliotecria e

pela coordenao da Biblioteca Virtual em Sade Psicologia (BVS-Psi), do Brasil e

da Amrica Latina, alm da participao na Diretoria da Associao Brasileira de

Editores Cientficos de Psicologia (ABECiPsi), desde seu nascimento, em 2006,

permitiu-me assistir, fascinada, a realizao de sonhos e acompanhar a eterna luta

pela melhoria da qualidade das revistas cientficas latino-americanas. A defesa da

visibilidade do nosso conhecimento tambm uma batalha a qual acompanho com

muito interesse. Tudo isso me encorajou a avanar na empreitada deste trabalho.

Assim, ainda que modestos e parciais, entrego os resultados dos meus

estudos, esperando ter contribudo, minimamente, para ampliar a discusso sobre a

qualidade de artigos cientficos e, tambm, em uma rea que tende a se fortalecer e

se expandir: a Psicologia Baseada em Evidncias. A Cincia da Informao tambm

ser impactada pelo avano dessa nova rea, afinal, estamos falando de informao

na tomada de deciso.

No segundo Captulo, o assunto introduzido e as caractersticas dos artigos

cientficos so apresentadas. O sistema de reviso por pares, algumas escalas para

reviso de manuscritos e um breve relato do processo de avaliao das revistas de

Psicologia, ilustram parte do captulo. O problema da retratao de artigos e a m

conduta de autores so brevemente introduzidos. Em seguida, as partes que

compem o artigo cientfico, com nfase para mtodos utilizados pela Psicologia

esclarecem o leitor. As evidncias cientficas na tomada de deciso nos processos

psicolgicos e como instrumento da gesto de polticas pblicas ganham nfase e

relevncia no texto. lanada uma pergunta sobre as revistas latino-americanas

publicarem boas evidncias e uma breve explicao sobre prevalncia e depresso

ps-parto encerram o captulo. Em meio s definies e s fundamentaes, a

literatura revisada.

1 http://www.ip.usp.br/portal/index.php?option=com_content&view=article&id=975%3Aobjetivos-do-programa&catid=191&Itemid=114&lang=pt

23

O objetivo geral e os especficos que guiaram o desenvolvimento do estudo

com as trs hipteses testadas no trabalho formam o Captulo 3.

O mtodo de pesquisa utilizado foi descrito em detalhes no Captulo 4. Estudos

transversais de anlise crtica da literatura, que podem, tambm, ser chamados de

delineamentos de pesquisa documental, so aqueles cujos objetivos e hipteses

verificam-se pela anlise de documentos bibliogrficos ou no bibliogrficos,

demandando uso de metodologia adequada. A coleta, seleo, organizao e

anlise dos dados foram feitas de forma sistematizada para se chegar aos

resultados esperados e descritas nesse captulo.

Os resultados compem o Captulo 5, quando dados gerais da reviso

sistemtica, que embasou o trabalho de Gabriela, e os que compararam artigos

latino-americanos e de outras regies, so apresentados. As buscas bibliogrficas, a

seleo dos textos para avaliao, os critrios de incluso, a concordncia entre as

revisoras, as estatsticas descritivas e os testes de hipteses so apresentados. A

anlise dos ttulos, resumos e palavras-chave encerram esta parte da tese.

As discusses dos principais resultados e o dilogo com autores que

desenvolveram estudos de natureza semelhante conformam o Captulo 6. A

presena de estudos latino-americanos na reviso sistemtica e a importncia da

qualidade metodolgica e da apresentao dos resultados em artigos cientficos,

que os habilitam a serem usados como evidncias na tomada de deciso em gesto

e polticas pblicas, so debatidas.

O Captulo 7 conclui a tese e refora a necessidade de a Psicologia latino-

americana se apoderar das tcnicas de reviso sistemtica para aplicao da

Psicologia Baseada em Evidncias como ferramenta de apoio ao avano das

pesquisas e na soluo de problemas comuns da populao da regio. Para finalizar

so apresentadas algumas direes de estudos futuros que apontam para a

importncia em se desenvolver protocolos de verificao de qualidade metodolgica

e da apresentao de resultados em todas as reas, para que sejam utilizadas por

pesquisadores ainda na fase de definio da metodologia de estudos em

andamento. Sugesto para que a reviso integrativa seja adotada em estudos na

rea tambm foi oferecida. Parcerias entre pesquisadores de Psicologia e

profissionais da informao so sugestes para ampliao da construo de estudos

acadmicos de interesse para as reas de atuao desses profissionais. Finalmente,

feito um apelo para que a comunidade cientfica, as agncias de fomento e os

24

programas de ps-graduao revejam alguns critrios de avaliao da produo

cientfica dos cientistas, pesquisadores e docentes, considerando a qualidade dos

estudos e desestimulando o produtivismo exagerado, que valoriza os aspectos

quantitativos em prol dos qualitativos.

25

2 INTRODUO

A qualidade de um artigo cientfico diretamente proporcional qualidade

metodolgica e apresentao dos resultados da pesquisa que o originou. A

qualidade cientfica de uma pesquisa e do artigo que a divulga resulta,

fundamentalmente, da sua validade externa (o poder de generalizar os resultados) e

da sua validade interna (se efetivamente est sendo medido o que se deseja

mensurar) (Hoppen, 1998, p. 155). A relevncia do tema de pesquisa, apresentado

em um objetivo muito bem definido, as teorias e os estudos que sustentam a

importncia da pesquisa, embasados em uma reviso da literatura atualizada e

julgada com critrios rigorosos de seleo, metodologia consistente, se possvel

testada em pesquisas anteriores, coleta e anlise de dados com o mnimo de vis e

profundidade, alm do poder de sntese dos resultados, so caractersticas que

permitem avaliar a qualidade da apresentao de um relato de pesquisa. A

habilidade do pesquisador (autor) em sintetizar e redigir corretamente, de

preferncia baseada em diretrizes especializadas, cada uma dessas partes da

pesquisa no bom artigo cientfico, faz a diferena do relato.

O artigo cientfico o meio por excelncia para publicao de resultados de

pesquisas, relatos de experincia profissional, reviso de teorias/temas e outros

tipos de contribuies que pesquisadores e profissionais entregam sociedade.

um texto tcnico-cientfico, escrito por um ou mais autores, de acordo com as

normas editoriais de uma determinada revista. Pode ser o resultado de uma

pesquisa cientfica, da reviso ou da reflexo sobre um determinado tema ou teoria,

que so apresentados em forma de artigos empricos originais, de reviso ou

tericos (Sabadini, Sampaio, & Koller, 2009a). O Dicionrio de Biblioteconomia e

Arquivologia resume: artigo cientfico um texto escrito que foi aprovado para

publicao ou publicado num peridico cientfico (Cunha & Cavalcanti, 2008, p. 32).

A breve definio deixa claro que o artigo cientfico passa por um processo de

avaliao, pois necessita ser aprovado. A avaliao antes da aprovao a grande

diferena do artigo cientfico em relao aos outros tipos de publicao cientfica.

Especialistas avaliam o texto e emitem pareceres antes da publicao, validando o

conhecimento ali registrado e contribuindo com sua experincia para a melhoria do

texto.

26

Escrever um artigo cientfico muito diferente de escrever um poema, conto,

romance ou fico. No depende tanto de talento, embora esse seja um facilitador

para autores de qualquer tipo de escrita. A criatividade tambm um fator que

auxilia na redao de bons artigos cientficos. A vantagem que autores podem ser

formados e treinados na tarefa de redao de textos de qualidade. Um conjunto de

regras, normas e procedimentos conduz a redao dos artigos e serve de orientao

para os autores menos experientes. De qualquer forma, depende de habilidades,

mas o interessante que essas podem ser desenvolvidas e melhoradas com a

prtica, no dependendo tanto de vocao.

Quando a velocidade de gerao do conhecimento cientfico j no permitia a

demora para publicar o livro nasceu, por sua vez, a conscienciosa inveno do

artigo cientfico, meio de transmitir e preservar os conhecimentos que passavam a

crescer com rapidez maior do que permitiria transp-los para a forma de livros

(Price, 1976, p. 101). A cincia um empreendimento humano que busca

compreender e explicar os fenmenos e descobrir a ordem das coisas. A matria

prima que alimenta a cincia so todas as outras contribuies j dadas por seus

contemporneos e predecessores (Price, 1976, p.117). Se o principal resultado do

trabalho de pesquisa de um homem o conhecimento, podemos dizemos que esse

homem est dedicado cincia, logo um cientista. Os trabalhos em andamento,

ou aqueles que o pesquisador (no havia mulheres na cincia, ainda...) decidia

compartilhar, eram lidos nas reunies das sociedades cientficas. Para ampliar a

audincia, as Sociedades passaram a publicar as atas das reunies. Por isso,

muitas revistas tinham o nome, e tm at hoje, de Atas...(contribuio direta de Piotr

Trzesniak).

Como vimos, o artigo se diferencia dos outros tipos de trabalhos cientficos

pelo processo de avaliao ao qual submetido. Esse tipo de avaliao recebe o

nome de peer-review (em ingls), que significa reviso por pares, ou referee system,

sistema de arbitragem, que a reviso feita por especialistas antes da aceitao ou

da rejeio de um manuscrito para publicao em uma revista cientfica (Pessanha,

1998). No entanto, outros processos de avaliao esto ganhando fora atualmente,

o que podemos chamar de avaliao de contedo ps-publicao. Deste trataremos

mais frente, agora vamos discutir sobre como teve incio o processo de avaliao

por pares, considerado o meio por excelncia de avaliao de artigos cientficos.

27

2.1 O processo de avaliao de artigos cientficos

Na produo cientfica, a quantidade e a qualidade so aspectos centrais em

qualquer rea do conhecimento, pois so indicadores do seu vigor, constituindo-se

em parmetro para sua mensurao e caminho para o seu desenvolvimento

crescente (Soares, Victoria, Cavalieri, & Bottino, 2006). Em relao quantidade,

Price (1976) analisou matematicamente o crescimento exponencial das revistas

cientficas e criticou: At agora nada se disse da qualidade da pesquisa, em

oposio sua quantidade. Qualidade, naturalmente, algo muito mais difcil,

naturalmente, de determinar e exigir investigao muito mais sria do que tem

merecido (p. 163). Price gostaria de saber que, no ano de 2010, Haslam e Laham

exploraram sistematicamente a relao entre quantidade versus qualidade versus

impacto de publicaes acadmicas. Os autores analisaram o estilo da redao e o

prestgio institucional dos autores, por meio dos ndices bibliomtricos, embora

alertassem que os fatores de impacto no capturam as complexidades

multidimensionais da qualidade dos artigos. Elegeram uma amostra intencional de

86 psiclogos sociais com grau de doutorado e analisaram suas publicaes na Web

of Knowlodge (WOK), antes e depois do doutoramento. A quantidade de artigos

publicados foi um forte preditor do impacto no grupo de pesquisadores, embora os

autores argumentem que a qualidade tambm limitada, pois uma revista com fator

de impacto alto pode apresentar artigos com impacto modesto. Essa descoberta

implica que a qualidade e a quantidade refletem maior realizao cientfica:

pesquisadores mais realizados tendem a publicar mais artigos e a faz-lo em

revistas de maior prestgio. Concluem que qualidade e quantidade de publicaes

no so fatores antagnicos, mas alertam que as descobertas no significam que

pesquisadores devem apontar para a quantidade acima de tudo Artigos que

aparecem em revistas melhores' so, em mdia, mais impactantes, mesmo

sabendo que a qualidade das pesquisas no pode ser reduzida aos ndices

bibliomtricos. Price, provavelmente, ficaria confuso em relao validade desses

ndices, mas certamente concluiria que ainda no com o fator de impacto que o

problema da avaliao da qualidade est resolvido. O problema da qualidade do

artigo no pode ser resolvido por nada feito depois que ele publicado. FI um

indicador post-mortem, no influi na qualidade. apenas uma tentativa (meio

fracassada) de avali-lo (contribuio de Piotr Trzesniak).

28

Vale esclarecer que o Fator de Impacto (FI) (de dois anos) de uma revista

um indicador bibliomtrico utilizado para medir as citaes a um determinado

peridico. calculado dividindo-se o nmero de citaes recebidas por um peridico

em um determinado ano pelo nmero de artigos publicados por ele nos dois anos

anteriores (Sampaio & Sabadini, 2009, p. 108). O impacto de um artigo pode ser

medido pelo nmero de vezes que o mesmo citado por outros trabalhos. Antes

restritas s bases de dados WOK e Scopus, atualmente, o Google Acadmico faz

essas medies tambm, com a (des)vantagem de considerar todas as publicaes

que ele localiza na Internet, independente de indexao nas bases de dados. Vale

lembar que no considera todas as disponveis, s as que ele encontra e consegue

medir.

O primeiro modo para transmisso de ideias entre os cientistas foi a

correspondncia pessoal. As cartas eram trocadas entre os homens da cincia e a

comunicao com os amigos era utilizada para se fazer o relato e a discusso das

descobertas cientficas, o que ficava restrito a pequenos grupos de interessados que

discutiam essas ideias e, quase sempre, concordavam entre si (Stumpf, 1996). Essa

troca informal de informao, a respeito das novas experincias, foi muito bem

recebida pela comunidade cientfica e permitiu maior divulgao a respeito do que

se fazia na Europa, naquele tempo, em termos de cincia. Como eram grupos de

amigos, as informaes eram disseminadas de maneira dirigida, uma vez que seus

autores nunca as enviavam para aqueles que pudessem refutar suas teorias ou

rejeitar seus experimentos. As descobertas cientficas eram ...limitadas a um

pequeno crculo de pessoas, essas dissertaes epistolares, no se constituram

no mtodo ideal para a comunicao do fato cientfico e das teorias (Stumpf, 1996,

p. 383). ...a correspondncia atravs de trocas de cartas entre cientistas e

estudiosos foi criada e mantida por trinta anos, graas a Pre Mersenne (1588-

1648), o que deu incio primeira rede de cientistas (Beaulieu, 1995; Maury, 2003

citados por Bgault, 2009, p. 92). Estava formado o colgio invisvel, to bem aceito

e popular no meio acadmico e cientfico.

Embora diferente da troca das cartas pessoais do incio do sculo XII,

podemos questionar se no acontece coisa semelhante com algumas revistas na

atualidade, pois, at hoje, algumas no enviam os artigos para avaliao externa e

publicam artigos de acordo com os interesses do editor. O envio dos manuscritos

29

para que os pares avaliem e deem pareceres uma forma de minimizar o problema

da amizade cientfica e dar maior credibilidade s descobertas da cincia.

O processo de avaliao da produo cientfica surgiu de forma embrionria,

juntamente com a publicao das primeiras revistas cientfica, no sculo XVIII. Em

1731, a Royal Society of Edinburgh publicou no prefcio do primeiro volume da

revista Medical Essays and Observations um procedimento para seleo de artigos

baseado na reviso por especialistas de fora da instituio. A identidade do revisor

no era informada, somente o parecer era enviado ao autor. Vinte anos depois, a

Royal Society of London estabelecia o processo de reviso dos textos por juzes

externos. Nascia um processo de avaliao de manuscritos que ganharia forma e se

tornaria o modo mais utilizado de seleo de artigos para publicao de todos os

tempos.

Os revisores so juzes encarregados de avaliar a qualidade do produto

cientfico e so parte do controle social, pois avaliam seus pares em todos os

mbitos institucionais e distribuem as recompensas (Davyt & Velho, 2000). No caso

do artigo cientfico, a recompensa a aceitao para publicao. A reviso por

pares definida, segundo Davyt e Velho (2000), como a anlise por iguais, ou

ainda como mecanismo auto-regulador da cincia moderna. , tambm,

um mtodo organizado para avaliar o trabalho cientfico, que usado pelos cientistas para garantir que os procedimentos estejam corretos, estabelecer a plausibilidade dos resultados e distribuir recursos escassos como o espao em revistas, fundos de pesquisa, reconhecimento e reputao. (Chubin & Hackett, 1990, p. 2)

O sistema de assessores, ou revisores, no apareceu tal como conhecido

hoje, mas tem se modificado ao longo da histria, em resposta ao desenvolvimento

da prpria instituio cientfica e dos seus contextos (Davyt & Velho, 2000;

Zuckerman & Merton, 1971). O processo objetiva verificar se o tema relevante,

original, e se o texto fornece informaes, argumentos e interpretaes que

constituam apoio suficiente para as concluses. A reviso visa a contribuir com a

construao do conhecimento, mais do que a mera deciso de publicar ou no. O editor. a seu juzo, tem o poder de concordar ou discordar do parecer, sejam eles

positivos ou negativos. O parecerista pode, por exemplo, estar defendendo ou

protegendo um autor ou bloqueando uma nova ideia. Pode ainda estar acontecendo

um Conflito de interesses entre o autor e o parecerista, seja de ordem pessoal,

30

econmica, ideolgica e cultural. Nesse caso, editores enfrentam a difcil tarefa de

detect-los e contorn-los a fim de garantir a qualidade e a credibilidade da revista

(Reiners et al., 2002, p. 4).

A avaliao final sempre do editor e o reconhecimento e respeito por seu

trabalho vai depender de sua postura tica e conhecimento da rea. Em relao

questo tica na publicao e o conflito entre autores, editores e pareceristas, muito

se tem debatido, porm, o consenso est distante de ser estabelecido (Buela-Casal,

2003; Goldenberg, 2001; Greene, 1998; Rodrigues, Crespo, & Miranda, 2006;

Werneck, 2006). O que permeava as cartas aos amigos do incio das publicaes da

cincia, hoje chamado de conflito de interesse, e muitas revistas exigem que os

autores declarem no haver tal conflito na redao do seu trabalho. Rodrigues et al.

(2006) demonstram a preocupao com o assunto e enfatizam a

necessidade de verificar como ocorre o jogo de interesses, quando maus profissionais utilizam-se de associaes de classe para promoo mtua e aproveitam-se desse respaldo, ou mesmo de sua incluso em corpos editoriais de peridicos, para restringir a publicao de inimigos, de posies tericas diferentes das suas. (p. 38)

Outra preocupao dos editores reside na situao em que o revisor compete

com o autor em um mesmo tema e pode dirigir o parecer contrrio publicao do

manuscrito. Embora a reviso seja s cegas, ou duplo-cego, dificultando ao revisor

identificar o autor, muitas vezes, pelo assunto, pelas referncias citadas no trabalho

ou apenas buscando o ttulo ou alguma frase peculiar na web, possvel identificar a

autoria (Martnez, 2012).

Desde que surgiu, o processo de reviso de manuscritos antes da publicao

tem sido aprimorado e diversas revistas publicam roteiros para auxiliar os revisores

na rdua tarefa. Trata-se de preocupao legtima, que interfere diretamente na

qualidade do conhecimento cientfico. Os aspectos a serem analisados em um

manuscrito diferem de rea para rea, mas alguns pontos so comuns e no podem

ser desconsiderados.

No ano de 1956, Dvorak publicou um guia para analisar relatos de pesquisas.

O autor argumentava que os estudantes de doutorado tinham dificuldade para

selecionar um problema de pesquisa, preparar a metodologia, coletar, processar e

interpretar dados e escrever o relatrio, denominado por ele de tese. Sugeria que os

estudantes tivessem aulas para adquirir experincia como pesquisadores e aulas de

31

redao de textos cientficos. Dvorak se surpreenderia se soubesse que, passados

quase 60 anos da criao de sua escala, a problemtica continua, acentuada por

uma necessidade imensa de se produzir muito para ser bem avaliado.

Johnson (1957) estudou a habilidade de estudantes do curso de mtodos de

pesquisa em educao para avaliar e criticar artigos de pesquisa; concluiu que eles

necessitavam de treinamento para desenvolverem a atividade. Com o objetivo de

facilitar a capacitao dos alunos na tarefa, ele desenvolveu um mtodo para avaliar

artigos de pesquisas cientficas no campo da Educao, como forma de preparar os

alunos na elaborao do texto cientfico.

O Report of the Committee on Evaluation of Research, de autoria de Wandt

e colaboradores (1967), relata o procedimento desenvolvido para avaliar a qualidade

das pesquisas publicadas em revistas da rea educacional. Os artigos foram

avaliados mediante uma escala, com cinco caractersticas, que pontuava a

qualidade da publicao. A tabela 1, adaptada do Report apresenta a escala.

32

Tabela 1 - Escala de Qualidade para Avaliao de Artigos Cientficos (ARR)

Nvel de qualidade Descrio

5 Excelente - um modelo de boas prticas

4 Bom - poucos defeitos

3 Medocre - nem bom, nem ruim

2 Pobre - alguns defeitos graves

1 Completamente incompetente - um exemplo horrvel

Nota. Tabela traduzida e adaptada de An evaluation of educational research published in journals. Report of the Committee on Evaluation of Research, de Wandt et al., 1967, American Educational Research Association (Unpublished), p. 3. Recuperado de http://www.indiana.edu/~educy520/readings/wandt65.pdf

Da amostra de 125 artigos, publicados no ano de 1962, em revistas da rea

de Educao, os especialistas encontraram 19% aceitveis (aceitvel para

publicao sem reviso), 41% com reviso (aceitvel para publicao depois de

reviso) e 40% rejeitado (no aceitvel para publicao). Das iniciais das palavras

Acceptable, Revise e Reject surgiu a sigla ARR, que deu nome escala. Foram

identificadas 25 caractersticas nos 125 artigos publicados. Os procedimentos

organizados e detalhados se transformaram em um relevante guia para avaliao do

relato de pesquisas na rea.

Em 1971, Ward, Hall e Schramm replicaram o estudo conduzido em 1962

pelo Committee of the American Educational Research Association (AERA) e

avaliaram a qualidade das pesquisas de Educao por meio de artigos publicados

em revistas cientficas especificas da rea. Foram avaliados 121 artigos que

cumpriam os requisitos definidos para a seleo da amostra. Considerando novas

demandas da comunidade cientfica, a Escala ARR foi aplicada com uma ampliao

no nmero de itens a serem avaliados, passando de 25 na primeira escala para 33

no estudo de 1971. Com os oito itens includos pelos pesquisadores, a escala

avaliou: ttulo, problema da pesquisa, reviso da literatura, procedimentos, anlise

de dados, concluso, forma e estilo. A nova escala gerou um item a mais tambm na

classificao dos artigos: 1) aceito para publicao sem reviso (A); 2) aceito para

publicao com pequena reviso (R); 3) aceito para publicao com bastante

33

reviso (R); e 4) rejeitado (R), e passou a ser denominada Escala ARRR (Ward et

al., 1975).

Hall, Ward e Comer (1988) retomaram a questo da avaliao da qualidade

do relato das pesquisas na rea educacional e explicaram que numerosos guias

haviam sido desenvolvidos nos ltimos 20 anos, enfatizando o trabalho do

Committee on Evaluation of Research, American Educational Research Association

(AERA). Os autores compararam os resultados encontrados aos de 1971, e

publicados em 1975, por Ward et al. A amostra foi composta por 128 artigos

submetidos Escala ARRR e analisados segundo os mesmo critrios, sem

nenhuma inovao. Os autores concluram que houve melhoria na qualidade das

pesquisas publicadas entre 1971 e 1983, data de coleta dos dados da ltima anlise,

e comentaram que 75% dos juzes, consultados no ano de 1983, eram revisores ou

editores de revistas, o que pode ter favorecido os resultados da avaliao.

Objetivando avaliar o estado da arte da rea de conhecimento de Sistemas

de Informao, no Brasil, Hoppen (1998, p. 151) analisou 163 artigos publicados em

revistas cientficas de Administrao, nos anos de 1990. Foram estudados os temas

abordados, as estratgias de busca e as metodologias utilizadas nas pesquisas

empricas que resultaram em artigos. Dentre diversas variveis, o autor constatou

que a qualidade cientfica dos artigos ainda baixa, em razo da no explicitao

de como as teorias de base so operacionalizadas, da descrio incompleta dos

procedimentos metodolgicos e da no validao dos instrumentos de pesquisa (p.

151).

Na metade dos anos de 1990, foi constitudo um grupo internacional de

pesquisadores de ensaios clnicos, estatsticos, epidemiologistas e editores da rea

de biomdicas que, em 1996, apresentou as normas conhecidas como Consolidated

Standards of Reporting Trials (CONSORT) ou Padronizao Consolidada dos

Ensaios Clnicos. O objetivo era o de criar normas para melhorias da comunicao e

anlises de ensaios clnicos. Sua ltima atualizao foi no ano de 2011. O

CONSORT apoiado por diversas revistas da rea mdica, que exigem que os

ensaios clnicos sejam registrados em algum site ou rgo regulamentador para

serem publicados, e tem a adeso de grupos editoriais, incluindo o Comit

Internacional de Editores de Revistas Mdicas, o (ICMJE, O Grupo de Vancouver), o

Conselho de Editores Cientficos (CSE), e a Associao Mundial de Editores

Mdicos (WAME) (Candeiro et al., 2011). A utilidade de CONSORT reforada por

34

um acompanhamento contnuo da literatura biomdica, que lhe permite ser

modificada dependendo dos mritos para manuteno dos indicadores ou

agregando novos itens, quando necessrio. A abordagem, baseada em evidncias,

utilizada para desenvolver o CONSORT tambm tem sido utilizada para desenvolver

padres para a comunicao de metanlises de ensaios clnicos aleatorizados e de

estudos observacionais (Altman et al., 2001). As normas do CONSORT foram

estendidas para cobrir, tambm, os desenhos de estudos no farmacolgicos.

Intervenos como cirurgias, procedimentos tcnicos, dispositivos de reabilitao,

psicoterapia comportamental, terapia base de plantas e outros procedimentos

receberam diretrizes objetivando a melhoria dos seus relatos de pesquisas (Boutron,

Moher, Douglas, Schult, & Ravaud, 2008).

A qualidade cientfica de artigos que utilizaram a pesquisa emprica tipo

survey foi avaliada por Froemming et al. (2000) por meio da anlise de 124

trabalhos, publicados em duas revistas e anais de um congresso, considerados os

veculos brasileiros mais representativos daquilo que se produz e publica em termos

cientficos dentro da rea de marketing (p. 202). A concluso da anlise, em

termos gerais, sinaliza pouca preocupao com aspectos relevantes da qualidade

metodolgica da investigao (p. 216).

A qualidade metodolgica dos ensaios clnicos controlados randomizados,

publicados em revistas de ortopedia e de traumatologia do esporte indexadas no ISI

(Institute for Scientific Information), foi comparada com a das revistas indexadas

apenas no MEDLINE. Foram analisados 266 ensaios clnicos controlados

randomizados, sendo 225 publicados em revistas indexadas no ISI e 41 em revistas

MEDLINE. Os ensaios clnicos publicados em revistas ISI apresentaram maiores

pontuaes metodolgicas, segundo os critrios definidos no estudo, em relao aos

estudos publicados nas revistas MEDLINE (Peccin, 2005).

A avaliao da qualidade de relatos de pesquisas publicados em artigos

cientficos vem ampliando seu alcance como rea de estudo. Na rea de

otorrinolaringologia, uma dissertao de mestrado classificou os objetivos e os

desenhos de estudo dos artigos publicados em quatro revistas da rea de

fonoaudiologia, com o objetivo de analisar a qualidade metodolgica das

publicaes sobre voz e laringe. As revistas selecionadas para a avaliao

apresentaram adequao metodolgica insuficiente para responder s perguntas

35

clnicas, ou seja, os desenhos de estudo no esto adequados s respectivas

perguntas (Vieira, 2006, p. 45).

Cursos de redao cientfica tm sido oferecidos nas principais universidades

do Brasil e livros que orientam sobre a escrita cientfica so publicados em grande

escala. Gilson Volpato um dos chamados gurus dessa modalidade de

capacitao para autores e seus livros so consumidos pela comunidade cientfica

em busca de aprovao para publicao em revistas internacionais e nacionais com

fator de impacto alto. Interessa aos autores publicarem em revistas com FI alto, pois

so revistas reconhecidas e valorizadas, alm de muito consultadas. Os livros:

Bases Tericas para Redao Cientfica (2007), Administrao da Vida Cientfica

(2009), Dicas para Redao Cientfica (2010a), Prolas da Redao Cientfica

(2010b), Mtodo Lgico para Redao Cientfica (2011) e, o mais atual, Cincia: da

Filosofia Publicao (2013) so leituras obrigatrias para iniciantes e, tambm,

para experientes na matria da redao cientfica com qualidade. Especificamente,

na rea de Psicologia, outro texto que vem tendo uma excelente aceitao o

Publicar em Psicologia, publicado pela Associao Brasileira de Editores Cientficos

de Psicologia (ABECiP), em parceria com a Instituto de Psicologia da USP. O livro

pode ser baixado gratuitamente da internet, a partir do link

http://www.ip.usp.br/portal/images/stories/biblioteca/Publicarempsicologiaversao2012

.pdf.

Um maior rigor no processo de avaliao antes da publicao poderia,

tambm, evitar a situao que vem sendo apontada por especialistas como um

grave problema na cincia: o elevado nmero de retrataes em artigos cientficos.

Retratao quando uma inconsistncia grave apontada em um artigo e o autor

envia sua defesa para publicao. A frequncia da retratao um importante

indicador da sade do empreendimento cientfico, pois revela os erros e os

equvocos publicados nos trabalhos. Artigos retratados representam falhas,

evidncias equivocadas e fracasso do projeto, independente da causa (Foo, 2011).

O nmero de retrataes vem despertando o interesse de estudiosos e

levando anlise desse tipo de ocorrncia nas publicaes cientficas (Fang, Steen,

& Casadevall, 2012; Foo, 2011). Os autores analisaram os artigos indicados como

retratados no PubMed e classificaram as retrataes de acordo com a fraude

identificada: falsificao ou fabricao de dados, plgio, publicao duplicada, ou por

outras razes (por exemplo, erro da revista ou disputa de autoria). Em maio de 2012,

36

o PubMed reunia 25 milhes de artigos, indexados desde o ano de 1940, e foram

localizados 2.074 artigos retratados, sendo o mais antigo publicado em 1973 e

retratado em 1977. A maioria dos artigos foi retratada por m conduta dos autores e

os casos mais notrios so problemas de tica na pesquisa. Os autores concluem

que falta maior vigilncia de revisores, editores e leitores na avaliao dos artigos

fraudulentos. As instituies governamentais, que patrocinam grande parte das

pesquisas, tambm precisam estar mais vigilantes, assim como agncias de fomento

e os jornalistas cientficos. Maiores investimentos em capacitaes de

pesquisadores e autores tambm podem resultar na diminuio do nmero de

retrataes de artigos cientficos, uma vez que a m conduta cientfica tende a

diminuir, concluem Fang et al (2012).

Visando reunir o maior nmero possvel de trabalhos que discutem a questo

Manes e Flach (2012) realizaram uma reviso sistemtica da produo cientfica

sobre o tema fraude, a partir de artigos publicados em peridicos internacionais de

contabilidade indexados s bases de dados ISI e Scopus, no perodo entre 2000 e

2011 (p. 166). A partir da reviso de 61 artigos os autores concluram que o tema

fraudes vem ocupando vrios espaos em publicaes, tanto nacionais, quanto

internacionais, e que os autores prefeririam discutir sobre a responsabilidade dos

pareceristas e as punies que lhes dizem respeito, caso seja necessrio. A punio

se d, principalmente, quando existem escndalos financeiros que envolvem as

publicaes.

Dentre as muitas formas de m conduta de pesquisadores, a publicao de

dados fraudulentos uma das mais graves, pois a confiana e a validade da

pesquisa seriamente prejudicada.

Ter um artigo retratado pode prejudicar injustamente a reputao de um autor

que cometeu um erro sem inteno e passvel de explicao.

Alm disso, um artigo pode conter informao valiosa, porm descart-lo,

porque no h clareza em sua redao, no o invalida.

A mxima publicar ou morrer um fator que influi demasiadamente na

qualidade, pois o FI e o ndice h esto a como uma espada na cabea de

pesquisadores e professores em todos os pases.

O ndice h ou h-index, em ingls, uma ferramenta para combinar quantidade

e qualidade de produo cientfica, com base nos trabalhos publicados (Marques,

2013).

37

2.2 Avaliao de artigos na rea de Psicologia

A Psicologia uma das reas que, h muitos anos, preocupa-se com a

qualidade dos relatos de pesquisas. No ano de 1929 foi publicado o primeiro Manual

de Publicao, um documento de sete pginas com um conjunto de procedimentos

para aumentar a compreenso da leitura dos textos cientficos. Criado sob a

responsabilidade do United States National Research Council, seus elaboradores

incluiam psiclogos, antroplogos e profissionais de publicao (American

Psychological Association [APA], 2010, p. xiii).

Em 1952, o manual foi ampliado e publicado como um suplemento de 55

pginas no Psychological Bulletin. Revises foram publicadas em 1957 e 1967

(APA, 1952, 1957, 1967). A primeira edio apresentava normas para a escolha de

palavras adequadas, gramtica, pontuao e formatao, polticas de publicao de

peridicos, alm de orientaes para acondicionamento e transporte das revistas

(APA, Council of Editors, 1952, p. 442).

Em resposta s crescentes complexidades da comunicao cientfica, as

edies subsequentes foram lanadas em 1974, 1983, 1994 e 2001. Conhecido

principalmente pela simplicidade e consistncia de seu estilo de citao e

normalizao das referncias, o Manual de Publicao da American Psychological

Association (Publication Manual of the American Psychological Association) tambm

estabeleceu normas para o uso da linguagem que tiveram efeitos de longo alcance.

Particularmente influentes foram as Diretrizes para a lngua no-sexista em Revistas

da APA, publicado pela primeira vez como uma modificao para a edio de 1974,

o que proporcionou alternativas prticas para a linguagem sexista ento de uso

comum (APA Task Force on Sexual Bias in Graduate Education, 1975). As diretrizes

para reduzir o vis na linguagem foram atualizadas ao longo dos anos e, atualmente,

fornecem orientaes prticas para escrever sobre raa, etnia, sexo, idade,

orientao sexual, deficincia e status (APA, 2010, pp. 70-77).

Antes mesmo de lanar a sexta edio, no ano de 2009, antecipando a

reviso do Manual, a APA formou o Working Group on Journal Article Reporting

Standards (JARS) para preparar recomendaes para a submisso de manuscritos

s revistas publicadas pela Associao. As recomendaes tratam de a) normas

para apresentao de todos os tipos de artigos cientficos; b) normas especficas

38

para relatos de pesquisas com manipulao experimental ou avaliao de

intervenes, usando desenhos de pesquisa que envolvam aleatorizao e no

aleatorizao; e c) normas para apresentao de estudos de metanlise. Os

informes tambm encorajam os autores a providenciarem mais detalhes nos seus

relatos de pesquisas e examinam os obstculos e os benefcios do desenvolvimento

de relatrios de normas editoriais (APA Publications and Communications Board

Working Group on Journal Article Reporting Standards, 2008).

O Manual de Publicao da American Psychological Association encontra-se

na sexta edio e orienta os autores em relao ao estilo que deve ser seguido para

a redao de artigos cientficos a serem submetidos s revistas da Associao

(APA, 2010). A ltima verso incluiu procedimentos para elaborao de revises

sistemticas, com ou sem metanlise, alm de inovaes em relao ao ambiente

digital, com nfase para o papel do Digital Object Identifier (DOI), como uma maneira

confivel de localizar informaes. Foram introduzidas, tambm, novas orientaes

sobre a questo tica da determinao da autoria principal e colaborao;

duplicaes de uma mesma publicao; plgio e autoplgio, mascaramento dos

participantes; validade dos instrumentos de pesquisas; disponibilizao de dados

para verificao por outros; procedimentos para verificao da clareza e da preciso

de pesquisas empricas; simplificao do ttulo para torn-lo mais propcio em

publicaes eletrnicas; novas diretrizes para reduo do vis de linguagem e

adequao aos padres atuais da lngua; novas diretrizes para apresentao das

estatsticas e abreviaturas. Vale destacar a discusso ampliada do processo de

publicao, incluindo a funo e o processo de reviso por pares, tica, requisitos

legais e polticas em publicao, e orientaes sobre como interagir com o editor

enquanto o artigo est no prelo. Sem dvidas, o mais importante manual de estilo

para publicao da rea de Psicologia. As orientaes do manual regem a

Psicologia em diversos pases do mundo. Mesmo no Brasil, que conta com a

Associao Brasileira de Normas Tcnicas (ABNT) para padronizar a normalizao

de publicaes, o Manual de Publicao da APA consenso entre os autores da

rea de Psicologia e disciplinas correlatas.

Sabadini, Nascimento e Cadid (2007) analisaram as normas editorias de 69

ttulos de revistas brasileiras de Psicologia com o objetivo de observar as que

adotam o estilo publicado pela APA na normalizao das citaes e das referncias.

Concluiram que 35 dos 69 ttulos analisados (51%) utilizavam as normas

39

internacionais, o que demonstrava uma tendncia de uso do estilo APA de

normalizar. Ao acompanhar as revistas, por ser atributo das nossas atividades,

podemos afirmar que esse panorama sofreu bastante alterao e muitas outras

revistas de Psicologia migraram para o padro APA.

A preocupao com a qualidade dos artigos cientficos em Psicologia levou

Witter (2006) a buscar instrumentos para a avaliao da produo cientfica

brasileira. A autora pesquisou e analisou diversas publicaes que relatavam a

preocupao com a sistematizao e criao de instrumentos para anlise da

produo cientfica. Dentre as escalas mais difundidas e pesquisadas, ela encontrou

a Escala ARRR, desenvolvida por Ward et al. (1975), apresentada anteriormente.

Witter (2006) informa que utilizou amplamente a Escala nos cursos de ps-

graduao das reas de Psicologia, Educao e Lingustica, para que os alunos

avaliassem artigos de pesquisa. Segundo a autora, o instrumento se mostrou muito

til, no s como ferramenta de avaliao, mas tambm como meio de ensino de

redao cientfica. A autora passou a utilizar a Escala tambm para que os alunos

avaliassem seus prprios relatrios de pesquisa, pois notou que isso ajudava a

melhorar a criticidade na avaliao de pesquisas por parte dos estudantes.

A Escala ARRR avalia os artigos de acordo com o nmero de pontos que o

trabalho alcanou na avaliao. No deve ser utilizada para avaliar resenhas,

editoriais, informativos e outros tipos de contribuio que no sejam textos tericos e

relatos de pesquisa. Quando o trabalho terico so computados os pontos de

acordo com uma tabela especfica (Witter, 2006). Ao adaptar a Escala ARRR, a

autora inseriu itens para avaliao das referncias dos artigos, em relao a seguir a

norma adotada pela revista e a temporalidade das referncias e tipologia do suporte

documental. Graas ao trabalho de Witter (2006), a rea da Psicologia tem avaliado

seus artigos com um instrumento validado, internacional e nacionalmente, e pode se

dedicar avaliao de sua produo com o rigor necessrio cincia.

No final da dcada de 1990, a preocupao com a qualificao no foi

preocupo com a qualidade, mas com a qualificao, isto , onde estava sendo

publicado,e no o qu estava sendo publicado nos programas de ps-graduao

que, consequentemene, levou avaliao das revistas cientficas. Cada rea do

conhecimento se responsabilizou por desenvolver os critrios para anlise da sua

produo, de acordo com eventos da Coordenadoria de Aperfeioamento de

Pessoal de Nvel Superior (CAPES), denominado QUALIS.

40

As demandas para a realizao deste empreendimento, que teve a sua verso inicial realizada em 1999, so as seguintes: (a) qualificar os veculos cientficos nos quais publicam pesquisadores brasileiros vinculados aos programas de ps-graduao em psicologia; (b) criar mecanismos para viabilizar a manuteno dos peridicos com melhor avaliao; (c) estabelecer parmetros para o incremento da qualidade dos peridicos da rea (Yamamoto et al., 2002, p. 163).

A necessidade de distinguir entre a informao de qualidade e o

conhecimento reproduzido em larga escala desqualificou uma parte considervel do

material apresentado aos programas de ps-graduao e centros de pesquisa.

Entre os artigos publicados, produes apresentadas em eventos, orientaes de

trabalhos cientficos, livros e outras publicaes, imprescindvel sinalizar para a

comunidade acadmica o mrito cientfico de tais produtos (Costa & Yamamoto,

2008, p. 22). O Sistema de Avaliao da Ps-graduao foi implantado no ano de

1998, com o objetivo de avaliar os programas de ps-graduao no Brasil.

Costa e Yamamoto (2008) analisaram o sistema de avaliao de peridicos

Qualis da rea de Psicologia com o objetivo de fazer um estudo do processo de

avaliao, que chamaram de meta-avaliao (avaliao da avaliao). A anlise

demonstrou que h divergncia entre os principais atores envolvidos no processo

editorial das revistas em relao aos critrios adotados pelas comisses avaliadoras

da CAPES. No entanto, h o reconhecimento das melhorias das publicaes aps a

implantao do processo. A recomendao dos autores que, uma vez

considerado esse processo de avaliao como contribuio para o progresso

cientfico, h que construir alternativas para um modelo capaz de fornecer respostas

adequadas s demandas da comunidade cientfica (p. 13). Concluram ainda que

...a Comisso de Avaliao CAPES/ANPEPP atendeu aos objetivos estipulados: os peridicos cientficos esto sendo classificados continuamente, desde a primeira edio; os editores, agora, so capazes de visualizar os parmetros exigidos para os ttulos da rea, e, apesar de no haver um mecanismo formal voltado exclusivamente para a manuteno dos peridicos melhor avaliados, este aspecto pode ser considerado operacionalizado pelo prprio consumo de tais peridicos por parte da comunidade cientfica (Costa & Yamamoto, 2008, p. 23).

O processo de avaliao de peridicos Qualis analisa as revistas e no os

artigos. Claro, seria humanamente impossvel avaliar os artigos em decorrncia do

grande nmero de revistas nas quais a rea de Psicologia, aqui no Brasil, publica.

41

No ano de 2012, foram avaliados 2058 ttulos de peridicos que receberam a

contribuio de autores brasileiros dos diversos programas de ps-graduao. A

alternativa encontrada para ampliar o processo foi considerar a indexao em bases

de dados, que desde sua implantao provocou a reao dos editores.

Esse novo modelo de avaliao passou, desde logo, a receber crticas de diferentes setores da comunidade cientfica brasileira. Marques (20092), no texto A escala da discrdia, informa que pesquisadores de reas diferentes fazem crticas que vo desde apontar como perigoso o peso exagerado dado, nessa escala de avaliao, ao fator de impacto (FI) at a falta de critrio na poltica de avaliao da Capes. (Barone, 2011, p. 88)

As crticas ao novo modelo de avaliao, focado no FI, foram feitas porque a

indexao em bases de dados passa a ter uma valorizao excessiva da visibilidade

e da insero internacional, j que as bases de dados mais valorizadas, ou seja,

aquelas que classificam a revista no melhor extrato da avaliao, A1, so duas

norte-americanas: WOK e PsycInfo. A importncia da avaliao reconhecida como

elemento essencial para a elevao da qualidade do ensino, mas declara a editora

do Jornal de Psicanlise (Barone, 2011, p. 89) a Capes deveria desenvolver

critrios de avaliao mais sofisticados e complexos, j que fator de impacto no

constitui, efetivamente, uma medida absoluta de qualidade.

Com o objetivo de oferecer um instrumento de apoio aos processos de

avaliao utilizados pelas agncias de cincia e de tecnologia e pelas prprias

bases de dados, Castro (2011) desenvolveu um protocolo para avaliar as bases de

dados em relao ao mbito, cobertura e pblico-alvo, mrito cientfico, qualidade

editorial, qualidade grfica, tipo de contedo, idioma e cobertura geogrfica. Com a

aplicao dos critrios de avaliao definidos no protocolo possvel conhecer os

graus de complexidade e as restries das bases de dados e categoriz-las, de

acordo com esses quesitos, considerando a qualidade do contedo indexado

(Castro, 2011). Quanto mais exigentes forem os critrios de seleo das revistas

indexadas em uma determinada base de dados, maior ser a qualidade dos artigos

publicados. Avaliar as bases de dados, com critrios igualitrios e validados por

especialistas, um excelente caminho para enquadr-las no mbito temtico,

cobertura do tipo de documentos e pblico-alvo ao qual a base dirigida.

2 Marques, F. (2009). A escala da discrdia. Pesquisa Fapesp Online, (160). Recuperado de http://revistapesquisa.fapesp.br/2009/06/01/a-escala-da-discordia/

42

A produo cientfica ganhou uma condio de suma importncia na

avaliao de docentes, alunos, profissionais de universidade e centros de pesquisa.

Dessa maneira, fundamental a criao de estratgias para avaliao da qualidade

dos artigos publicados por essa comunidade. Incentivar autores a revisitarem os

artigos cientficos em busca de evidncias e, neste processo, incluir a avaliao

pode ser uma alternativa vlida, ainda que o caminho seja rduo e longo. Afinal,

estamos falando de um volume imenso de artigos publicados em diversas revistas

cientficas que necessitam ser sistematizados por alguns requisitos para, ento,

serem oferecidos como provas para a comunidade.

Uma alternativa para avaliar a qualidade dos artigos e das revistas,

denominada ndice de Qualidade, foi apresentada por Buela-Casal (2003). Esta

justifica a criao dos itens de avaliao por achar lgico que a qualidade dos

artigos muito mais que o nmero de citaes que ele recebe. Em colaborao com

Robert Sternberg, presidente da APA em 2003, o autor aponta quinze motivos para

dar mais importncia ao artigo, propriamente dito, que revista que o publica; ele

faz duras crticas ao processo de reviso por pares e ao conservadorismo de

algumas revistas prestigiosas, ou seja, com fator de impacto alto. Seu ndice de

Qualidade relaciona uma srie de critrios para avaliar o contedo de artigos em

Psicologia e em outras reas do conhecimento, da qual traduzimos e destacamos

uma sntese em forma de perguntas.

1) Os resultados so novos, inditos, relevantes e fazem sentido em um contexto

terico e prtico?

2) As ideias interessantes e trazem um novo enfoque para tratar velhos problemas?

3) Os dados so interpretados sem equvocos?

4) apresentado um marco novo e mais simples para casos mais confusos e

complexos?

5) Ideias que pareciam irrefutveis so questionadas?

6) A pesquisa tem validade interna e utiliza um desenho metodolgico adequado?

7) A pesquisa tem validade externa suficiente para que os resultados sejam

generalizados?

8) O mtodo e os procedimentos so bem descritos e passveis de replicao?

9) Os resultados tericos e prticos tm um alto grau de aplicao?

10) Os resultados tericos e prticos so teis sociedade?

43

11) O tipo de estudo nomeado com clareza?

12) As hipteses possuem formulaes e interpretaes adequadas?

13) Os instrumentos de avaliao utilizados tm qualidade e garantia cientfica?

14) Os estudos seguem normas adequadas para a apresentao de casos?

15) Os estudos para construes e validao de instrumentos seguem a

metodologia adequada?