1

Avaliação de Artigos Científicos em Marketing: Uma Proposição do Comitê Científico de Marketing da ANPAD (2015-2016)

Autores: Vinicius A. Brei, Salomão A. de Farias, Celso A. de Matos e José A. Mazzon

Resumo Nesse artigo, o Comitê Científico de Marketing da ANPAD (2015-2016) propõe um conjunto de reflexões e sugestões para avaliação e elaboração de pareceres para artigos científicos submetidos aos congressos e aos periódicos científicos de marketing. Analisamos o processo de submissão e revisão de artigos nos principais congressos – o Encontro Nacional da ANPAD (EnANPAD) e o Encontro de Marketing da ANPAD (EMA) – e periódicos de marketing. Mostramos quais são os diferentes papéis e como atuam num processo de revisão os cientistas da academia brasileira de marketing – autores, editores, revisores, Comitê Científico e Líderes de Tema da ANPAD. Traçamos algumas sugestões a respeito do comportamento/postura de um revisor e analisamos quais são os elementos essenciais de um bom artigo. Por fim, propomos uma grade de avaliação (critérios) com o objetivo de ajudar os revisores a elaborarem seus pareceres a pesquisas teórico-empíricas, ensaios teóricos e casos de ensino. Palavras-chave: Artigos científicos; Pareceres; Critérios; Marketing; ANPAD

TEXTO PRINCIPAL

“Trate todos os manuscritos da mesma maneira que você gostaria que o seu fosse tratado” (Benos, Kirk, & Hall, 2003)

1. INTRODUÇÃO

A ciência se desenvolve por meio das descobertas científicas e pela avaliação da qualidade destas por outros cientistas. Nos congressos e periódicos científicos essa avaliação se dá por meio do processo de avaliação cega (blind review) dos artigos submetidos, utilizando-se um parecer científico (e sistemático). O parecer científico é um trabalho voluntário, não remunerado, no qual um pesquisador (o revisor) oferece seu tempo e conhecimento em prol do avanço do conhecimento científico, ao criticar um artigo de outro pesquisador (o autor). Quanto mais competentes forem os cientistas envolvidos – autores e revisores – e quanto mais maduro, detalhado e criterioso for esse processo, maior a chance de um determinado campo científico avançar. De forma curiosa, em nenhum campo científico existem regras determinísticas e inflexíveis sobre o que é um bom artigo científico e sobre como avaliá-lo. Essas regras surgem por consenso, tradição e convenções estabelecidas entre os cientistas mais experientes de determinado campo. Em seguida, elas são aprendidas e aplicadas (podendo também ser melhoradas) pelos cientistas mais jovens. No Campo

2

científico do marketing no Brasil também vale essa regra. Tratando-se de uma área do conhecimento menos madura do que em outros países (especialmente nos Estados Unidos), é natural que haja menos consenso e mais incerteza sobre o que é um bom artigo científico, como ele deve ser avaliado, e se o mais importante é a quantidade da produção ou a sua qualidade (i.e., contribuição concreta para o avanço do conhecimento). Nesse artigo, o Comitê Científico de Marketing da ANPAD procura contribuir para o avanço do Campo, propondo um conjunto de reflexões e sugestões para avaliação de artigos científicos em marketing.

A relevância da proposição dessas reflexões para avaliação de artigos científicos é ancorada em alguns fatos. Primeiro, a ciência num determinado campo científico só avança com a formação de um relativo consenso – i.e., compatibilidade de cosmovisão – sobre a distinção entre o que é uma boa e o que é uma má pesquisa. A definição desses critérios é sinônimo da maturidade científica de uma determinada ciência. Segundo, a definição desse consenso deve ser baseada na observação de padrões de qualidade internacionais, utilizados nos melhores congressos e periódicos do mundo. Terceiro, observa-se uma disparidade muito grande da qualidade dos pareceres dos revisores brasileiros de congressos e periódicos. Os membros do atual Comitê Científico de Marketing – todos com pelo menos 15 anos de participação nos eventos científicos e sendo editores e/ou pareceristas dos principais periódicos brasileiros – percebem essa disparidade habitualmente. Em congressos, em bancas e mesmo em conversas formais ou informais com Editores, Líderes de Tema e com outros pesquisadores, nota-se que uma reclamação comum dos autores é a baixa qualidade e a frequente diferença de qualidade dos pareceres recebidos. Quarto, os pareceristas (provavelmente os mais juniores) geralmente não têm parâmetros claros e objetivos sobre o que é um bom parecer ou ainda carecem da necessária experiência nesse processo. Quinto, muitas vezes as sugestões sobre as melhores práticas de pareceres são sintetizadas em editoriais de periódicos e/ou em artigos escritos por editores e/ou conselhos editoriais. Entretanto, essas regras habitualmente se circunscrevem a um determinado periódico e/ou a um determinado congresso científico (e.g., Kunnath, 2006; Lee & Greenley, 2009; Lepak, 2009; Shukla, 2010). Por último, a relevância da proposição dessas reflexões se dá porque não identificamos, até hoje, um documento que servisse a tal finalidade para os congressos e periódicos científicos brasileiros, em especial no Campo do marketing. Esta proposição para avaliação de artigos no Campo de marketing no Brasil está assim dividida: primeiro, analisamos o processo de revisão de artigos e os diferentes papéis dos cientistas na academia brasileira – autores, editores, revisores, Comitê Científico e Líderes de Tema da ANPAD. Segundo, traçamos algumas sugestões a respeito do comportamento/postura de um bom revisor. Terceiro, analisamos quais são os elementos essenciais de um bom artigo. Por fim, propomos uma grade de avaliação (critérios) para pareceres de pesquisas teórico-empíricas, ensaios teóricos e casos de ensino. 2. O PARECER CIENTÍFICO EM PERIÓDICOS E CONGRESSOS

Nos periódicos científicos nacionais é seguido um processo semelhante àquele adotado nos principais periódicos internacionais, com algumas diferenças decorrentes da maturidade científica e do tamanho da comunidade de pareceristas disponíveis. Há um Editor-Chefe – pesquisador renomado de um determinado campo do conhecimento – que tem a

3

prerrogativa de dar três destinos possíveis para um paper: desk-rejection, encaminhamento para os pareceristas ou aceite imediato (este algo raríssimo). O desk-rejection é a rejeição imediata de um artigo decorrente de baixa qualidade e/ou inadequação do artigo à linha editorial do periódico. O encaminhamento aos pareceristas pode ser mediado – nos casos dos periódicos que recebem muitas submissões e/ou que têm uma linha editorial mais ampla – pelos Editores Associados. Esses pesquisadores, geralmente com razoável trajetória e influência num determinado campo científico, são especialistas em áreas temáticas específicas. A partir de sua experiência, conhecimento do campo e com o auxílio das bases de dados sobre os autores dos periódicos, encaminha o artigo para dois a quatro pareceristas, para fazerem a análise pormenorizada do paper. Os pareceristas avaliam o artigo e comunicam seus pareceres ao Editor Associado, que pode aprovar ou rejeitar o artigo. No caso de rejeição, ela pode ser com ou sem direito a uma nova submissão. Se for dado ao autor o direito de nova submissão, ela deve ser feita após os ajustes solicitados pelos pareceristas e chancelados pelo Editor-Associado. Esse processo ocorre em rodadas (rounds) e em cada uma delas há a chance de aprovação ou rejeição definitiva do artigo. Não há limite para o número de possíveis rodadas de revisão, mas dificilmente esse número fica abaixo de duas e acima de quatro rodadas. Uma representação gráfica dos passos desse processo nos periódicos científicos pode ser vista na Figura 1. Figura 1: Passos do Processo de Submissão e Revisão de Artigos a Periódicos Científicos

Obs.: os passos 2 a 5 podem se repetir várias vezes, dependendo do número de rodadas (rounds) de pareceres. Fonte: os autores.

Nos dois principais congressos científicos nacionais de marketing – o Encontro Nacional da ANPAD (EnANPAD) e o Encontro de Marketing da ANPAD (EMA) – o processo é um pouco diferente, pois ele é gerenciado não por um Editor e Editores Associados, mas por um Coordenador de Divisão, um Comitê Científico e por 10 Líderes de Tema, que compõem a divisão de Marketing e têm um mandato de dois anos. O Comitê Científico é composto pelo Coordenador de Divisão – eleito por meio dos votos dos membros da divisão na ANPAD a cada dois anos – e por três membros convidados pelo Coordenador.

Autor&submete/revisa&o&ar/go&

Editor3Chefe:&desk3rejec/on&(rejeição&sumária),&revisão&ou&aceite&

Ar/go&rejeitado&

(opcional)&Editor3

Associado&Parereristas&avaliam&ar/go&

Ar/go&aceito&

2&e&7&

2a& 2&

2b&

3&

3&

4&

4&

1&e&5&

2&e&7&

Legenda:&& & & &etapa&obrigatória&& & & & &etapa&opcional&

5&

6&

4

O Coordenador de Divisão também propõe os nomes dos Líderes de Tema – pesquisadores com características e papel semelhante ao do Editor Associado dos periódicos à ANPAD. Os temas são divisões específicas do conhecimento – cujo número é definido pelo Comitê Científico no início de sua gestão de dois anos – e, habitualmente, devem corresponder ao estado-da-arte em termos de assuntos principais de uma determinada subárea do conhecimento do marketing. Os nomes dos membros do Comitê Científico e dos Líderes de Tema propostos pelo Coordenador de Divisão são propostos em encontro específico com a Diretoria Nacional e com os demais Coordenadores de Divisões Acadêmicas da ANPAD, momento em que todos votam pela aprovação ou rejeição dos nomes indicados pelo Coordenador da Divisão.

Assim como nos periódicos científicos, o processo de revisão de um artigo também inicia com a submissão dos papers, pelo autor, ao EnANPAD e o EMA. Após a submissão, cada um dos Líderes de Tema avalia o teor do artigo e o distribui a dois pareceristas, que foram previamente convidados (e manifestaram formalmente seu aceite, via site da ANPAD) para compor o corpo de revisores de, pelo menos, um tema específico. Após concluídos, os dois pareceres são enviados diretamente ao autor, havendo interferência do Líder de Tema apenas quando há discrepância substancial entre os dois pareceres (ex.: um rejeita o artigo com notas baixas e o outro aprova o artigo com notas altas). Neste caso, o Líder de Tema convida um terceiro parecerista ou ele mesmo faz a avaliação do artigo, realizando um julgamento de minerva sobre o aceite ou rejeição do mesmo. No EnANPAD e no EMA há apenas uma rodada de revisão, ou seja, o autor não tem chance de reformular seu paper para nova submissão e apresentação nesses congressos. Por essa razão e, principalmente, pela maior importância dos periódicos científicos em relação aos congressos, o processo de revisão de um artigo para um periódico é mais cuidadoso, criterioso e, portanto, mais demorado. Uma representação gráfica dos passos desse processo nos congressos científicos da ANPAD pode ser vista na Figura 2. Figura 2: Passos do Processo de Submissão e Revisão de Artigos nos Congressos Científicos da ANPAD

Autor&submete&o&ar,go&para&uma&área/tema&

ANPAD:&desk7rejec,on&(rejeição&sumária&por&formato)&ou&envia&para&

pareceres&

Ar,go&rejeitado&(por&formato)&ou&por&parecer&

nega,vo&

Líder&de&tema&(realoca&para&outro&tema&ou&envia&para&parecer)&

Parereristas&avaliam&ar,go&

Ar,go&aceito&

1&&

2&ou&5&

5&

3&

4&2& 2a&

Legenda:&& & & &etapa&obrigatória&& & & & &etapa&opcional&

5

Obs.: 1. o passo 2a ocorrerá sempre que o Líder de Tema entender que o artigo foi submetido indevidamente ao Tema que coordena (por incongruência de tema/método). 2. os passos 2 e 3 podem acontecer uma segunda vez, caso haja discrepância de pareceres dos revisores. Neste caso, um terceiro revisor será escolhido pelo líder de tema. Fonte: os autores. Os critérios de julgamento de um artigo variam de acordo com o periódico científico e com o congresso. No caso de periódicos, eles sempre têm relação estreita com a sua linha editorial e com as contribuições apresentadas. No EnANPAD e no EMA são adotadas escalas de 4 pontos para os critérios de julgamento, que abrangem aspectos como contribuição, referencial teórico, método, discussão dos resultados, conclusões, forma/linguagem e qualidade geral do artigo. Ao final, o parecerista sintetiza sua revisão em uma de quatro alternativas: rejeitar, aceitar em caso de baixa competição, aceitar e aceitar incondicionalmente. A escolha desta última alternativa significa que o artigo é muito bom e deve ser aceito independentemente do nível dos demais artigos. As avaliações qualitativas são transformadas em notas, que determinam o aceite ou a rejeição dos trabalhos. Os melhores trabalhos são selecionados automaticamente pelo sistema da ANPAD e enviados para o Coordenador da Divisão, que envolve o Comitê Científico e, dependendo de seu julgamento, pode também envolver os Líderes de Tema no processo de escolha do melhor trabalho. Um prêmio é dado ao melhor artigo dentre três finalistas selecionados.

A qualidade de todo esse processo depende, fundamentalmente, de uma pessoa: o revisor (ou parecerista). O seu trabalho é crucial para a qualidade do processo de revisão e, em última instância, para a seleção de artigos que contribuam para o avanço científico de um campo do conhecimento.

3. O TRABALHO DO REVISOR O processo de parecer científico tem características peculiares em que, de um lado (o

autor) submete um artigo, geralmente resultado de muito esforço e tempo dispendido. A aprovação de artigos científicos tem, habitualmente, reflexo direto na progressão de carreira e no reconhecimento do autor pelos pares. Do outro lado, temos o revisor, um pesquisador convidado pelo Editor, pelo Editor Associado ou pelo Líder de Tema. O revisor faz um trabalho voluntário, não remunerado, em que coloca seu tempo e seu conhecimento a serviço do avanço da ciência, de forma praticamente anônima. Ao longo do processo seu nome é conhecido apenas pelo Editor e/ou Editor Associado ou Líder de Tema, que fazem a mediação dos contatos anônimos entre os dois lados (autor e revisores), conforme representado nas Figuras 1 e 2. O poder de aceitar ou rejeitar o artigo está centrado nos revisores, que praticamente não recebem reconhecimento algum pelo seu serviço voluntário, mesmo que ele tenha colaborado substancialmente para o aprimoramento do artigo em revisão. Uma exceção a essa falta de reconhecimento é quando seu nome aparece dentre a lista de pareceristas do periódico ou do congresso científico e/ou quando ele ganha algum prêmio – algo não muito comum – pelo(s) parecer(es) científico(s) destacado(s) realizado(s).

O fato do trabalho de revisor ser gratuito e anônimo (protegido pelo processo de blind review)i faz com que ele tenha características que o distanciam de um trabalho comum. Primeiro, a generosidade de utilizar seu tempo e conhecimento geralmente não são

6

reconhecidos à altura, já que seu nome nunca sairá no artigo publicado no periódico ou congresso. Segundo, a generosidade e o conhecimento do parecista são direcionados a uma outra pessoa que ele não sabe quem é. Terceiro, possivelmente pela ausência de remuneração e de reconhecimento público pelo trabalho, o processo de blind review coloca o revisor numa posição de tentar fazer o parecer o mais rápido possível, muitas vezes de forma descuidada e/ou desatenciosa. Uma eventual reação negativa ao seu parecer, por parte do Editor, do Editor Associado ou do Líder de Tema que o convidaram, geralmente, é o único aspecto coercitivo para evitar pareceres mal elaborados. Entretanto, isso não é uma regra. Por exemplo, revisores voluntários na área médica ganham créditos para continuar seus estudos a partir de revisões completas para alguns journals (Allen, 2013). Quarto, o anonimato protege o revisor de ter que adotar uma atitude de respeito e civilidade que habitualmente adotaria em outras situações de convívio social em que sua identidade é conhecida. Por fim, a função de revisor exige uma honestidade de julgamento por vezes delicada, na medida em que – nos casos em que o revisor também submeteu um artigo para o mesmo periódico ou congresso – ele está disputando um espaço limitado de publicação. Nesta situação, um parecer muito favorável pode tirar a possibilidade de publicação de seu próprio artigo submetido, caso ele receba notas mais baixas do que as que atribuiu em seu parecer.

Ao contrário do que se imagina, o revisor tem vários benefícios derivados de seu trabalho (Allen, 2013; Annesley, 2012): a) ele ganha experiência acadêmica; b) reconhecimento entre os pares mais sêniores (Editores, Editores Associados e Líderes de Tema); c) tem a chance de ampliar o seu conhecimento (teórico, metodológico ou empírico) com pesquisas de ponta em sua área de atuação; d) pode aprender com os comentários feitos por outros revisores (prática comum em top journals); e) aprende a responder a comentários de Editores e outros revisores; f) aprende a avaliar artigos com base no que outros Editores e revisores pensam; g) aumenta a possibilidade de fazer parte de Conselhos Editoriais no futuro. Por isso, ser convidado para elaborar um parecer deveria visto como uma honra.

Diante de tais características da função de revisor, entendemos que existem alguns padrões de comportamento desejados: ● competência: um revisor deve utilizar o máximo de seu conhecimento sobre o tema

para criticar o artigo, detalhando como o trabalho pode ser melhorado, a partir da fronteira do conhecimento teórico e metodológico, sem esconder informações que possam ajudar o autor;

● abrangência: o parecerista deve reconhecer os limites de sua capacidade e também de sua incompetência, identificando se sua colaboração abrange todo o artigo ou se limita a algum aspecto específico (ex.: uma determinada teoria ou algum método específico);

● forma: as sugestões ao artigo devem ser feitas em linguagem clara, objetiva, identificando quando e como os comentários se referem a aspectos gerais ou específicos do artigo. É fundamental que o revisor apresente sugestões e caminhos, não apenas críticas, sejam elas genéricas ou específicas;

● postura: independente da qualidade do artigo, o parecerista sempre deve adotar uma postura e linguagem respeitosa, generosa e inspiradora, ajudando o autor a melhorar seu trabalho.

7

Em suma, o revisor deve adotar uma postura proativa e respeitosa, identificando onde e como o artigo pode ser melhorado, a partir do conhecimento mais avançado que detém sobre o campo, sempre a partir da identificação clara dos limites de sua competência. Num processo típico, os revisores devem ser encarados como co-criadores do conhecimento científico, mantendo o comprometimento com o processo (que pode demorar), e estabelecendo bom relacionamento com Editores e autores, tal qual demonstrado na Figura 3. Figura 3: Visão Esquemática do Processo de Revisão

Fonte: Amanor-Boadu (2010, p. 74).

Além de padrões de comportamento, para que um revisor faça um bom trabalho é necessário que ele(a) reconheça quais são os elementos essenciais de um bom artigo científico, o que discutimos no próximo tópico.

4. ELEMENTOS ESSENCIAIS DE UM BOM ARTIGO CIENTÍFICO Os elementos essenciais de um bom artigo científico variam conforme o tipo de artigo. Os principais tipos de artigos submetidos aos periódicos e congressos científicos brasileiros sãoii: ● teórico-empíricos: baseados em dados primários e/ou secundários (qualitativos e/ou

quantitativos), buscam aprimoramento de teoria, método ou aplicação/solução de problemas empíricos. Este é o tipo com o maior número de submissões no Campo do marketing no Brasil;

● ensaios teóricos: baseados em fundamentação teórica aprofundada sobre um determinado tema, buscam sintetizar uma ou mais teorias, propor hipóteses ou outros tipos de avanços teóricos sobre o assunto estudado. Não devem ser confundidos com simples revisões de literatura, ainda que estas frequentemente sejam necessárias para a construção de ensaios teóricos;

● casos de ensino: descrição e análise de experiências e práticas organizacionais e/ou profissionais, de forma pormenorizada e seletiva.

As características de cada um desses tipos principais de artigos variam. Entretanto, é possível identificar alguns elementos essenciais e como deveria ser a análise de cada um

Amanor-Boadu / International Food and Agribusiness Management Review / Volume 13, Issue 3, 2010

� 2010 International Food and Agribusiness Management Association (IAMA). All rights reserved.

74

Figure 2. Schematic Overview of Reviewing Guidelines when Reviewers are Co-Creators of Scholarship

Relationship 1: Personalize the Author Every reviewer is first and foremost an author. Therefore, it is imperative that the review process begins with the recognition of the humanness of the author, thereby facilitating reviewers’ full engagement in the co-creation process. Failure to personalize authors often results in searing reviews that are crafted solely to wound and exhibit the reviewer’s superiority over the author. These are destructive to the scientific enterprise, and often a waste of time for both reviewers and editors because such searing reports cannot be used to provide any useful guidance to authors on how to enhance their manuscript’s quality. As noted by Goldbeck-Wood1998, 86), “Courtesy . . . is a core attribute of good reviewing.” One simple way to accord courtesy in the review process is to think and refer to the author in the second person, instead of the third, and let the author feel the ensuing conversation in the review report by crafting it carefully with appropriate language and, daresay, humor (Harrison 2002). Relationship 2: Think like a Coach, Not a Warrior By thinking of the author as a colleague or a potential collaborator, good reviewers situate their mind frame as good coaches. Like good coaches, they begin with the assumption of talent and an objective to provide guidance and make better—a mental model that helps facilitate a co-creation environment during the review process. Jauch and Wall (1989) report the process that some reviewers use in achieving this: They read the manuscript as soon as it is received to determine their expertise in being able to contribute and assess any potential for bias resulting from their own work and or violation of the blind review requirement. This is instructive

8

desses elementos por parte de um revisor. A avaliação deve seguir uma sistemática que permita verificar a qualidade do texto tanto em termos de forma quanto de conteúdo. Abstract ou Resumo. Síntese do artigo, deve trazer uma visão geral da contribuição central do trabalho, a fundamental teórica, método e principais resultados e implicações.

Contribuição. Indiscutivelmente o aspecto mais central e importante de toda e qualquer pesquisa, a contribuição abrange a clareza da questão de pesquisa ou objetivo do trabalho, se este foi adequadamente atingido e, principalmente, a relevância de seu atingimento. A contribuição mais robusta possível é aquela em que o autor demonstra a relevância de sua pesquisa para o avanço nas dimensões teórica, metodológica e prática de algum campo do conhecimento. Tais pesquisas são, no entanto, raríssimas. Na grande maioria das vezes, a relevância estará limitada a apenas uma dessas três dimensões.

Alguns fatores colaboram para aumentar ou reduzir a relevância, devendo ser observados pelos revisores em seus pareceres e julgamento sobre eventual aceite ou rejeição de um artigo. Alguns desses fatores habitualmente aumentam a relevância de um artigo. Um dos principais é o ineditismo ou originalidade, que pode ser teórico e/ou metodológico e/ou pragmático (ou seja, a aplicação da pesquisa num novo contexto geográfico, organizacional, de grupo ou individual). Replicações de estudos anteriores num novo contexto, usando o mesmo método e fundamentação teórica, usualmente, não são tão relevantes quanto estudos inéditos, ainda que isso não seja uma regra inflexível. Por exemplo, replicações que reforcem a consistência de uma nova teoria e/ou que demonstrem a eficácia de um novo método de pesquisa são positivas para o avanço científico, embora menos competitivas em termos de publicações em periódicos consolidados. Cabe ao revisor avaliar a importância daquela replicação específica para o seu campo do conhecimento. Por exemplo, aquelas que são justificadas simplesmente por um novo contexto geográfico (ex.: replicação no Brasil de uma pesquisa feita originalmente nos Estados Unidos, também conhecida como tropicalização), sem a devida explicação do porquê o novo contexto é importante para a pesquisa, não devem ser consideradas como relevantes. No Brasil ainda é hegemônico o critério de quantidade (de artigos publicados) e a qualidade, embora relevante, tem ficado em segundo plano. Por exemplo, um artigo revolucionário, propositivo de uma nova abordagem, que traga uma real contribuição e que de algum modo seja atemporal deveria ter mais reconhecimento do que um que apenas replica o conhecimento sem inovações ou contribuições concretas. Desse modo, em periódicos mais qualificados é importante a comprovação do ineditismo e da real contribuição que o artigo apresenta dentro de um campo especifico.

Portanto, um aspecto central para a relevância de um artigo é que o autor faça uma discussão e posicione a contribuição de seu trabalho, seja em relação a teoria(s), método(s) e/ou aplicações práticas anteriores. O tipo do artigo será determinante para esse posicionamento. Artigos teórico-empíricos podem contribuir para avanços em cada uma das dimensões. Ensaios teóricos geralmente limitam sua contribuição ao avanço de alguma teoria. Casos de ensino usualmente focam na dimensão prática, sem contribuir para avanços teóricos ou metodológicos. Em suma, é fundamental que o autor dê evidências claras sobre o tipo de artigo que produziu. De forma similar, o revisor deve identificar o tipo de artigo que está avaliando e calibrar sua expectativa e respectivo parecer a partir do que cada artigo se propõe. O parecer não deve exigir do aquilo além do que é esperado (ex: uma contribuição metodológica, a partir de um ensaio teórico), mas também não deve esperar menos do que ele

9

deveria fornecer (ex: uma descrição e análise detalhada de algum fenômeno de marketing, num caso de ensino).

Fundamentação teórica. Nesta parte do artigo espera-se que o autor estabeleça os limites e demonstre onde se encontra a fronteira do conhecimento de uma ou mais teorias centrais à sua pesquisa. A apresentação deve ser objetiva e a narrativa deve demonstrar a evolução das ideias sobre determinado assunto. Para isso, é importante a análise e citação das obras clássicas e também as mais recentes sobre o tema, evidenciando como essas obras contribuíram para a formação de uma ou mais teorias abordadas na pesquisa. Uma boa fundamentação teórica também deve identificar os limites, virtudes, problemas, consensos e divergências em torno de uma determinada teoria, aspectos esses que um revisor deve procurar observar no artigo. É comum em trabalhos de abordagem positivista a utilização desta seção para elaboração e apresentação das hipóteses a serem testadas. Deve-se perceber claramente que existiu um esforço do autor em apresentar o estado da arte do conhecimento na área, não significando que a fundamentação teórica deva ser extensa. A identificação de lacunas teóricas, de pontos não bem explicados ou ainda não explorados são um nicho interessante para um artigo competitivo.

Desenho de pesquisa e Método. Trata-se da descrição a respeito da estratégia metodológica adotada pelo autor e dos passos para sua implementação ao longo da pesquisa, podendo abranger: posicionamento epistemológico (positivista, interpretativo, etc.), abordagem (quantitativa, qualitativa, mista), método(s) implementado(s) (survey, experimento, modelagem, análise documental, entrevista, grupo focal, etnografia, etc.), tipos de dados (primários ou secundários) e procedimentos relativos à coleta e análise de dados (amostragem ou escolha de informantes, técnicas de coleta, preparação e análise de dados).

Resultados e Discussão. Em artigos teórico-empíricos, espera-se que o autor apresente os resultados da pesquisa, de forma objetiva e da maneira que mais facilite a visualização e/ou compreensão dos principais resultados derivados da análise dos dados coletados em sua pesquisa de campo. A discussão dos resultados deve levar em consideração a fundamentação teórica da pesquisa. Nela, o autor deve demonstrar como os resultados encontrados avançam, complementam, alteram ou contradizem a teoria vigente. É também nesta seção que os autores apresentam e analisam os testes das hipóteses, no caso dos artigos teórico-empírico positivistas. Nos ensaios teóricos nem sempre existe uma seção de resultados e discussão, ainda que artigos desse tipo também apresentem resultados, geralmente uma síntese de uma teoria, novas proposições e/ou hipóteses a serem testadas em estudos futuros. Nos casos de ensino também não é comum a apresentação de resultados e discussão, mas uma seção equivalente, em que se faz uma síntese dos aspectos principais de uma determinada história de organizações e/ou clientes, evidenciando porque aquele relato pode ser importante para o avanço do conhecimento e/ou para o treinamento de professores e alunos de marketing.

Conclusões. Nesta seção o autor deve sintetizar os principais achados da pesquisa, tendo como foco a contribuição do trabalho para o avanço teórico, metodológico ou prático do marketing, tal qual descrita nas primeiras seções do artigo. Em trabalhos positivistas, essa síntese pode também retomar as hipóteses testadas e sintetizar sua discussão, mostrando se o que foi encontrado está de acordo com a previsão inicial e, quando não estiver, quais são as possíveis explicações para a discordância. Em ensaios teóricos, o autor deve apresentar como o artigo aprimora, redefine ou questiona uma dada teoria. Outra possível conclusão são

10

proposições a serem testadas, que devem ser sintetizadas nas conclusões. Em casos de ensino, um resumo da situação descrita e porque ela merece ser estudada são os aspectos esperados numa conclusão.

É comum – ainda que não seja sempre obrigatório – que sejam apresentadas implicações para as organizações e/ou para outros stakeholders possivelmente envolvidos com a pesquisa. As implicações gerenciais devem evidenciar como os resultados da pesquisa podem impactar os gestores, a estratégia e implementação de marketing nas organizações. Outras possíveis implicações da pesquisa são aquelas que possam impactar os consumidores, sua relação com os produtos/serviços e com as empresas.

É fundamental que o autor também apresente e discuta as principais limitações da pesquisa e como elas afetaram ou possam ter afetado os resultados encontrados e a contribuição inicialmente desejada. Com o avanço de tecnologia de informação e a massificação do acesso às principais bases de dados internacionais no Brasil, na grande maioria das pesquisas em marketing não se espera que os autores tenham dificuldade para encontrar artigos científicos e livros importantes para sua pesquisa. Assim, quase sempre as limitações estarão circunscritas a aspectos metodológicos e/ou da aplicação/implementação prática dos resultados.

Uma das características de uma boa pesquisa é que ela gera ou motiva a realização de outras pesquisas relacionadas. Para que isso aconteça, é desejável que o autor apresente sugestões de pesquisas futuras, podendo abranger quaisquer das dimensões teórica, metodológica ou prática analisadas.

Referências. Nesta seção devem ser listadas todas as obras citadas no corpo do texto, utilizando-se o formato exigido pelo periódico ou pelo congresso científico.

Anexos. Aqui devem constar todas as tabelas, figuras, quadros e todo qualquer tipo de material complementar necessário para o desenvolvimento do artigo. A escolha da inclusão ou não desses elementos no artigo deve ser guiada pelo critério de importância de cada um deles para a construção do argumento central. Além de serem também formatados segundo as normas do periódico ou congresso, um aspecto fundamental a ser observado é se esses elementos complementares foram elaborados pelo autor de forma a sintetizar, simplificar e, portanto, facilitar a compreensão por parte do leitor. Por exemplo, tabelas e gráficos devem conter apenas as informações estritamente necessárias e devem ser apresentados da maneira mais didática e visualmente estimulante possível.

Uma ressalva importante diz respeito à manutenção ou não da estrutura de seções acima discutida e a orientação epistemológica do autor. Em trabalhos não positivistas, especialmente os de orientação interpretativa, muitas vezes não haverá separação clara entre as seções. Nos casos em que houver, com frequência não será exatamente a divisão acima apontada. Como não há relativo consenso sobre seções-padrão para este tipo de artigo, optamos por não apresentar uma proposta de estrutura de seções.

Após a apresentação e discussão dos elementos essenciais de um bom artigo científico, passamos à parte mais importante desse trabalho, a apresentação de uma proposta de grade de análise para as pesquisas de marketing. 5. PROPOSTA DE UMA GRADE DE ANÁLISE

11

Diante da impossibilidade de propor critérios de análise para todos os possíveis tipos de artigos e relatos científicos, limitaremos nossas proposições aos três tipos principais de artigos científicos usualmente submetidos aos periódicos e congressos científicos de marketing: pesquisas teórico-empíricas, ensaios teóricos e casos de ensino. Para compor os itens e os critérios de análise, consultamos literatura anterior que abordava tema semelhante, seja com foco em outros campos da administração que participam dos congressos científicos da ANPAD (por exemplo, Hoppen 1997), alguns dos principais periódicos científicos de marketing – Journal of Consumer Research (JCR, 2015), Journal of Marketing (JM, 2015), Journal of Marketing Research (JMR, 2015), Marketing Science (MS, 2015), outros periódicos de marketing, de administração e de outros campos do conhecimento (Allen, 2013; Annesley, 2012; Benos et al., 2003; Hames, 2007; Hempel, 2014; Lepak, 2009; Rogelberg, Adelman, & Askay, 2009). Os resultados são apresentados na Figura 4. Figura 4 – Proposta de Grade de Análise de Artigos Científicos na Área de Marketing

ITEM ASPECTOS A SEREM AVALIADOS

Avaliação Geral do Trabalho

- O título é adequado e reflete o conteúdo do manuscrito? - O artigo é inédito e oferece uma contribuição importante que justifique sua

publicação no periódico ou congresso científico? - Quais são as maiores forças e fraquezas do artigo? As fraquezas são superáveis (é

possível corrigir erros do artigo)? - Existem seções que podem ser eliminadas ou condensadas? - O autor atinge o objetivo que propôs (contribuição)? - O artigo é interessante para o público-alvo? - O artigo é bem escrito (linguagem clara, direta, evitando termos ambíguos,

expressões do senso comum, em português/inglês correto) e organizado, com tamanho proporcional à contribuição proposta e à dificuldade do atingimento da contribuição?

Abstract ou Resumo

- É sintético e contém: o propósito e contexto do trabalho, método, resultados e conclusões?

- O abstract está atraindo a atenção do leitor?

Contribuição (Introdução)

- Existe uma questão ou objetivo da pesquisa claramente definido? - O autor explicita a relevância ou justificativa da pesquisa e discute sua

importância? - O foco da contribuição é teórico, metodológico ou prático? - O artigo é original/inédito? - A relevância do artigo é prejudicada ou aumentada em função de alguma

característica da pesquisa (ex.: ser uma replicação, uma adaptação)? No caso de ser uma replicação ou adaptação, há justificativa convincente para isso?

- É possível identificar de que tipo de artigo se trata (pesquisa teórico-empírica, ensaio teórico ou caso de ensino)?

- A contribuição do artigo leva em consideração as peculiaridades do tipo de artigo?

12

ITEM ASPECTOS A SEREM AVALIADOS

Fundamentação Teórica

- O autor delimita os limites e demonstra onde se encontra a fronteira do conhecimento de uma ou mais teorias centrais à sua pesquisa?

- A fundamental teórica é precisa e apresentada de forma objetiva? A justificativa para a escolha da(s) teoria(s) é feita de forma lógica e rigorosa?

- O texto evidencia e discute a teoria? - Há análise/citação das obras clássicas e das mais recentes sobre o tema? - É feita uma análise de como essas obras contribuíram para a formação de uma ou

mais teorias abordadas na pesquisa? - Há identificação dos limites, lacunas, virtudes, problemas, consensos e

divergências em torno de uma determinada teoria? - (para artigos de orientação positivista) Há apresentação das hipóteses a serem

testadas? - (para artigos de orientação positivista) As hipóteses são elaboradas a partir da

fundamentação teórica?

Desenho de Pesquisa e Método

- A estratégia metodológica adotada pelo autor e os passos para sua implementação ao longo da pesquisa estão suficientemente claros, detalhados e são suficientemente robustos?

- O posicionamento epistemológico (positivista, interpretativo, etc.) está claro (mesmo que não explicitado no texto)? O método é coerente com o posicionamento epistemológico?

- A abordagem (quantitativa, qualitativa, mista) e seus passos para implementação estão adequadamente descritos?

- O(s) método(s) implementado(s) (survey, experimento, modelagem, análise documental, entrevista, grupo focal, etnografia, etc.) estão adequadamente descritos, respeitando a literatura especifica sobre o método?

- A fundamentação teórica serviu para a instrumentalização/operacionalização dos conceitos?

- Os tipos de dados (primários ou secundários) coletados estão adequadamente descritos?

- Os procedimentos relativos à coleta e análise de dados (amostragem ou escolha de informantes, técnicas de coleta, preparação e análise de dados) estão adequadamente detalhados?

- Princípios e práticas éticas habituais foram obedecidas?

Resultados e Discussão

- Os resultados da pesquisa são apresentados de forma objetiva e da maneira que facilite a visualização e/ou compreensão dos principais resultados, sem esconder informações essenciais?

- Os resultados são discutidos, levando-se em consideração a teoria apresentada na Fundamentação Teórica? Há discussão sobre como os resultados encontrados avançam, complementam, alteram ou contradizem a teoria vigente? A teoria guiou as análises?

- (para artigos teórico-empírico positivistas) Os autores apresentam e analisam os testes das hipóteses?

- Os resultados encontrados evidenciam uma regularidade empírica, generalizável para outros contextos?

- (para os ensaios teóricos) É apresentada uma síntese de uma teoria, novas proposições e/ou hipóteses a serem testadas em estudos futuros?

- (para os casos de ensino) Há uma síntese dos aspectos principais de uma

13

ITEM ASPECTOS A SEREM AVALIADOS

determinada história de organizações e/ou clientes, evidenciando porque aquele relato pode ser importante para o avanço do conhecimento e/ou para o treinamento de professores e alunos de marketing?

- (para os casos de ensino) A organização analisada é representativa/importante em seu setor de atuação? O caso estudado traz alguma característica distintiva que mereça ser analisada?

Conclusões

- As conclusões são sucintas? - O objetivo do trabalho foi adequadamente atingido? Se não, o que não foi atingido

e por que? Como isso interfere sobre a contribuição/relevância final do artigo? - Há uma síntese dos principais achados da pesquisa, tendo como foco a

contribuição do trabalho para o avanço teórico, metodológico ou prático do marketing, tal qual descrito nas primeiras seções do artigo?

- As conclusões encontradas avançam de forma substantiva o conhecimento anterior sobre o assunto?

- (para artigos positivistas) A conclusão retoma as hipóteses testadas e sintetiza sua discussão, mostrando se o que foi encontrado está de acordo com a previsão inicial e, quando não estiver, quais são as possíveis explicações para a discordância?

- (para ensaios teóricos) O autor apresenta como o artigo aprimora, redefine ou questiona uma dada teoria?

- (para casos de ensino) É apresentado um resumo do caso descrito e porque ele merece ser estudado?

- (itens não obrigatórios) São apresentadas implicações para as organizações e/ou para outros stakeholders possivelmente envolvidos com a pesquisa? As implicações gerenciais evidenciam como os resultados da pesquisa podem impactar os gestores, a estratégia e implementação de marketing nas organizações?

- (itens não obrigatórios) São discutidas possíveis implicações da pesquisa para os consumidores, sua relação com os produtos/serviços e com as empresas?

- As limitações da pesquisa são apresentadas e discutidas? Como elas afetaram ou podem ter afetado os resultados encontrados e a contribuição inicialmente desejada?

- O autor apresenta sugestões de pesquisas futuras, conectando-as aos achados do artigo?

Referências - As referências selecionadas são relevantes, recentes e pertinentes?

Material Complementar

(não obrigatório) - Tabelas, figuras, quadros são apresentados de forma a sintetizar, simplificar e, portanto, facilitar a compreensão por parte do leitor?

Auto-Avaliação do Revisor

Competência: - usei todo o conhecimento que tenho sobre o tema para criticar o artigo, com rigor

científico, detalhando como o trabalho pode ser melhorado, a partir da fronteira do conhecimento teórico e metodológico, sem esconder informações que possam ajudar o autor?

Abrangência: - Procurei limitar minha contribuição àqueles aspectos sobre os quais tenho domínio

e informei o Editor, Editor Associado ou Líder de Tema quando não tinha capacidade de avaliar determinado aspecto do artigo?

14

ITEM ASPECTOS A SEREM AVALIADOS

- Concentrei minha avaliação em relação à contribuição proposta pelo autor (e não a outras contribuições que ele não tenha proposto)?

Forma: - Apresentei críticas e sugestões usando em linguagem clara, objetiva, identificando

quando e como os comentários se referem a aspectos gerais ou específicos do artigo?

- Evitei comentários genéricos (por exemplo, “o manuscrito está muito longo”), apresentando onde ele poderia ser melhorado?

- Apresentei sugestões e caminhos, não apenas críticas, sejam elas genéricas ou específicas?

- Priorizei minhas críticas e sugestões, distinguindo os problemas possíveis e os impossíveis de serem corrigidos; e também as correções mais importantes e as menos importantes, sem fazer o trabalho para o autor?

- (para as pesquisas teórico-empíricas) Apresentei explicações alternativas para os achados empíricos? O quão relevante é essa explicação alternativa? Ela é consistente com os dados?

Postura: - Independente da qualidade do artigo, adotei uma postura e linguagem respeitosa,

generosa e inspiradora, ajudando o autor a melhorar seu trabalho, atuando como um comentarista, não como um crítico?

- Avaliei o(s) artigo(s) da maneira mais equitativa, imparcial, anônima e construtiva possível? Se a imparcialidade não for possível por qualquer motivo, eu deveria recusar o convite para avaliar.

- Informei o Editor, Editor Associado ou Líder de Tema a respeito de qualquer problema ou conflito de interesse envolvido com a revisão do artigo?

- Terminei minha avaliação dentro do prazo, usando os critérios estabelecidos pelo periódico ou congresso científico?

- Fui o revisor que eu gostaria de ter?

Fontes principais: Allen, 2013; Annesley, 2012; ANPAD (2015), Benos et al., 2003; Hames, 2007; Hoppen, 1997, Hempel, 2014; JCR (2015), JM (2015), JMR (2015), Lepak, 2009; MS (2015), Rogelberg, Adelman, & Askay, 2009. 6. CONCLUSÕES

Aprender a ser um parecerista é como aprender a andar de bicicleta? Será que podemos simplificar a este ponto o processo de avaliação de artigos científicos? Qual o papel dos cursos de pós-graduação em administração no Brasil no treinamento dos futuros doutores e pesquisadores neste relevante papel? Questionamentos diversos surgem e inquietam quem faz ciência social no Brasil. Mais importante, cabe uma reflexão individual do valor do tempo (escasso) dedicado a avaliação de artigos de diferentes periódicos, em especial por aqueles que se dedicam mais e obtém uma reputação positiva junto a editores. Vale a pena? Afinal não se ganha nada de concreto, apenas mais trabalho? É um trabalho de doação ou deve ser visto como uma atividade imprescindível para evitar pesquisas que nada acrescentam à Academia? Por exemplo, Jacoby (1978, p. 87) ironizava que “uma grande proporção da literatura sobre a pesquisa do consumidor (incluindo marketing) não vale o papel em que é

15

impressa ou o tempo que se leva para ler”. Será que esta afirmação ainda seja válida no Brasil em 2015 (apenas excluindo a questão da impressão, já que grande parte dos artigos está disponível em mídia eletrônica, e assim, economizamos em papel e tinta)?

A qualidade da pesquisa é fundamental para o avanço de uma disciplina, que só pode ser constituída com base num domínio de objetos de estudo, métodos, conjunto de proposições definidas e consideradas como verdadeiras, por meio de investigações empíricas (Brei, Rossi & Evrard, 2007). Os artigos científicos são o instrumento para esse processo de maturação. Portanto, é fundamental refletir e agir para que tenhamos mais qualidade nas publicações e avaliações, de forma a fazer com que também os autores avaliem a qualidade das pesquisas que estão produzindo. Novamente citando Jacoby:

Uma coisa que precisamos aprender é que temos que parar de deixar que nossos métodos e ferramentas existentes ditem e limitem nosso pensamento e nossa pesquisa. Não há substituto para o uso de nossas mentes. O cérebro é ainda a ferramenta mais importante que temos e seu uso deveria preceder e não suceder a coleta de dados (1978, p. 95).

Também é importante ter consciência de reconhecer o que não sabemos, para que não

nos enganemos ou aos outros. Por isso, esse artigo procura oferecer uma contribuição para que novos pesquisadores aprendam mais rapidamente a realizar pareceres mais qualificados e que os pesquisadores mais sêniores reavaliem se estão adotando as melhores práticas nesta função central para o avanço da ciência de marketing: os pareceres científicos. 7. REFERÊNCIAS ANPAD – Associação Nacional de Pós-Graduação e Pesquisa em Administração (2015).

Instruções para submissão. Acessado em 19/04/2015 de http://www.anpad.org.br/~anpad/eventos.php?cod_evento=1&cod_evento_edicao=78&cod_edicao_subsecao=1136.

Allen, T. W. (2013). Peer review guidance: how do you write a good review? JAOA: Journal of the American Osteopathic Association, 113(12), 916-920.

Amanor-Boadu, V. (2010). Reviewing, Reviewers and the Scientific Enterprises. Food and Agribusiness Management Review, 13(3) 69-80.

Annesley, T. M. (2012). Seven reasons not to be a peer reviewer—and why these reasons are wrong. Clinical chemistry, 58(4), 677-679.

Benos, D. J., Kirk, K. L., & Hall, J. E. (2003). How to review a paper. Advances in physiology education, 27(2), 47-52.

Brei, V. A.; Rossi, C. A. V.; Evrard, Y (2007). As necessidades e os desejos na formação discursiva do marketing: base consistente ou retórica legitimadora? Cadernos EBAPE.BR, 5(4), 1-21.

Hames, I. (2007). Peer Review and Manuscript Management in Scientific Journals: guidelines for good practice: Blackwell Publishing.

Hempel, P. (2014). The Developmental Reviewer. Management and Organization Review 10(2), 175-181. doi: 0.1111/more.12060.

16

Hoppen, N. (1997). Avaliação de artigos de pesquisa em sistemas de informação: proposta de um guia (pp. 1-15): ENANPAD - Anais do Encontro Nacional da ANPAD.

Jacoby, Jacob (1978). Consumer Research: how valid and useful are all our consumer behavior research findings? A state of the art review. Journal of Marketing, 42 (2), April, 87-96.

JCR – Journal of Consumer Research (2015). Instructions to Reviewers. Acessado em 19/03/2015 de http://www.ejcr.org/instr-revs.htm.

JM – Journal of Marketing (2015). Reviewer Guidelines. Acessado em 19/03/2015 de https://www.ama.org/publications/JournalOfMarketing/Pages/ReviewerGuidelines.aspx.

JMR - Journal of Marketing Research (2015). Peer Review. Acessado em 19/03/2015 de https://www.ama.org/publications/JournalOfMarketingResearch/Pages/JMRReviewProcess.aspx.

Kunnath, S. K. (2006). Reviewing Papers for JSE: A Plea to Authors, Potential Reviewers, and Readers, Editorial. Journal of Structural Engineering, 132(9), 1333-1333.

Lee, N., & Greenley, G. (2009). Being a Successful and valuable peer reviewer. European Journal of Marketing, 43 (1), 5-10.

Lepak, D. (2009). Editor's comments: What is good reviewing? Academy of Management Review, 34(3), 375-381.

MS – Marketing Science (2015). Submission guidelines. Acessado em 19/03/2015 de http://pubsonline.informs.org/page/mksc/submission-guidelines.

Rogelberg, S., Adelman, M., & Askay, D. (2009). Crafting a Successful Manuscript: Lessons for 131 reviews. Journal of Business Psychology, 24, 117-121.

Shukla, S. (2010). How to Review an Article, Editorial. Indian Journal of Surgery, 72(2), 93-96.

i Existem dois tipos de processo de revisão habitualmente adotados nos periódicos científicos. O single-blind, em que o revisor sabe quem são os autores e pode, por exemplo, acessar seus trabalhos anteriores e ver o avanço apresentado na pesquisa em pauta. Existe também o double-blind, em que nem o revisor nem os autores sabem uns dos outros. Praticamente inexistente no Campo do marketing, o single-blind é o mais usado em outros campos do conhecimento, como na área médica (Allen, 2013). ii Neste artigo não serão considerados os Artigos Tecnológicos, em razão de ainda serem pouco comuns no Campo do marketing no Brasil.