Guia Para Realizar uma Revisão Sistemática da Literatura03 Guia Para Realizar uma Revisão Sistemática da Literatura OOLI, C. EaD em oco, 2019 9(1) e748 pesquisa em Educação a

ISSN 2177-8310DOI 1018264eadfv9i1748

Recebido 23 08 2018Aceito 27 03 2019Publicado 03 04 2019

Resumo

Muitos pesquisadores natildeo satildeo bem treinados na realizaccedilatildeo de uma revisatildeo de literatura autocircnoma um documento acadecircmico que resume e sintetiza na sua totalidade o conhecimento anterior de um corpo de pesquisa Nu-merosos guias que existem para pesquisa em sistemas de informaccedilatildeo (SI) concentram-se somente em certas partes do processo poucos abrangem todo o processo Este artigo apresenta uma metodologia rigorosa e padro-nizada para a revisatildeo sistemaacutetica de literatura (tambeacutem chamada de revi-satildeo sistemaacutetica) para pesquisadores em SI Este guia abrangente amplia a metodologia baacutesica das ciecircncias da sauacutede e outros campos com numerosas adaptaccedilotildees para atender agraves necessidades de campos metodologicamen-te diversos como a pesquisa em SI especialmente aqueles que envolvem incluem e sintetizam estudos quantitativos e qualitativos Aleacutem disso este guia fornece muitos exemplos da pesquisa em SI e referecircncias a guias com mais detalhes uacuteteis para a realizaccedilatildeo de uma revisatildeo de literatura rigorosa e valiosa Embora seja adaptado agrave pesquisa em SI eacute suficientemente am-plo para ser aplicaacutevel e valioso para pesquisadores de qualquer campo das ciecircncias sociais

Palavras-chave Revisotildees de literatura Revisotildees sistemaacuteticas Revisatildeo sistemaacutetica de literatura Pesquisa em sistemas de informaccedilatildeo

Chitu Okoli1

1Concordia University ndash Montreal ndash Canadaacute

Guia Para Realizar uma Revisatildeo Sistemaacutetica da LiteraturaA Guide to Conducting a Standalone

Systematic Literature ReviewTrad

uccedilatilde

o A

uto

riza

da

Como Citar este artigoaBNt OKOLI Chitu Guia para realizar uma revisatildeo sistemaacutetica da literatura Traduccedilatildeo de David Wesley Amado Duarte Revisatildeo teacutecnica e introduccedilatildeo de Joatildeo Mattar eaD em Foco 20199 (1) e748 DOI httpsdoiorg1018264eadfv9i1748

Traduccedilatildeo de

OKOLI Chitu A guide to conducting a standalone systematic literature review Communications of the Association for Information Systems v 37 n 43 p 879ndash910 nov 2015 Disponiacutevel em lthttpaiselaisnetorgcaisvol37iss143gt

Autorizada pela Association for Information Systems - Copyright copy 2015

David Wesley Amado Duarte (traduccedilatildeo)2

2Instituto Federal de Educaccedilatildeo Ciecircncia e Tecnologia do Cearaacute (IFCE) campus Crato Crato CE ndash Brasil

Joatildeo Mattar (revisatildeo)3

3Pontifiacutecia Universidade Catoacutelica (PUCndashSP) Satildeo Paulo SP ndash Brasil joaomattargmailcom

02

Guia Para Realizar uma Revisatildeo Sistemaacutetica da Literatura

OkOLi C EaD em Foco 2019 9(1) e748

A Guide to Conducting a Standalone Systematic Literature Review

Abstract

Many scholars are not well trained in conducting a standalone literature review a scholarly paper that in its entirety summarizes and synthesizes knowledge from a prior body of research Numerous guides that exist for information systems (IS) research mainly concentrate on only certain parts of the process few span the entire process This paper introduces the rigorous standardized methodology for the systematic literature review (also called systematic review) to IS scholars This comprehensive guide extends the base methodology from the health sciences and other fields with numerous adaptations to meet the needs of methodologically diverse fields such as IS research especially those that involve including and synthesizing both quantitative and qualitative studies Moreover this guide provides many examples from IS research and provides references to guides with further helpful details for conducting a rigorous and valuable literature review Although tailored to IS research it is sufficiently broad to be applicable and valuable to scholars from any social science field

Keywords Literature reviews Systematic reviews Systematic literature reviews Information systems research

Apresentaccedilatildeo da Traduccedilatildeo

A pesquisa eacute essencial em todas as aacutereas do conhecimento incluindo a educaccedilatildeo Sua metodologia envolve etapas como a definiccedilatildeo dos objetivos e do problema da pesquisa a elaboraccedilatildeo dos instrumentos de coleta de dados e a definiccedilatildeo de abordagens para a anaacutelise e interpretaccedilatildeo dos resultados Mas eacute possiacutevel conceber a revisatildeo de literatura como uma etapa anterior a todas essas que ajuda a moldaacute-las servindo tambeacutem para identificar lacu-nas na literatura (e o que eacute repeticcedilatildeo) orientando assim o pesquisador sobre os caminhos a seguir Creswell e Creswell (2018) no livro mais citado sobre pesquisas qualitativas quanti-tativas e mistas posiciona a revisatildeo de literatura logo no comeccedilo do processo da pesquisa assim como Creswell (2018) em um livro que eacute uma referecircncia na pesquisa em educaccedilatildeo

Em Educaccedilatildeo a Distacircncia um campo jaacute composto por ampla quantidade de artigos capiacute-tulos livros dissertaccedilotildees e teses dentre outras fontes a revisatildeo de literatura configura-se como de extrema importacircncia apesar de muitos trabalhos ignorarem esse procedimento

Haacute muitos trabalhos que se propotildeem a orientar a etapa da revisatildeo de literatura de ma-neira geral mas uma atenta e trabalhosa leitura desses trabalhos me levou a este artigo de Chitu Okoli que citava analisava e comparava sistematicamente os principais textos na aacuterea Eacute um artigo fascinante que passou a moldar meu trabalho como pesquisador Fiz entatildeo contato com o autor e posteriormente com o perioacutedico em que ele estava publicado que gentilmente nos autorizaram a traduccedilatildeo em liacutengua portuguesa O David Duarte antes que eu iniciasse o empreendimento um dia me enviou em um e-mail a traduccedilatildeo pronta

O texto a princiacutepio eacute focado em sistemas de informaccedilatildeo mas o autor informa que serve a aacutereas mais amplas e gerais Vocecirc perceberaacute que ele pode ser extremamente uacutetil para a

03



pesquisa em Educaccedilatildeo a Distacircncia orientando passo a passo com vaacuterios exemplos citaccedilotildees e referecircncias teoacutericas como fazer uma revisatildeo de literatura Eacute uma grande contribuiccedilatildeo para a nossa aacuterea Boa leitura

Joatildeo Mattar

Diretor de Desenvolvimento Cientiacutefico da ABED mdash Associaccedilatildeo Brasileira de Educaccedilatildeo a Distacircncia e vice-pre-sidente da ABT mdash Associaccedilatildeo Brasileira de Tecnologia Educacional Professor pesquisador e orientador no TIDD mdash Programa de Estudos Poacutes-Graduados em Tecnologias da Inteligecircncia e Design Digital da Pontifiacutecia Universidade Catoacutelica de Satildeo Paulo (PUCndashSP) e do PPGENT mdash Programa de Poacutes-Graduaccedilatildeo em Educaccedilatildeo e Novas Tecnologias do Centro Universitaacuterio Internacional Uninter

Referecircncias

CRESWELL John W CRESWELL J David Research design qualitative quantitative and mixed methods approaches 5th ed Los Angeles Sage 2018

CRESWELL John W Educational research planning conducting and evaluating quantitative and qualitative research 6th ed New York Pearson 2018

1 Introduccedilatildeo

Os pesquisadores que tentam escrever revisotildees de literatura autocircnomas pela primeira vez enfrentam um paradoxo Por um lado a revisatildeo de literatura eacute provavelmente a metodologia de pesquisa mais uti-lizada jaacute que praticamente todos precisam preparar uma para quase todos os trabalhos que publicam Assim muitas vezes tecircm uma falsa sensaccedilatildeo de preparaccedilatildeo para a consideraacutevel tarefa em matildeos ateacute que comecem e percebam a enormidade do projeto Por outro lado o treinamento de estudantes de poacutes-graduaccedilatildeo na escrita de revisotildees de literatura eacute bastante esparso resumindo-se em geral a uma ou duas sessotildees de seminaacuterios que podem abordar brevemente o toacutepico (Boote amp Beile 2005 Huumlttner 2008 Maxwell 2006 Rempel amp Davidson 2008) Embora o primeiro grande projeto de revisatildeo de literatura dos estudantes de poacutes-graduaccedilatildeo mdash suas teses de doutorado mdash decirc-lhes alguma experiecircncia os padrotildees satildeo tipicamente muito baixos e o que eacute aceitaacutevel para uma tese raramente eacute para um artigo de pesquisa pu-blicado independentemente (Boote amp Beile 2005) Neste tutorial preencho essa necessidade de melhor conhecimento para a realizaccedilatildeo de uma revisatildeo de literatura de alta qualidade fornecendo um guia claro e detalhado usando a rigorosa metodologia de revisatildeo sistemaacutetica de literatura (RSL)

Na aacuterea de sistemas de informaccedilatildeo (SI) a uacuteltima deacutecada assistiu a um fluxo soacutelido de documentos de pesquisa dedicados a ajudar a melhorar a qualidade das revisotildees de literatura (Bandara Furtmueller Gorbacheva Miskon amp Beekhuyzen 2015 Levy amp Ellis 2006 Okoli 2012 Sylvester Tate amp Johnstone 2011 Vom Brocke et al 2009 2015 Webster amp Watson 2002 Wolfswinkel Furtmueller amp Wilderom 2011) Embora cada um desses guias apresente contribuiccedilotildees excepcionalmente valiosas mdash que eu resu-mi brevemente mdash nenhum deles emprega metodologia rigorosa e padronizada para a revisatildeo sistemaacute-tica de literatura como desenvolvida para as ciecircncias da sauacutede (Fink 2005 Pope Mays amp Popay 2007) e para outras aacutereas (Kitchenham amp Charters 2007 Pawson Greenhalgh Harvey amp Walshe 2005 Petticrew amp Roberts 2006) Assim os guias de revisatildeo de literatura em SI ficam aqueacutem das inuacutemeras vantagens do estado da arte da metodologia RSL Explicarei isso em detalhes em breve Embora se possa encontrar uma abundacircncia de fontes em outros campos de pesquisa nenhuma vai inteiramente ao encontro das necessidades gerais dos pesquisadores de SI Sistemas de informaccedilatildeo estatildeo em um campo metodologi-camente diverso e guias que se concentram apenas em estudos quantitativos ou apenas em estudos qua-litativos natildeo podem adequadamente sintetizar sua literatura Em resposta a essa escassez de materiais

04



apropriados compilei este guia para conduzir uma revisatildeo sistemaacutetica de literatura adaptando-o parti-cularmente agraves diversas necessidades da pesquisa em SI Essa diversidade natildeo se limita de forma alguma agrave pesquisa em SI e este guia eacute bastante apropriado para todas as ciecircncias sociais especialmente aquelas que empregam metodologias mistas

Neste artigo adapto a definiccedilatildeo de Fink (2005 p 3) de revisatildeo de literatura de pesquisa como minha de-finiccedilatildeo operacional para revisatildeo sistemaacutetica de literatura ldquoum meacutetodo sistemaacutetico expliacutecito (abrangente) e reprodutiacutevel para identificar avaliar e sintetizar o corpo existente de trabalhos completos e registrados produzidos por pesquisadores estudiosos e profissionaisrdquo Uma revisatildeo de literatura autocircnoma rigorosa deve ser sistemaacutetica ao seguir uma abordagem metodoloacutegica expliacutecita na explicaccedilatildeo dos procedimentos pelos quais foi conduzida abrangente em seu escopo ao incluir todo o material relevante e portanto reprodutiacutevel por outros que desejem seguir a mesma abordagem na revisatildeo do tema Enquanto o livro de Fink eacute um guia para produzir tais revisotildees seu foco nas ciecircncias da sauacutede e seu tratamento superficial dos estudos qualitativos limitam significativamente sua aplicabilidade para pesquisadores em administraccedilatildeo e ciecircncias sociais O apelo de Fink para uma abordagem estruturada encontra eco em Rousseau Manning e Denyer (2008 p 7) que argumentam que as revisotildees de literatura devem ser um ldquoacuacutemulo abrangente uma anaacutelise transparente e uma interpretaccedilatildeo reflexiva de todos os estudos empiacutericos pertinentes a uma questatildeo especiacuteficardquo Ao escreverem que a ldquorealidade existe independentemente da condiccedilatildeo humana [] e que todos os fatos observaccedilotildees e dados satildeo carregados de teoriasrdquo (Rousseau Manning amp Denyer 2008 p 20) eles o fazem para afirmar que as revisotildees da pesquisa natildeo estatildeo mais livres do impacto da subjetividade das pessoas do que outras pesquisas e que exigem esforccedilo igual para garantir sua objeti-vidade Assim em vez de serem exerciacutecios puramente subjetivos as revisotildees de literatura tecircm princiacutepios objetivos para garantir seu rigor

11 Guias de Revisatildeo de Literatura para Pesquisas em Sistemas de Informaccedilatildeo

Neste artigo eu me junto agrave corrente de pesquisa em desenvolvimento que busca melhorar a qualidade das revisotildees de literatura da pesquisa em SI Todas essas obras anteriores fazem contribuiccedilotildees valiosas e eu me refiro frequentemente a elas neste artigo quando apropriado No entanto este guia vai significati-vamente mais longe do que foi feito ateacute agora o que eu demonstro aqui resumindo as contribuiccedilotildees dos trabalhos relacionados e destacando nossas contribuiccedilotildees adicionais Webster e Watson (2002) lamen-tam o fato de que pesquisadores em SI tendem a desconhecer a necessidade de estrutura nas revisotildees Seu guia breve e inspirador eacute particularmente notaacutevel por argumentar que as revisotildees natildeo deveriam ser apenas bibliografias extensas que listam uma sequecircncia de artigos mas se concentrar diretamente em conceitos teoacutericos e desenvolver a partir deles uma histoacuteria teoacuterica coerente Considerando que o edito-rial de Webster e Watson apenas descreve brevemente indicadores valiosos o presente guia descreve de forma detalhada todos os passos necessaacuterios para uma revisatildeo

Levy e Ellis (2006) apresentam um guia passo a passo particularmente uacutetil na identificaccedilatildeo de fontes bibliograacuteficas especiacuteficas em SI e sua detalhada metodologia de siacutentese orientando a escrita do relatoacuterio de revisatildeo com base na teoria da argumentaccedilatildeo O presente guia traz muito mais detalhes para a coleta de dados vou aleacutem desse tratamento para descrever um rigoroso quadro praacutetico o desenvolvimento de um protocolo o treinamento de revisores1 e a avaliaccedilatildeo da qualidade Esses elementos satildeo criacuteticos para ter estudos primaacuterios de alta qualidade como base para uma efetiva anaacutelise da revisatildeo Aleacutem disso meu tratamento natildeo eacute apenas ldquosistemaacuteticordquo no sentido de um guia passo a passo mas tambeacutem ldquocientiacuteficordquo no sentido de ser projetado para ser reprodutiacutevel (ou seja cientificamente confiaacutevel) mdash eu discuto o signifi-cado de ldquosistemaacuteticordquo nas RSL na Seccedilatildeo 16

1 Ao longo deste trabalho o termo ldquorevisorrdquo se refere a um pesquisador que estaacute realizando uma revisatildeo de literatura em vez de algueacutem que analisa um artigo para considerar sua adequaccedilatildeo agrave publicaccedilatildeo Neste artigo eu me refiro a esse outro uso comum como um ldquorevisor de paresrdquo

05



Vom Brocke et al (2009) discutem em detalhes a necessidade de rigor no processo de documentaccedilatildeo da revisatildeo de literatura Endosso sinceramente o seu clamor e vou mais longe para detalhar os muitos passos em que o rigor eacute necessaacuterio e especifico princiacutepios detalhados para alcanccedilaacute-lo

Bandara et al (2015) demonstram como usar ferramentas eletrocircnicas mdash em particular ferramentas de codificaccedilatildeo para a teoria fundamentada (grounded-theory) mdash para apoiar o processo de revisatildeo de literatura Suas maiores contribuiccedilotildees estatildeo na fase da extraccedilatildeo de dados cujo detalhe excede o que normalmente eacute coberto Aleacutem disso sua abordagem de anaacutelise de conteuacutedo para siacutentese estaacute de acordo com sua metodologia de extraccedilatildeo de dados No entanto o presente guia eacute muito mais geral tanto por-que cobre com mais detalhes todas as etapas de uma revisatildeo de literatura como porque abrange muitas outras abordagens de siacutentese aleacutem da anaacutelise de conteuacutedo

Sylvester Tate e Johnstone (2011) descrevem e ilustram uma abordagem de siacutentese que em vez de resumir uma uacutenica perspectiva cumulativa ldquoverdadeirardquo de um corpo bibliograacutefico propositadamente dis-cute diferentes histoacuterias e as apresenta de maneira rigorosa e esclarecedora De forma semelhante em-bora Wolfswinkel et al (2011) esbocem brevemente todas as etapas do processo de revisatildeo de literatura sua principal contribuiccedilatildeo eacute uma nova abordagem de siacutentese que usa teacutecnicas de teoria fundamentada Em contraste com esses dois estudos o guia aqui apresentado cobre detalhadamente todo o processo de revisatildeo e abrange muitas outras abordagens para siacutentese

Okoli (2012) emprega um esboccedilo baseado na metodologia RSL que fornece diretrizes para desenvol-vimento de teoria nas revisotildees de literatura Embora forneccedila detalhes sobre cada uma das etapas que discuto neste artigo seu tratamento natildeo estaacute completo para todas as etapas Em vez de discutir o pro-cedimento para conduzir a revisatildeo ele restringe sua discussatildeo a pontos relevantes para a construccedilatildeo de teoria Embora valioso esse tratamento eacute inadequado para orientar os revisores que natildeo estatildeo familiari-zados com a metodologia RSL

Eu me concentro aqui em revisotildees de literatura autocircnomas em contraste com revisotildees de literatura estabelecidas sobre teorias anteriores para um trabalho de pesquisa primaacuteria ou para a tese de um es-tudante de poacutes-graduaccedilatildeo Enquanto me concentro nas necessidades de pesquisadores de sistemas de informaccedilatildeo os princiacutepios que descrevo aqui satildeo facilmente aplicaacuteveis a uma ampla gama de domiacutenios o que eacute natural dada a grande quantidade de domiacutenios a partir dos quais eu extraio esses princiacutepios Em-bora tenha estudado minuciosamente dezenas de livros e artigos na preparaccedilatildeo deste guia (as citaccedilotildees estatildeo distribuiacutedas por todo o artigo) tirei os principais pontos de seis fontes o guia de Kitchenham e Charters (2007) para RSL em engenharia de software o livro de Petticrew e Roberts (2006) sobre RSL em ciecircncias sociais o livro de Fink (2005) sobre RSL em ciecircncias da sauacutede o artigo de Rousseau et al (2008) sobre RSL em ciecircncias de gestatildeo e organizaccedilatildeo o artigo de Levy e Ellis (2006) sobre a realizaccedilatildeo de revi-sotildees de literatura em sistemas de informaccedilatildeo e o artigo de Webster e Watson (2002) sobre redaccedilatildeo de revisotildees de literatura em sistemas de informaccedilatildeo

Como tal acredito que este guia apresenta vaacuterias contribuiccedilotildees de valor especiacutefico aleacutem do que de outra forma pesquisas similares alcanccedilaram ateacute entatildeo

Em primeiro lugar este eacute o primeiro guia que introduz uma metodologia formal de revisatildeo sistemaacutetica de literatura para a pesquisa em SI direcionada para a metodologia de revisatildeo de literatura Sistemas de informaccedilatildeo combinam ciecircncias sociais administraccedilatildeo e ciecircncia da computaccedilatildeo cujos meacutetodos de pes-quisa satildeo diferentes dos das ciecircncias da sauacutede a partir dos quais a metodologia de revisatildeo sistemaacutetica foi amplamente desenvolvida Uma caracteriacutestica primaacuteria da pesquisa em sistemas de informaccedilatildeo que este guia satisfaz eacute o equiliacutebrio entre as metodologias quantitativas e qualitativas Alguns dos guias de referecircn-cia dos diversos campos satildeo excelentes no tratamento de pesquisas quantitativas mas cobrem pesquisas qualitativas apenas superficialmente (Fink 2005) natildeo reconhecendo as diferenccedilas epistemoloacutegicas fun-damentais entre essas metodologias Assim eacute preciso tratar essas abordagens de forma equilibrada com

06



um guia que seja igualmente confortaacutevel para qualquer tipo de pesquisa que se destaca especialmente na qualidade das seccedilotildees de avaliaccedilatildeo e siacutentese Ao incorporar as recomendaccedilotildees de Kitchenham e Char-ters (2007) da engenharia de software este guia incorpora a revisatildeo de estudos primaacuterios que utilizam metodologias como ciecircncia do design que natildeo se encontra nas ciecircncias sociais Aleacutem disso embora natildeo tenha encontrado nenhum exemplo de RSL em sistemas de informaccedilatildeo faccedilo referecircncia a vaacuterias revisotildees exemplares em SI para ilustrar os melhores exemplos de partes da revisatildeo se natildeo do todo Com essa perspectiva apresento a metodologia de revisatildeo sistemaacutetica de literatura em SI e campos relacionados Mais uma vez natildeo afirmo que a pesquisa em SI seja uacutenica na sua diversidade Em vez disso argumento que minha abordagem aqui eacute suficientemente ampla para atender agraves necessidades da pesquisa em SI

Em segundo lugar este artigo tambeacutem serve como uma porta de entrada para localizar vaacuterias fontes uacuteteis para realizar uma revisatildeo sistemaacutetica de literatura A maioria dos princiacutepios que apresento aqui natildeo eacute completamente nova Entretanto eu reuacuteno todos em um soacute lugar Assim apresento aqui uma abordagem cientiacutefica rigorosa para a realizaccedilatildeo de uma revisatildeo de literatura em um formato acessiacutevel passo a passo Acredito que essa compilaccedilatildeo abrangente e a apresentaccedilatildeo dessas etapas de RSL satildeo con-tribuiccedilotildees novas e valiosas Embora tenha me esforccedilado para escrever um guia abrangente sobre como conduzir uma revisatildeo de literatura autocircnoma eacute impossiacutevel que um uacutenico artigo cientiacutefico seja um guia completo Assim em vez de tentar incluir todos os detalhes de cada procedimento necessaacuterio a maior parte da discussatildeo neste artigo centra-se em itens que natildeo foram adequadamente discutidos nas fontes que examino ou que existem principalmente em pedaccedilos tatildeo fragmentados que eacute difiacutecil para escritores de revisotildees enxergarem o quadro geral Ao longo do caminho outros explicaram minuciosa e adequa-damente muitos aspectos da redaccedilatildeo de uma revisatildeo de literatura Nesses casos depois de explicar cla-ramente cada passo necessaacuterio e discutir seus elementos-chave refiro-me a fontes uacuteteis que explicam e ilustram essas etapas em mais detalhes de forma praacutetica

Em terceiro lugar cito exemplos de pesquisas de alta qualidade (geralmente de pesquisa em sistemas de informaccedilatildeo e em gestatildeo) que ilustram os passos nas revisotildees de literatura publicadas Assim ainda que as fontes natildeo sejam revisotildees sistemaacuteticas muitas vezes contecircm seccedilotildees que fornecem bons exemplos de certos passos da revisatildeo sistemaacutetica

12 Quando uma Revisatildeo Sistemaacutetica de Literatura Pode Ser Uacutetil e quando Pode natildeo Ser

Eacute necessaacuteria uma abordagem metodoloacutegica detalhada em qualquer tipo de revisatildeo de literatura Eu distingo entre trecircs tipos gerais de revisotildees de literatura A primeira e mais comum chamo de ldquoreferencial teoacutericordquo a seccedilatildeo de um artigo cientiacutefico que traz os fundamentos teoacutericos e o contexto de uma questatildeo de pesquisa ajudando a colocaacute-la em foco Em um artigo esta seccedilatildeo eacute mais comumente denominada ldquorevisatildeo de literaturardquo ldquofundamentaccedilatildeo teoacutericardquo ou algo semelhante A segunda eacute a revisatildeo de literatura como um capiacutetulo de uma tese de poacutes-graduaccedilatildeo Denomino isso como ldquorevisatildeo de literatura de teserdquo O terceiro tipo eacute uma ldquorevisatildeo autocircnoma da literaturardquo um artigo cientiacutefico que analisa a literatura em um campo sem que o autor colete ou analise quaisquer dados primaacuterios (ou seja dados novos ou originais)

Existem inuacutemeras motivaccedilotildees para realizar uma revisatildeo sistemaacutetica de literatura autocircnoma podem ser realizadas para descrever o conhecimento disponiacutevel para a praacutetica profissional para identificar pro-jetos e teacutecnicas de pesquisa efetivos para identificar especialistas em determinado campo e para iden-tificar fontes natildeo publicadas (Fink 2005) Embora essas motivaccedilotildees sejam amplamente compartilhadas pelas outras duas categorias de revisatildeo de literatura uma revisatildeo autocircnoma se distingue pelo alcance e rigor Na sua melhor forma torna-se um trabalho muito citado que os pesquisadores buscam como primeiro esboccedilo claro da literatura ao realizar uma nova investigaccedilatildeo Essas avaliaccedilotildees independentes resumem evidecircncias existentes identificam lacunas na pesquisa atual e fornecem um quadro geral para o posicionamento dos esforccedilos de pesquisa Satildeo tambeacutem valiosos em informar poliacuteticas e apoiar a praacutetica

07



(Petticrew amp Roberts 2006) Embora certamente natildeo sejam faacuteceis de realizar o compromisso de comple-tar uma revisatildeo autocircnoma fornece agrave comunidade acadecircmica um serviccedilo valioso tais revisotildees podem ser como foram no passado verdadeiras ldquomudanccedilas de paradigmasrdquo (Petticrew amp Roberts 2006)

Conduzir uma RSL como descrevo aqui natildeo eacute um exerciacutecio banal Natildeo eacute razoaacutevel mdash nem mesmo aconselhaacutevel mdash esperar que sempre que um artigo acadecircmico seja escrito sua seccedilatildeo de ldquofundamentaccedilatildeo teoacutericardquo envolva uma RSL Embora essas diretrizes possam certamente ajudar a identificar a literatura (ver Seccedilotildees 4 e 5 em particular) o esforccedilo envolvido para conduzir uma RSL completa seria um exagero para a finalidade de suporte a um artigo acadecircmico com contribuiccedilatildeo primaacuteria que natildeo seja para apresentar a literatura No entanto considero que uma RSL eacute bastante apropriada para o capiacutetulo de revisatildeo de li-teratura de uma tese de poacutes-graduaccedilatildeo Na verdade abordo especificamente esse toacutepico na Seccedilatildeo 102

No entanto mesmo para revisotildees autocircnomas da literatura seria inadequado exigir ou esperar que toda revisatildeo de literatura deva ser realizada com o grau de rigor exigido de uma RSL Ao discutir o pro-poacutesito de uma RSL Petticrew e Roberts (2006) explicam que a revisatildeo sistemaacutetica eacute essencialmente uma ferramenta Portanto eacute preciso perguntar se eacute a correta para determinado trabalho Antes de embarcar na tarefa de conduzir uma RSL eles recomendam primeiramente uma busca de alguma revisatildeo sistemaacute-tica existente Em particular sugerem que a revisatildeo considere o estado atual de evoluccedilatildeo do campo de pesquisa uma revisatildeo sistemaacutetica natildeo eacute muito valiosa no iniacutecio quando os estudos disponiacuteveis podem ser limitados porque podem natildeo representar o melhor conhecimento que poderia ser conseguido com mais tempo Uma revisatildeo sistemaacutetica seria inapropriada se a questatildeo de pesquisa for muito vaga ou ampla (o que geraria centenas de estudos muito diferentes) mas tambeacutem se a questatildeo for muito limitada (o que produziria poucos estudos uacuteteis) Uma questatildeo muito praacutetica eacute se eacute possiacutevel justificar a quantidade de tem-po energia e o custo financeiro necessaacuterios para realizar a revisatildeo sistemaacutetica (veja a Tabela 23 de Petticrew e Roberts (2006) em particular para uma estimativa do tempo gasto em revisotildees sistemaacuteticas baseadas em 27 meta-anaacutelises) Nos casos em que uma revisatildeo sistemaacutetica pode ser inapropriada ou inviaacutevel sugerem-se inuacutemeros tipos alternativos de revisotildees de literatura menos ambiciosas tais como revisotildees de escopo ou do ldquoestado da arterdquo

13 Uma Defesa do Rigor na Revisatildeo de Literatura

As revisotildees autocircnomas da literatura podem e satildeo conduzidas com diferentes padrotildees de rigor que variam de pouco mais do que uma bibliografia anotada ateacute siacutenteses cientificamente rigorosas de um corpo de pesquisas primaacuterias Eacute a essa abordagem mais rigorosa para realizar uma revisatildeo autocircnoma da literatura que eu me refiro como revisatildeo sistemaacutetica de literatura e que eacute o assunto deste artigo

Embora a maioria dos pesquisadores realize revisotildees de literatura principalmente para sua proacutepria aprendizagem e benefiacutecio a publicaccedilatildeo de uma revisatildeo beneficia primordialmente a comunidade acadecircmi-ca Qualquer revisatildeo de literatura publicada tenta poupar tempo e esforccedilo intensivo de outros estudiosos na busca e siacutentese de um grande corpo de literatura No entanto para ter certeza de que natildeo precisam repetir tal esforccedilo a revisatildeo publicada deve transmitir aos leitores confianccedila de que ela faz satisfatoriamente o trabalho que de outra forma eles teriam que fazer Assim concordo com Vom Brocke et al (2009 p 2) que

O processo de excluir e incluir fontes deve ser tatildeo transparente quanto possiacutevel para que a revisatildeo seja de comprovada credibilidade Soacute entatildeo os leitores podem avaliar a exaustividade de uma revisatildeo e outros estu-diosos da aacuterea podem (re)utilizar com mais confianccedila os resultados em suas proacuteprias pesquisas

08



Os revisores devem ser transparentes em como e por que escolheram o toacutepico como o foco da revi-satildeo pode ter mudado ao longo do tempo e qual o papel potencial da revisatildeo no apoio a seus trabalhos futuros (Hart 1998) Uma revisatildeo publicada deve inclusive ser ldquovulneraacutevelrdquo ao publicar seus procedimen-tos porque essa transparecircncia de vulnerabilidade ajuda a avanccedilar o conhecimento acadecircmico ao admitir possiacuteveis limitaccedilotildees no procedimento que possam afetar seu resultado Assim natildeo apelo somente por mais rigor em como os revisores executam revisotildees de literatura mas tambeacutem me junto a Vom Brocke et al (2009 p 10) ao clamar por mais rigor sobre como relatam essa execuccedilatildeo

Apelamos aos autores de artigos sobre SI [] bem como aos editores de revistas de SI [] a natildeo soacute conduzir e escrever (ou apoiar a redaccedilatildeo de) revisotildees de literatura de alta qualidade [] mas tambeacutem para do-cumentar adequadamente o processo de revisatildeo incluindo os detalhes do processo da pesquisa

Ao clamar por um processo de revisatildeo rigoroso natildeo seria suficiente meramente compilar uma simples coleccedilatildeo ou resumo de outros documentos tambeacutem deve haver um elemento de anaacutelise criacutetica (Hart 1998) Como peccedila acadecircmica a revisatildeo natildeo pode simplesmente regurgitar o assunto deve contribuir para o trabalho em sua dupla abordagem de sintetizar o material disponiacutevel e oferecer uma criacutetica aca-decircmica da teoria (Kekaumlle Weerd-Nederhof Cervai amp Borelli 2009) Somente no preenchimento de ambas as funccedilotildees atende ao requisito de rigor acadecircmico Assim embora me concentre no procedimento de execuccedilatildeo de uma revisatildeo neste artigo natildeo posso enfatizar demais que seguir um conjunto de diretrizes de forma meramente mecacircnica como apresento aqui eacute insuficiente para fornecer contribuiccedilotildees que seriam valiosas para outros estudiosos Na etapa final sobre a redaccedilatildeo da revisatildeo (Seccedilatildeo 9) volto a esse ponto e forneccedilo indicadores especiacuteficos para transformaacute-la de simples conjunto de etapas em trabalho acadecircmico valioso

14 Um Guia de Oito Passos para realizar uma Revisatildeo Sistemaacutetica de Literatura

O guia que apresento aqui tem oito passos principais (ver Figura 1) necessaacuterios para realizar uma revi-satildeo sistemaacutetica de literatura Na verdade essas etapas satildeo muito valiosas para qualquer tipo de revisatildeo de literatura No entanto para que uma revisatildeo seja cientificamente rigorosa todas as etapas a seguir satildeo essenciais

1 Identifique o objetivo o primeiro passo em qualquer revisatildeo exige que os revisores identifi-quem claramente o propoacutesito da revisatildeo e os objetivos pretendidos o que eacute necessaacuterio para que a revisatildeo seja expliacutecita para seus leitores

2 Planeje o protocolo e treine a equipe para qualquer revisatildeo que empregue mais de um re-visor os revisores precisam estar completamente esclarecidos e de acordo sobre o procedi-mento que seguiratildeo o que exige tanto um detalhado protocolo escrito quanto treinamento para todos os revisores a fim de garantir consistecircncia em como executaratildeo a revisatildeo

3 Aplique uma seleccedilatildeo praacutetica tambeacutem chamada de seleccedilatildeo para inclusatildeo esta etapa exige que os revisores sejam expliacutecitos sobre quais estudos consideraram para a revisatildeo e quais eliminaram sem maior exame (uma parte muito necessaacuteria de qualquer revisatildeo de litera-tura) Para os estudos excluiacutedos os revisores devem indicar suas razotildees praacuteticas para natildeo os considerar e justificar como o resultado da revisatildeo ainda pode ser abrangente dados os criteacuterios praacuteticos de exclusatildeo

4 Busque a bibliografia os revisores precisam ser expliacutecitos ao descrever os detalhes da pes-quisa bibliograacutefica e precisam explicar e justificar como garantiram a abrangecircncia da pesquisa

5 Extraia os dados apoacutes os revisores identificarem todos os estudos que devem ser incluiacutedos precisam extrair sistematicamente as informaccedilotildees aplicaacuteveis de cada estudo

09



6 Avalie a qualidade tambeacutem chamada de seleccedilatildeo para exclusatildeo os revisores precisam de-clarar explicitamente os criteacuterios utilizados para julgar quais artigos seratildeo excluiacutedos por qualidade insuficiente Os pesquisadores precisam classificar a qualidade de todos os arti-gos incluiacutedos dependendo das metodologias de pesquisa que empregam

7 Sintetize os estudos tambeacutem conhecido como anaacutelise este passo envolve combinar os fatos extraiacutedos dos estudos usando teacutecnicas quantitativas ou qualitativas apropriadas ou ambas

8 Escreva a revisatildeo aleacutem dos princiacutepios e padrotildees a serem seguidos na escrita de artigos cientiacuteficos o processo de uma revisatildeo sistemaacutetica de literatura precisa ser descrito com detalhes suficientes de maneira que outros pesquisadores possam independentemente reproduzir seus resultados

Figura 1 Guia sistemaacutetico para o desenvolvimento de revisotildees de literatura

15 Revisotildees de Literatura Exemplares em Sistemas de Informaccedilatildeo

Neste guia para escrever uma revisatildeo de literatura natildeo faccedilo uma tentativa combinada de aplicar todos os itens especificamente para o campo de SI Em vez disso mantenho as orientaccedilotildees tatildeo gerais quanto possiacutevel para serem aplicadas em vaacuterios campos No entanto devido a minha base de pesquisa ser em sistemas de informaccedilatildeo e gestatildeo selecionei guias de RSL em ciecircncias sociais gestatildeo e engenharia de software mdash campos que satildeo pertinentes para pesquisadores em SI Aleacutem disso refiro-me a exemplos de

10



pesquisas de qualidade principalmente de publicaccedilotildees em SI Com essa abordagem este guia eacute geral o suficiente para ser uacutetil para pesquisadores em vaacuterios campos em vez de ser de grande ajuda unicamente para a pesquisa em SI

Embora eu natildeo conheccedila nenhum exemplo na pesquisa em SI que siga explicitamente a rigorosa me-todologia da revisatildeo sistemaacutetica de literatura procurei em vaacuterias publicaccedilotildees das mais lidas em SI por revisotildees de literatura de alta qualidade para demonstrar exemplos das melhores praacuteticas em vaacuterios as-pectos do processo de revisatildeo Pesquisei especificamente em Information Systems Research Journal of Ma-nagement Information Systems Journal of the Association of Information Systems e MIS Quarterly Aleacutem disso pesquisei no Academy of Management Review Embora natildeo seja uma publicaccedilatildeo de pesquisa em SI acredito que o campo vizinho de gestatildeo seja suficientemente proacuteximo para que os pesquisadores de SI aprendam com esses exemplos de revisotildees Nessas publicaccedilotildees selecionei um total de 23 exemplos de 1976 a 2008 (ver Quadro 1) 2 Desses 23 trecircs satildeo meta-anaacutelises dois contecircm componentes meta-analiacuteticos e narrativos e o resto emprega exclusivamente discussatildeo qualitativa Os trabalhos incluem o desenvolvimento deta-lhado de toacutepicos como autoeficaacutecia de computadores (Marakas Yi amp Johnson 1998) sistemas de suporte agrave negociaccedilatildeo (Lim amp Benbasat 1992) sistemas interorganizacionais (Robey Im amp Wareham 2008) adoccedilatildeo de tecnologia (Venkatesh Davis amp Morris 2007) iniciativas estrateacutegicas dependentes da tecnologia da in-formaccedilatildeo (Piccoli amp Ives 2005) e a visatildeo baseada em recursos (Wade amp Hulland 2004) Incluem revisotildees de pesquisas existentes sobre fenocircmenos particulares como rotatividade de funcionaacuterios (Cotton amp Tuttle 1986) trabalho em turnos (Dunham 1977) gestatildeo de recursos humanos em joint ventures internacionais (Shenkar amp Zeira 1987) e o impacto de mudanccedilas tecnoloacutegicas ou sociais sobre o desenvolvimento futuro da estrutura e estrateacutegia organizacional (Melville Kraemer amp Gurbaxani 2004 Winter amp Taylor 1996)

Quadro 1 Praacuteticas de revisatildeo de literatura em 23 exemplos de revisotildees de sistemas de informaccedilatildeo e gestatildeo

Citaccedilatildeo Tipo de siacutentese

Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8

Robey Im amp Wareham (2008) Qualitativa

Joseph Ng Koh amp Ang (2007) Ambos

Venkatesh Davis amp Morris (2007) Qualitativa

Leidner amp Kayworth (2006) Qualitativa

Piccoli amp Ives (2005) Qualitativa

Wade amp Hulland (2004) Qualitativa

Melville Kraemer amp Gurbaxani (2004) Qualitativa

Dubeacute amp Pareacute (2003) Qualitativa

Jasperson et al (2002) Qualitativa

Alavi amp Leidner (2001) Qualitativa

Tersquoeni (2001) Qualitativa

Marakas Yi Johnson (1998) Qualitativa

2 Natildeo usei uma metodologia sistemaacutetica para selecionar estes exemplos porque selecionar exemplos ilustrativos natildeo eacute uma aplicaccedilatildeo apropriada para a metodologia RSL que descrevo neste artigo

11



Winter amp Taylor (1996) Qualitativa

Alavi amp Carlson (1992) Qualitativa

Alavi amp Joachimsthaler (1992)

Meta- anaacutelise

Lim amp Benbasat (1992) Qualitativa

Morrison amp Bies (1991) Qualitativa

Shenkar amp Zeira (1987) Qualitativa

Cotton amp Tuttle (1986) Meta-anaacutelise

Petty McGee amp Cavender (1984)

Meta- anaacutelise

Griffin Welsh amp Moorhead (1981) Qualitativa

Dunham (1977)

Pierce amp Dunham (1976)

Como observo acima haacute uma distinccedilatildeo importante entre o valor acadecircmico de realizar uma revisatildeo de literatura e o rigor necessaacuterio para documentar seus procedimentos Selecionei os exemplos no Quadro 1 porque satildeo todos de alta qualidade acadecircmica No entanto como Vom Brocke et al (2009) descobriram quando investigaram explicitamente o grau em que os revisores da literatura em SI documentam o rigor mesmo os artigos exemplares geralmente natildeo o fazem de forma adequada Assim de acordo com meus argumentos sobre a importacircncia de documentar os procedimentos de revisatildeo como aspecto inalienaacutevel de rigor critiquei a qualidade de sua documentaccedilatildeo ao longo deste trabalho

Notavelmente natildeo existe uniformidade em metodologia ou estrutura entre esses estudos mesmo en-tre aqueles publicados no mesmo perioacutedico Os autores de 15 dos 23 exemplos descrevem explicitamente como pesquisaram a literatura Esses autores geralmente indicam o nome dos perioacutedicos e o procedi-mento que usaram para recuperar esses perioacutedicos por meio de bancos de dados especiacuteficos Tendem tambeacutem a especificar se dependiam fortemente de fontes eletrocircnicas e se sempre recuperaram artigos por meio de buscas digitais (Alavi amp Joachimsthaler 1992 Alavi amp Leidner 2001 Cotton amp Tuttle 1986 Dubeacute amp Pareacute 2003 Griffin Welsh amp Moorhead 1981 Joseph Ng Koh amp Ang 2007 Leidner amp Kayworth 2006 Marakas Yi amp Johnson 1998 Petty McGee amp Cavender 1984) Piccoli e Ives (2005) apenas mencio-nam brevemente na seccedilatildeo de conclusotildees que revisaram resumos de 648 artigos de SI gerenciamento estrateacutegico e literatura de marketing Da mesma forma Jasperson et al (2001) Shenkar e Zeira (1987) e Wade e Hulland (2004) natildeo explicam como localizaram os artigos em vez disso apenas listam quantos documentos encontraram Wade e Hulland (2004) por sua vez listaram esses documentos no apecircndice No entanto esses relatoacuterios abreviados dificultam a repeticcedilatildeo de quaisquer descobertas

Neste guia ao apresentar as nossas oito etapas em detalhes demonstro com pesquisas publicadas de alta qualidade que a maioria dessas etapas natildeo satildeo novas Uso o que existe na literatura para ilustrar os melhores exemplos de cada etapa e orientar os revisores a combinaacute-los para produzir avaliaccedilotildees de alta qualidade

12



16 Uma Nota sobre Terminologia Sistemaacutetico como um Adjetivo Qualitativo em vez de Classificador

Em seu guia de RSL Kitchenham e Charters (2007) usam o termo ldquorevisatildeo sistemaacuteticardquo para se referir a um tipo de revisatildeo de literatura diferente do que chamam de revisatildeo de literatura ldquotradicionalrdquo ou ldquocon-vencionalrdquo No entanto considero ldquosistemaacuteticardquo na ldquorevisatildeo sistemaacutetica de literaturardquo como um adjetivo qualitativo Um adjetivo qualitativo eacute aquele que descreve a natureza de uma coisa de uma forma que pode ser qualificada por ldquomaisrdquo ou ldquomenosrdquo ou seja podemos falar de uma revisatildeo como sendo mais sis-temaacutetica ou menos sistemaacutetica ou muito sistemaacutetica No entanto Kitchenham e Charters parecem usar o termo como um adjetivo de classificaccedilatildeo ou seja um adjetivo que classifica as coisas em determinada categoria Assim eles diferenciam uma revisatildeo sistemaacutetica de uma revisatildeo tradicional ou convencional

Em contraste Rousseau et al (2008 p 5 ecircnfase adicionada) dizem

O tema deste capiacutetulo a siacutentese de pesquisa sistemaacutetica natildeo deve ser confundida com uma revisatildeo de literatura convencional sua contrapar-tida menos sistemaacutetica e natildeo representativa As siacutenteses de pesquisa sistemaacutetica montam analisam e interpretam um conjunto abrangente de evidecircncias de uma forma altamente reflexiva de acordo com seis criteacuterios de evidecircncia que descrevemos

Assim Rousseau et al (2008) usam claramente o termo ldquomenos sistemaacuteticardquo que eacute claramente o uso de sistemaacutetico como adjetivo qualitativo

O problema de usar ldquosistemaacuteticordquo como adjetivo de classificaccedilatildeo eacute que divide as revisotildees de literatura em dois tipos sistemaacutetico e tradicional (ou convencional) No entanto natildeo vejo isso como uma distinccedilatildeo uacutetil uma vez que pode provocar tentativas artificiais de configurar um ponto de corte em que uma revisatildeo possa ser considerada sistemaacutetica ou natildeo Em vez disso acho mais uacutetil falar de uma revisatildeo como sendo mais ou menos sistemaacutetica Assim quando falo de uma revisatildeo sistemaacutetica refiro-me a uma revisatildeo que tem a intenccedilatildeo expliacutecita de ser conduzida sistematicamente Em contraste com Kitchenham e Charters que parecem implicar que os comentaacuterios convencionais merecem a designaccedilatildeo ldquosistemaacuteticardquo prefiro considerar ldquosistemaacuteticardquo como um espectro no qual as revisotildees de literatura podem ter um grau maior ou menor

Agora tendo claramente explicado o que quero dizer com uma revisatildeo sistemaacutetica de literatura e ten-do argumentado seu valor passo para a parte principal deste trabalho em oito seccedilotildees consecutivas descrevo em detalhes as oito principais etapas de realizaccedilatildeo de uma RSL como mostra a Figura 1 Antes de concluir o artigo discuto vaacuterias questotildees relativas agrave publicaccedilatildeo de uma RSL que segue a metodologia que descrevo incluindo implicaccedilotildees para publicaccedilotildees de revisatildeo de literatura que normalmente natildeo satildeo consideradas revisotildees autocircnomas

2 Identifique o Objetivo

Embora seja possiacutevel classificar as revisotildees de literatura de vaacuterias maneiras geralmente as classifi-camos como um de trecircs tipos uma seccedilatildeo introdutoacuteria da maioria dos trabalhos acadecircmicos utilizada para dar apoio teoacuterico ao resto do artigo uma importante seccedilatildeo introdutoacuteria de uma tese ou dissertaccedilatildeo acadecircmica (que eacute um caso especial da primeira categoria) ou um documento independente que analisa especiacutefica e completamente a pesquisa sobre determinado assunto Embora eu busque especificamente o terceiro tipo eacute importante discutir os outros tipos de revisotildees de literatura para que os leitores possam ter uma compreensatildeo semelhante de sua finalidade

13



O primeiro passo para realizar uma revisatildeo de literatura eacute claramente definir seu propoacutesito Estrita-mente falando esse primeiro passo natildeo eacute tanto uma parte ativa do procedimento mas a consideraccedilatildeo da teacutecnica a ser utilizada Como em todo trabalho empiacuterico o primeiro passo de um projeto deve ser con-siderar se a metodologia a ser utilizada eacute a mais apropriada Nesse caso determinar o propoacutesito de uma revisatildeo de literatura deve responder agrave pergunta ldquoPor que fazer uma revisatildeo de literaturardquo Na Seccedilatildeo 1 abordo essa questatildeo ao defender a necessidade de revisotildees sistemaacuteticas de literatura entatildeo natildeo repe-tirei isso aqui No entanto discuto a necessidade de considerar os meios de divulgaccedilatildeo desde o iniacutecio do processo de concepccedilatildeo da revisatildeo

21 Determinaccedilatildeo dos Meios de Divulgaccedilatildeo

Uma parte essencial da decisatildeo sobre realizar uma revisatildeo sistemaacutetica de literatura deve ser conside-rar o puacuteblico que se espera que leia e use os resultados finais da revisatildeo Kitchenham e Charters (2007) enfatizam o desenvolvimento de uma estrateacutegia de divulgaccedilatildeo como passo importante no procedimento de uma RSL mdash de fato insistem que a estrateacutegia de divulgaccedilatildeo deve ser determinada como parte do protocolo de pesquisa antes mesmo do iniacutecio do estudo Aleacutem de publicaccedilotildees acadecircmicas os alvos de divulgaccedilatildeo incluem revistas profissionais comunicados agrave imprensa folhetos resumidos cartazes sites e comunicaccedilatildeo direta Kitchenham e Charters (2007) oferecem instruccedilotildees de formataccedilatildeo e design para cada tipo Petticrew e Roberts (2006) tambeacutem oferecem um guia uacutetil para divulgaccedilatildeo da revisatildeo Eles discutem a possibilidade de a pesquisa entrar em poliacuteticas e praacuteticas em que as informaccedilotildees sejam ativamente usa-das e oferecem sugestotildees para uma divulgaccedilatildeo efetiva Entre as suas sugestotildees estatildeo envolver o puacuteblico com antecedecircncia disseminar para a miacutedia publicar em perioacutedicos acadecircmicos e avaliar o impacto da apresentaccedilatildeo e do momento

22 Guias e Exemplos de Definiccedilatildeo do Objetivo de uma Revisatildeo de Literatura

Embora os guias de revisatildeo de literatura comecem sempre por explicar e justificar a revisatildeo de lite-ratura o que eacute mais pertinente aqui eacute ser claro sobre o objetivo de realizar uma revisatildeo sistemaacutetica de literatura Assim sendo recomendo cinco fontes que fornecem algum esclarecimento Fink (2005) natildeo usa o termo ldquosistemaacuteticordquo mas o que chama de ldquorevisatildeo de literatura de pesquisardquo eacute uma revisatildeo sistemaacutetica de literatura em todos os sentidos O que ela apresenta eacute a melhor praacutetica para realizar revisotildees de lite-ratura tais como as desenvolvidas nas ciecircncias da sauacutede Trecircs fontes satildeo provavelmente mais relevantes para pesquisadores em SI dirigidas especificamente para algumas de suas mais importantes disciplinas de referecircncia de ciecircncias sociais engenharia de software e gestatildeo Petticrew e Roberts (2006) focam em RSL nas ciecircncias sociais em geral Aleacutem de apresentar justificativas e argumentos claros para RSL dedicam um capiacutetulo inteiro para dissipar mitos sobre RSL e esclarecer o que natildeo satildeo Ao discutir revisotildees de litera-tura trazem a noccedilatildeo de vieacutes nas anaacutelises tradicionais sobrecarga de informaccedilatildeo oportunidades perdidas (e agraves vezes recuperadas) em tais revisotildees e variaccedilotildees de qualidade nas revisotildees De particular ajuda satildeo os seus apecircndices que oferecem exemplos de perguntas a serem feitas antes do processo de revisatildeo (Apecircndice 1) um diagrama de fluxo de uma revisatildeo sistemaacutetica e exemplos de variaccedilotildees de qualidade Kitchenham e Charters (2007) concentram-se em RSL em engenharia de software campo que tem muita sobreposiccedilatildeo com sistemas de informaccedilatildeo Em particular recomendam RSL como meio para garantir o desenvolvimento de softwares e aplicaccedilotildees seguras Descrevem tambeacutem o mapeamento sistemaacutetico de estudos como um caso especial de revisatildeo sistemaacutetica de literatura Rousseau et al (2008) focam em RSL em ciecircncias de gestatildeo e organizaccedilatildeo Estritamente falando seu estudo se concentra principalmente na ldquosiacutentese de pesquisardquo (ou seja siacutentese dos resultados do estudo obtido em uma RSL) mais do que no resto do processo Enquanto Fink (2005) e Kitchenham e Charters (2007) focam na revisatildeo de estudos primaacuterios quantitativos Petticrew e Roberts (2006) e Rousseau et al (2008) focam em avaliaccedilotildees de estudos pri-maacuterios quantitativos e qualitativos Okoli (2012) restringe seu foco agraves revisotildees que procuram construir e contribuir com a teoria e distingue trecircs tipos de anaacutelises panoramas teoacutericos disputas teoacutericas e revisotildees

14



de testes de teorias Aleacutem disso discute o desenvolvimento de revisotildees sistemaacuteticas com questotildees de pesquisa orientadas agrave teoria e a identificaccedilatildeo de alvos de divulgaccedilatildeo orientados para teorias

Todos os 23 exemplos que revisei para este guia abordam especificamente esse passo mdash de fato eacute o uacutenico dos oito passos que todos os artigos seguem De modo geral os autores realizaram uma revisatildeo de literatura

a) para analisar o progresso de um fluxo de pesquisa especiacutefico (Alavi amp Joachimsthaler 1992 Alavi amp Leidner 2001 Piccoli amp Ives 2005 Venkatesh Davis amp Morris 2007)

b) para fazer recomendaccedilotildees de trabalhos futuros (Venkatesh Davis amp Morris 2007)

c) para revisar a aplicaccedilatildeo de um modelo teoacuterico na literatura de SI (Alavi amp Carlson 1992 Wade amp Hulland 2004)

d) para revisar as aplicaccedilotildees de uma abordagem metodoloacutegica na literatura de SI (Dubeacute amp Pareacute 2003)

e) para desenvolver um modelo ou framework (Joseph Ng Koh amp Ang 2007 Melville Kraemer amp Gurbaxani 2004 Morrison amp Bies 1991 Tersquoeni 2001) ou

f) para responder a uma questatildeo de pesquisa especiacutefica (Cotton amp Tuttle 1986 Dunham 1977 Griffin Welsh amp Moorhead 1981 Jasperson et al 2002 Petty McGee amp Cavender 1984 Shenkar amp Zeira 1987)

3 Planeje o Protocolo e Treine a Equipe

Uma vez que os revisores tenham claros o propoacutesito e o escopo da RSL precisam executar outro passo criacutetico na fase de planejamento antes que o trabalho da revisatildeo possa comeccedilar com seriedade Uma das recomendaccedilotildees mais importantes de Kitchenham e Charters (2007) eacute que um protocolo seja desenvolvido antes da realizaccedilatildeo do estudo e que ele seja validado externamente para verificar seu rigor Um protocolo eacute ldquoum plano que descreve a conduccedilatildeo de uma proposta de revisatildeo sistemaacutetica de literaturardquo (Kitchenham amp Charters 2007 vi) Aleacutem de redigir o protocolo que detalha as etapas e procedimentos especiacuteficos a se-guir na revisatildeo particular que estaacute sendo realizada os revisores tambeacutem devem treinar cuidadosamente todos os membros da equipe de revisatildeo de acordo com o protocolo elaborado para assegurar que todos estejam com o mesmo pensamento sobre o que estaacute sendo realizado (Fink 2005)

O protocolo inicial natildeo pode ser chamado mais do que rascunho ateacute que o treinamento seja concluiacutedo porque o processo de treinamento mostraraacute sem duacutevida problemas que precisaratildeo ser corrigidos antes de o protocolo final ser concluiacutedo Mesmo assim como com qualquer tentativa de pesquisa o processo de realizaccedilatildeo da revisatildeo de literatura certamente apresentaraacute limitaccedilotildees e problemas com esse protocolo inicial No entanto os pesquisadores precisam entrar em acordo e anotar sua estrateacutegia antes de come-ccedilar O curso da accedilatildeo certamente pode mudar (Fink 2005) mas somente documentando as mudanccedilas no protocolo os pesquisadores podem assegurar a natureza abrangente expliacutecita e reprodutiacutevel de seu trabalho e posteriormente um alto niacutevel de qualidade Os detalhes da realizaccedilatildeo desse passo envolvem o esboccedilo da questatildeo de pesquisa a criaccedilatildeo de um protocolo de pesquisa e o treinamento dos revisores

31 Planejando a Questatildeo de Pesquisa

Tal como acontece com qualquer pesquisa os revisores devem ter uma questatildeo de pesquisa clara e concisa Rousseau et al (2008) assinalam que a formulaccedilatildeo da questatildeo requer reflexatildeo debate e reformu-laccedilatildeo A questatildeo de pesquisa pode ser vista como a conclusatildeo do primeiro passo que identifica o propoacute-sito da revisatildeo de literatura Em uacuteltima anaacutelise a questatildeo de pesquisa deve resultar em uma declaraccedilatildeo

15



de uma ou duas frases que definem o puacuteblico-alvo da revisatildeo (por exemplo pesquisadores profissionais formuladores de poliacuteticas etc) o propoacutesito e a finalidade Natildeo trato de como desenvolver uma questatildeo de pesquisa apropriada porque esse eacute um toacutepico bem abordado particularmente no treinamento de estu-dantes de doutorado (por exemplo veja Jaccard amp Jacoby 2010) No entanto uma RSL responde somente a uma categoria muito especiacutefica de pergunta de pesquisa Uma vez que as revisotildees de literatura satildeo estudos secundaacuterios que dependem de pesquisa primaacuteria jaacute realizada anteriormente uma RSL natildeo eacute apli-caacutevel quando ningueacutem pesquisou sobre o tema da investigaccedilatildeo Nessa linha por favor veja a discussatildeo na Seccedilatildeo 1 sobre como a necessidade de metodologia de RSL e o primeiro passo em definir o propoacutesito da revisatildeo de literatura satildeo relevantes para esboccedilar a questatildeo

32 Planejando o Protocolo

Uma vez que uma questatildeo foi formulada o protocolo de pesquisa serve como um mapa rodoviaacuterio em direccedilatildeo agrave sua resposta No entanto apenas trecircs dos guias de revisatildeo de literatura que identifiquei abor-dam a questatildeo de definir um protocolo de pesquisa de alguma forma Alguns falam sobre a informaccedilatildeo que deve ser incluiacuteda em um protocolo mas natildeo descrevem a necessidade de um protocolo expliacutecito Aleacutem disso apenas cinco dos 23 exemplos que estudei mencionam alguma forma de protocolo adotado Os outros podem ter seguido protocolos mas natildeo os relatam em seus estudos publicados No entanto mesmo que seja esse o caso considero o protocolo como um passo tatildeo importante para a garantia da qualidade de uma RSL que me surpreende que tatildeo poucos estudos se refiram a ele

Considero que criar um protocolo preacutevio eacute um passo absolutamente crucial no processo de conduccedilatildeo e relato de uma revisatildeo de literatura de alta qualidade O protocolo define se a revisatildeo seraacute estreita ou ampla (Petticrew amp Roberts 2006) Define os locais onde buscar a bibliografia e as vaacuterias leituras por que cada artigo teraacute que passar para ser considerado para inclusatildeo Sem isso natildeo haacute consenso natildeo apenas entre vaacuterios pesquisadores sobre o trabalho a ser realizado mas mesmo no trabalho de um pesquisador ao longo do tempo Turner Kitchenham Budgen e Brereton (2008) oferecem visotildees valiosas sobre suas lutas pessoais para coletar informaccedilotildees para revisatildeo de literatura as liccedilotildees aprendidas com os erros satildeo uma boa instruccedilatildeo para futuros revisores A necessidade de um protocolo preacutevio surgiu como uma das suas principais recomendaccedilotildees

Assim como a construccedilatildeo de uma casa soacute pode comeccedilar depois de um arquiteto elaborar planos ex-pliacutecitos em acordo com um empreiteiro o planejamento de um protocolo guia o resto do processo de re-visatildeo Claro com mais assunto descoberto o foco de uma revisatildeo de literatura pode mudar No entanto para criar forte confiabilidade e consistecircncia ao longo do processo o procedimento de busca deve ser cui-dadosamente documentado para que os revisores possam relatar detalhadamente como conduziram a pesquisa Aleacutem disso a pesquisa precisa ser conduzida sistematicamente para garantir que os resultados obtidos sejam abrangentes ou seja que abranjam todo o material existente no escopo da seleccedilatildeo praacutetica (Helmericks Nelsen amp Unnithan 1991) A maior parte da lista de verificaccedilatildeo da revisatildeo deve permanecer intacta e ser suficientemente especiacutefica sobre o criteacuterio de seleccedilatildeo praacutetica enquanto a seccedilatildeo de discussatildeo pode deixar espaccedilo suficiente para interpretaccedilotildees subjetivas Dito isto os revisores deveriam estabelecer as principais palavras-chave no protocolo que determinam que material seraacute recuperado (Bacharach 1989 Thornley amp Gibb 2009)

Na praacutetica o protocolo compreende um esboccedilo que eacute organizado de acordo com as etapas a serem se-guidas para a revisatildeo Se um protocolo fosse escrito usando este guia seria organizado de acordo com as suas oito etapas Os detalhes do protocolo compreenderiam as etapas especiacuteficas que realmente seriam seguidas de acordo com a questatildeo particular de pesquisa investigada No final desta seccedilatildeo dou alguns exemplos de protocolos publicados para RSL

16



33 Treinando os Revisores

O terceiro passo no desenvolvimento do protocolo de revisatildeo eacute treinar os revisores Entre as nossas principais fontes apenas Fink (2005) realmente discute essa questatildeo Um uacutenico pesquisador natildeo pode realizar a maioria das revisotildees de literatura devido ao seu amplo escopo Tanto no caso de campos aca-decircmicos em raacutepida expansatildeo quanto em campos que existem haacute muito tempo eacute impraticaacutevel vasculhar toda a literatura sozinho Mesmo que fosse possiacutevel o longo periacuteodo de tempo que se gastaria certamen-te levaria a mudanccedilas e portanto inconsistecircncias na interpretaccedilatildeo dos revisores Finalmente os pes-quisadores frequentemente defendem que a colaboraccedilatildeo no trabalho acadecircmico conduz a um trabalho mais concentrado e proeminente (Figg et al 2006) Por essas razotildees todos os revisores envolvidos na realizaccedilatildeo de uma revisatildeo de literatura devem ter treinamento completo em teacutecnicas de tomada de notas e de revisatildeo Esse passo eacute fundamental para que a revisatildeo seja executada em um niacutevel consistente de qualidade (Note que embora eu costume me referir neste artigo agrave pessoa que conduz o estudo como ldquoo revisorrdquo na praacutetica quase sempre haveraacute vaacuterios ldquorevisoresrdquo que na verdade fazem o trabalho de revisatildeo de literatura)

331 Teacutecnicas de tomada de notas

Ridley (2012 p 63) explica detalhadamente vaacuterias teacutecnicas de leitura e de tomada de notas em uso atualmente (por exemplo survey question read recall e review3) para permitir aos revisores lidar com grandes quantidades de trabalho fazer conexotildees e lembrar de conteuacutedo para futura inclusatildeo A autora assinala a necessidade de estrateacutegias formais de tomada de notas que ajudem a evitar o plaacutegio aciden-tal Os revisores devem concordar com um meacutetodo de tomada de nota Anotar em papel impresso eacute um meacutetodo popular predominantemente substituiacutedo por outros meacutetodos como mapas mentais que usam representaccedilotildees visuais que agrupam comentaacuterios em torno de uma ideia principal ou notas lineares que ldquoutilizam cabeccedilalhos e subtiacutetulos para distinguir entre as ideias principais e a informaccedilatildeo secundaacuteriardquo (Ridley 2012 p 69) O consenso entre os revisores a velocidade de leitura e a quantidade de trabalho atribuiacutedo tambeacutem teratildeo impacto na uniformidade Os revisores poderiam por exemplo ser treinados em teacutecnicas de leitura fenomenoloacutegica que lhes permitissem compartilhar habilidades baacutesicas em sua capaci-dade de integrar teoria e meacutetodo (Hart 1998) Mesmo a decisatildeo sobre se as notas devem ser manuscritas ou digitadas pode ter impacto significativo na quantidade de informaccedilotildees que estatildeo sendo registradas e no acordo entre os revisores (Ridley 2012) assim eles devem discutir isso

332 Teacutecnicas de revisatildeo

Devido ao vasto nuacutemero de decisotildees que precisam ser tomadas pesquisadores criaram e aplicaram manuais de treinamento ou rubricas (Green amp Bowser 2006) e sugerem que os revisores tambeacutem o faccedilam (Fink 2005 Hart 1998 Ridley 2012) Aleacutem das regras baacutesicas sobre como ler e tomar notas os revisores procurariam o manual para decidir quais conteuacutedos poderiam fundamentar a tomada de notas O manual ditaria se os revisores poderiam tomar apenas decisotildees objetivas (tais como ldquoo artigo estaacute em inglecircs sim ou natildeordquo) ou se haacute espaccedilo para juiacutezo pessoal Os revisores podem resumir todo o artigo ou extrair seccedilotildees especiacuteficas e diretas (Ridley 2012) A sessatildeo de treinamento e o manual devem incluir uma lista de verifi-caccedilatildeo cuidadosamente elaborada para registrar as qualificaccedilotildees praacuteticas de triagem de cada artigo e um conjunto de padrotildees para a tomada de notas (Fink 2005 p 166-172)

Com revisores treinados eacute significativo testar uma revisatildeo em relaccedilatildeo agrave confiabilidade Fink (2005 p 176-177) fornece diretrizes para medir a validade do resultado dos revisores Os indiviacuteduos podem reavaliar

3 NT SQ3R eacute uma ferramenta de leitura que ajuda o leitor a absorver informaccedilotildees de livros e artigos aumenta a retenccedilatildeo do que lecirc organizando objetivos de estudo e fornece teacutecnicas para ajudar a fixar a informaccedilatildeo na mente Disponiacutevel em lthttpswwwrlforgukresourceshow-to-read-sq3rgt

17



uma amostra dos artigos que lhes foram atribuiacutedos com um intervalo de tempo entre revisotildees para es-tabelecer a confiabilidade intrarrevisores (testendashreteste) Pelo menos alguns artigos devem ser revisados por mais de um colaborador para estabelecer a confiabilidade entre revisores Fink tambeacutem defende que os revisores usem um ldquopadratildeo-ourordquo como liacuteder do projeto para resolver desentendimentos Embora seja sempre melhor ter mais revisores mdash desde que sejam devidamente treinados mdash seu nuacutemero estaacute sujeito agraves restriccedilotildees orccedilamentaacuterias (ou outras) do projeto de revisatildeo

Como mencionei antes o processo de treinamento dos revisores sem duacutevida descobriraacute alguns pro-blemas inconsistecircncias e impraticabilidades no protocolo original e mesmo nas questotildees de pesquisa As-sim tanto o desenvolvimento do protocolo quanto o treinamento dos revisores satildeo processos iterativos a revisatildeo do protocolo requer atualizaccedilotildees no treinamento o que pode revelar problemas no protocolo que precisam ser ajustados o que requer um refinamento adicional do protocolo O trabalho efetivo de realizar a revisatildeo de literatura estaraacute pronto para comeccedilar somente quando a versatildeo final e estaacutevel do protocolo for criada e quando os revisores forem treinados de acordo com essa versatildeo final

34 Guias e Exemplos de Protocolos e Treinamento de Revisores

Como mencionei os protocolos de revisatildeo e o treinamento de revisores embora cruciais para assegu-rar a qualidade de uma revisatildeo natildeo satildeo amplamente mencionados ou praticados No entanto existem algumas fontes chave que fornecem excelente orientaccedilatildeo sobre esse passo Kitchenham e Charters (2007) defendem fortemente a necessidade de protocolos de revisatildeo fornecendo exemplos de tais protocolos em algumas de suas proacuteprias pesquisas Brereton et al (2007) datildeo exemplos de campo que ilustram o valor de usar um protocolo na realizaccedilatildeo de uma revisatildeo Okoli (2012) ressalta que a ordem ldquocorretardquo na organizaccedilatildeo das seccedilotildees de uma revisatildeo sistemaacutetica eacute diferente para a elaboraccedilatildeo do protocolo para a execuccedilatildeo efetiva da revisatildeo e para o relatoacuterio do resultado final No que diz respeito ao treinamento de revisores Fink (2005) eacute a uacutenica autora que detalha o procedimento e os passos a seguir incluindo como testar a confiabilidade entre revisores No entanto Ridley (2012) fornece dicas praacuteticas para ler docu-mentos e tomar notas ao revisaacute-los Aleacutem disso Brereton et al (2007) fornecem dicas de campo sobre o treinamento de revisores relacionadas ao desenvolvimento do protocolo

Dos 23 estudos que revisei cinco se referem explicitamente ao fato de que conduziram seu estudo uti-lizando um protocolo que foi definido antes de o estudo realmente comeccedilar Alavi e Carlson (1992) listam especificamente as palavras-chave usadas para buscar a literatura e o sistema de classificaccedilatildeo que utiliza-vam para codificar o artigo de perioacutedico que incluiacuteam na revisatildeo Robey et al (2008) explicam o procedi-mento pelo qual leram e codificaram os 104 documentos que revisaram Piccoli e Ives (2005) apresentam um protocolo mais curto do que as outras revisotildees mas confirmam que revisaram 117 artigos relevantes no entanto natildeo entram em detalhes muito aleacutem dessa descriccedilatildeo Leidner e Kayworth (1992) descrevem como encontraram e codificaram 82 artigos Finalmente Dubeacute e Pareacute (2003) que descrevem mais expli-citamente o protocolo tanto descrevem o procedimento como oferecem um exemplo em seu apecircndice

4 Aplique uma Seleccedilatildeo Praacutetica

Com a fase de planejamento da revisatildeo de literatura concluiacuteda com o protocolo e a etapa de treina-mento o proacuteximo passo eacute a seleccedilatildeo praacutetica (Fink 2005) que envolve a decisatildeo de quais estudos devem ser considerados para a revisatildeo O objetivo da seleccedilatildeo praacutetica eacute reduzir o nuacutemero de estudos a serem analisados para um nuacutemero com o qual os revisores possam lidar Ressalto particularmente que essa determinaccedilatildeo natildeo se baseia em uma avaliaccedilatildeo cuidadosa da qualidade dos documentos (que eacute um passo subsequente ldquoAvalie a Qualidaderdquo mdash Seccedilatildeo 7) mas em consideraccedilotildees pragmaacuteticas para determinar se merecem ou natildeo ser lidos para os fins da revisatildeo

18



41 Criteacuterios para Aplicar uma Seleccedilatildeo

Centenas ou mesmo milhares de artigos podem abranger um tema de interesse e natildeo eacute praacutetico ler e analisar todos em profundidade A importacircncia da seleccedilatildeo praacutetica eacute que os revisores devem explicita-mente decidir e explicar os criteacuterios para selecionar ou excluir documentos da revisatildeo Para esse fim de-vem tomar vaacuterias decisotildees criacuteticas sobre o tipo de trabalho que devem incluir ou excluir (Sterne Egger amp Smith 2001) Por exemplo dependendo do campo e do toacutepico os revisores podem optar por incluir ape-nas estudos experimentais ou podem ampliar o escopo para incluir outros tipos de pesquisa Os revisores soacute poderatildeo coletar dados uniformemente estabelecendo criteacuterios de inclusatildeo especiacuteficos para os tipos de trabalhos que podem ser considerados uacuteteis e aplicaacuteveis

Aleacutem de estabelecer qual trabalho a ser incluiacutedo os revisores devem nesse momento considerar tambeacutem como encontraratildeo esse trabalho (ver Seccedilatildeo 5) (Barbour 2001) O ponto criacutetico desta etapa natildeo envolve a determinaccedilatildeo de criteacuterios perfeitamente adequados para a inclusatildeo de documentos para con-sideraccedilatildeo mdash embora os criteacuterios sejam razoavelmente amplos se o estudo for abrangente mdash mas que preferencialmente seja expliacutecito sobre esses criteacuterios de modo que a revisatildeo de literatura resultante seja reprodutiacutevel Fink (2005 p 55-56) lista vaacuterios criteacuterios que os revisores podem usar para excluir razoavel-mente os estudos a fim de limitar o alcance de sua anaacutelise ao que eacute praticamente gerenciaacutevel

a) conteuacutedo (toacutepicos ou variaacuteveis) a revisatildeo deve sempre estar limitada a estudos que te-nham incidecircncia sobre sua questatildeo especiacutefica de pesquisa (Dawson amp Ferdig 2006)

b) idioma da publicaccedilatildeo os revisores soacute podem rever os estudos escritos em idiomas que podem ler ou para os quais tecircm acesso a bancos de dados acadecircmicos

c) perioacutedicos o escopo da revisatildeo pode limitar-se a um conjunto seleto de revistas de alta qualidade ou incluir apenas revistas em um campo de estudo especiacutefico (Singh Haddad amp Chow 2007)

d) autores a revisatildeo pode ser restrita a trabalhos de certos autores proeminentes ou princi-pais (potencialmente incluindo o revisor) O estudo extensivo de Hyland (2003) sobre auto-citaccedilatildeo em publicaccedilatildeo acadecircmica aponta para a prevalecircncia de autorreferecircncia nas ciecircncias sociais para estabelecer autoridade

e) cenaacuterio a revisatildeo pode considerar apenas os estudos realizados em certos cenaacuterios como em instituiccedilotildees de sauacutede ou no setor de serviccedilos financeiros

f) participantes ou sujeitos a revisatildeo pode ser restrita a trabalhos que estudam assuntos de determinado gecircnero situaccedilatildeo de trabalho (por exemplo profissionais em tempo integral em oposiccedilatildeo aos alunos) idade ou outros criteacuterios pertinentes

g) programa ou intervenccedilatildeo a revisatildeo pode distinguir entre o uso de estudos tipo intervenccedilatildeo (por exemplo dados de questionaacuterios de autorrelato versus dados pesquisados e medidos) ou se os indiviacuteduos se autosselecionam dentro de grupos

h) design da pesquisa ou metodologia de amostragem a revisatildeo pode restringir os estudos com base no uso de determinado design de pesquisa Note que haacute diferenccedilas significati-vas entre essas avaliaccedilotildees em ciecircncias da sauacutede (Fink 2005) gestatildeo (Rousseau Manning amp Denyer 2008) e ciecircncia da computaccedilatildeo (Kitchenham amp Charters 2007) (ver Seccedilatildeo 7)

i) data de publicaccedilatildeocoleta de dados ou duraccedilatildeo da coleta de dados as avaliaccedilotildees geral-mente se concentraratildeo em estudos em determinados intervalos de tempo

j) fonte de financiamento as revisotildees podem se concentrar em estudos que receberam fi-nanciamento puacuteblico (por exemplo se houvesse preocupaccedilatildeo de que isso poderia ser uma fonte de vieacutes nos resultados como eacute por vezes o caso na pesquisa em sauacutede) (Fink 2005)

Petticrew e Roberts (2006) e Kitchenham e Charters (2007) tambeacutem oferecem listas para esta etapa Eles subdividem consideraccedilotildees de acordo com a populaccedilatildeo a intervenccedilatildeo a comparaccedilatildeo os resultados e o

19



contexto (Kitchenham e Charters adicionam o design experimental) Petticrew e Roberts (2006) abordam a questatildeo de quais documentos devem ser obtidos em coacutepia impressa Embora este uacuteltimo ponto possa ser menos considerado nesta era de acesso eletrocircnico a perioacutedicos pode ser relevante quando os revisores soacute podem obter um documento por solicitaccedilatildeo de empreacutestimo entre bibliotecas

A seleccedilatildeo praacutetica eacute uma parte bastante subjetiva da revisatildeo de literatura Natildeo haacute erros e acertos absolu-tos aqui No entanto haacute consideraccedilotildees sobre o que eacute razoaacutevel e justificaacutevel Por um lado a seleccedilatildeo deve ser ampla o bastante para incluir um nuacutemero suficiente de estudos que possam responder satisfatoriamente agrave questatildeo de pesquisa Por outro lado a revisatildeo deve ser praticamente gerenciaacutevel e considerar as restriccedilotildees dos revisores em relaccedilatildeo a tempo dinheiro e pessoal Em grande medida satildeo as decisotildees tomadas aqui que fazem a diferenccedila entre uma revisatildeo de literatura abrangente e confiaacutevel e uma insatisfatoacuteria

42 Dicas Praacuteticas para a Seleccedilatildeo Praacutetica

Kitchenham e Charters (2007) fornecem orientaccedilatildeo uacutetil para executar uma seleccedilatildeo praacutetica Os termos chave na revisatildeo de literatura devem deixar os revisores com grande quantidade de documentos que atendam aos criteacuterios de pesquisa Ao usar um software de referecircncia recomendo criar pastas individuais para cada fonte bibliograacutefica (cada banco de dados recomendaccedilotildees de especialistas etc) Uma vez que os revisores coletem todos os artigos no software podem distribuir os bancos de dados aleatoriamente entre eles Cada revisor deveraacute passar superficialmente pelos documentos atribuiacutedos a ele e decidir se cada um cumpre ou natildeo os criteacuterios de inclusatildeo estabelecidos durante o protocolo Esteja ciente de que nesta etapa natildeo se deve julgar a qualidade ou avaliar a informaccedilatildeo encontrada nos estudos Os criteacuterios devem ser simples o suficiente para se determinar apenas pelo tiacutetulo e resumo Apenas ocasionalmente o texto completo precisa ser examinado para tomar uma decisatildeo A partir da experiecircncia do passado a seleccedilatildeo praacutetica determina a inclusatildeo com base em criteacuterios como o idioma dos documentos (por exemplo se os documentos que natildeo estatildeo em inglecircs seratildeo filtrados ou mantidos para traduccedilatildeo posterior) (Petticrew amp Roberts 2006) tipo de publicaccedilatildeo (para incluir proceedings de conferecircncias com revisatildeo por pares ou apenas perioacutedicos) (Levy amp Ellis 2006) ou intervalo de tempo (por exemplo incluindo apenas artigos pu-blicados apoacutes 2002) (Kitchenham amp Charters 2007)

Os revisores podem deixar de lado e salvar (ou seja natildeo excluir) documentos que natildeo atendam a esses criteacuterios de inclusatildeo especiacuteficos Recomendo criar subpastas ldquoexcluirrdquo em cada uma das pastas de origem nas quais se podem colocar artigos que natildeo atendem aos criteacuterios de inclusatildeo Melhor ainda em vez de uma uacutenica subpasta ldquoexcluirrdquo para cada pasta de banco de dados pode haver vaacuterias ldquosubpastas excluirrdquo que especifiquem o motivo da exclusatildeo de seus documentos Embora isso possa parecer oneroso torna-se crucial quando os revisores reavaliam o trabalho de cada usuaacuterio para controlar a qualidade do proces-so de revisatildeo Essa reavaliaccedilatildeo normalmente descobriraacute incoerecircncias no julgamento dos revisores e os documentos originais devem ser facilmente acessiacuteveis para reinclusatildeo se necessaacuterio Esse procedimento permite aos revisores documentar explicitamente como executaram uma metodologia uniforme Esse procedimento tem dois propoacutesitos 1) manteacutem a explicitaccedilatildeo e a replicabilidade do estudo o que permite que os revisores retrocedam e reavaliem seus criteacuterios de inclusatildeo e protocolo em qualquer ponto duran-te a revisatildeo e 2) permite aos revisores avaliar e estabelecer a confiabilidade entre avaliadores (Fink 2005)

Devido agrave subjetividade da seleccedilatildeo praacutetica recomendo testar a confiabilidade entre avaliadores durante um teste piloto da seleccedilatildeo praacutetica Depois que todas as pastas de origem da literatura forem classificadas uma parte das pastas deve ser atribuiacuteda aleatoriamente a outro revisor No melhor dos casos os resulta-dos estabeleceratildeo um caso de uniformidade e mostraratildeo que ambos os revisores incluiacuteram ou excluiacuteram os mesmos documentos No pior dos casos os dois revisores teratildeo escolhido para incluir artigos muito di-ferentes e vasculhar a subpasta ldquoexcluirrdquo iraacute esclarecer se a discrepacircncia estaacute no julgamento individual ou

20



na ambiguidade do protocolo de busca Provavelmente todas as revisotildees incluindo as da minha proacutepria experiecircncia posicionar-se-atildeo em algum lugar no meio e daratildeo aos autores confianccedila em seu trabalho ateacute esse ponto dando-lhes uma oportunidade inicial de discutir possiacuteveis mudanccedilas no protocolo

43 Guias e Exemplos de Seleccedilatildeo Praacutetica

Surpreendentemente embora a seleccedilatildeo praacutetica seja um passo impliacutecito em cada revisatildeo de literatura poucos guias abordam isso explicitamente Os principais que identifiquei satildeo Fink (2005) e Kitchenham e Charters (2007) embora Petticrew e Roberts (2006) tambeacutem ofereccedilam algumas dicas uacuteteis sobre esse assunto Fink (2005) eacute particularmente uacutetil por seus comentaacuterios sobre testes para confiabilidade entre avaliadores Okoli (2012) apresenta uma extensa lista de criteacuterios de seleccedilatildeo praacutetica e foca especificamen-te em como decisotildees praacuteticas de seleccedilatildeo ajudam ou comprometem a capacidade de uma revisatildeo para desenvolver uma contribuiccedilatildeo teoacuterica

Vaacuterios dos exemplos de estudos que examinei relatam explicitamente seus criteacuterios de seleccedilatildeo praacutetica Esses estudos satildeo notavelmente detalhados em sua descriccedilatildeo dos criteacuterios de decisatildeo (Alavi amp Carlson 1992 Alavi amp Joachimsthaler 1992 Robey Im amp Wareham 2008 Tersquoeni 2001) ou em sua siacutentese de qual metodologia de pesquisa seria incluiacuteda (Cotton amp Tuttle 1986 Dubeacute amp Pareacute 2003 Griffin Welsh amp Mo-orhead 1981 Leidner amp Kayworth 2006 Petty McGee amp Cavender 1984 Pierce amp Dunham 1976) Um bom exemplo de relato conciso eacute Marakas et al (1998 p 130) que afirma que todos os artigos precisavam ldquo(1) incluir um material com foco no constructo da autoeficaacutecia de computador (2) [desenvolver] uma medida ou avaliar o constructo como uma variaacutevel independente (VI) ou variaacutevel dependente (VD) de inte-resse e (3) [ser] publicado em um perioacutedico ou compecircndio acadecircmico reconhecidordquo

5 Busque a Bibliografia

O proacuteximo passo na conduccedilatildeo de uma RSL envolve a busca pela bibliografia Esse estaacutegio eacute anaacutelogo agrave pesca com rede em que se usa uma rede de arrasto para capturar um grande nuacutemero de peixes como um cardume de atum (buscando a bibliografia) e remover espeacutecies indesejadas como golfinhos que tambeacutem foram pegos (aplicando a seleccedilatildeo praacutetica) Essa etapa deve seguir rigorosamente o protocolo predefinido e portanto ser bastante direta Neste artigo foco principalmente em locais para busca de material

As fontes tradicionais de literatura satildeo perioacutedicos e livros (incluindo livros de referecircncia e em alguns casos livros didaacuteticos) Tradicionalmente acessaacutevamos essas fontes principalmente por meio de longas visitas agraves bibliotecas mas hoje estatildeo amplamente disponiacuteveis na internet (com exceccedilatildeo dos livros que ainda natildeo satildeo acessiacuteveis eletronicamente como os artigos) (Fink 2005) no entanto operaccedilotildees de cata-logaccedilatildeo maciccedilas como o Google Books estatildeo tentando mudar isso Aleacutem disso a ldquoliteratura cinzentardquo (Anonymous 1998 Petticrew amp Roberts 2006) tem se tornado cada vez mais acessiacutevel principalmente pela internet essa literatura inclui fontes natildeo revisadas por pares tais como relatoacuterios teses e disserta-ccedilotildees literatura de conferecircncias miacutedia popular monografias relatoacuterios de trabalho em progresso litera-tura especializada e fontes de dados primaacuterios (Ridley 2012)

Ridley (2012) recomenda que os revisores comecem conhecendo a biblioteca e sua bibliotecaacuteria Embo-ra isso possa parecer tradicionalista Petticrew e Roberts (2006) argumentam que o volume de informaccedilatildeo disponiacutevel na sociedade da informaccedilatildeo de hoje exige que uma RSL de alta qualidade envolva sempre a consulta a um cientista da informaccedilatildeo qualificado como um bibliotecaacuterio No entanto observam que com as capacidades tecnoloacutegicas atuais os revisores podem realizar uma revisatildeo sistemaacutetica sem supor-te experiente de biblioteca desde que sigam um plano rigoroso (ou seja o protocolo)

21



Da bibliotecaacuteria os revisores podem avanccedilar para recursos eletrocircnicos que agora satildeo a fonte predo-minante de coleccedilatildeo bibliograacutefica Os cataacutelogos de acesso puacuteblico online como o Copac no Reino Unido ldquofornecem os detalhes bibliograacuteficos e as localizaccedilotildees de todas as publicaccedilotildees realizadas em determinada bibliotecardquo (Ridley 2012 p 49) enquanto os cataacutelogos de editoras e livrarias oferecem listas e informa-ccedilotildees de conteuacutedo da maioria de suas publicaccedilotildees Hoje bancos de dados de acesso aberto (como o Google Scholar e o Directory of Open Access Journal) e bancos de dados de assuntos especiacuteficos (como ProQuest Scopus EBSCO IEEE Xplore e a Biblioteca Digital da ACM) oferecem acesso eletrocircnico agrave maioria da litera-tura publicada (Norris Oppenheim amp Rowland 2008) Eacute preciso entender como usar corretamente os ope-radores booleanos para tirar vantagem particular desses bancos de dados (Fink 2005) Embora ainda natildeo seja proeminentemente empregado o mundo acadecircmico tambeacutem deve ver aumento no uso de minera-ccedilatildeo de dados assistida por computador para revisotildees de literatura nos proacuteximos anos com potenciais perigos e falhas (Bragge et al 2007 Jacsoacute 2007 Lee Kang Mitra Giles amp On 2007) Com o aumento do alcance da internet os revisores devem atender ao alerta de Fink (2005) sobre a necessidade de discernir cuidadosamente a qualidade de qualquer informaccedilatildeo obtida a partir de sites que embora ldquopublicadosrdquo na Web muitas vezes natildeo passaram por nenhum tipo de padratildeo de controle de qualidade

Depois de completar a revisatildeo na biblioteca e online os revisores devem complementar a pesquisa ainda mais para garantir que encontraram e esgotaram todas as fontes Estudar a seccedilatildeo de referecircncia de peccedilas importantes ou particularmente relevantes permite uma ldquobusca para traacutesrdquo (backward search) de outros artigos pertinentes (Levy amp Ellis 2006) Certos recursos como o Google Scholar e o ISI Citation In-dex tambeacutem permitem uma ldquobusca para a frenterdquo (forward search) para encontrar todos os artigos que jaacute citaram artigos que os revisores podem achar particularmente relevantes (Levy amp Ellis 2006) Finalmente Petticrew e Roberts (2006) e Fink (2005) mencionam a importacircncia de entrar em contato com especialistas na aacuterea para receber sua avaliaccedilatildeo da integridade da pesquisa depois de compilar a lista de trabalhos Esse passo na suplementaccedilatildeo de pesquisas eletrocircnicas eacute particularmente crucial quando um assunto ain-da natildeo estaacute estritamente definido quando as informaccedilotildees podem vir de vaacuterios campos ou se os revisores suspeitarem que muito trabalho relevante ainda natildeo esteja disponiacutevel publicamente Alguns guias salien-tam que pesquisar apenas a internet eacute insuficiente Essas pesquisas precisam ser complementadas manu-almente em revistas impressas No entanto acredito que esse conselho jaacute natildeo seja necessaacuterio no niacutevel de desenvolvimento da internet hoje Acredito que o contato com especialistas (como autores referenciados) para perguntar sobre a integridade de uma pesquisa eacute suficiente (mas necessaacuterio) especialmente para identificar materiais que natildeo estatildeo disponiacuteveis facilmente por meio de fontes da internet

A proacutexima questatildeo pertinente diz respeito ao momento em que a busca da literatura eacute finalmente concluiacuteda quando pesquisas repetidas natildeo fornecem novos resultados Levy e Ellis (2006) apontam que o protocolo natildeo apenas guia o processo de revisatildeo mas tambeacutem estabelece quando a revisatildeo estaacute concluiacute-da Por exemplo sem um protocolo que indique claramente o periacuteodo dos artigos buscados os revisores precisaratildeo revisar continuamente a literatura para novas adiccedilotildees ou pelo menos permanecer ambiacuteguos quanto aos periacuteodos de inclusatildeo Levy e Ellis (2006) sugerem que se deve parar de procurar quando as buscas resultam nas mesmas referecircncias sem novos resultados No entanto natildeo obstante o ponto em que os revisores devem passar ao proacuteximo passo novas pesquisas satildeo continuamente publicadas Uma das razotildees pelas quais eacute crucial registrar a sequecircncia da pesquisa e os procedimentos eacute para que possam ser repetidos periodicamente nos mesmos bancos de dados e fontes para ver se novos materiais aparece-ram desde a busca inicial Essa eacute uma ocorrecircncia comum tatildeo frustrante quanto possiacutevel No entanto ape-sar dos comentaacuterios de Levy e Ellis em contraacuterio acredito que uma revisatildeo abrangente da literatura deve incluir todas as evidecircncias disponiacuteveis ateacute o momento em que eacute submetida agrave publicaccedilatildeo (pelo menos) Encontrar o assunto pode ser uma das partes mais longas e extenuantes da revisatildeo de literatura e muitas vezes inclui pesquisar centenas de artigos No entanto uma revisatildeo rigorosa da literatura eacute impossiacutevel sem um estudo minucioso e cuidadoso de todo o assunto

22



Depois de encontrar todo o material aplicaacutevel os revisores tambeacutem precisam considerar como geren-ciar as referecircncias que inclui desde gerenciar informaccedilotildees e manter registros ateacute decidir um mecanismo de citaccedilatildeo e referenciamento (Hart 1998) Fink (2005 p 40) recomenda o uso de ferramentas eletrocircni-cas como o software de gerenciamento de referecircncia para criar um ldquogabinete de arquivamento virtualrdquo enquanto Ridley (2012) recomenda manter registros contiacutenuos natildeo apenas na informaccedilatildeo de referecircncia de cada artigo mas tambeacutem na data de acesso palavras-chave que levaram agrave recuperaccedilatildeo e notas so-bre qualquer outra informaccedilatildeo pertinente Em termos de pacotes de software bibliograacutefico ela fornece um breve tutorial sobre o EndNote (httpwwwendnotecom) como uma biblioteca de referecircncias que permite ao usuaacuterio salvar pesquisas importar referecircncias digitar manualmente dados e acessar todas as informaccedilotildees de qualquer computador Uma fonte equivalente aberta e gratuita com funcionalidades similares eacute o Zotero (httpwwwzoteroorg) Levy e Ellis (2006) datildeo orientaccedilotildees sobre a organizaccedilatildeo de sistemas de gerenciamento de referecircncias eletrocircnicos ou em papel Independentemente do sistema utili-zado o importante eacute ter um meio sistemaacutetico para registrar e armazenar referecircncias e resumos anotaacute-los e ateacute mesmo armazenar e organizar versotildees eletrocircnicas de artigos

51 Guias e Exemplos de Busca da Bibliografia

Embora todos os guias que revisei mencionem algo sobre busca da literatura os mais detalhados e uacuteteis que encontrei satildeo capiacutetulos de livros dedicados a esse toacutepico Petticrew e Roberts (2006) respondem a vaacuterias questotildees praacuteticas incluindo regras sobre parar a busca quantos bancos de dados devem ser con-sultados e quando procurar ldquoagrave matildeordquo Oferecem tambeacutem um exemplo de suas recomendaccedilotildees em accedilatildeo e discutem uma pesquisa bibliograacutefica abrangente sobre experiecircncias de reduccedilatildeo de criminalidade Fink (2005) e Ridley (2012) delineiam vaacuterios tipos de fontes de bancos de dados e fornecem guias sobre regras de pesquisa incluindo tutoriais breves sobre estrateacutegias de pesquisa booleanas Aleacutem desses livros Levy e Ellis (2006) fornecem guias especiacuteficos de pesquisa em SI que incluem a identificaccedilatildeo de bases de dados de literatura pertinentes aos pesquisadores em SI Para gerenciamento de referecircncias algumas fontes com orientaccedilatildeo praacutetica satildeo Ridley (2012) e Levy e Ellis (2006)

Entre os exemplos que estudei vaacuterios se destacam em demonstrar como conduzir e relatar uma seccedilatildeo de pesquisa bibliograacutefica em uma revisatildeo Alavi e Carlson (1992) Leidner e Kayworth (1992) e Petty et al (1984) explicitam muito detalhadamente as revistas que pesquisaram e justificam por que as escolheram Detalham tambeacutem claramente suas palavras-chave e os limites de suas pesquisas

6 Extraia os Dados

A extraccedilatildeo de dados representa um passo crucial no procedimento da revisatildeo sistemaacutetica Nesta etapa apoacutes a obtenccedilatildeo de uma lista de artigos da pesquisa bibliograacutefica os revisores tomam informaccedilotildees siste-maacuteticas de cada artigo para servir como mateacuteria-prima para a etapa de siacutentese O tipo de dado a extrair eacute baseado na questatildeo de pesquisa estabelecida durante a fase de protocolo Recomendo que os revisores utilizem um formulaacuterio de extraccedilatildeo de dados que inclua espaccedilos para armazenar os detalhes exigidos pela questatildeo de pesquisa e uma seccedilatildeo de comentaacuterios gerais Os revisores combinam a informaccedilatildeo des-se formulaacuterio com as informaccedilotildees coletadas da seleccedilatildeo praacutetica e da avaliaccedilatildeo de qualidade subsequente como um registro completo para cada estudo para sintetizaacute-lo no passo de siacutentese (etapa 8)

61 Guias e Exemplos de Extraccedilatildeo de Dados

A maioria dos 23 estudos que revisei natildeo discute a extraccedilatildeo de dados e portanto tomam como dado que ocorreu No entanto existem algumas exceccedilotildees notaacuteveis a essa tendecircncia Em primeiro lugar Kitchenham e Charters (2007) dedicam uma seccedilatildeo inteira de seu artigo a esta etapa apresentando o formulaacuterio de

23



extraccedilatildeo de dados usado na revisatildeo sistemaacutetica de Maxwell (2006) como exemplo Esse formulaacuterio de coleta de dados incluiu informaccedilotildees sobre modelos de empresas cruzadas modelos dentro da empresa as medidas utilizadas para determinar a significacircncia estatiacutestica medidas para a precisatildeo da prediccedilatildeo medidas utilizadas para comparar os resultados e os resultados dos testes Kitchenham e Charters (2007) cobrem os procedimentos de extraccedilatildeo de dados o que fazer com muacuteltiplas publicaccedilotildees dos mesmos da-dos como lidar com dados natildeo publicados ou ausentes e comentam a manipulaccedilatildeo de dados Oferecem tambeacutem ldquoliccedilotildees aprendidasrdquo reveladoras para ajudar os revisores a evitar certas armadilhas Encontramos um segundo tratamento embora bastante superficial com Petticrew e Roberts (2006) que oferecem um exemplo de formulaacuterio de extraccedilatildeo de dados (seu Apecircndice 4) e discutem brevemente a confiabilidade da avaliaccedilatildeo criacutetica e extraccedilatildeo de dados e os diferentes efeitos das intervenccedilotildees

Um terceiro tratamento notaacutevel da extraccedilatildeo de dados eacute o guia de metodologia de Bandara et al (2015) Sua contribuiccedilatildeo mais exclusiva e valiosa eacute a abordagem eletrocircnica baseada em ferramentas para codifi-car e extrair dados das revisotildees de literatura Sua abordagem eacute uma forma de anaacutelise de conteuacutedo quali-tativo e eacute fortemente influenciada por teacutecnicas de codificaccedilatildeo da teoria fundamentada Dos 23 estudos o deles eacute o uacutenico tratamento detalhado da extraccedilatildeo de dados que se concentra em dados primaacuterios qualita-tivos mdash os demais usam quase exclusivamente dados quantitativos Finalmente Okoli (2012) concentra-se exclusivamente na extraccedilatildeo dos elementos da teoria (ou seja conceitos teoacutericos relaccedilotildees explicaccedilotildees e condiccedilotildeesndashlimite) dos estudos primaacuterios

Seis dos exemplos de estudos mencionam explicitamente como extraiacuteram dados Alguns dedicam uma seccedilatildeo completa de sua metodologia para retornar ao protocolo inicial e como o aplicaram na extraccedilatildeo de dados (Alavi amp Carlson 1992 Cotton amp Tuttle 1986 Dubeacute amp Pareacute 2003 Robey Im amp Wareham 2008) Piccoli e Ives (2005) e Leidner e Kayworth (1992) abordam brevemente como examinaram e codificaram os trabalhos em seus estudos

7 Avalie a Qualidade

A seleccedilatildeo praacutetica exclui os artigos de uma revisatildeo sem chegar a considerar sua qualidade seja para garantir que apenas os artigos relevantes sejam considerados ou de forma mais pragmaacutetica reduzir o conjunto de artigos coletados para um nuacutemero gerenciaacutevel Uma vez que todos os artigos potencialmente elegiacuteveis tenham sido coletados os revisores devem examinaacute-los mais de perto para avaliar sua qualida-de Nem todos os estudos primaacuterios satildeo de igual qualidade Portanto os revisores precisam avaliar os estudos de acordo com a medida em que atendam a vaacuterios padrotildees de qualidade

Existem dois propoacutesitos relacionados ainda que distintos para essa avaliaccedilatildeo de qualidade priorizar artigos de acordo com sua qualidade e excluir aqueles considerados inuacuteteis devido agrave baixa qualidade metodoloacutegica Embora pontuar artigos (classificar de acordo com criteacuterios de qualidade) difira de selecio-naacute-los pela metodologia (eliminar artigos por deficiecircncias de qualidade) as duas etapas estatildeo obviamente relacionadas Assim na praacutetica faz sentido que os revisores classifiquem a qualidade dos documentos usando os mesmos criteacuterios que usaram para selecionaacute-los pela metodologia No entanto a principal diferenccedila eacute que uma vez que os revisores encontrem um artigo que natildeo cumpre os padrotildees metodoloacute-gicos miacutenimos natildeo precisam pontuaacute-lo posteriormente mdash eliminaacute-lo-iam imediatamente sem uma con-sideraccedilatildeo mais aprofundada Como forma de cautela excluir artigos que presumivelmente seriam de baixa qualidade levou a seacuterios problemas nas revisotildees de literatura do passado (Rodgers amp Hunter 1994) Nem todas as revisotildees de literatura precisam eliminar estudos com base na sua qualidade Independen-temente disso os avaliadores precisam avaliar ou pontuar a qualidade dos trabalhos que permanecem no estudo como base para a confiabilidade nos resultados finais Embora eu certamente natildeo defenda manter documentos duvidosos em caso de duacutevida os revisores devem estar conscientes das implicaccedilotildees de todas as suas escolhas e reportaacute-las explicitamente

24



Geralmente o processo de coleta de trabalhos primaacuterios jaacute deu aos revisores uma ideia baacutesica da qualidade e do tipo de documentos disponiacuteveis Eles agora devem estabelecer criteacuterios mais rigorosos para determinar quais os artigos que devem considerar para a revisatildeo de literatura Como cada revisatildeo sistemaacutetica varia natildeo posso fornecer um guia definitivo para realizar a avaliaccedilatildeo da qualidade ou mes-mo especificar padrotildees miacutenimos de qualidade Em vez disso descrevo os vaacuterios criteacuterios para avaliar a qualidade dos trabalhos que diversos autores recomendam Os revisores podem considerar essas recomendaccedilotildees no desenvolvimento de seus padrotildees de avaliaccedilatildeo de qualidade no protocolo de revisatildeo de literatura

Para avaliar a qualidade dos documentos os avaliadores devem desenvolver e distribuir entre si um formulaacuterio padratildeo para avaliar cada artigo Fink (2005) oferece um exemplo (neste caso uma grade) que transforma cada criteacuterio de qualidade em respostas sim ou natildeo Se um artigo natildeo atende a um dos criteacute-rios de qualidade predeterminados os avaliadores encerram a avaliaccedilatildeo e podem excluiacute-lo de uma avalia-ccedilatildeo posterior Se estiverem usando tal grade os revisores tambeacutem devem garantir que haja espaccedilo para escrever notas e comentaacuterios adicionais tanto para os documentos incluiacutedos como para os excluiacutedos Tal como acontece com a seleccedilatildeo praacutetica recomendo que ao inveacutes de realmente excluir artigos os autores coloquem os documentos que natildeo atendem aos padrotildees da seleccedilatildeo metodoloacutegica em uma subpasta se-parada categorizada pelo padratildeo de qualidade especiacutefico que natildeo cumpriram Como resultado os avalia-dores podem verificar seus julgamentos de triagem e testar a confiabilidade entre avaliadores Depois de esclarecer o protocolo os avaliadores devem fazer um teste piloto do processo de avaliaccedilatildeo para resolver os problemas Esse teste piloto envolve a aplicaccedilatildeo da lista de verificaccedilatildeo mencionada anteriormente para vaacuterios documentos para determinar se o formato eacute adequado a eles ou se precisa ser revisado

Talvez a diferenccedila mais significativa entre as classes de meacutetodos de avaliaccedilatildeo de qualidade seja se os estudos primaacuterios satildeo quantitativos (ou seja obtecircm conhecimento por meio da mediccedilatildeo de nuacutemeros) ou qualitativos (ou seja usam texto ou outros dados natildeo numeacutericos como discussatildeo e argumentaccedilatildeo para entender o fenocircmeno) Portanto tratarei essas categorias de estudos separadamente

71 Avaliaccedilatildeo da Qualidade Quantitativa

Trabalhos que avaliam a qualidade de estudos primaacuterios quantitativos empregaram quase universal-mente o que eacute conhecido como ldquohierarquia de evidecircnciasrdquo mdash um ranking de designs de pesquisa que orde-na a generalizaccedilatildeo e a validade relativa de seus resultados Os guias RSL que estudei fazem referecircncia de uma forma ou de outra agrave hierarquia de evidecircncias Por exemplo Petticrew e Roberts (2006) apresentam uma hierarquia de evidecircncias tiacutepica que classifica os estudos da seguinte maneira (classificados dos me-lhores para os piores)

1 Estudos que medem a eficaacutecia com controles aleatoacuterios

2 Estudos que utilizam design quase experimental

3 Estudos natildeo controlados

4 Estudos que avaliam relaccedilotildees etioloacutegicas como casondashcontrole e estudos de coorte prospectivos

5 Estudos de coorte

Para avaliar quantitativamente os trabalhos Fink (2005) enfatiza que os revisores precisam julgar em profundidade a metodologia de coleta de dados as intervenccedilotildees a anaacutelise os resultados e as conclusotildees dos documentos Ela recomenda que os revisores estabeleccedilam primeiro a confiabilidade do estudo O estudo exibe confiabilidade testendashreteste Relata a confiabilidade inter ou intra-avaliadores homogenei-dade dos dados equivalecircncia ou formas alternativas de confiabilidade Qual eacute o grau de validade de conteuacutedo solidez criteacuterio prediccedilatildeo oposiccedilatildeo ou ideias do documento Sempre que possiacutevel os revisores

25



devem decidir se as intervenccedilotildees ou programas aplicados em um documento especiacutefico satildeo apropriados O artigo aplica meacutetodos estatiacutesticos aceitaacuteveis Em particular emprega variaacuteveis independentes e depen-dentes confiaacuteveis e vaacutelidas Que tipos de escalas mdash categoacutericas ordinais ou contiacutenuas mdash o artigo usa (se aplicaacutevel) A anaacutelise estatiacutestica corresponde agrave natureza dessas escalas Que tipo de niacutevel de confiabilidade os revisores julgam aceitaacuteveis para qualificar um estudo para inclusatildeo Para a maioria dessas perguntas natildeo existe resposta fixa ou difiacutecil Padrotildees aceitaacuteveis para diferentes testes metodoloacutegicos agraves vezes variam de aacuterea para aacuterea Aleacutem disso aqueles trabalhos em aacutereas de pesquisa mais recentes e emergentes po-dem exigir padrotildees metodoloacutegicos mais brandos para incluiacute-los em uma revisatildeo de literatura a fim de natildeo excluir prematuramente os trabalhos em aacutereas que ainda natildeo satildeo bem compreendidas Em uacuteltima anaacutelise os revisores precisam estabelecer seus proacuteprios criteacuterios de inclusatildeo e exclusatildeo Eu natildeo enfatizo quais cri-teacuterios devem ser usados mas que os revisores devem entender completamente seus criteacuterios de inclusatildeo e torna-los expliacutecitos para que outros pesquisadores possam reproduzir a revisatildeo de literatura resultante

A pesquisa em ciecircncias da sauacutede eacute a que mais provavelmente estabelece seleccedilotildees metodoloacutegicas ri-gorosas mdash nesse campo os pesquisadores frequentemente consideram estudos primaacuterios que natildeo satildeo mais do que ensaios de controle aleatoacuterio como os de mais alta qualidade para RSL (Fink 2005) No en-tanto estudos de ciecircncias sociais como os de SI muitas vezes natildeo tiveram o luxo de tratamentos idecircnti-cos (medicamentos e outras intervenccedilotildees de sauacutede) atribuiacutedos a um nuacutemero suficientemente grande de pessoas para produzir poder estatiacutestico suficiente (Kitchenham amp Charters 2007) Assim natildeo eacute surpreen-dente que Petticrew e Roberts (2006) escrevendo sobre RSL em pesquisas de ciecircncias sociais defendam um uso mais complacente da hierarquia de evidecircncias Ao contraacuterio de Fink (2005) eles natildeo defendem o caminho de sim ou natildeo para a inclusatildeo de estudos com base em sua metodologia Recomendam ge-ralmente classificar os estudos com a consciecircncia de suas diferenccedilas de qualidade Embora estejam em desacordo que as revisotildees sistemaacuteticas devam incluir apenas ensaios controlados aleatoacuterios advertem contra a inclusatildeo de artigos cujos contextos (decisatildeo de implementaccedilatildeo integridade do tratamento etc) natildeo atinjam certo padratildeo Recomendam tambeacutem uma avaliaccedilatildeo mais sofisticada dos artigos que vaacute aleacutem das informaccedilotildees encontradas na paacutegina impressa e avalie a influecircncia subjetiva de seus autores Sua dis-cussatildeo sobre o vieacutes do autor e seus efeitos eacute particularmente esclarecedora

Outros guias de RSL fora do domiacutenio das ciecircncias da sauacutede satildeo semelhantes ao de Petticrew e Roberts (2006) na avaliaccedilatildeo da qualidade sem limitaccedilotildees metodoloacutegicas rigorosas Kitchenham e Charters (2007) argumentam que os revisores devem desenvolver instrumentos de qualidade que incorporem as predis-posiccedilotildees subjetivas e os criteacuterios objetivos que os pesquisadores estabeleceram Em particular os reviso-res que desenvolvem os instrumentos devem considerar conscientemente o vieacutes humano Eles fornecem dois exemplos de listas de verificaccedilatildeo de qualidade mas advertem que a avaliaccedilatildeo da qualidade tem suas limitaccedilotildees Rousseau et al (2008) identificam seis categorias gerais de criteacuterios de avaliaccedilatildeo de qualidade validade de construccedilatildeo validade interna tamanho do efeito generalizaccedilatildeo conformidade de intervenccedilatildeo e contextualizaccedilatildeo

72 Avaliaccedilatildeo da Qualidade Qualitativa

Fink (2005) natildeo faz distinccedilatildeo entre a definiccedilatildeo de padrotildees de qualidade para estudos quantitativos e qualitativos afirma que um criteacuterio poderia ser usado para ambas as categorias Em extremo contraste Petticrew e Roberts (2006) questionam se revisotildees sistemaacuteticas satildeo mesmo possiacuteveis com trabalho qua-litativo ou se o uso de um procedimento sistemaacutetico inviabiliza nossa capacidade de analisar trabalhos qualitativos Eles se preocupam com o efeito nocivo das generalizaccedilotildees e das listas de verificaccedilatildeo Diferen-temente Rousseau et al (2008) assumem uma abordagem intermediaacuteria enquanto aplicam os mesmos seis criteacuterios gerais que utilizaram para estudos quantitativos observam cuidadosamente as diferenccedilas na aplicaccedilatildeo desses criteacuterios a estudos qualitativos

26



Acredito que o trabalho qualitativo se presta tanto quanto o trabalho quantitativo agrave rigorosa metodo-logia empiacuterica das revisotildees sistemaacuteticas Somente por meio dessa estrutura os revisores podem atender aos quatro mandamentos de explicitude abrangecircncia sistematicidade e reprodutibilidade Como Fink (2005) e Rousseau et al (2008) acredito que os avaliadores podem e devem avaliar artigos qualitativos mas ao contraacuterio de Fink acredito que esses estudos exigem um conjunto diferente de procedimentos

Klein e Myers (1999) fornecem um guia detalhado para conduccedilatildeo e avaliaccedilatildeo de estudos interpretati-vos e etnograacuteficos em sistemas de informaccedilatildeo Aleacutem disso Myers (2008) fornece um guia que abrange algumas das principais categorias de pesquisa qualitativa pesquisa-accedilatildeo estudos de caso etnografia e teoria fundamentada Para cada tipo de estudo inclui guias especiacuteficos para avaliar sua qualidade Myers escreve geralmente para pesquisadores em negoacutecios e gestatildeo mas sua base em sistemas de informaccedilatildeo assegura a aplicabilidade de suas avaliaccedilotildees para a pesquisa em SI

De maneira mais geral existem guias de revisatildeo de literatura para avaliar estudos primaacuterios qualitati-vos Embora Hart (1998) e Ridley (2012) planejem seus guias para revisotildees de literatura de teses de dou-torado suas seccedilotildees de avaliaccedilatildeo de qualidade para estudos qualitativos satildeo tambeacutem uacuteteis para revisotildees autocircnomas Analisar o meacuterito qualitativo de um artigo eacute o primeiro passo necessaacuterio quando se ultrapas-sa sua estrutura baacutesica de design e se dissecam seus argumentos loacutegicos Essa classificaccedilatildeo qualitativa eacute ldquoa diferenccedila entre leitura criacutetica e escrita criacuteticardquo (Ridley 2012 p 141) Hart (1998) destaca a importacircncia de analisar os argumentos dos artigos Os revisores devem identificar se a argumentaccedilatildeo de um artigo eacute baseada em inferecircncia asserccedilatildeo ou suposiccedilatildeo Ou seja como os autores construiacuteram o argumento Para trabalhos teoacutericos que dependem exclusivamente de teoria ou da construccedilatildeo de modelos sem um com-ponente empiacuterico eacute preciso descobrir se estatildeo baseados em raciociacutenio dedutivo ou indutivo Usando o meacutetodo de leitura criacutetica de Alec Fisher (que utiliza palavras estruturais como ldquoassimrdquo e preposiccedilotildees para entender a loacutegica de uma peccedila mdash Hart 1998 p 393) e o meacutetodo de anaacutelise de argumentaccedilatildeo de Stephen Toulimin (um dispositivo de mapeamento que quebra os argumentos em seus elementos baacutesicos e cons-troacutei suas inter-relaccedilotildees mdash Hart 1998 p 188) todo artigo deve ser analisado considerando quatro itens que alegaccedilotildees faz quais provas fornece para apoiar essas alegaccedilotildees se a evidecircncia eacute garantida e como fundamenta a evidecircncia Argumentos falaciosos nesse quesito podem levar a uma diminuiccedilatildeo consideraacute-vel no iacutendice de qualidade de um artigo A discussatildeo de Hart sobre a anaacutelise da argumentaccedilatildeo eacute extensa mas Levy e Ellis (2006) resumem de forma concisa e completa sua discussatildeo

73 Guias e Exemplos de Avaliaccedilatildeo da Qualidade

A maioria dos guias sobre avaliaccedilatildeo de qualidade para estudos primaacuterios em revisotildees de literatura restringe seu foco a estudos quantitativos ou a estudos qualitativos mas natildeo a ambos Uma exceccedilatildeo eacute a classificaccedilatildeo de Okoli (2012) de guias de avaliaccedilatildeo de qualidade Embora ele proacuteprio natildeo explique como avaliar estudos distingue claramente os diferentes criteacuterios de avaliaccedilatildeo necessaacuterios para estudos quan-titativos qualitativos e conceituais e fornece referecircncias a artigos e livros que datildeo instruccedilotildees de avaliaccedilatildeo detalhadas para cada um

Para avaliar a qualidade dos estudos primaacuterios quantitativos Fink (2005) apresenta os rigorosos pa-drotildees utilizados na pesquisa em ciecircncias da sauacutede em que a qualidade da pesquisa eacute literalmente uma questatildeo de vida ou morte Independentemente de os revisores optarem por excluir estudos com base na hierarquia de evidecircncias apresentada nessa aacuterea os princiacutepios de avaliaccedilatildeo da qualidade satildeo uacuteteis Petticrew e Roberts (2006) tambeacutem apresentam uma hierarquia de evidecircncias de pesquisa mas mais adaptada agrave pesquisa em ciecircncias sociais Sua Tabela 51 eacute uma visatildeo geral bem definida da avaliaccedilatildeo da qualidade e uma seccedilatildeo que discute o uso de ferramentas escalas e listas de verificaccedilatildeo no processo de revisatildeo Em detalhes sua revisatildeo aborda os criteacuterios de avaliaccedilatildeo da qualidade em ensaios controlados aleatoacuterios estudos observacionais estudos de caso controle estudos de seacuteries temporais interrompidas

27



e pesquisas transversais Kitchenham e Charters (2007) apresentam hierarquias valiosas de evidecircncias reunidas a partir de outros guias de RSL

Para estudos primaacuterios qualitativos os pesquisadores de SI tecircm a sorte de ter os estudos nativos de Klein e Myers (1999) e Myers (2008) Embora sejam aplicaacuteveis a muitos campos da administraccedilatildeo e das ciecircncias sociais suas avaliaccedilotildees levam em consideraccedilatildeo as particularidades da pesquisa em SI Mais geralmente Hart (1998) adota uma abordagem mais filosoacutefica para avaliar a qualidade dos trabalhos enfatizando que os revisores analisem os argumentos criacuteticos dos estudos

Apenas cinco dos exemplos que revisei direcionam a avaliaccedilatildeo da qualidade Dubeacute e Pareacute (2003) e Joseph et al (1996) descrevem minuciosamente o que constitui qualidade e por que excluiacuteram determina-dos artigos Robey et al (2008) explicam como limitaram os 53 artigos da seleccedilatildeo praacutetica a 51 com base na qualidade metodoloacutegica Leidner e Kayworth (1992) afirmam que classificaram artigos com base na metodologia mas natildeo indicam quantos deles foram se foram excluiacutedos Por fim Petty et al (1984) fazem um comentaacuterio passageiro de que tentaram corrigir erros de mediccedilatildeo

8 Sintetize os Estudos

Quando os revisores tiverem buscado selecionado e classificado os artigos para sua revisatildeo precisam em seguida combinaacute-los para obter um sentido abrangente do seu nuacutemero (muitas vezes grande) Nessa fase os revisores agregam discutem organizam e comparam No final desse estaacutegio os revisores devem ter uma siacutentese completa e polida de informaccedilotildees e devem poder escrever a revisatildeo (etapa 8) de forma re-lativamente direta Tal como acontece com a avaliaccedilatildeo da qualidade os procedimentos envolvidos nessa etapa dependem de se os estudos a serem sintetizados satildeo quantitativos qualitativos ou contecircm ambos os tipos de elementos Considerando que apenas os estudos quantitativos podem ser analisados quanti-tativamente estudos quantitativos e qualitativos precisam ser analisados qualitativamente

Rousseau et al (2008) apresentam uma classificaccedilatildeo de diferentes tipos de siacutentese de pesquisas com base na natureza dos estudos primaacuterios e na abordagem filosoacutefica para a anaacutelise desses estudos Eles chamam a siacutentese quantitativa e positivista de estudos primaacuterios quantitativos de ldquosiacutentese por agregaccedilatildeordquo mdash comumente chamada meta-anaacutelise Chamam a siacutentese positivista de estudos primaacuterios de diferentes naturezas (como qualitativa e quantitativa) de siacutentese por ldquointegraccedilatildeordquo mdash comumente chamada de trian-gulaccedilatildeo Suas duas outras categorias de siacutentese se aplicam a estudos primaacuterios qualitativos com base em abordagens filosoacuteficas diferentes para anaacutelise Quando uma abordagem interpretativa eacute adotada eles a chamam de siacutentese por ldquointerpretaccedilatildeordquo com uma abordagem criacutetica realista eles a chamam de siacutentese por ldquoexplicaccedilatildeordquo No meu tratamento aqui embora eu considere as classificaccedilotildees de Rousseau et al (2008) considero abordagens de siacutentese com base nas naturezas quantitativas ou qualitativas dos estudos primaacuterios e da revisatildeo em si em vez de na abordagem filosoacutefica adotada para a siacutentese

81 Siacutenteses Quantitativas de Estudos Quantitativos Meta-anaacutelises

Uma siacutentese quantitativa de estudos revisados envolve considerar cada estudo como um caso que pos-sui certas variaacuteveis independentes que se supotildee ter efeito ou natildeo sobre determinada variaacutevel dependente (Green amp Hall 1984) Quando cada um desses casos (estudos individuais) eacute analisado quantitativamente para derivar um resultado combinado essa siacutentese eacute chamada de meta-anaacutelise Como a meta-anaacutelise en-volve uma anaacutelise quantitativa com base nos mesmos criteacuterios quantitativos que os estudos primaacuterios soacute eacute possiacutevel realizar uma meta-anaacutelise em estudos primaacuterios quantitativos mdash natildeo faz sentido no contexto dos estudos primaacuterios qualitativos Estaacute aleacutem do meu objetivo aqui explicar o procedimento para realizar uma meta-anaacutelise (no entanto eu me refiro a alguns guias uacuteteis a seguir) Em vez disso considero a meta-anaacutelise como uma abordagem de siacutentese no contexto maior da realizaccedilatildeo de revisotildees sistemaacuteticas de literatura

28



Rousseau et al (2008) chamam a meta-anaacutelise de ldquosiacutentese por agregaccedilatildeordquo Eles observam que uma limitaccedilatildeo chave dessa abordagem em ciecircncias de gestatildeo e organizaccedilatildeo eacute que estudos primaacuterios nessa aacuterea raramente satildeo homogecircneos O campo de sistemas de informaccedilatildeo tem um problema semelhante diferentemente das ciecircncias da sauacutede (o principal domiacutenio em que a meta-anaacutelise eacute praticada) em que a replicaccedilatildeo de estudos eacute uma norma e necessidade cientiacutefica o que facilita a meta-anaacutelise Em tais aacutereas a realizaccedilatildeo de meta-anaacutelise no contexto das revisotildees sistemaacuteticas de literatura eacute considerada uma pes-quisa da mais alta qualidade mdash de fato as revisotildees sistemaacuteticas de literatura meta-analiacuteticas de estudos controlados aleatoacuterios satildeo a cregraveme de la cregraveme da hierarquia de evidecircncias Sem discutir a exaltaccedilatildeo de uma abordagem de pesquisa particular muito acima de todas as outras observo principalmente que em sistemas de informaccedilatildeo e nas ciecircncias sociais relacionadas a falta de circunstacircncias para ensaios de controle aleatoacuterios e outros estudos altamente replicaacuteveis limita a disponibilidade de condiccedilotildees para se realizarem meta-anaacutelises robustas Assim as RSL em campos de ciecircncia natildeo meacutedica tendem a natildeo exaltar meta-anaacutelises em tatildeo alto niacutevel

Rousseau et al (2008) argumentam que natildeo existe um consenso uacutenico sobre a melhor evidecircncia a ser incluiacuteda e o vieacutes do revisor pode se infiltrar nos estudos selecionados Para sintetizar o conhecimento completamente eles argumentam que a interpretaccedilatildeo certamente natildeo precisa parar na meta-anaacutelise mas pode incluir outros modos de siacutentese Da mesma forma Petticrew e Roberts (2006) natildeo acreditam que a meta-anaacutelise seja o fim de tudo e toda a siacutentese defendendo fortemente a triangulaccedilatildeo mdash o que Rousseau et al (2008) chamam de ldquointegraccedilatildeordquo Eles comeccedilam sua seccedilatildeo sobre siacutentese quantitativa discu-tindo a siacutentese narrativa que inclui a tabulaccedilatildeo dos estudos incluiacutedos e a triagem expliacutecita da qualidade dos estudos Podemos equiparar a forma como tratam a siacutentese quantitativa com a seccedilatildeo de siacutentese de qualquer estudo experimental em que a primeira discussatildeo dos dados analisados revecirc e descreve am-plamente a amostra do estudo Seu tratamento eacute semelhante ao de Kitchenham e Charters (2007) que defendem o iniacutecio da siacutentese com siacutentese narrativa (independentemente do tipo de artigo) seguido de siacutentese quantitativa Em seguida deve-se sintetizar a melhor evidecircncia como uma conclusatildeo extraiacuteda da ldquocontagem de votosrdquo soacute depois viria a meta-anaacutelise Mesmo assim Petticrew e Roberts satildeo cautelosos sobre a meta-anaacutelise comeccedilam com a questatildeo de saber se funciona mesmo criticam a teacutecnica como uma ldquomaacutequina de salsichardquo acadecircmica (no sentido de que carne podre produz linguiccedila podre) e oferecem ideias concretas para melhoria No entanto natildeo denigrem a meta-anaacutelise mas definem claramente seus limites antes de descrever a abordagem detalhadamente

82 Siacutentese Qualitativa de Estudos Quantitativos ou Qualitativos

Embora sistemas de informaccedilatildeo fosse inicialmente uma aacuterea de pesquisa com anaacutelise primariamente quantitativa a pesquisa qualitativa estabeleceu a mesma consideraccedilatildeo ainda que sem a mesma frequecircn-cia de aplicaccedilatildeo Citando William Bruce Cameron ldquonem tudo que pode ser contado conta e nem tudo que conta pode ser contadordquo 4 Assim a importacircncia da siacutentese qualitativa estaacute bem estabelecida natildeo apenas em sistemas de informaccedilatildeo mas tambeacutem em outras ciecircncias sociais

Webster e Watson (2002) descrevem o estaacutegio de siacutentese como transiccedilatildeo do foco do autor para um conceito central Recomendam mapear todas as informaccedilotildees fornecidas para avaliar melhor os dados ajustaacute-los agrave teoria da revisatildeo e estruturar essa revisatildeo

Rousseau et al (2008) referem-se agrave anaacutelise de material qualitativo como siacutentese por interpretaccedilatildeo e siacutentese por explicaccedilatildeo Essas abordagens realistas interpretativas e criacuteticas estatildeo associadas a epistemo-logias relativistas como fenomenologia ou construccedilatildeo social Os autores descrevem como usar a meta-etnografia e desenvolver modelos teoacutericos de como por que e para quem as intervenccedilotildees funcionam Assim pode-se obter uma siacutentese preliminar e explorar relaccedilotildees nos dados e entre eles Um passo final eacute

4 httpquoteinvestigatorcom20100526everything-counts-einstein

29



entatildeo avaliar a robustez do resultado sintetizado Como na sua discussatildeo sobre meta-anaacutelise Rousseau et al (2008) demonstram que natildeo haacute consenso sobre quais satildeo as melhores evidecircncias e que uma revisatildeo sistemaacutetica sempre seraacute moldada pela interpretaccedilatildeo subjetiva O que a revisatildeo sistemaacutetica oferece para combater isso no entanto eacute uma descriccedilatildeo expliacutecita do procedimento metodoloacutegico para permitir que futuros pesquisadores repliquem ou modifiquem o processo

Petticrew e Roberts (2006) oferecem um guia simples de trecircs passos para tabular os estudos incluiacutedos em uma siacutentese narrativa De particular interesse sua Tabela 61 que oferece um exemplo de siacutentese descritiva Eles defendem que os revisores descrevam primeiro a siacutentese intraestudo e em seguida usem esses vaacuterios toacutepicos para comeccedilar uma descriccedilatildeo qualitativa da pesquisa de meacutetodos mistos

Para diretrizes sobre a anaacutelise qualitativa de uma revisatildeo Hart (1998) eacute particularmente uacutetil Ele afirma que os revisores deveriam primeiro classificar qualitativamente todo o material Entatildeo depois de julgar se cada artigo corresponde aos padrotildees relativos estabelecidos anteriormente os revisores devem comeccedilar a traccedilar relaccedilotildees (Alias Zurinah Reiska Aringhlberg amp Novak 2008) entre os artigos de acordo com padrotildees como a tradiccedilatildeo metodoloacutegica em que se enquadram ou suas particularidades caracteriacutesticas de design Com base na anaacutelise de cada artigo os revisores devem considerar como podem ser sintetizados Hart oferece uma lista completa de tais dispositivos retoacutericos como metaacutefora tropos sineacutedoque ironia meto-niacutemia e assim por diante de maneira que os revisores possam considerar quais dispositivos predominam em um artigo Muitas vezes o estilo de um artigo oferece uma visatildeo clara da voz de seu autor A maneira mais faacutecil de chegar ao processo final de escrita eacute criar um mapa visual das ideias e do leiaute da revisatildeo As estrateacutegias potencialmente uacuteteis incluem mapas de recursos construccedilotildees de aacutervores mapas de con-teuacutedo mapas taxonocircmicos e mapas conceituais (Wu amp Weld 2008) Hart (1998 p 146-157) oferece repre-sentaccedilotildees visuais apropriadas de cada formulaacuterio Em trabalhos relacionados Erduran Simon e Osborne (2004) satildeo particularmente provocadores em seu estiacutemulo agrave argumentaccedilatildeo no pensamento cientiacutefico

83 Siacutentese Combinada de Estudos Quantitativos e Qualitativos

Uma terceira abordagem mais rara para estudos de siacutentese existe para sintetizar uma mistura de es-tudos quantitativos e qualitativos Geralmente referido como triangulaccedilatildeo muitos pesquisadores anun-ciaram tais revisotildees mas poucos o fizeram Rousseau et al (2008) recomendam abordar esses raros artigos combinando siacutentese por integraccedilatildeo e siacutentese por explicaccedilatildeo A siacutentese por integraccedilatildeo envolve a coleta e comparaccedilatildeo de evidecircncias de dois meacutetodos de coleta e emprega tipicamente perguntas predeter-minadas e criteacuterios de seleccedilatildeo A siacutentese por explicaccedilatildeo centra-se na identificaccedilatildeo de mecanismos causais e na forma como operam mesmo reconhecendo a hierarquia de evidecircncias Como nas seccedilotildees anteriores os revisores devem reconhecer sua proacutepria subjetividade em ambas as abordagens

84 Guias e Exemplos de Siacutenteses

Dois artigos notaacuteveis fornecem estruturas uacuteteis para compreender a grande diversidade de abordagens para a siacutentese de estudos em uma revisatildeo de literatura Rousseau et al (2008) classificam as abordagens em niacutevel elevado dependendo de os estudos primaacuterios serem quantitativos ou qualitativos e dependendo da proacutepria abordagem epistemoloacutegica dos revisores Okoli (2012) classifica e descreve brevemente inuacute-meras abordagens de siacutentese dependendo de os estudos primaacuterios serem quantitativos ou qualitativos e de sua metodologia de siacutentese ter sido quantitativa qualitativa ou mista Ambos os modelos efetivamente incorporam abordagens quantitativas e qualitativas e avaliam os proacutes e os contras de cada uma

Fink (2005) e Petticrew e Roberts (2006) fornecem apresentaccedilotildees claras para os revisores que pro-curam realizar uma meta-anaacutelise suficientes para que determinem se devem ou natildeo adotar essa abor-dagem No entanto para implementar a meta-anaacutelise essas visotildees gerais satildeo insuficientes Para obter

30



detalhes sobre como realizar uma meta-anaacutelise Borenstein et al (2009) fornecem uma boa introduccedilatildeo com recomendaccedilotildees do estado da arte Rosenthal (1995) Rosenthal e DiMatteo (2001) e Rosenthal (1991) tambeacutem satildeo trabalhos uacuteteis e competentes sobre meta-anaacutelise Para siacutentese qualitativa Hart (1998) for-nece orientaccedilatildeo detalhada sobre uma variedade de abordagens e teacutecnicas de siacutentese No contexto de um guia de metodologia de revisatildeo de literatura completa para sistemas de informaccedilatildeo Levy e Ellis (2006) fornecem teacutecnicas para siacutentese qualitativa que incluem muitas dicas tiradas de Hart Suas seccedilotildees ldquodicas da aacutereardquo e ldquoquando a revisatildeo terminardquo podem ser particularmente uacuteteis

Alguns estudiosos desenvolveram metodologias de revisatildeo de literatura especialmente adaptadas agraves particularidades da pesquisa em SI ainda que gerais o suficiente para serem amplamente aplicaacuteveis Os trecircs que mencionei aqui tentam cobrir todo o processo de revisatildeo de literatura No entanto suas contri-buiccedilotildees mais importantes estatildeo nas novas abordagens de siacutentese que propotildeem Primeiro comentei ante-riormente a metodologia de extraccedilatildeo de dados de Bandara et al (2015) Eles apresentam uma abordagem de siacutentese correspondente fortemente sustentada por ferramentas de software com base em anaacutelise de conteuacutedo adequada para dados primaacuterios qualitativos Em seguida Sylvester et al (2011) argumentam que nem sempre eacute viaacutevel nem desejaacutevel tentar adotar um ponto de vista neutro na diversidade de litera-tura e tentar forccedilar uma histoacuteria comum para explicar tudo Em vez disso defendem e demonstram com um exemplo detalhado uma abordagem historiograacutefica de siacutentese de pesquisa que identifica e destaca vaacuterios pontos de vista conflitantes para apresentar vaacuterias histoacuterias e uma perspectiva de muacuteltiplas lentes rica e diversificada em um fenocircmeno de interesse Finalmente Wolfswinkel et al (2011) elaboram uma abordagem de teoria fundamentada para sintetizar a literatura empregando codificaccedilatildeo aberta codifica-ccedilatildeo axial e codificaccedilatildeo seletiva para desvendar conceitos teoacutericos que os avaliadores podem extrair de um corpo de literatura e desenvolver indutivamente uma nova teoria que possa efetivamente explicar esse corpo de literatura Embora a codificaccedilatildeo de dados normalmente seja considerada um procedimento no estaacutegio de extraccedilatildeo de dados a codificaccedilatildeo da teoria fundamentada eacute multiniacutevel e pesadamente iterativa de tal forma que se poderia considerar que a extraccedilatildeo de dados eacute subsumida na fase de siacutentese

Seis dos exemplos que consultei explicam suas abordagens de siacutentese Marakas et al (1998) e Dubeacute e Pareacute (2003) satildeo particularmente minuciosos nas suas descriccedilotildees e detalham especificamente o procedi-mento de extraccedilatildeo de dados que utilizaram para as diferentes metodologias de estudo que encontraram Robey et al (2008) satildeo menos especiacuteficos mas mencionam que acessaram os fundamentos teoacutericos de cada estudo de acordo com revisotildees de literatura anteriores Aleacutem desses os estudos que seguiram uma abordagem de siacutentese padronizada notavelmente meta-anaacutelise (Alavi amp Joachimsthaler 1992 Cotton amp Tuttle 1986 Joseph Ng Koh amp Ang 2007 Petty McGee amp Cavender 1984) e metatriangulaccedilatildeo (Jasperson et al 2002) dizem isso explicitamente

9 Escreva a Revisatildeo

O passo final do desenvolvimento de uma revisatildeo de literatura de pesquisas eacute relatar os resultados e efetivamente escrever a revisatildeo Embora jaacute esteja claro como esse processo pode ser intenso em relaccedilatildeo a tempo e energia assumindo que todas as etapas anteriores foram seguidas de forma ordenada pode ser realizado sistemaacutetica e confortavelmente (Kitchenham et al 2009)

Como enfatizo na Seccedilatildeo 1 uma revisatildeo sistemaacutetica rigorosa tem dois aspectos importantes docu-menta claramente os passos seguidos e traz uma valiosa contribuiccedilatildeo acadecircmica Neste artigo meu foco estaacute explicitamente no primeiro aspecto mdash o rigor do processo Embora o segundo aspecto seja extrema-mente importante estaacute aleacutem do meu alcance aqui No entanto Okoli (2012) o aborda em detalhes e se concentra particularmente em como fazer uma contribuiccedilatildeo teoacuterica usando uma revisatildeo sistemaacutetica Na Seccedilatildeo 91 eu destaco alguns artigos e livros que fornecem orientaccedilatildeo mais detalhada sobre a criaccedilatildeo de valor acadecircmico ao escrever uma revisatildeo de literatura

31



Ao relatar suas descobertas os revisores devem documentar o processo de revisatildeo de literatura com detalhes suficientes de modo que outros pesquisadores possam reproduzir todo o procedimento no sentido cientiacutefico Ou seja outros pesquisadores que desejem replicar os resultados da revisatildeo devem ser capazes de seguir os passos descritos e chegar aos mesmos resultados Aleacutem de simplesmente relatar os procedimentos a revisatildeo de literatura deve concluir destacando quaisquer novas descobertas A literatu-ra apoia determinada teoria existente ou os revisores estabeleceram um novo modelo que se baseia na teoria existente e contribui para futuras pesquisas Em particular os revisores devem destacar resultados inesperados Muitas revisotildees de literatura satildeo mal conceituadas e escritas (Boote amp Beile 2005) Embora o revisor meacutedio possa natildeo ter muita afinidade com este passo final eacute necessaacuterio tanto esforccedilo quanto nos outros Sem uma descriccedilatildeo clara e inteligiacutevel das descobertas as chances de a revisatildeo ser amplamente disseminada diminuem Tal como acontece com qualquer outra pesquisa seria uma pena que os resulta-dos natildeo recebessem a atenccedilatildeo que merecem por causa de uma apresentaccedilatildeo pobre

Estaacute aleacutem do meu escopo aqui fornecer um guia geral para escrever um artigo mas existem vaacuterias fontes que abordam questotildees de escrita que satildeo particularmente pertinentes para escrever uma revisatildeo de lite-ratura Ridley (2012) e Hart (1998) dedicam vaacuterios capiacutetulos a muitas questotildees de escrita especialmente as revisotildees de literatura como princiacutepios de preacute-escrita como ser criacutetico alegaccedilotildees com apoio de evidecircncias como manter a legitimidade o uso de verbos a voz com que se deve escrever e muitas outras questotildees per-tinentes Outros recursos uacuteteis ajudam os autores a escrever de uma maneira que priorize o puacuteblicondashalvo (Donovan 2007 Keen 2007) apresentar a revisatildeo considerando suas expectativas para cada seccedilatildeo (Ma-xwell 2006) garantir a estrutura e a consistecircncia do texto (Hartley Pennebaker amp Fox 2003) e estabelecer uma voz definitiva para a revisatildeo especialmente no caso de muacuteltiplos colaboradores (Allen et al 1987)

Webster e Watson (2002) oferecem orientaccedilatildeo geral sobre a fase escrita do desenvolvimento de uma revisatildeo de literatura incluindo identificar o toacutepico definir termos esclarecer o escopo do estudo e escre-ver a discussatildeo e as conclusotildees Oferecem tambeacutem orientaccedilatildeo uacutetil sobre tempo verbal e o tom a adotar na escrita

91 Guias e Exemplos para Escrever uma Revisatildeo de Literatura

Kitchenham e Charters (2007) oferecem um modelo claro de estrutura da revisatildeo sistemaacutetica de litera-tura e indicam o que deve ser relatado Para obter dicas de estilo de escrita particulares para as revisotildees de literatura Bem (1995) e Webster e Watson (2002) fornecem orientaccedilatildeo praacutetica Hart (1998) e Ridley (2012) tambeacutem apresentam longos tratamentos de criacuteticas escritas mas seus guias satildeo direcionados para revisotildees de literatura em teses de poacutes-graduaccedilatildeo Quanto ao rigor das revisotildees de literatura Vom Brocke et al (2009) exigem explicitaccedilatildeo na documentaccedilatildeo dos detalhes metodoloacutegicos de um artigo de revisatildeo Eles argumentam que natildeo eacute suficiente apenas ser rigoroso de modo invisiacutevel mas que qualquer rigor em uma revisatildeo deve ser declarado na documentaccedilatildeo publicada Como mencionei anteriormente Okoli (2012) se concentra especificamente em como elaborar e demonstrar uma contribuiccedilatildeo teoacuterica em uma revisatildeo sistemaacutetica

Claro o melhor guia sobre como relatar uma revisatildeo de literatura eacute uma revisatildeo publicada Embora nenhum dos 23 exemplos que analisei indique especificamente como se envolveram na fase escrita po-demos assumir que o fizeram jaacute que escrever eacute um passo impliacutecito em qualquer publicaccedilatildeo Entre os 23 trabalhos as redaccedilotildees abordam uma variedade de formas e indicam que natildeo existe um uacutenico procedi-mento aceitaacutevel para descrever os achados Marakas et al (1998) usam tabelas para classificar estudos e explicam claramente todas as variaacuteveis identificadas Winter e Taylor (2002) classificam os artigos revistos em ordem cronoloacutegica Venkatesh et al (2007) apresentam suas expectativas para desenvolvimentos fu-turos em torno de uma discussatildeo histoacuterica do processo de pesquisa de adoccedilatildeo de tecnologia ao longo das duas deacutecadas anteriores Piccoli e Ives (2005) inicialmente explicam as trecircs principais contribuiccedilotildees do seu modelo teoacuterico e em seguida organizam a revisatildeo de literatura em torno desse modelo Wade e

32



Hulland (2004) indicam os trecircs objetivos de pesquisa de suas revisotildees e em seguida respondem agraves res-pectivas perguntas Melville et al (2004) constroem sua revisatildeo em torno de um conjunto de proposiccedilotildees e questotildees de pesquisa Da mesma forma Leidner e Kayworth (1992) propotildeem seis temas em torno dos quais organizar artigos e construir proposiccedilotildees Jasperson et al (2001) discutem largamente a metatrian-gulaccedilatildeo Joseph et al (2007) comeccedilam com uma revisatildeo narrativa deslocam-se para uma meta-anaacutelise e finalmente testam um modelo proposto Cotton e Tuttle (1986) limitam-se a apresentar resultados quan-titativos de sua meta-anaacutelise Outros autores no entanto apresentam sua discussatildeo por meio de uma seacuterie de assuntos e rubricas mas sem um modelo claro que descreva a estrutura do seu escrito

10 Reflexotildees sobre a Possibilidade de Publicaccedilatildeo de Revisotildees Sistemaacuteticas de Literatura

Neste guia descrevo uma abordagem muito mais rigorosa para realizar revisotildees de literatura do que aquela com que a maioria dos pesquisadores estaacute familiarizada Os que jaacute publicaram revisotildees de litera-tura (seja para suas teses ou como uma publicaccedilatildeo independente) podem se perguntar se a abordagem sistemaacutetica que defendo vale todas as dificuldades Certamente acredito que sim Embora essa aborda-gem exija mais trabalho do que normalmente eacute gasto na redaccedilatildeo de uma revisatildeo de literatura porque apresento um guia passo a passo detalhado isso natildeo implica quantidade excessiva de trabalho extra De fato as diretrizes detalhadas ajudam os pesquisadores a natildeo perder tempo perguntando o que fazer ou se jaacute fizeram o suficiente A recompensa desse esforccedilo extra eacute dupla em primeiro lugar o pesquisador pode facilmente produzir um trabalho de alta qualidade que seja mais valioso para pesquisas posteriores suas ou de outros aleacutem disso o pesquisador pode esperar que seu trabalho resulte em publicaccedilotildees de alta qualidade com benefiacutecios diretos para sua carreira Nesta seccedilatildeo comento os possiacuteveis canais de pu-blicaccedilatildeo resultantes da adoccedilatildeo de uma abordagem tatildeo sistemaacutetica

Uma recompensa para a realizaccedilatildeo de uma RSL aleacutem daquela intriacutenseca de produzir um trabalho de pesquisa verdadeiramente valioso eacute que as revisotildees de literatura bem executadas em aacutereas de interesse emergentes ou perenes geralmente produzem muito mais citaccedilotildees do que a maioria dos estudos primaacute-rios porque autores de estudos primaacuterios na aacuterea do toacutepico tendem a se referir aos mesmos estudos de base Uma revisatildeo de literatura bem executada faz muito do trabalho para eles e analisa estudos primaacute-rios de maneira a ajudar outros pesquisadores a focar e enquadrar seu proacuteprio trabalho Os benefiacutecios de muitas citaccedilotildees incluem promoccedilatildeo e prazer pessoal precircmios de pesquisa e bolsas e outros benefiacutecios profissionais relacionados

101 Publicar o Protocolo

Criar um protocolo de revisatildeo de literatura antes de realizar a revisatildeo eacute um elemento que os revisores raramente praticam e portanto pode parecer particularmente oneroso No entanto argumentei que essa praacutetica melhora consideravelmente a qualidade geral de uma revisatildeo porque obriga os revisores a elaborar o plano de antematildeo e portanto a pensar explicitamente no processo antes de comeccedilar Um protocolo de revisatildeo eacute ideal para ser apresentado em uma conferecircncia Na verdade o principal motivo para a apresentaccedilatildeo de um protocolo de revisatildeo em uma conferecircncia eacute obter validaccedilatildeo externa por parte dos avaliadores da submissatildeo e com sorte obter feedback uacutetil do puacuteblico Essa ajuda externa pode ser uacutetil para refinar o design da revisatildeo Aleacutem disso daacute aos revisores uma publicaccedilatildeo antes mesmo de a revisatildeo comeccedilar o que dificilmente pode ser considerado um desperdiacutecio de tempo

Os estudantes de doutorado aleacutem de obter uma publicaccedilatildeo inicial em conferecircncia antes da formatura podem empregar o protocolo diretamente na proposta de tese como parte de sua seccedilatildeo de metodologia No entanto quando os estudantes de doutorado conduzem toda a sua tese com a metodologia de RSL acumulam benefiacutecios significativos (ver Seccedilatildeo 102)

33



102 Revisatildeo Sistemaacutetica de Literatura como Parte de Teses de Doutorado

Embora as revisotildees de literatura de dissertaccedilotildees e teses (especialmente para teses de doutorado) de-vam manter altos padrotildees de rigor normalmente natildeo mantecircm os mesmos padrotildees das revisotildees autocircno-mas O primeiro motivo para isso eacute o mesmo que para as anaacutelises de fundamentaccedilatildeo teoacuterica a revisatildeo de literatura natildeo eacute o foco principal do estudo Se o aluno estaacute para se formar o orientador deve deixaacute-lo ldquochegar agraves coisas boasrdquo ou seja prosseguir na coleta e anaacutelise de dados para um estudo primaacuterio A segunda razatildeo para os baixos padrotildees estaacute relacionada ao primeiro as teses natildeo possuem os mesmos padrotildees que os artigos acadecircmicos em perioacutedicos de maior qualidade produzidos por pesquisadores muitos anos depois de seus doutorados No caso das dissertaccedilotildees de mestrado em particular a maioria dos orientadores consideraria uma revisatildeo rigorosa da literatura como proposta aqui excessivamente onerosa para o aluno (A exceccedilatildeo notaacutevel eacute quando a anaacutelise da dissertaccedilatildeo eacute uma meta-anaacutelise em tal caso seria esperada a rigorosa metodologia RSL No entanto muitos orientadores preferem claramente que os alunos demonstrem sua capacidade de realizar um estudo primaacuterio) Do mesmo modo orienta-dores de doutorado e membros da banca raramente levariam seus alunos a um padratildeo mais alto do que aquele realizado pelos avaliadores dos principais perioacutedicos

No entanto embora eu compreenda essas consideraccedilotildees pragmaacuteticas ofereccedilo um argumento obje-tivo para que estudantes de doutorado usem os padrotildees de uma revisatildeo de literatura independente na revisatildeo de literatura de suas teses do ponto de vista da carreira do aluno a tese de doutorado tem dois propoacutesitos Primeiro a melhor tese eacute uma tese concluiacuteda mdash seu principal objetivo eacute obter um doutorado O conselho comum embora controverso eacute que a melhor estrateacutegia para uma tese de doutorado eacute fazer o miacutenimo necessaacuterio para obtecirc-la rapidamente e em seguida com um tiacutetulo e uma posiccedilatildeo docente ou um poacutes-doutorado na matildeo comeccedilar a trabalhar em obras-primas acadecircmicas Esse conselho tenderia a retirar a ecircnfase de uma revisatildeo de literatura altamente rigorosa Paradoxalmente o segundo objetivo de uma tese eacute gerar uma ou mais publicaccedilotildees raacutepidas apoacutes sua conclusatildeo Uma tese minimalista resultaria em publicaccedilotildees minimalistas Assim este segundo propoacutesito equilibra o primeiro o que motiva o aluno a se dedicar a uma maior qualidade do que o que sua banca poderia lhe exigir (Claro os alunos que pre-tendem trabalhar em uma induacutestria em que as publicaccedilotildees de pesquisa natildeo satildeo altamente valorizadas normalmente visam o miacutenimo necessaacuterio para publicar as letras ldquoDrrdquo antes do seu nome com pouco incentivo extriacutenseco para se empenhar para maior qualidade na tese)

Seguir um procedimento conforme descrito aqui para uma revisatildeo de literatura pode ajudar um aluno de doutorado a atingir os dois fins Embora os padrotildees para uma revisatildeo de literatura de doutorado natildeo sejam normalmente tatildeo rigorosos como apresentados aqui as revisotildees de literatura de teses normalmen-te satildeo significativamente mais longas e abrangentes do que os fundamentos teoacutericos padratildeo para artigos de perioacutedicos As revisotildees de literatura de tese normalmente devem demonstrar amplo conhecimento da literatura relacionada e compreensatildeo completa da teoria que estaacute subjacente ao tema No entanto Boote e Beile (2005) lamentam os baixos padrotildees das revisotildees de literatura de doutorado que atribuem agrave baixa prioridade atribuiacuteda a esse aspecto do treinamento no doutorado Embora falem sobre teses de doutora-do no campo da educaccedilatildeo seus argumentos satildeo amplamente aplicaacuteveis a muitos campos Sem um guia sistemaacutetico muitos estudantes de doutorado tropeccedilam ao fazer uma revisatildeo de literatura de qualidade Por esse motivo vaacuterios livros se dedicam a essa seccedilatildeo de uma tese (Hart 1998 Ridley 2012) Embora uacuteteis esses guias geralmente conduzem a revisotildees de literatura de teses que eventualmente seratildeo corta-das em pedaccedilos para se tornar o arcabouccedilo teoacuterico de uma eventual submissatildeo

Na minha opiniatildeo existe uma quantidade incriacutevel de desperdiacutecios de pesquisa no setor acadecircmico que resultam da maneira ineficiente com que os estudantes de doutorado tipicamente conduzem revisotildees de literatura para doutorado Milhares de estudantes de doutorado gastam centenas de horas todos os anos em suas revisotildees de literatura de teses A maior parte desse tempo eacute gasta tropeccedilando sem rumo porque a maioria dos alunos natildeo sabe o que estaacute fazendo e a maioria dos orientadores natildeo tem um modelo para

34



orientaacute-los sobre como proceder de forma sistemaacutetica Assim suas centenas de horas resultam ineficaz-mente em revisotildees de literatura de talvez 40 a 80 paacuteginas na sua forma final No entanto poucas dessas revisotildees de literatura satildeo realizadas com rigor suficiente para serem publicadas como revisotildees de litera-tura autocircnomas Assim quando chega o tempo de publicaccedilatildeo essas revisotildees de literatura geralmente satildeo reduzidas para natildeo mais que duas a cinco paacuteginas de um artigo de perioacutedico Assim a falta de um sistema resulta em consideraacuteveis desperdiacutecios acadecircmicos

A metodologia que apresento aqui ajudaria o estudante de doutorado a estruturar sua revisatildeo de literatura de forma suficientemente rigorosa para satisfazer as demandas de uma proposta de tese e ao mesmo tempo ser suficientemente rigorosa e estruturada para ser publicada como uma revisatildeo au-tocircnoma distinta da principal questatildeo de pesquisa do artigo Por um lado a adoccedilatildeo de uma abordagem rigorosa pode exigir mais trabalho do que normalmente eacute exigido na criaccedilatildeo de uma revisatildeo de literatura de tese especialmente nas etapas de planejamento e coleta de artigos Por outro lado dando aos alunos um sistema detalhado eles podem realmente gastar muito menos tempo se debatendo e todo o tempo que gastaram seria muito mais eficiente e efetivo Assim o aluno poderia obter benefiacutecios significativos para produzir uma tese de alta qualidade e ao mesmo tempo produzir um artigo pronto para submissatildeo a uma revista antes que o resto da tese seja concluiacuteda

Alguns programas de doutorado exigem que os alunos escrevam um trabalho de siacutentese que geral-mente eacute uma revisatildeo geral da literatura que cobre a teoria e a metodologia em sua aacuterea de interesse geral O valor dessa abordagem eacute que os alunos satildeo orientados para uma questatildeo de pesquisa especiacutefica e uma metodologia de pesquisa especiacutefica para sua tese Tatildeo logo conheccedilam sua aacuterea de interesse essa siacutentese os expotildee ao que jaacute foi realizado na aacuterea de pesquisa (e o que natildeo foi) e os meacutetodos que foram utilizados para realizar pesquisas nessa aacuterea (e meacutetodos potencialmente frutiacuteferos que ainda natildeo foram empre-gados) A metodologia RSL eacute novamente uacutetil na realizaccedilatildeo de tal estudo Especificamente o que estaacute envolvido aqui eacute o que Kitchenham e Charters (2007) descrevem como um ldquomapeamento sistemaacuteticordquo ou ldquoestudo de escopordquo A metodologia eacute a mesma da RSL A diferenccedila eacute que ao inveacutes de agregar as respostas dos estudos primaacuterios a uma questatildeo de pesquisa comum um mapeamento sistemaacutetico coleta e classi-fica estudos que tratam de um assunto de interesse geralmente com diferentes questotildees de pesquisa A metodologia RSL daacute foco e direccedilatildeo para a preparaccedilatildeo para um exame de siacutentese e da mesma forma resulta em um estudo publicaacutevel de um exerciacutecio que muitas vezes eacute um empreendimento descartaacutevel

103 Revisatildeo Sistemaacutetica de Literatura Autocircnoma como Iniciaccedilatildeo para um Programa de Pesquisa

Na realizaccedilatildeo de um programa de pesquisa que envolva mais do que apenas um estudo primeiro se deve estar ciente de quais estudos foram realizados nessa aacuterea ou em aacutereas relacionadas Para isso eacute uacutetil que o estudo inicial no programa seja um estudo de escopo que mapeie as diversas aacutereas e questotildees envolvidas no programa Esse estudo eacute semelhante ao descrito na seccedilatildeo 102 para um exame de siacutente-se de doutorado Muitas revisotildees de literatura autocircnomas satildeo dessa natureza ao inveacutes de investigar a resposta ligada a uma questatildeo de pesquisa especiacutefica classificam e comparam estudos que tratam o mesmo assunto geral de interesse O valor desse estudo inicial eacute que ajuda a mapear as aacutereas que fo-ram bem trabalhadas e as que natildeo possuem cobertura As aacutereas bem trabalhadas se esmagadoramente conclusivas talvez natildeo precisem de mais pesquisas No entanto se os resultados forem contraditoacuterios ou inconclusivos apesar da presenccedila de vaacuterios estudos primaacuterios empiacutericos uma revisatildeo sistemaacutetica e formal sistemaacutetica de literatura pode ser requerida Por outro lado se houver falta de estudos em uma aacuterea o estudo de escopo destacaria essa escassez e orientaria os pesquisadores na concepccedilatildeo de estudos primaacuterios que preenchessem as lacunas identificadas

Essa estrateacutegia eacute ideal para desenvolver propostas para solicitar fomento de pesquisa A maioria dos prin-cipais oacutergatildeos governamentais de financiamento procuram financiar natildeo estudos de pesquisa individuais

35



mas sim programas de pesquisa mais amplos Um estudo de escopo inicial como descrevo aqui poderia ser usado para desenvolver a revisatildeo de literatura do pedido de subsiacutedio identificar questotildees importan-tes natildeo respondidas na aacuterea do toacutepico e propor estudos e questotildees de pesquisa especiacuteficos para maior compreensatildeo do fenocircmeno de interesse

11 Conclusatildeo

Neste artigo apresento um guia detalhado para o desenvolvimento de uma revisatildeo sistemaacutetica de literatura Delineio os passos para assegurar uma revisatildeo rigorosa mdash que resuma e discuta de forma abrangente a literatura existente sobre uma questatildeo de pesquisa de interesse Enfatizo a necessidade de tal revisatildeo ser expliacutecita ao descrever os procedimentos seguidos na medida em que pesquisadores inde-pendentes que realizem o mesmo processo de revisatildeo possam reproduzir os resultados

Este guia apresenta uma abordagem passo a passo para a realizaccedilatildeo da rigorosa metodologia cientiacutefica de uma revisatildeo sistemaacutetica de literatura Embora seja escrito de forma geral o suficiente para ser aplicaacutevel a uma ampla gama de campos tem um foco especiacutefico em sistemas de informaccedilatildeo incorpora guias RSL de campos relacionados mdash ciecircncias sociais gerenciamento e engenharia de software abrange a siacutentese de estudos primaacuterios quantitativos e qualitativos e usa exemplos de revisotildees de literatura de sistemas de informaccedilatildeo como ilustraccedilatildeo Aleacutem disso para cada etapa do processo fornece referecircncias a recursos uacuteteis que datildeo mais detalhes sobre a realizaccedilatildeo de cada etapa da RSL

Embora a reprodutibilidade seja uma marca importante de um estudo rigoroso o valor de um estudo depende principalmente de ser abrangente na incorporaccedilatildeo de toda a literatura relevante Para garantir isso a seleccedilatildeo praacutetica deve ter cuidado para natildeo excluir injustificadamente estudos que possam ser signi-ficativos para o conhecimento geral sobre o assunto Aleacutem disso a busca da bibliografia deve ser comple-ta e de grande alcance para natildeo deixar de incluir estudos potencialmente importantes

Embora eu descreva cada passo em detalhes razoaacuteveis eacute impossiacutevel incluir todos os detalhes neces-saacuterios para criar uma revisatildeo de literatura em um uacutenico artigo Os estudos citados abordam mais deta-lhadamente os procedimentos as consideraccedilotildees e as avaliaccedilotildees especiacuteficos que devem ser realizados ao longo de cada etapa Espero que em conjunto com essas fontes adicionais este guia possa servir agrave sua finalidade de ajudar a desenvolver revisotildees de literatura rigorosas e valiosas

Agradecimentos (do autor)

Agradeccedilo a Kira Schabram por sua inestimaacutevel ajuda na preparaccedilatildeo de uma versatildeo anterior deste tra-balho um working paper (Okoli amp Schabram 2010) Este estudo foi financiado pelo Social Sciences and Humanities Research Council of Canada

Referecircncias Bibliograacuteficas

ALAVI M amp CARLSON P A review of MIS research and disciplinary development Journal of Management Information Systems v 8(4) p 45-62 1992

ALAVI M amp JOACHIMSTHALER E A Revisiting DSS implementation research a meta-analysis of the literature and suggestions for researchers MIS Quarterly v 16(1) p 95-116 1992

ALAVI M amp LEIDNER D E Review knowledge management and knowledge management systems conceptual foundations and research issues MIS Quarterly v 25(1) p 107-136 2001

36



ALIAS M ZURINAH C REISKA A J AringHLBERG M amp NOVAK J D (2008) Concept mapping A tool for creating a literature review Proceedings of the 3rd International Conference on Concept Mapping 2008

ALLEN N ATKINSON D MORGAN M MOORE T amp SNOW C What experienced collaborators say about collaborative writing Journal of Business and Technical Communication v 1(2) p 70-90 1987

ANONYMOUS ldquoGray literaturerdquo forces new role on librarians (sidebar) Chemical amp Engineering News v 76(20) n 12 1998

BACHARACH S B Organizational theories Some criteria for evaluation Academy of Management Review v 14(4) p 496-515 1989

BANDARA W FURTMUELLER E GORBACHEVA E MISKON S amp BEEKHUYZEN J Achieving rigor in literature reviews insights from qualitative data analysis and tool-support Communications of the Association for Information Systems v 37 p 154-204 2015

BARBOUR R S Checklists for improving rigor in qualitative research A case of the tail wagging the dog British Medical Journal v 322(7294) p 1115-1117 2001

BEM D J Writing a review article for Psychological Bulletin Psychological Bulletin v 118 p 172-172 1995

BOOTE D N amp BEILE P Scholars before researchers On the centrality of the dissertation literature review in research preparation Educational Researcher v 34(6) p 3-15 2005

BORENSTEIN M HEDGES L V HIGGINS J P T amp ROTHSTEIN H R Introduction to meta-analysis Chichester Wiley 2009

BRAGGE J RELANDER S SUNIKKA A amp MANNONEM P Enriching literature reviews with computer-assisted research mining Case Profiling group support systems research 40th Annual Hawaii International Conference on System Sciences (v 40 p 243a-243a) New York IEEE 2007

BRERETON P KIKCHENHAM B A BUDGEN D TURNER M amp KHALIL M Lessons from applying the systematic literature review process within the software engineering domain The Journal of Systems amp Software v 80(4) p 571-583 2007

COTTON J L amp TUTTLE J M Employee turnover A meta-analysis and review with implications for research Academy of Management Review v 11 p 55-70 1986

DAWSON K amp FERDIG R E Commentary Expanding notions of acceptable research evidence in educational technology A response to Schrum et al Contemporary Issues in Technology and Teacher Education v 6(1) p 133-142 2006

DONOVAN S K The importance of resubmitting rejected papers Journal of Scholarly Publishing v 38(3) p 151-155 2007

DUBEacute L amp PAREacute G Rigor in information systems positivist case research Current practices trends and recommendations MIS Quarterly v 27(4) p 597-636 2003

DUNHAM R B Shift work A review and theoretical analysis The Academy of Management Review v 2(4) p 624-634 1977

ERDURAN S SIMON S amp OSBORNE J TAPping into argumentation Developments in the application of Toulminrsquos argument pattern for studying science discourse Science Education v 88(6) p 915-933 2004

37



FIGG W D DUNN L LIEWEHR D J STEINBERG S M THURMAN P W BARRET J C amp BIRKINSHAW J Scientific collaboration results in higher citation rates of published articles Pharmacotherapy v 26(6) p 759-767 2006

FINK A Conducting research literature reviews From the Internet to paper (2nd ed) Thousand Oaks Sage 2005

GREEN B F amp HALL J A Quantitative methods for literature reviews Annual Reviews in Psychology v 35(1) p 37-54 1984

GREEN R amp BOWSER M Observations from the field Sharing a literature review rubric Journal Of Library Administration v 45(12) p 185-202 2006

GRIFFIN R W WELSH A amp MOORHEAD G Perceived task characteristics and employee performance A literature review The Academy of Management Review v 6(4) p 655-664 1981

HART C Doing a literature review Releasing the social science research imagination Thousand Oaks Sage 1998

HARTLEY J PENNEBAKER J W amp FOX C Abstracts introductions and discussions How far do they differ in style Scientometrics v 57(3) p 389-398 2003

HELMERICKS S G NELSEN R L amp UNNITHAN N P The researcher the topic and the literature A procedure for systematizing literature searches The Journal of Applied Behavioral Science v 27(3) p 285-294 1991

HUumlTTNER J The genre(s) of student writing Developing writing models International Journal of Applied Linguistics v 18(2) p 146-165 2008

HYLAND K Self-citation and self-reference Credibility and promotion in academic publication Journal of the American Society for Information Science and Technology v 54(3) p 251-259 2003

JACCARD J amp JACOBY J Theory construction and model-building skills A practical guide for social scientists New York The Guilford Press 2010

JACSOacute P The dimensions of cited reference enhanced database subsets Online Information Review v 31(5) p 694-705 2007

JASPERSON J CARTE T A SAUNDERS C S BUTLER B S CROES H J P amp ZHENG W Review Power and information technology research A metatriangulation review MIS Quarterly v 26(4) p 397-459 2002

JOSEPH D Ng K Y KOH C amp ANG S Turnover of information technology professionals a narrative review meta-analytic structural equation modeling and model development Management Information Systems Quarterly v 31(3) n 7 2007

KEEN S Strategies for disseminating qualitative research findings Three exemplars Forum Qualitative Social Research v 8(3) 2007 Retrieved from httpwwwqualitativeresearchnetindexphpfqsarticleview285625

KEKAumlLE T WEERD-NEDERHOF P de CERVAI S amp BORELLI M The ldquodos and donrsquotsrdquo of writing a journal article Journal of Workplace Learning v 21(1) p 71-80 2009

KITCHENHAM B amp CHARTERS S Guidelines for performing systematic literature reviews in software engineering (Technical Report No EBSE-2007-01) Keele Keele University 2007

38



KITCHENHAM B BRERETON O P BUDGEN D TURNER M BAILEY J amp LINKMAN S Systematic literature reviews in software engineering mdash a systematic literature review Information and Software Technology v 51(1) p 7-15 2009

KLEIN H K amp MYERS M D A set of principles for conducting and evaluating interpretive field studies in information systems MIS Quarterly v 23(1) p 67-93 1999

LEE D KANG J MITRA P GILES C L amp ON B-W Are your citations clean Communications of the ACM v 50(12) p 33-38 2007

LEIDNER D E amp KAYWORTH T A review of culture in information systems research Toward a theory of information technology culture conflict MIS Quarterly v 30(2) p 357-399 2006

LEVY Y amp ELLIS T J A systems approach to conduct an effective literature review in support of information systems research Informing Science v 9 p 181-212 2006

LIMM L H amp BENBASAT I A theoretical perspective of negotiation support systems Journal of Management Information Systems v 9(3) p 27-44 1992

MARAKAS G M YI M Y amp JOHNSON R D The multilevel and multifaceted character of computer self-efficacy Toward clarification of the construct and an integrative framework for research Information Systems Research v 9(2) p 126-163 1998

MAXWELL J A Literature reviews of and for educational research A Commentary on Boote and Beilersquos ldquoscholars before researchersrdquo Educational Researcher v 35(9) p 28-31 2006

MELVILLE N KRAEMER K amp GURBAXANI V Review Information technology and organizational performance An integrative model of IT business value MIS Quarterly v 28(2) p 283-322 2004

MORRISON E W amp BIES R J Impression management in the feedback-seeking process A literature review and research agenda Academy of Management Review v 16(3) p 522-541 1991

MYERS P M D Qualitative research in business amp management (illustrated edition) Thousand Oaks Sage 2008

NORRIS M OPPENHEIM C amp ROWLAND F Finding open access articles using Google Google Scholar OAIster and OpenDOAR Online Information Review v 32(6) p 709-715 2008

OKOLI C A critical realist guide to developing theory with systematic literature reviews SSRN eLibrary 2012 Retrieved from httpssrncomabstract=2115818

OKOLI C amp ABRAMSCH K A guide to conducting a systematic literature review of information systems research SSRN eLibrary 2010 Retrieved from httpssrncomabstract=1954824

PAWSON R GREENHALGH T HARVEY G amp WALSHE K Realist review-a new method of systematic review designed for complex policy interventions Journal of Health Services Research amp Policy v 10 p 21-34 2005

PETTICREW M amp ROBERTS H Systematic reviews in the social sciences A practical guide Oxford Blackwell 2006

PETTY M M McGEE G W amp CAVENDER J W A meta-analysis of the relationships between individual job satisfaction and individual performance Academy of Management Review v 9(4) p 712-721 1984

PICCOLI G amp Ives B Review IT-dependent strategic initiatives and sustained competitive advantage A review and synthesis of the literature MIS Quarterly v 29(4) p 747-776 2005

39



PIERCE J L amp DUNHAM R B Task design A literature review Academy of Management Review v 1(4) p 83-97 1976

POPE C MAYS N amp POPAY J Synthesizing qualitative and quantitative health evidence A guide to methods New York McGraw-Hill International 2007

REMPEL H G amp DAVIDSON J Providing information literacy instruction to graduate students through literature review workshops Issues in Science and Technology Librarianship 2008

RIDLEY D The literature review A step-by-step guide for students London Sage 2012

ROBEY D IM G amp WARAMEH J D Theoretical foundations of empirical research on interorganizational systems Assessing past contributions and guiding future directions Journal of the Association for Information Systems v 9(9) p 497-518 2008

RODGERS R amp HUNTER J E The discard of study evidence by literature reviewers The Journal of Applied Behavioral Science v 30(3) p 329-345 1994

ROSENTHAL R Meta-analytic procedures for social research Thousand Oaks Sage 1991

ROSENTHAL R Writing meta-analytic reviews Psychological Bulletin v 118 p 183-183 1995

ROSENTHAL R amp DIMATTEO M R Meta-analysis Recent developments in quantitative methods for literature reviews Annual Reviews in Psychology v 52(1) p 59-82 2001

ROUSSEAU D M MANNING J amp DENYER D Evidence in management and organizational science Assembling the fieldrsquos full weight of scientific knowledge through syntheses SSRN eLibrary 2008 Retrieved from httpssrncomabstract=1309606

SHENKAR O amp ZEIRA Y Human resources management in international joint ventures Directions for research Academy of Management Review v 12(3) p 546-557 1987

SINGH G HADDAD K M amp CHOW C W Are articles in ldquotoprdquo management journals necessarily of higher quality Journal of Management Inquiry v 16(4) p 319-331 2007

STERNE J A C EGGER M amp SMITH G D Investigating and dealing with publication and other biases in meta-analysis BMJ 323(7303) 42-46 2001

SYLVESTER A TATE M amp JOHNSTONE D Beyond synthesis Re-presenting heterogeneous research literature Behaviour amp Information Technology v 32(12) p 1-17 2011

TEacuteENI D Review A cognitive-affective model of organizational communication for designing IT MIS Quarterly v 25(2) p 251-312 2001

THORNLEY C amp GIBB F Meaning in philosophy and meaning in information retrieval (IR) Journal of Documentation v 65(1) p 133-150 2009

TURNER M KITCHENHAM B BUDGEN D amp BRERETON O P Lessons learnt undertaking a largescale systematic literature review In Proceedings of EASE (vol 8) 2008

VTSHENKA V DAVIS F D amp MPRRIS M G Dead or alive The development trajectory and future of technology adoption research Journal of the Association for Information Systems v 8(4) p 267-286 2007

VOM BROCKE J SIMONS A NIEHAVES B RIEMER K PLATTFAUT R amp CLEVEN A Reconstructing the giant On the importance of rigour in documenting the literature search process In Proceedings of the 17th European Conference on Information Systems 2009

40



VOM BROCKE J SIMONS A RIEMER K NIEHAVES B PLATTFAUT R amp CLEVEN A Standing on the shoulders of giants Challenges and recommendations of literature search in information systems research Communications of the Association for Information Systems v 37 p 205-224 2015

WADE M amp HULLAND J Review The resource-based view and information systems research Review extension and suggestions for future research MIS Quarterly v 28(1) p 107-142 2004

WEBSTER J amp WATSON R T Analyzing the past to prepare for the future Writing a literature review MIS Quarterly v 26(2) p xiii-xxiii 2002

WINTER S J amp TAYLOR S L The role of IT in the transformation of work A comparison of postindustrial industrial and proto-industrial organization Information Systems Research v 7(1) p 5-21 1996

WOLFSWINKELl J F FURTMUELLER E amp WILDEROM C P M Using grounded theory as a method for rigorously reviewing literature European Journal of Information Systems v 22(1) p 45-55 2011

WU F amp WELD D S Automatically refining the Wikipedia infobox ontology In Proceedings of the 17th

International Conference on World Wide Web (pp 635-644) ACM 2008

02



A Guide to Conducting a Standalone Systematic Literature Review

Abstract

Many scholars are not well trained in conducting a standalone literature review a scholarly paper that in its entirety summarizes and synthesizes knowledge from a prior body of research Numerous guides that exist for information systems (IS) research mainly concentrate on only certain parts of the process few span the entire process This paper introduces the rigorous standardized methodology for the systematic literature review (also called systematic review) to IS scholars This comprehensive guide extends the base methodology from the health sciences and other fields with numerous adaptations to meet the needs of methodologically diverse fields such as IS research especially those that involve including and synthesizing both quantitative and qualitative studies Moreover this guide provides many examples from IS research and provides references to guides with further helpful details for conducting a rigorous and valuable literature review Although tailored to IS research it is sufficiently broad to be applicable and valuable to scholars from any social science field

Keywords Literature reviews Systematic reviews Systematic literature reviews Information systems research

Apresentaccedilatildeo da Traduccedilatildeo

A pesquisa eacute essencial em todas as aacutereas do conhecimento incluindo a educaccedilatildeo Sua metodologia envolve etapas como a definiccedilatildeo dos objetivos e do problema da pesquisa a elaboraccedilatildeo dos instrumentos de coleta de dados e a definiccedilatildeo de abordagens para a anaacutelise e interpretaccedilatildeo dos resultados Mas eacute possiacutevel conceber a revisatildeo de literatura como uma etapa anterior a todas essas que ajuda a moldaacute-las servindo tambeacutem para identificar lacu-nas na literatura (e o que eacute repeticcedilatildeo) orientando assim o pesquisador sobre os caminhos a seguir Creswell e Creswell (2018) no livro mais citado sobre pesquisas qualitativas quanti-tativas e mistas posiciona a revisatildeo de literatura logo no comeccedilo do processo da pesquisa assim como Creswell (2018) em um livro que eacute uma referecircncia na pesquisa em educaccedilatildeo

Em Educaccedilatildeo a Distacircncia um campo jaacute composto por ampla quantidade de artigos capiacute-tulos livros dissertaccedilotildees e teses dentre outras fontes a revisatildeo de literatura configura-se como de extrema importacircncia apesar de muitos trabalhos ignorarem esse procedimento

Haacute muitos trabalhos que se propotildeem a orientar a etapa da revisatildeo de literatura de ma-neira geral mas uma atenta e trabalhosa leitura desses trabalhos me levou a este artigo de Chitu Okoli que citava analisava e comparava sistematicamente os principais textos na aacuterea Eacute um artigo fascinante que passou a moldar meu trabalho como pesquisador Fiz entatildeo contato com o autor e posteriormente com o perioacutedico em que ele estava publicado que gentilmente nos autorizaram a traduccedilatildeo em liacutengua portuguesa O David Duarte antes que eu iniciasse o empreendimento um dia me enviou em um e-mail a traduccedilatildeo pronta

O texto a princiacutepio eacute focado em sistemas de informaccedilatildeo mas o autor informa que serve a aacutereas mais amplas e gerais Vocecirc perceberaacute que ele pode ser extremamente uacutetil para a

03




Joatildeo Mattar


Referecircncias






04









05










06









07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










03




Joatildeo Mattar


Referecircncias






04









05










06









07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










04









05










06









07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










05










06









07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










06









07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










07










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










08













09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










09









10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










10







Passo 1

Passo 2

Passo 3

Passo 4

Passo 5

Passo 6

Passo 7

Passo 8














11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










11






Meta- anaacutelise






Meta- anaacutelise


Dunham (1977)





12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










12












13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










13








14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










14
















15









16











17










18

















19









20











21






22







6 Extraia os Dados




23









24












5 Estudos de coorte


25








26









27











28










29











30









31









32










33








34









35




11 Conclusatildeo











36




















37




















38





















39






















40










Documents

Guia Para Realizar uma Revisão Sistemática da Literatura03 Guia Para Realizar uma Revisão Sistemática da Literatura OOLI, C. EaD em oco, 2019 9(1) e748 pesquisa em Educação a