1. Introduo Reviso Sistemtica de Literatura (RSL) Mariana de Azevedo Santos 22/10/2013 Universidade Federal de Lavras Departamento de Cincia da computao (DCC) Programa de Ps-graduao em Cincia da Computao (PPGCC) PCC509 Engenharia de Software

2. Sumrio Introduo Motivao Porque realizar uma reviso sistemtica? Como realizar uma reviso sistemtica? Etapas da reviso sistemtica Parte 1 Planejamento da reviso Parte 2 Execuo da reviso Parte 3 Comunicao e divulgao Consideraes finais 2 3. Introduo 3 uma tcnica que visa identificar, avaliar e interpretar todos os estudos ou pesquisas disponveis e relevantes para uma questo de pesquisa especfica, rea temtica ou fenmeno de interesse Surgimento rea da sade 2004: guia para reviso sistemtica em ES por Kitchenham (2004) 4. Introduo (cont.) 4 Reviso de literatura tradicional Reviso sistemtica A busca de estudos mais informal e subjetiva Busca abrangente e exaustiva por estudos seguindo a questo de pesquisa Tendncia de citar seletivamente literatura Critrios de qualificao da citao rigorosos e claros No descreve busca, seleo e avaliao da qualidade dos estudos Avaliao crtica dos estudos e sntese dos resultados de acordo com um mtodo explcito e pr- determinado 5. Por que realizar uma reviso sistemtica? 5 De acordo com Justus (2009): Delimitar um problema de pesquisa Buscar novas linhas de pesquisa Busca de insights metodolgicos Identificar recomendaes para pesquisas futuras Busca de fundamentao terica 6. Como realizar uma reviso sistemtica? 6 Primeiro passo - entender tipos de estudo [Kitchenham 2007]: Estudos primrios: estudos individuais empricos que esto diretamente relacionados questo em pesquisa Estudos secundrios: so estudos que visam revisar, investigar e sintetizar as evidncias identificadas nos estudos primrios A reviso sistemtica considerada um estudo secundrio 7. Como realizar uma reviso sistemtica? (cont.) 7 Outros tipos de revises: Estudos tercirios: estudos que fazem a reviso de estudos secundrios relacionados a uma mesma questo de pesquisa Mapeamento sistemtico: visa identificar tipos de estudos podem ser abordados por uma Reviso Sistemtica, indicar o local no qual os mesmos foram publicados, em que bases de dados foram indexados e quais os tipos de resultados apresentaram Mais abrangente Foca na classificao e categorizao dos resultados 8. Etapas da Reviso Sistemtica 8 Identificao da necessidade de reviso Elaborao da proposta da reviso Desenvolvimento do protocolo da reviso Planejamento da reviso Identificao das fontes de pesquisa Seleo dos trabalhos Avaliao da qualidade dos trabalhos Extrao dos dados Sntese dos dados Execuo da reviso Apresentao dos resultados Comunicao e divulgao 9. Etapa 1 Planejamento da reviso 9 Responda a seguinte pergunta: qual a necessidade de se fazer uma RSL? Ex.: identificar estudos acerca da definio ou utilizao de mtricas para caracterizao da qualidade interna de sistemas de software desenvolvidos em Java 10. Etapa 1 Planejamento da reviso 10 Elabore uma proposta para a sua pesquisa Defina as questes de pesquisa que a sua RSL ir responder Como defini-las? Identifique o tema Identifique o problema ou o gap, ou seja, uma dificuldade que ainda no foi apresentada uma soluo cientfica na teoria atual Defina o problema Verifique se este problema pode ser empiricamente verificado e validado 11. Etapa 1 Planejamento da reviso (cont.) 11 Desenvolva o protocolo para a sua RSL Background: a problemtica envolvida (teoria do assunto), os objetivos da RSL Questes de pesquisa: o que se pretende investigar? As estratgicas de busca: Em quais fontes irei executar minha RLS? IEEE, Scopus, ScienceDirect, Emerald, Compendex, ACM Digital Library, Springer 12. Etapa 1 Planejamento da reviso (cont.) 12 Desenvolva o protocolo para a sua RSL (cont.) As estratgicas de busca (cont.) : Que tipos de estudo irei considerar? Em andamento, finalizados (no publicados e/ou publicados em peridicos, teses, resumos...) Termos de busca: derivar palavras-chave das questes de pesquisa, buscando sinnimos e palavras relacionadas 13. Etapa 1 Planejamento da reviso (cont.) 13 Desenvolva o protocolo para a sua RLS (cont.) As estratgicas de busca (cont.): String de busca: Agrupar sinnimos e palavras relacionadas com o identificador OR Agrupar cada conjunto de termos com o identificador AND 14. Etapa 1 Planejamento da reviso (cont.) 14 Desenvolva o protocolo para a sua RSL (cont.) Critrios de incluso e excluso Perodo rea de concentrao Tipo de publicao Tipo de formato de exportao de documentos Idioma dos artigos Verificar se os resultados encontrados atendem questo de pesquisa 15. Etapa 1 Planejamento da reviso (cont.) 15 Desenvolva o protocolo para a sua RSL (cont.) Avaliao da qualidade dos estudos encontrados Verificar a qualidade dos estudos retornados Verificar se a String busca formulada precisa ser ajustada (Testes pilotos podem ajudar) Estratgias de extrao de dados Definir como a informao requerida (questo de pesquisa) ser obtida Processo de manipulao de dados, hipteses, inferncias e validaes devem ser previamente especificados Sntese dos dados extrados: Tcnicas utilizadas para sintetizar dados 16. Etapa 2 Execuo da reviso 16 Selecionar fontes de pesquisa Todos os estudos Publicados Peridicos Testes Resumos Etc. No publicados Base de dados 17. Etapa 2 Execuo da reviso (cont.) 17 Estratgias de busca String de busca Ex.: (software OR application OR applications OR system OR systems OR "software system" OR "software systems") AND (metric OR metrics OR "software metrics" OR "code metrics" OR measure OR measures OR measurement) AND (quality OR "internal quality" OR "code quality" OR "software quality") AND ("object oriented" OR "object-oriented" OR "oo") 18. Etapa 2 Execuo da reviso (cont.) 18 Identificao e seleo de estudos primrios Identificados Selecionados Includos Excludos No Selecionados 19. Etapa 2 Execuo da reviso (cont.) 19 Estudos identificados: so todos os estudos identificados pelas fontes de busca Estudos no selecionados: so aqueles que objetivamente no atendem os critrios de incluso Estudos selecionados: so aqueles que aparentemente atendem os critrios de incluso 20. Etapa 2 Execuo da reviso (cont.) 20 Estudos excludos: so aqueles que, aps avaliao do texto completo, no atendem aos critrios de incluso Estudos includos: so aqueles que, aps avaliao do texto completo, atendem aos critrios de incluso 21. Etapa 2 Execuo da reviso (cont.) 21 Critrios de incluso e excluso Ex.: Critrios de incluso: i) ser da rea de cincia da computao ii) ter sido publicado entre 1998 e 2013 iii) ser um artigo de Journal ou Conference Paper iv) ter sido publicado no idioma Ingls v) poder ser exportado no formato BibTex Critrios de excluso: i) texto de acesso restrito; ii) textos duplicados 22. Etapa 2 Execuo da reviso (cont.) 22 Avaliao da qualidade Estudos primrios encontrados esclarece o contexto do que est sendo pesquisado H evidncias de adaptao e resposta do projeto de pesquisa ao problema descrito na RSL? Qualidade das fontes: artigos relevantes encontrados nas diferentes fontes Os resultados podem ser generalizados? E a relevncia da pesquisa est claramente indicada? 23. Etapa 2 Execuo da reviso (cont.) 23 Extrao dos dados Busca responder a questo de pesquisa Carcter qualitativo e quantitativo Mtodos complementares: Mtodos estatsticos Metanlise: integrar os resultados de dois ou mais estudos 24. Etapa 2 Execuo da reviso (cont.) 24 Sntese dos dados Descreve a resposta da questo de pesquisa Estado da arte: Principais autores Principais reas RelaoTema x perodo Principais temas Trabalhos de maior impacto 25. Etapa 3 Comunicao e divulgao 25 Como relatar: Artigos, relatrios, etc... Formato: Justificativa da reviso Questo ou questes de pesquisa Objetivos Descrio do Protocolo Execuo da reviso Descrio dos critrios e mtodos de extrao Anlise e sntese dos dados Concluses 26. Consideraes finais 26 Principais vantagens: Poder de sntese: permite consolidar um grande volume de informaes Objetividade: reduz vieses e subjetividade Dinmica: identifica gaps ou reas de oportunidade de pesquisa Replicvel: permite criar um protocolo em que possvel e claro para o leitor reproduzir as etapas de pesquisa Flexvel: pode ser adaptado diferentes contextos (foi criada na rea de medicina e hoje muito usada na rea de computao) 27. Consideraes finais (cont.) 27 Principais desvantagens: Demanda maiores esforos de pesquisa Conduzir avaliaes de qualidade uma atividade difcil que pode ser fonte de vis 28. Referncias bibliogrficas 28 Kitchenham, B.A. (2004) Procedures for Undertaking Systematic Reviews, Joint Technical Report, Computer Science Department, Keele University (TR/SE-0401) and National ICT Australia Ltd. ( 0400011T.1). Kitchenham, B. (2007) Guidelines for Performing Systematic Literature Review in Software Engineering. EBSE Technical Report, 2.3, Keele University. Randolph, Justus (2009) A Guide to writing the dissertation Literature Review. Practical Assessment, Research & Evaluation,14(13). 29. Introduo Reviso Sistemtica de Literatura (RSL) 29 Mariana de Azevedo Santos mariana@bsi.ufla.br