SURVEY NA PESQUISA EM SISTEMAS DE INFORMAÇÃO · apresentação dos resultados. Palavras-chave: Palavras chave: Pesquisa quantitativa, survey, sistemas de informação XXXVIII ENCONTRO

SURVEY NA PESQUISA EM SISTEMAS

DE INFORMAÇÃO

Renato de Oliveira Moraes

[email protected]

Hugo Martinelli Watanuki

[email protected]

Este artigo apresenta recomendações para realização de survey

(levantamentos) nas pesquisas em Sistemas de Informação (SI). Seu

foco é nos erros metodológicos mais comuns que os autores

observaram nos artigos publicados nos principais congressos

nacionais de Engenharia de Produção. As orientações fornecidas são

apresentadas na mesma sequência das etapas de execução de uma

pesquisa quantitativa: (i) identificação do problema de pesquisa, (ii)

formulação das hipóteses, (iii) construção do instrumento de coleta de

dados, (iv) procedimentos de coleta de dados e (v) análise dos dados e

apresentação dos resultados.

Palavras-chave: Palavras chave: Pesquisa quantitativa, survey,

sistemas de informação

XXXVIII ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO “A Engenharia de Produção e suas contribuições para o desenvolvimento do Brasil”

Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018.


Maceió, Alagoas, Brasil, 16 a 19 de outubro de 2018. .

2

1. Introdução

Abordagens quantitativas são muito comuns na pesquisa em Engenharia de Produção. Isto

inclui simulação numérica, experimentos e survey (levantamento). Este último é o método

mais frequentemente utilizado na pesquisa em Sistemas de Informação (SI) (PALVIA et al.,

2004). Ele se baseia no conceito de inferência estatística, ou seja, na possibilidade de fazer

algum tipo de afirmação sobre uma população com base na análise da amostra – uma parcela

da população de tamanho muito menor do que a população original. Contudo, é relativamente

comum observar trabalhos com erros metodológicos no uso desse método nos anais dos

principais congressos nacionais de Engenharia de Produção, tais como o Enegep, o Simpep, o

Emepro e o Conbrepro.

A fim de contribuir para a redução da incidência de tais equívocos, o objetivo deste artigo é

apresentar orientações para a realização de um survey na pesquisa em SI. As questões tratadas

aqui se dividem de forma congruente com as etapas de uma pesquisa quantitativa: (i)

identificação do problema de pesquisa, (ii) formulação das hipóteses, (iii) construção do

instrumento de coleta de dados, (iv) procedimentos de coleta de dados e (v) análise dos dados

e apresentação dos resultados.

2. Identificação do problema de pesquisa

Um survey é um método de pesquisa geralmente usado em estudos de natureza positivista,

uma vez que o mesmo está baseado na convicção de que os conceitos e os objetos envolvidos

no estudo podem ser definidos, medidos e avaliados de forma objetiva. Ele pode ser usado

tanto para estudos descritivos, exploratórios e confirmatórios, mas é nesta última categoria em

que ele se destaca. Em estudos confirmatórios, uma pergunta (ou várias) é elaborada antes do

levantamento de campo, normalmente baseada na revisão da literatura ou em estudo ou etapa

de pesquisa anterior, a qual pode ter sido desenvolvida tanto de forma qualitativa como

quantitativa. Alguns tipos de pergunta são melhor respondidos através de um survey.

Questões do tipo “quais” e “quantos” são muito mais adequadas a esta abordagem do que “por

que” e “como”, que são melhores respondidas com abordagens qualitativas de pesquisa.

É preciso ter em mente que a importância do trabalho está relacionada tanto com a relevância

da pergunta de pesquisa como com o rigor aplicado para responde-la. Por isto, ao formular a

pergunta de pesquisa, o pesquisador deve ser capaz de justificar a importância de responde-la,

discorrer sobre a lacuna conceitual que se pretende preencher ao responde-la e o motivo pelo



3

qual esta lacuna deve ser preenchida, bem como a contribuição conceitual e eventualmente

prática que esse processo traz. A discussão sobre estes temas pode ser encontrada com mais

detalhes e maior profundidade em Rai (2107).

3. Formulação das hipóteses

Com base na revisão de literatura, a potencial resposta (uma ou mais) para a pergunta de

pesquisa é elaborada na forma de hipótese (ou hipóteses), a qual será testada com base nos

dados coletados em campo. Na hipótese estão os conceitos ou construtos de interesse do

estudo, tais como, por exemplo, satisfação, qualidade, desempenho, produtividade,

lucratividade, maturidade, etc.

Para elaboração das hipóteses, deve-se ter em mente que um teste de hipóteses envolve duas

situações mutuamente excludentes: a hipótese nula (H0) e a hipótese alternativa (H1). Estas

hipóteses são construídas de forma tal que apenas uma delas seja verdadeira, ou seja, não é

possível que as duas sejam verdadeiras e tampouco que as duas sejam falsas. Para isso, em

geral, usam-se frases complementares na elaboração das hipóteses, do tipo “A afeta B” e “A

NÃO afeta B”, onde “A” e “B” representam os conceitos ou construtos do estudo. Escolhe-se

então como hipótese alternativa (H1) aquela cuja expectativa é a de que seja a verdadeira (“A

afeta B”), uma vez que é relativamente fácil avaliar a probabilidade de se cometer um erro

quando se afirma que tal hipótese é verdadeira. Quando H0 é rejeitada, o que equivale a

afirmar que H1 é verdadeira, assume-se a possibilidade de um erro (tipo I) cuja probabilidade

de ocorrência é chamada de significância do teste. Quando H0 não é rejeitada, o que equivale

a aceitar que H0 pode ser verdadeira, está-se sujeito a um outro tipo de erro (tipo II), cuja

probabilidade de ocorrência é chamada de poder do teste. É importante frisar que o fato de H0

não ser rejeitada não implica na aceitação da mesma como verdadeira. Neste caso, há apenas

ausência de evidência estatística para rejeitá-la (FORZA, 2002).

As hipóteses devem ser escritas de maneira simples. Deve-se evitar coisas do tipo “A afeta B

tendo como ação mediadora o comportamento de C”. Isto deve ser substituído por duas

hipóteses que serão testadas separadamente, ou seja: “A afeta B” e “C é o moderador da

relação entre A e B”

4. Construção do instrumento de coleta de dados



4

Normalmente, para realização de um survey utiliza-se um questionário com perguntas

fechadas e de múltipla escolha. As perguntas do questionário devem ser utilizadas para

mensurar quantitativamente os conceitos ou construtos do estudo e, por isso, devem ser

cuidadosamente elaboradas com base na revisão da literatura.

A mensuração de um conceito é simples quando ele pode ser representado por uma única

variável mensurável. Eventualmente, um conceito como lucratividade, por exemplo, pode ser

medido por meio de uma variável como faturamento, lucro ou margem de contribuição. Isto

se deve às características definidoras do conceito de lucratividade. Entretanto,

frequentemente, os conceitos empregados em survey não são passíveis de observação direta e

sua mensuração envolve o uso de um conjunto de indicadores observáveis (escalas) cujo

comportamento comum gera uma medida do construto em estudo. O processo de conversão

dos construtos em escalas é denominado operacionalização.

A construção de uma escala para um determinado construto não é um trabalho trivial e,

sempre que possível, deve-se optar por fazer uso de escalas já testadas e validadas

empiricamente em outros trabalhos de pesquisa. Ao fazer isso, tenha certeza de que você está

usando a mesma definição conceitual do autor da escala, e que a mesma possua qualidade

aceitável. Caso seja inevitável o desenvolvimento de uma, Straub (1989), MacKenzie et al.

(2011) e Polites et al. (2012) oferecem orientações valiosas para esta tarefa.

A medida mais usual para avaliação da qualidade de uma escala é o índice de confiabilidade

denominado Alpha de Cronbach (CRONBACH, 1951), e o seu valor mínimo aceitável varia

conforme o campo da ciência em que o estudo se enquadra. Na pesquisa em SI, usualmente,

se considera 0,70 como valor mínimo para esse indicador (MACKENZIE et al., 2011).

Por fim, a definição das escalas deve ser feita de maneira alinhada com a técnica de análise de

dados que se pretende empregar. É uma prática muito comum entre pesquisadores iniciantes

colher os dados e depois tentar encontrar a melhor forma de analisa-los. Isso representa um

erro crítico, pois invariavelmente a forma como os dados são colhidos determinam em grande

parte as possibilidades de aplicação de técnicas de análise. Por exemplo, considere uma

determinada variável que pode ser mensurada de forma binária (sim/não, presente/ausente) ou

ordinal (inexistente, pouco, regular, muito, completamente). Caso o objetivo do pesquisador

seja utilizá-la como variável independente em uma análise de variância, a mensuração dessa

variável pode ser binária; mas se o objetivo é utiliza-la em uma análise de regressão, então

deve-se optar pela forma ordinal de mensuração. Assim, o conhecimento das premissas e das



5

caraterísticas das técnicas de análise de dados é fundamental para construção de um

questionário de qualidade. De forma complementar à discussão apresentada aqui, o trabalho

de Forza (2002) traz direcionamentos importantes sobre os cuidados a serem tomados pelo

pesquisador durante a construção de um questionário.

5. Procedimentos de coleta de dados

Nessa etapa o foco principal deve ser a obtenção de uma amostra representativa da população

para realização das inferências estatísticas pretendidas. Uma amostra representativa da

população é, idealmente, obtida através de uma amostragem probabilística. Contudo, isto

pode representar um problema de ordem prática bastante complexo. Por exemplo, muitas

vezes a população do estudo é composta de organizações com um determinado perfil e não

existe um cadastro destas empresas que possa ser utilizado no processo de amostragem. Uma

forma de contornar esse tipo de problema consiste em, após a coleta de dados, usar estatística

descritiva para demonstrar que o perfil da amostra é compatível com o perfil da população -

supondo que exista uma fonte confiável do perfil da população em estudo (SEDDON;

SCHEEPERS, 2012).

O tamanho mínimo necessário da amostra está intimamente relacionado às técnicas

estatísticas que serão empregadas na análise dos dados. Um erro muito comum é utilizar a

fórmula de dimensionamento da amostra para estimativa da média populacional ou a fórmula

para estimativa de uma proporção da população quando nenhuma média ou fração

populacional será estimada. Estas fórmulas, que aparecem em quase todos os livros de

estatística, são adequadas apenas a estas situações bastante específicas.

Para determinadas técnicas de análise de dados, tais como análise fatorial ou modelagem de

equações estruturais, existem recomendações sobre o dimensionamento correto da amostra.

Para outras, tais como o coeficiente de correlação linear de Pearson ou comparação de duas

médias, não há orientação a priori sobre o tamanho da amostra. Nesses casos, o pesquisador

deve ter em mente que encontrar evidência estatística de correlação entre duas variáveis ou de

diferença entre duas médias torna-se muito mais desafiador em amostras pequenas (menor

que 10 elementos, por exemplo).

6. Análise dos dados e apresentação dos resultados



6

O uso de técnicas estatísticas permite que o pesquisador dimensione a probabilidade de suas

afirmações/conclusões estarem equivocadas e é de fundamental importância que o valor desta

probabilidade (significância estatística das técnicas utilizadas) seja sempre apresentado de

forma clara no texto.

A comparação de médias é o teste mais comum e suporta a grande maioria das análises mais

simples. O MS Excel, que está à disposição de todos os pesquisadores, realizar todos os testes

t para comparação de duas médias populacionais e ANOVA com um e dois fatores. O método

de regressão linear também está relativamente bem suportado no MS Excel. Porém, o

emprego de técnicas multivariadas mais refinadas de análise de dados, tais como análise

fatorial, de conglomerados, discriminante e equações estruturais – consultar Hair et al. (2009)

para maiores detalhes, ainda dependem de softwares especializados. Os softwares R e

SmartPLS2.0, por exemplo, são abertos e gratuitos, tornando-se as opções de muitos

pesquisadores em SI. Os produtos comerciais, tais como o Minitab, PASW, SAS e Statistica

têm interface gráfica mais amigável e são mais utilizados por quem trabalha com pesquisa

aplicada. Contudo, a facilidade de uso destes softwares não exime o pesquisador de conhecer

as premissas das técnicas de análise. O esforço na manipulação dos dados colhidos é

executado pelo software utilizado, mas cabe ao pesquisador a escolha da técnica adequada ao

projeto de pesquisa e a interpretação dos resultados à luz da literatura da área.

Nesse sentido, a análise de dados baseada somente em gráficos de estatística descritiva, por

exemplo, pode ser um problema. Apesar dos gráficos serem ferramentas importantes para

visualizar relações e diferenças entre variáveis, eles também podem iludir e levar a

intepretações incorretas. Assim, uma survey deve sempre associar o teste de hipótese

adequado a algum comentário sobre um gráfico.

Observe os dois gráficos da Figura 1. Eles mostram o valor médio da variável de interesse em

três grupos distintos – A, B e C. O primeiro gráfico (Figura 1a) sugere visualmente que as

médias dos grupos são bem diferentes, e no segundo gráfico (Figura 1b), as diferenças, se é

que existem, seriam bem menores. Esta impressão se deve ao eixo das ordenadas (eixo y), já

que os dados originais utilizados nos dois gráficos são exatamente os mesmos. No primeiro

gráfico o eixo começa no valor 12, e no segundo gráfico começa em zero. Na verdade, não

existe evidência estatística de diferenças entre as médias, pois a significância foi de 21% no

teste de análise de variância, que representa o teste estatístico adequado para verificar a

diferença entre a média de diferentes grupos populacionais.



7

Figura 1 – Valor médio de uma variável em três grupos diferentes A, B e C

(a)

(b)

Outro erro comum é o uso de gráficos de barras para tentar identificar uma entre duas

variáveis. Suponha que duas variáveis – A e B – são medidas através de uma escala tipo

Likert. A Figura 2a mostra s distribuição das respostas observadas para as duas variáveis.

Alguém poderia sugerir que as variáveis A e B estão correlacionadas já que o perfil das

respostas é quase o mesmo. Na verdade, ao afirmar que elas estão correlacionadas a

probabilidade de estar cometendo um erro é de 58%. Esta falta de correlação é mais evidente

quando se observa a Figura 2b.

Figura 2 – Comportamento comum entre as variáveis A e B

(a)

(b)

A correlação entre duas variáveis deve ser analisada pela significância estatística do

coeficiente de correlação (Pearson ou Speraman) e não pela inspeção visual do diagrama de

dispersão (scater plot) ou outro gráfico qualquer.

A Figura 3 mostra dois diagramas de dispersão. Visualmente ele sugere que a correlação

entre as variáveis é mais clara no diagrama (a) do que no (b). Contudo, não há evidência

estatística de correlação no primeiro caso (significância de 8,6%), mas há no segundo

(significância de 3,6%).

Figura 3 – Correlação entre duas variáveis numéricas



8

(a)

(b)

7. Recomendações para realização de um survey em SI

O sucesso de um survey na pesquisa em SI depende do rigor com o qual o projeto de pesquisa

é desenvolvido e executado. Com intuito de oferecer uma referência para a condução de

estudos desta natureza, é apresentado a seguir um modelo com seis etapas (ver Figura 4).

Trata-se das etapas do projeto de estudo e sua definição muitas vezes demanda a revisão de

etapas anteriores para que se possa avançar em etapas posteriores. O importante é que as

escolhas destas etapas sejam consistentes e convergentes.

Figura 4 – Etapas de uma survey

A primeira etapa é a definição do problema, objetivos e hipóteses da pesquisa. Neste ponto o

autor deve justificar porque o estudo deve ser feito e deve apresentar também a relevância do



9

estudo. Isto muitas vezes depende de uma revisão bibliográfica que identifica uma lacuna

conceitual a ser preenchida.

Na revisão da literatura, os conceitos chave do estudo devem ser apresentados, assim como as

relações entre eles. É aqui onde a construção das hipóteses do estudo se torna clara para o

leitor. Deve-se também identificar na literatura a operacionalização dos construtos que serão

manipulados no trabalho. Sempre que possível, convém utilizar estalas já testadas e validadas.

Caso isto não seja possível, um trabalho anterior de desenvolvimento de escalas deve ser

feito.

A terceira etapa é a da construção do instrumento de coleta de dados. É preciso que as

perguntas estejam relacionadas com o problema/objetivos/hipóteses da pesquisa e com a

revisão da literatura (Figura 5). Este é um ponto interessante para avaliação da consistência

interna do projeto de pesquisa através da identificação de eventuais elementos desnecessários

e elementos faltantes no estudo. Todas as perguntas do instrumento de coleta de dados devem

estar relacionadas com algum elemento da revisão da literatura e com o problema de pesquisa.

Figura 5 – Construção do instrumento de coleta de dados

Caso, alguma pergunta não esteja relacionada é porque talvez ela seja desnecessária. Por outro

lado, um elemento da revisão da literatura que não esteja relacionado com o problema indica

que ele talvez seja impertinente ao estudo e um elemento que não encontra contrapartida no

questionário sugere que o questionário esteja incompleto. Elementos do problema de pesquisa

(pergunta, objetivo ou hipótese) que não tem relação com partes do questionário e ou da

revisão da literatura sugerem que a pesquisa não será capaz de atingir seus objetivos, e,



10

portanto, deve ser revista. O desenvolvimento do questionário inclui, ainda, seu envio para

especialistas da área que irão avaliar a clareza das perguntas e de sua estrutura (pré teste). As

sugestões e comentários desses especialistas irão contribuir para a versão final do

instrumento.

A quarta etapa refere-se à coleta dos dados. Isso depende da definição da população do estudo

e da forma como uma amostra será gerada. Muitas vezes, não se tem acesso a todos os

elementos da população, o que torna muito difícil a geração de uma amostra probabilística. O

tamanho da amostra depende dos procedimentos de análise que serão utilizados. Caso seja

empregada mais de uma técnica estatística de análise, é preciso verificar qual o tamanho

mínimo da amostra necessária para cada técnica, e escolher o maior destes valores.

Os elementos da amostra devem ser educadamente convidados a participar. Caso os convites

não sejam respondidos, convém reforçar o convite mais uma ou duas vezes em intervalos de

uma ou duas semanas entre eles. Caso alguém diga que não gostaria de participar, sua vontade

deve ser respeitada – não se deve insistir com quem já se negou a participar da pesquisa.

Depois de dois ou três convites sem resposta, deve-se assumir que não houve disposição em

participar. As respostas obtidas devem ser registradas e codificadas em uma planilha. Existem

vários serviços na Internet que auxiliam nesta tarefa.

A quinta etapa é a da análise dos dados. Normalmente é a mais prazerosa para o pesquisador,

pelo menos para os da Engenharia de Produção. Os dados foram colhidos e o pesquisador

aplica as técnicas estatísticas adequadas para atingir os objetivos do estudo. Infelizmente,

costuma ser neste ponto que ele descobre falhas do seu projeto de pesquisa, as quais podem

impossibilitar que os dados coletados sejam úteis aos objetivos do estudo. Por esse motivo o

pesquisador deve definir como os dados serão analisados antes de ir a campo. A escolha das

técnicas depende das hipóteses a serem testadas e das variáveis escolhidas. O pesquisador

deve estar certo que as suas escolhas são aqui também consistentes.

Este processo – a análise dos dados através do emprego de técnicas estatísticas – pode ser

longo e envolver vários estágios. Por isso é conveniente apresentar um quadro síntese das

principais conclusões da análise dos dados.

A última etapa do modelo é a análise dos resultados, quando o pesquisador discute os

resultados observados na etapa anterior em função do problema de pesquisa e à luz da teoria.

Ele deve destacar as implicações de seus resultados/achados para teoria e para a prática

profissional. Tradicionalmente, a contribuição teórica de uma pesquisa é um dos elementos



11

mais valorizados pelos periódicos científicos. Ela está mais relacionada com a relevância do

problema em estudo e do rigor metodológico e conceitual da pesquisa do que com os

resultados observados. Talvez seja neste momento do estudo em que se revela com maior

clareza a capacidade crítica do pesquisador, ao expor para o leitor o que se aprende com a

leitura de seu texto. Além disto, mais recentemente, vários periódicos têm solicitado

submissões de trabalhos com significativa contribuição prática pois entendem que este é o

elemento da pesquisa científica com maior potencial transformador da sociedade. Assim, é

importante destacar as contribuições do estudo tanto em termos teóricos como práticos.

8. Considerações Finais

Este artigo apresentou orientações para condução de survey em pesquisa em SI e, dessa

forma, busca contribuir para a redução dos principais erros metodológicos encontrados em

anais de eventos nacionais de Engenharia de Produção. De forma geral, as causas dos erros

estão na construção do projeto de pesquisa, mas eles tendem a se materializar apenas mais

tarde, na análise dos dados colhidos ou na redação do relatório ou artigo. Por este motivo é

importante um conhecimento formal do método para a concepção de projetos consistentes. Os

pesquisadores em SI iniciantes que se decidirem pelo método, antes de ir a campo, devem

submeter seus projetos para discussão com outros pesquisadores no intuito de identificar

eventuais falhas. Isto pode ser feito em reuniões de grupos de pesquisa, bancas de

qualificação e consórcios doutorais. Alguns congressos também aceitam a submissão de

trabalhos em desenvolvimento, onde estas questões podem ser discutidas com a audiência

adequada.

REFERÊNCIAS

CRONBACH, L. J. Coefficient alpha and the internal structure of tests. Psychometrika, v. 16, n. 3, p. 297-334,

1951

FORZA, C. Survey research in operations management: a process-based perspective. International journal of

operations & production management, v. 22, n. 2, p. 152-194, 2002.

HAIR JR., J. F. et al. Análise multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009. 688 p.

MACKENZIE, S. B.; PODSAKOFF, P. M.; PODSAKOFF, N. P. Construct Measurement and Validation

Procedures in MIS and Behavioral Research: Integrating New and Existing Techniques. MIS Quarterly, v. 35, n.

2, p. 293-334, 2011.

PALVIA, P. et al.Research Methodologies in MIS: An Update. Communications of the Association for

Information Systems, v. 14, p. 526-542, 2004.

POLITES, G. L.; ROBERTS, N.; THATCHER, J. Conceptualizing models using multidimensional constructs: a

review and guidelines for their use. European Journal of Information Systems, v. 21, n. 1, p 22–48, 2012.

RAI, A. Formulating IS Research Problems that Matter. MIS Quarterly, v. 41, n. 2, p. 3-6, 2017



12

SEDDON, P. B.; SCHEEPERS, R. Towards the improved treatment of generalization of knowledge claims in IS

research: drawing general conclusions from samples. European Journal of Information Systems, v. 21, n. 1,p. 6–

21, 2012.

STRAUB, D. W. Validating instruments in MIS research. MIS Quarterly, v. 13, n. 2, p.147–169, 1989.

Documents

SURVEY NA PESQUISA EM SISTEMAS DE INFORMAÇÃO · apresentação dos resultados. Palavras-chave: Palavras chave: Pesquisa quantitativa, survey, sistemas de informação XXXVIII ENCONTRO