Aula 5 – Metodologia de Pesquisa em Ciência da Computação...

Aula 5 – Metodologia de Pesquisa em Ciência da Computação

Método de Pesquisa

Profa. Elaine Faria UFU - 2017

Agradecimentos

• Este material • Consiste de adaptações dos slides da profa. Maria

Camila Barioni, que gentilmente cedeu seus slides

• É baseado no livro Raul Sidnei Wazlawick : Metodologia de Pesquisa em Ciência da Computação, Elsevier - Campus, 200

Preparação de Trabalho de Pesquisa

• Escolhendo o Objetivo de Pesquisa • A Revisão Bibliográfica• O Objetivo• O Método de Pesquisa• Justificativa• Resultados Esperados• Limitações do Trabalho

3

Preparação de Trabalho de Pesquisa

Escolhendo o Objetivo de Pesquisa A Revisão Bibliográfica O Objetivo O Método de Pesquisa Justificativa Resultados Esperados Limitações do Trabalho

4

O MÉTODO DE PESQUISAPreparação de um Trabalho de Pesquisa

5

Método de Pesquisa• Metodologia é o estudo dos métodos• O método consiste na seqüência de passos

necessários para demonstrar que o objetivo proposto foi atingido, ou seja, se os passos definidos no método forem executados, os resultados obtidos deverão ser convincentes

6

Wikipedia - Metodologia• “A Metodologia é o estudo dos métodos. (...)

Tem como finalidade captar e analisar as características dos vários métodos disponíveis, avaliar suas capacidades, potencialidades, limitações ou distorções e criticar os pressupostos ou as implicações de sua utilização.”

7

Wikipédia - Método• “O método científico é um conjunto de

regras básicas para desenvolver uma experiência a fim de produzir novo conhecimento, bem como corrigir e integrar conhecimentos pré-existentes. Na maioria das disciplinas científicas consiste em juntar evidências observáveis, empíricas (ou seja, baseadas apenas na experiência) e mensuráveis e as analisar com o uso da lógica.”

8

Método• Deve ser estabelecido depois que o objetivo

tiver sido definido

• Revisão bibliográfica não deve fazer parte do método

• Pois é um passo do trabalho necessário para a definição do objetivo de pesquisa

9

Método• O método deve então indicar, dependendo do

tipo de trabalho:• se protótipos serão desenvolvidos• se modelos teóricos serão construídos• quais experimentos eventualmente serão

realizados• como os dados serão organizados e comparados

10

Método• A definição do método de pesquisa deve ser

executada logo após a definição do objetivo• Para a definição do conjunto de passos que

constitui o método são necessários alguns conhecimentos sobre o método científico

11

Dados versus Conceitos• O método de pesquisa não consiste apenas

em coletar dados para suportar a hipótese de trabalho

• É necessário elaborar um discurso ponderado e esclarecedor a partir desses dados

• O aspecto mais importante de uma monografia é o pensamento crítico e não apenas a coleta de informações

12

Pesquisa Experimental e Não-Experimental

• A pesquisa experimental implica em que o pesquisador sistematicamente provocará alterações no ambiente a ser pesquisado de forma a observar se cada intervenção produz os resultados esperados

• A pesquisa não experimental consiste no estudo de fenômenos sem a intervenção sistemática do pesquisador

13

Objetividade• O pensamento humano permite a tirada de

conclusões que nem sempre são objetivas, como no caso das opiniões

• Segundo Kerlinger (1980), “a condição principal para satisfazer o critério de objetividade é, idealmente, que quaisquer observadores com um mínimo de competência concordem com seus resultados”

14

Objetividade• Experimentos e observações devem ser

tratados de maneira objetiva• Por exemplo, um pesquisador poderia dizer que

um sistema é “fácil de usar” se um determinado conjunto de tarefas predefinido puder ser executado por um usuário com um determinado grau de treinamento dentro de um período de tempo predeterminado

• Deve-se também observar a qualidade da própria definição

15

Objetividade• Em resumo:

• Deve-se definir de maneira objetiva o fenômeno que vai observar

• Deve-se convencer os demais que a definição é intuitiva e útil para chegar a algum resultado

16

Empirismo• Segundo Kerlinger (1980), “empírico significa guiado

pela evidência obtida em pesquisa científica sistemática e controlada”

• A computação, enquanto ciência, fundamenta suas pesquisas no empirismo e não no princípio da autoridade

• O empirismo é importante para a ciência porque é uma maneira sensata de olhar o mundo. Não basta acreditar em sua intuição ou nas palavras dos mestres. É preciso verificar objetivamente se o fenômeno descrito realmente é verdadeiro

17

Empirismo• Duvidar das conclusões de outros cientistas e

duvidar do próprio senso comum, muitas vezes, é a chave para grandes descobertas

18

Variáveis • Uma variável, é um nome que se dá a um

fenômeno que pode ser medido e que varia conforme a medição

• Se não variasse seria uma constante e não teria maior interesse para a pesquisa

19

Variáveis discretas e contínuas• O domínio de uma variável pode ser discreto

ou contínuo• A ideia de contínuo vem do fato de que entre

dois valores sempre existe um terceiro• Já as variáveis discretas assumem seus

valores em conjuntos cujos elementos podem ser ordenados ou em conjuntos finitos (categóricas)

20

Discretização• Regras de transformação de valores contínuos

para discretos• Ex.: Médias numéricas em conceitos {A, B, C,

E}• De 0,0 a 4,9 Conceito E • De 5,0 a 6,9 Conceito C• De 7,0 a 8,9 Conceito B• De 9,0 a 10,0 Conceito A

21

Variável Medida• Uma variável medida é aquela cujo fenômeno

vai ser observado pelo pesquisador• Por exemplo: quantas vezes um usuário de

uma ferramenta vai olhar no manual para obter informações para desempenhar a tarefa que lhe foi proposta

• Essa variável tem como domínio o conjunto dos números naturais e seus valores não são determinados pelo observador, mas simplesmente medidos

22

Variável Manipulada• A variável manipulada é aquela que o

experimentador vai deliberadamente modificar para realizar seu experimento

• Por este motivo, esse tipo de variável também é chamado de variável experimental

• Exemplo de variável manipulada• Número de passos da tarefa repassada aos

usuários

23

Mas porque pesquisadores manipulam uma ou mais variáveis enquanto observam outras?

• É porque eles querem encontrar dependências entre essas variáveis

• A princípio pode-se testar a dependência entre quaisquer variáveis manipuladas e observadas

• Mas nem sempre esse teste fará sentido

• Antes de analisar uma dependência experimentalmente o pesquisador usualmente desenvolve uma teoria ou hipótese

24

Variáveis Dependentes e Independentes

• A variável independente é aquela que, se supõe, influencia outra

• A variável dependente é a influenciada

• Dependência pode ser medida por correlação

25

Para chegar na correlação precisaremos de um pouco de matemática

26

Média• Na pesquisa científica, frequentemente o

pesquisador defronta-se com o problema de analisar conjuntos de dados

• Por exemplo, ao avaliar um determinado sistema, o pesquisador contabiliza o tempo de interação de cada pessoa dentre um conjunto previamente definido

• Usualmente a média é considerada uma medida importante na avaliação de conjuntos de valores

27

Média• Por exemplo, se quatro pessoas foram

analisadas e os tempos medidos em minutos foram 10, 12, 14, 9, então se pode dizer que o tempo médio observado foi de 11,25 minutos

28

Variância• Considere-se os três conjuntos de valores

abaixo:• {10, 12, 14, 9}• {1, 20, 2, 22}• {11, 11, 11, 12}

• É possível notar certa semelhança entre eles?

• Aparentemente são conjuntos bem diferentes

• Mas todos têm a mesma média: 11,25

29

Variância• Essa observação do distanciamento dos

elementos em relação à média é chamada de variância

• Então, além da média, o pesquisador deve ficar atento também à variância do conjunto de valores, já que esta complementa a caracterização do conjunto

30

Cálculo da variância• Subtraia a média do conjunto de cada

elemento:• {-1,25, 0,75, 2,75, -2,25}• {-10,25, 8,75, -9,25, 10,75}• {-0,25, -0,25, -0,25, 0,75}

• O resultado corresponde à intuição• O terceiro conjunto tem valores absolutos

pequenos referentes à diferença entre os valores originais e a média

31

• Para obter um valor escalar que corresponda à medida da distância dos valores em relação à média do conjunto

• Eleve os valores ao quadrado:• {1,5625, 0,5625, 7,5625, 5,0625}• {105,0625, 76,5625, 85,5625, 115,5625}• {0,0625, 0,0625, 0,0625, 0,5625}

Cálculo da variância

32

• Some os resultados:• 14,75 • 382,75 • 0,75

Cálculo da variância

33

• Para evitar que o valor cresça com o tamanho do conjunto de dados: divida pelo número de elementos do conjunto menos 1:

• 4,9166...• 27,5833... • 0,25

Cálculo da variância

34

Fórmula da Variância

, onde n é o número de elementos do conjunto, x representa a média aritmética do conjunto e xi representa cada um dos elementos do conjunto no somatório

35

Desvio-Padrão• O desvio-padrão é uma medida também

bastante utilizada para analisar conjuntos e é definido simplesmente como a raiz quadrada da variância

36

Dependência • Variáveis manipuladas realmente influenciam

as variáveis experimentais?

• Existe dependência entre elas?

• A covariância pode dizer!

37

Covariância (exemplo)• No caso de conjuntos que variam muito, como

do tempo que se leva para programar casos de uso

• considerar que não se tem um único conjunto mas sim um certo número de subconjuntos, cada um dos quais com características distintas cada um com sua própria média e variância

38

Covariância (exemplo)• Exemplo dos casos de uso

• Classificar casos de uso em simples, médios e complexos para obter conjuntos de medidas com variância menor e, portanto, mais previsíveis

• Porém, essa subclassificação gera incerteza• Não se sabe se a forma de determinar que um caso de

uso é simples, médio ou complexo realmente classifica os casos de uso em subconjuntos nos quais os valores de tempo de desenvolvimento tenham variância mais baixa

• Solução: aplicar experimentação científica para avaliar a adequação da técnica de classificação

39

Covariância (exemplo)• O valor de pontos de caso de uso estimado por

um método Y produz uma estimativa melhor do que um outro método Y’?

• Onde “melhor” significa com “alta dependência em relação ao conjunto de tempos X”

40

Covariância (exemplo)• Para testar a hipótese é necessário comparar

dois conjuntos de valores• o valor dado a um caso de uso pelo método de

classificação • o valor do tempo que efetivamente se leva para

programar o caso de uso

41

Exemplo de covariância alta e direta (método Y)

Caso de Uso

Tempo conhecido (horas) - X

Pontos de caso de uso - Y

UC1 1 1UC2 18 2UC3 4 1UC4 67 3UC5 22 2UC6 12 2UC7 2 1UC8 7 1UC9 18 2UC10 55 3

42

Exemplo de covariância alta e direta (método Y)

Caso de Uso

Tempo conhecido (horas) - X

Pontos de caso de uso - Y

UC1 1 1UC2 18 2UC3 4 1UC4 67 3UC5 22 2UC6 12 2UC7 2 1UC8 7 1UC9 18 2UC10 55 3

•Covariância alta: pois os menores valores da coluna X, coincidem com os menores valores da coluna Y, e os maiores valores da coluna X coincidem com os maiores valores da coluna Y•Covariância direta: pois quanto maior o valor da coluna X, maior o valor da coluna Y

43

Exemplo de covariância baixa (método Y’)

C a s o d e uso

Tempo conhec ido (horas) - X

Pontos de caso de uso – Y’

UC1 1 1UC2 18 2UC3 4 3UC4 67 1UC5 22 2UC6 12 3UC7 2 1UC8 7 2UC9 18 3UC10 55 1

44

Covariância• É calculada a partir dos desvios da média em

cada conjunto• Se no primeiro conjunto um valor se desvia muito

para cima da sua média, espera-se que no segundo o valor correspondente também se desvie muito para cima da sua própria média

• No final • Se todos os desvios para cima ou para baixo são

semelhantes covariância alta e positiva• Se os desvios forem sempre invertidos covariância alta

e negativa• Se em alguns casos os desvios coincidem e em outros

não covariância próxima de zero e, portanto, baixa

45

Covariância

46

Covariância de YCaso de uso Tempo conhecido (horas) - X Pontos de caso de uso - Y (xi - ) (yi - ) (xi - )(yi - )

UC1 1 1 -19,6 -0,815,68

UC2 18 2 -2,6 0,2-0,52

UC3 4 1 -16,6 -0,813,28

UC4 67 3 46,4 1,255,68

UC5 22 2 1,4 0,20,28

UC6 12 2 -8,6 0,2-1,72

UC7 2 1 -18,6 -0,814,88

UC8 7 1 -13,6 -0,810,88

UC9 18 2 -2,6 0,2-0,52

UC10 55 3 34,4 1,241,28

149,2 / 9 = 16,57777... 47

Covariância de Y’Caso de uso Tempo conhecido (horas) - X Pontos de caso de uso – Y’ (xi - ) (y’i - ) (xi - )(y’i - )

UC1 1 1 -19,6-0,9 17,64

UC2 18 2 -2,60,1 -0,26

UC3 4 3 -16,61,1 -18,26

UC4 67 1 46,4-0,9 -41,76

UC5 22 2 1,40,1 0,14

UC6 12 3 -8,61,1 -9,46

UC7 2 1 -18,6-0,9 16,74

UC8 7 2 -13,60,1 -1,36

UC9 18 3 -2,61,1 -2,86

UC10 55 1 34,4-0,9 -30,96

-70,4 / 9 = -7,822222...48

Correlação• O valor absoluto da covariância não diz muita

coisa sobre um conjunto estar influenciando o outro ou não

• Por isso, usa-se mais correlação• É uma medida de variância normalizada

(entre -1 e 1)

49

Correlação• O valor absoluto da covariância não diz muita

coisa sobre um conjunto estar influenciando o outro ou não

• Por isso, usa-se mais correlação• É uma medida de variância normalizada

(entre -1 e 1)

• Perto de -1 significa correlação negativa muito forte

• Perto de 1 significa correlação positiva muito forte

• Perto de 0 significa ausência de correlação

50

Voltando ao exemplo• Correlação de Y e X: 0,928041193.• Correlação de Y’ e X: -0,39445403.

• Existe correlação entre Y e X?• Existe correlação entre Y’ e X?

• É necessário saber se o tamanho da amostra é suficiente para considerar a correlação como efetivamente significativa ou se o valor foi obtido apenas por coincidência

51

Valores mínimos de correlação para ser considerada significativa com 95% de certeza.

n mínimo n mínimo n mínimo

3 .99692 13 .5529 27 .38094 .95000 14 .5324 32 .34945 .8783 15 .5139 37 .32466 .8114 16 .4973 42 .30447 .7545 17 .4821 47 .28758 .7067 18 .4683 52 .27329 .6664 19 .4555 62 .2500

10 .6319 20 .4438 72 .231911 .6021 21 .4329 82 .217212 .5760 22 .4227 92 .2050

52

No exemplo• n = 10• Mínimo: 0,6319

• Corr(X,Y) = 0,928041193 OK• Corr(X,Y’) = -0,39445403 .....

53

A Hipótese de Pesquisa• Um aspecto que diferencia o trabalho

científico do trabalho técnico é a existência de uma hipótese de pesquisa

• A hipótese é uma afirmação da qual não se sabe a princípio se é verdadeira ou falsa

• O trabalho de pesquisa consiste justamente em tentar provar a veracidade ou falsidade da hipótese

54

Hipótese• Pergunta que surge: “e se não se conseguir

provar que a hipótese era válida?”

• Reposta: vai depender de quão relevante era a hipótese original

• Uma hipótese bem justificada no início do trabalho aumenta as chances de sucesso

1. Torna-se mais provável que ela seja verdadeira2. Se ela for falsa, o trabalho terá o mérito de ter

derrubado algum mito

55

Hipótese• Três formas de coletar evidências para comprovar a

validade de uma hipótese:1. Construir uma teoria, que a partir de fatos aceitos e

deduções válidas prove que a hipótese é verdadeira

2. Realizar certo número de experimentos controlados, que estatisticamente comprovem a validade da hipótese normalmente se aceita que hipóteses sejam comprovadas com 95% de certeza

3. Realizar estudos de caso, comparativos, argumentações, colher opiniões, etc. podem ser evidências da validade de uma hipótese

56

Hipótese• Um problema de pesquisa, então, usualmente vai perguntar

• como é que duas ou mais variáveis se relacionam • se existe correlação positiva ou negativa entre os valores das

variáveis

• A existência dessas correlações, porém, ainda não prova causas

• Uma teoria consistente que explique causa e efeito precisa também ser elaborada, além da validação empírica

• Isso acontece porque algumas vezes duas variáveis até se correlacionam com alto índice, mas as causas envolvidas podem não ser tão diretas

57

Justificativa

• Justificativa do tema (parte do problema)

• Justificativa da hipótese (segurança do pesquisador)

58

Resultados Esperados• Os resultados esperados, usualmente, são

situações que o autor de um trabalho espera que ocorram, caso seus objetivos sejam atingidos

• Os resultados esperados, normalmente fogem ao escopo do trabalho

• O autor da pesquisa não tentará obter os resultados esperados ao final da pesquisa

• Eles são posteriores

59

Limitações do Trabalho• As limitações são aspectos do trabalho dos quais o autor

tem consciência e reconhece a importância, mas não tem condições de abordar no tempo disponível

• É importante, em trabalhos de pesquisa, que as limitações conhecidas sejam claramente identificadas pelo autor desde o início

• Isso evitará que o próprio autor muitas vezes se perca em divagações ou buscando aspectos que extrapolam os objetivos iniciais

• Isso evita também que o leitor crie expectativas demasiadamente amplas sobre o trabalho, que serão depois frustradas

60

Referências• Raul Sidnei Wazlawick : Metodologia de Pesquisa em

Ciência da Computação, Elsevier - Campus, 2009• Capítulo 3

61

PGC001 Metodologia de Pesquisa em Computação - 1° sem/2015 62

Atividade AvaliativaTema: Preparação do Trabalho de Pesquisa-Revisão Bibliográfica

Principais ConceitosPrincipais Trabalhos Relacionados

Material a ser entregueVersão preliminar do Capítulo - Referencial Teórico da dissertação/tese

Usar modelo PPGCO - latexAprofundar no assunto de acordo com a sua maturidade sobre o tema

Alunos ingressantes na pós focam nos conceitosAlunos com projetos em andamento focam nos conceitos e nos trabalhos relacionados (pelo menos 2 trabalhos apresentados em profundidade)

PGC001 Metodologia de Pesquisa em Computação - 1° sem/2015 63

Preparação para avaliaçãoApresentação (15 minutos + perguntas no fim da aula)

Enviar por emailO capítulo produzido - versão pdfOs slides da apresentação - versão pdf