118
Lorí Viali, Dr. DESTAT/FAMAT/PUCRS [email protected] http://www.pucrs.br/famat/viali Elaborando um Questionário

Lorí Viali, Dr. DESTAT/FAMAT/PUCRS [email protected] http ...€¦ · “hipertensão”. O nível da linguagem deve ser adequado a população sendo amostrada. Utilize um estudo piloto

  • Upload
    voque

  • View
    215

  • Download
    1

Embed Size (px)

Citation preview

Lorí Viali, Dr.

DESTAT/FAMAT/PUCRS

[email protected]

http://www.pucrs.br/famat/viali

Elaborando um Questionário

PASSOS

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O problema e os objetivos da pesquisa;

As hipóteses da pesquisa (Quantitativa);

A população a ser pesquisada;

Os métodos de análise de dados

(escolhidos e/ou disponíveis);

Estabelecer uma ligação com:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O Conteúdo das perguntas;

Formato das respostas desejado;

Formulação das perguntas;

A seqüência das perguntas;

O fluxo e a estrutura (lay-out);

Pré-teste;

Decidir sobre:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Identificar a necessidade de informação;

Determinar o método de coleta de dados;

Planejar as principais seções;

Formular as questões de cada seção

Determinar o fluxo e a estrutura;

Revisar;

Conteúdo das questões

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A questão é realmente necessária? Onde

a informação vai ser utilizada?

O assunto exige uma nova pergunta ou já

está incluído em alguma outra?

A questão é clara e específica?

Quantas questões são necessárias sobre

esse tópico? Uma é suficiente?

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Qual é a escala que será utilizada?

Uma resposta dicotômica (sim/não) é

suficiente?

A questão envolve um único tema?

O público alvo tem condições de

responder a questão?

Que restrições os respondentes podem ter

em responder as questões?

Formatando as respostas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A escolha do(s) tipo(s) de

questão(ões) deve levar em conta

a resposta que se quer e também a

forma como a informação será

tratada.

Quanto ao questionário

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Revise.

Obtenha todas as aprovações;

Realize um pré-teste (piloto) com

amigos/colegas;

Faça as revisões baseadas no pré-teste;

Revise novamente!

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Identifique você e a organização;

Defina os objetivos do questionário;

Solicite, apele, incentive a participação;

Estime o tempo necessário para

responder;

Forneça instruções básicas (quem, como,

quando).

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Esclareça que a participação é

voluntária;

Assegure a confidencialidade e o

anonimato;

Questões prospectivas;

Questões avaliativas;

Questões demográficas;

Fechamento (agradecimento);

Quanto as questões

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Seja simples. Se o respondente não

entender o que está sendo perguntado

ele não responde ou pode responder

qualquer coisa;

Evite perguntar mais de uma coisa ao

mesmo tempo. Por exemplo: você gosta

de cinema ou teatro?

Evite questões ambíguas. Você acha

que os jovens deveriam ser envolver mais

em causas sociais?

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Questões opinativas deve ser evitadas.

Por exemplo: com que freqüência você

pratica exercícios?

Negativas duplas podem ser difíceis de

entender. Por exemplo, não é correto

que algumas pessoas não deviam ter

permissão para dirigir?

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Evite o uso de termos técnicos que

podem ser desconhecidos. Por exemplo,

pressão alta é melhor do que

“hipertensão”.

O nível da linguagem deve ser

adequado a população sendo

amostrada. Utilize um estudo piloto para

poder calibrar a linguagem.

Fluxo e Layout

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

� Primeiro as questões fáceis;

� Estabeleça uma seqüência do geral

para o específico;

� Deixe os tópicos sensíveis para o final,

informações pessoais (demográficas);

Estabeleça o entrosamento e o

ordenamento lógico dos tópicos.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

� Vá do real para abstrato;

� Comece com as questões fechadas;

� Comece com as questões relevantes

ao assunto principal;

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Utilize frases de transição entre as

principais seções, especialmente em

questionários longos:

“A seguir algumas questões sobre o

que você aprova ou desaprova” e por

último “algumas questões pessoais”.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Numere as questões;

Não divida questões/respostas entre

páginas;

Forneça instruções próximas as questões;

Utilize tamanho/estilo da fonte para dar

ênfase (negrito, itálico, sublinhado,

MAIÚSCULAS)

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Não amontoe as questões/respostas.

Deixe espaços.

Seja consistente na escolha da estrutura

(layout);

Utilize a numeração para indicar

questões que podem ser “puladas”,

fornecendo instruções claras, sinais.

Tipos de questões

Abertas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Vantagens

Boas para questionamentos;

Exercem pouca influência sobre o

entrevistado;

Proporcionam aprofundamentos;

Permitem explicações;

São mais simples de fazer.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Desvantagens

Mais difíceis de codificar;

Maior possibilidade de influência do

entrevistador;

Problemas com a resposta de

entrevistados com dificuldade de

expressão.

Fechadas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Vantagens

São mais fáceis de codificar, processar

e analisar;

São mais fáceis de responder;

Exigem menos tempo do entrevistado.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Desvantagens

Podem apresentar erros de medida caso

as opções de resposta não sejam

exaustivas;

Exigem mais tempo na preparação e

elaboração do questionário;

Podem influenciar o entrevistado pelas

alternativas apresentadas.

Exemplos

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Abertas

03. Em qual escola você fez o ensino médio?

___________________________________

Fechadas

04. Em que turno você prefere estudar?

( ) Manhã ( ) Tarde ( ) Noite

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

05.Qual o principal meio de comunicação que você utiliza para se manter informado?

( ) Jornal

( ) Rádio

( ) Televisão

( ) Revistas

( ) WWW

( ) Outros

Quais?_______________________________________

Semi-abertas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

06. Você exerce atividade remunerada?

( ) Sim, em tempo parcial (até 30 h/s)

( ) Sim, em tempo integral (mais de 30 h/s)

( ) Sim, em trabalho eventual

( ) Não.

06.1 Se respondeu Sim à questão anterior, indique o

tipo de atividade remunerada que exerce?

( ) Estágio

( ) Profissional

( ) Autônomo

( ) Empresa familiar

Encadeadas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Com matriz de resposta06. Cite 2 filmes que assistiu

recentemente

Filme Nota Um ponto

Forte Fraco

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

08. O mais importante em um bom professor é:

(5 – mais importante 1 – menos importante)

( ) Ser simpático

( ) Ter domínio do conteúdo

( ) Ser assíduo

( ) Ser pontual

( ) Falar bem e claro

( ) Vestir-se bem e na moda

( ) Fazer provas fáceis

Com ordem de preferência

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

09. Nos momentos de lazer você prefere:

( ) Ouvir música

( ) Ler

( ) Ver televisão

( ) Praticar esportes

( ) Ir ao cinema

( ) Ir ao teatro

( ) Não fazer nada

De múltipla escolha

Tipo de Pesquisa x

Tipos de questões

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A maioria das perguntas são

abertas

Pesquisa

Qualitativa

Pesquisa

Quantitativa

A maioria das perguntas são

fechadas

O questionário

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Validade (Validity);

Confiabilidade (Reliability)

Discriminação (Discrimination)

Um bom questionário deve ter três coisas:

Validade

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Os itens de um questionário devem

medir algo e os de um bom questionário

medem aquilo que se pretende medir, isso é,

validade. Assim validade significa medir

aquilo que se pensa que se está medindo. A

validade não é obtida facilmente e pode

assumir pelo menos três formas:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Validade de conteúdo;

Validade de critério e

Validade fatorial.

Validade de Conteúdo

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Os itens de um questionário

devem estar relacionados ao

construto sendo medido. Por exemplo

um questionário medindo a

habilidade de se relacionar terá

pouco uso se os itens medirem

habilidade numérica.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A validade de conteúdo é a

representatividade das questões, o

quanto elas medem daquilo que

realmente se quer medir.

As questões não devem ser muito

parecidas e devem englobar todos os

ângulos do construto.

Validade de Critério

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Se o questionário mede aquilo

que ele diz medir. As maneiras de

avaliar se um questionário

apresenta esse tipo de validade

são:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

(a) utilizar o questionário em várias

situações e ver o quão preditivo ele é,

(b) ver o quanto ele se correlaciona com

outros instrumentos medindo a mesma coisa

e

(c) por técnicas estatísticas como o IVI

(Índice de Validade do Item).

Validade Fatorial

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Esse tipo de validade se refere

basicamente se a estrutura de

fatores do questionário faz sentido.

Essa estrutura pode ser avaliada por

meio da análise de fatores (SPSS ou

outro).

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Quando os itens estiverem

prontos e o instrumento testado,

pode-se conduzir uma análise de

fatores nos dados e verificar quanto

fatores estão sendo de fato

avaliados.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A validade é

necessária, mas não é

uma condição suficiente

de um instrumento de

medida.

Confiabilidade

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Um questionário não precisa ser apenas

válido, mas também confiável.

Confiabilidade é a propriedade de que um

instrumento de medida produza os mesmos

resultados se submetido as mesmas

condições. Para ser confiável um

questionário precisa primeiro ser válido.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A maneira mais fácil de verificar a

confiabilidade é testar o mesmo grupo de

pessoas mais de uma vez. Se o questionário

é confiável os escores das pessoas devem

ser aproximadamente os mesmos no

decorrer do tempo. Assim os escores das

duas aplicações devem ter uma correlação

perfeita ou quase perfeita.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

No entanto isso não é feito, pois podem

existir efeitos de confundimento, como a de

pessoa lembrar a resposta. Também essa

técnica não é efetiva se estivermos medindo

capacidades que se alteram com o tempo.

Existem técnicas estatísticas que podem

ser utilizadas para verificar a confiabilidade

de um instrumento.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A mais simples é o método da divisão

pela metade (split-half method). Essa

técnica apresenta alguns problemas que

podem ser superados com o uso do alfa de

Cronbach. Esse índice é a medida de

confiabilidade mais comum. Em geral um

valor de 0,8 ou acima é aceito como um

indicativo de um bom instrumento.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Iniciou a carreira como professor de matemática e química na

escola de ensino médio de Fresno, mudando-se após para a

Universidade de Chicago, Universidade Estadual de Whashington,

Universidade de Illinois e nos últimos 37 anos lecionou na

Universidade de Stanford. Foi presidente da Associação Americana

de Pesquisa em Educação, da Sociedade Psicométrica e membro da

Academia Nacional de Ciências, da Academia Nacional de

Educação, da Sociedade Americana de

Psicologia e da Academia Americana de Artes

e Ciências. Faleceu como professor emérito de

Educação da Universidade de Stanford.

Lee Joseph CRONBACH (1916 - 2001)

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Confiável

e Válido

οοοοοοοο

οοοο

οοοοοοοο

οοοοοοοοοοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο οοοο

οοοο οοοο

οοοο

οοοοοοοο

οοοο

οοοοοοοο

οοοοοοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοο οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

οοοο

οοοοοοοο

οοοο

οοοο

Confiável mas

não Válido

Nem confiável

e nem válido

Consistência Internaou

Confiabilidade

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Se os itens de uma escala devem medir

aspectos de um mesmo construto, então

eles devem ser todos altamente

correlacionados entre eles. Medidas de

consistência interna forma desenvolvidas e

simplificam bastante o processo.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O alfa de Cronbach ou coeficiente alfa está

relacionado com a correlação entre cada par de

itens e o número de itens de uma escala. É a

medida de consistência mais utilizada. No entanto,

mesmo se uma escala apresenta um valor de alfa

alto ela ainda pode ter itens pobremente

correlacionados entre si. Assim convém inspecionar

os seguintes valores da saída do SPSS:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A correlação parte/todo (ou correlação

item/total) que é a correlação entre cada item e

a soma dos outros itens.

A correlação múltipla ao quadrado para cada

item, que é o r2 obtido se um item é colocado na

regressão como uma variável critério com os

outros itens como variáveis preditivas.

O valor do alfa de Cronbach para a escala se um

item em particular é eliminado.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Clique em Analyze, depois em Scale e finalmente em

Reliability Analysis. A seguinte caixa de diálogos irá abrir:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Mova todos os itens de interesse da escala do

painel esquerdo para o direito, clicando sobre o

item e depois na seta entre os painéis.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Se o modelo for processado dessa

forma a única saída obtida será:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

****** Method 1 (space saver) will be used for this analysis ******

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Reliability Coefficients

N of Cases = 48,0 N of Items = 20

Alpha = ,8994

Ou seja a única estatística de interesse

será o valor do coeficiente alfa que nesse

caso é 0,8994.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Para obter outros resultados de interesse

clique em Statistics que abrirá a seguinte caixa de

diálogos:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Marque então as seguintes opções:

Clique em Continue. Nesse caso teremos:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

***** Method 2 (covariance matrix) will be used for this analysis ******

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Mean Std Dev Cases

1. Q_A 3,9583 ,8495 48,0

2. Q_C 3,8958 1,0364 48,0

3. Q_D 4,2708 ,7068 48,0

4. Q_E 4,4583 ,6510 48,0

5. Q_F 4,0208 1,0617 48,0

6. Q_J 4,3333 ,8833 48,0

7. Q_N 3,6875 1,1139 48,0

8. Q_O 4,2292 ,7784 48,0

9. Q_S 3,3542 ,8377 48,0

10. Q_T 3,8750 1,0644 48,0

11. Q_BR 3,9583 ,9216 48,0

12. Q_GR 4,3958 ,7363 48,0

13. Q_HR 3,7917 ,7426 48,0

14. Q_IR 3,5833 ,9857 48,0

15. Q_KR 3,6042 1,1250 48,0

16. Q_LR 3,9167 1,0280 48,0

17. Q_MR 3,0208 1,1202 48,0

18. Q_PR 3,9583 ,7978 48,0

19. Q_QR 3,0000 ,9893 48,0

20. Q_SR 3,5000 ,8251 48,0

Essa tabela é a

opção item da

Descriptives da

caixa Statistics.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

N of Cases = 48,0

Statistics for Mean Variance Std Dev N of Variables

Scale 76,8125 117,4322 10,8366 20

Esse resultado é conseqüência de

ter marcado a opção Scale do

item Descriptives da caixa Statistics.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Item-total Statistics

Scale Scale Corrected

Mean Variance Item- Squared Alpha

if Item if Item Total Multiple if Item

Deleted Deleted Correlation Correlation Deleted

Q_A 72,8542 107,1059 ,5462 ,7259 ,8942

Q_C 72,9167 106,4184 ,4649 ,8423 ,8966

Q_D 72,5417 108,0408 ,6052 ,7828 ,8934

Q_E 72,3542 108,6166 ,6185 ,7001 ,8935

Q_F 72,7917 101,1472 ,7098 ,7512 ,8889

Q_J 72,4792 105,1485 ,6351 ,8133 ,8918

Q_N 73,1250 114,7074 ,0622 ,3800 ,9097

Q_O 72,5833 108,2482 ,5296 ,8215 ,8948

Q_S 73,4583 112,4663 ,2400 ,3776 ,9017

Q_T 72,9375 106,0598 ,4670 ,7845 ,8967

Q_BR 72,8542 106,7655 ,5155 ,7195 ,8949

Q_GR 72,4167 106,1206 ,7099 ,7687 ,8909

Q_HR 73,0208 106,4889 ,6781 ,7936 ,8916

Q_IR 73,2292 105,3293 ,5502 ,7608 ,8940

Q_KR 73,2083 102,7216 ,5896 ,8693 ,8929

Q_LR 72,8958 103,7974 ,6005 ,7331 ,8925

Q_MR 73,7917 103,5301 ,5548 ,7823 ,8941

Q_PR 72,8542 106,4251 ,6300 ,6950 ,8923

Q_QR 73,8125 105,2194 ,5535 ,7712 ,8939

Q_SR 73,3125 106,5173 ,6009 ,6152 ,8929

Esse resultado

é

conseqüência

de se ter

marcado a

opção Scale if

item deleted

da caixa de

diálogos

Statistics.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Reliability Coefficients 20 items

Alpha = ,8994 Standardized item alpha = ,9068

Continuação da tabela anterior.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O alfa padronizado (Standardized

item alpha) é calculado com base na

hipótese (não necessariamente válida) de

que as variâncias dos itens são iguais. Ele é

resultado da opção Inter-item na caixa de

diálogo Statistics da Análise de

Confiabilidade.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Pelo valor de alfa essa escala é

confiável. Mas é possível melhorar

um pouco mais esse valor. Se forem

retirados ou refeitos os itens q_n e

q_s, observe que os valores de alfa,

em cada caso, aumentariam.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

R E L I A B I L I T Y A N A L Y S I S

Scale Scale CorrectedMean Variance Item- Alpha if Item if Item Total if Item

Deleted Deleted Correlation Deleted

Q_A 72,8542 107,1059 ,5462 ,8942Q_C 72,9167 106,4184 ,4649 ,8966Q_D 72,5417 108,0408 ,6052 ,8934Q_E 72,3542 108,6166 ,6185 ,8935

Q_F 72,7917 101,1472 ,7098 ,8889Q_J 72,4792 105,1485 ,6351 ,8918Q_N 73,1250 114,7074 ,0622 ,9097Q_O 72,5833 108,2482 ,5296 ,8948

Q_S 73,4583 112,4663 ,2400 ,9017Q_T 72,9375 106,0598 ,4670 ,8967Q_BR 72,8542 106,7655 ,5155 ,8949Q_GR 72,4167 106,1206 ,7099 ,8909

Q_HR 73,0208 106,4889 ,6781 ,8916Q_IR 73,2292 105,3293 ,5502 ,8940Q_KR 73,2083 102,7216 ,5896 ,8929Q_LR 72,8958 103,7974 ,6005 ,8925

Q_MR 73,7917 103,5301 ,5548 ,8941Q_PR 72,8542 106,4251 ,6300 ,8923Q_QR 73,8125 105,2194 ,5535 ,8939Q_SR 73,3125 106,5173 ,6009 ,8929

Se essas duas

questões

forem

retiradas a

confiabilidade

da escala

aumentaria.

Alpha = 0,8994

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A opção por omissão é o alfa,

mas na linha modelo (model) é

possível escolher outros modelos.

Uma possibilidade é rodar o

modelo divisão pela metade (split-

half) ao invés de alfa.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

As saídas adicionais, para esse modelo,

são mostradas a seguir:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

****** Method 1 (space saver) will be used for this analysis ******

R E L I A B I L I T Y A N A L Y S I S - S C A L E (S P L I T)

Statistics for Mean Variance Std Dev N of Variables

PART 1 40,0833 29,1418 5,3983 10

PART 2 36,7292 41,9038 6,4733 10

SCALE 76,8125 117,4322 10,8366 20

Reliability Coefficients

N of Cases = 48,0 N of Items = 20

Correlation between forms = ,6637 Equal-length Spearman-Brown = ,7979

Guttman Split-half = ,7900 Unequal-length Spearman-Brown = ,7979

10 Items in part 1 10 Items in part 2

Alpha for part 1 = ,7944 Alpha for part 2 = ,8781

Esse resultado mostra as

estatísticas para toda a escala

mais as das somas das respostas

de cada uma das metades.

A correlação entre

as somas dos itens

em cada metade.

Dimensionalidade

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

É possível medir a dimensionalidade

de uma escala ou questionário. Primeiro

se for desejado uma escala em que

todos os itens meçam um único

construto pode-se verificar qual a

carga de cada item em uma única

componente. Itens com cargas fracas

são descartados ou reescritos.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Segundo para verificar se existe

mais de um componente na escala

pode-se utilizar a análise de

componentes ou de fatores para

determinar a estrutura da escala.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Pode-se utilizar os itens que estão mais

fortemente relacionados a cada

componente, se existir mais de um, como

sub-escalas. Assegurar-se de que uma

escala é unidimensional ou que as sub-

escalas sejam identificadas é um dos

aspectos da validade de construto.

Identificando escalascom um componente

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Clique em “Data Reduction”,

“Factor ...” para realizar uma análise de fatores, isto

é, descobrir quantas sub-escalas existem.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

1. Na caixa de diálogos Factor Analysis: Extraction

marque o número de fatores para 1.

2. Veja outros métodos de extração dos fatores.

Método de

extração:

componentes

principais.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

1. Na caixa de diálogos Factor Analysis: Extraction

marque a opção Scree plot (Diagrama de

declividade)

2. Veja outros métodos de extração dos fatores.

Opções para

determinar o

número de fatores:

pelos autovalores

(eigenvalues) ou

fixando.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

2. Na caixa de diálogos Factor Analysis: Options,

selecione Sorted by size.

As duas tabelas mais importantes para esse

objetivo são mostradas a seguir:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Total Variance Explained

7,654 38,272 38,272

2,416 12,081 50,353

1,463 7,313 57,666

1,185 5,924 63,590

1,099 5,495 69,085

1,059 5,297 74,381

,731 3,655 78,037

,697 3,485 81,522

,659 3,295 84,817

,552 2,760 87,577

,506 2,529 90,105

,449 2,246 92,351

,332 1,658 94,009

,295 1,474 95,483

,266 1,332 96,815

,219 1,097 97,912

,161 ,803 98,714

,117 ,586 99,301

,107 ,537 99,838

,032 ,162 100,000

Component

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

Total % of Variance Cumulative %

Initial Eigenvalues

Extraction Method: Principal Component Analysis.

A principal

componente

explica

apenas 38%

da variância

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O diagrama de declividade (scree plot) mostra o

número de dimensões do questionário. Em geral, o número de

fatores é determinado pelo ponto onde o gráfico muda de sinal

abruptamente (autovalores acima de 1).

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A partir da análise deve-se

descartar os itens q_s e q_n ou então

reescrevê-los. Observe que esses

itens também foram identificados na

análise de confiabilidade (Estatísticas

Item_Total) anterior.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Component Matrix a

,777

,765

,721

,702

,687

,684

,663

,654

,777

,632

,621

,615

,614

,605

,597

,589

,518

,517

,280

,074

Q_F

Q_GR

Q_HR

Q_J

Q_PR

Q_E

Q_KR

Q_D

Q_SR

Q_LR

Q_IR

Q_QR

Q_MR

Q_A

Q_BR

Q_O

Q_T

Q_C

Q_S

Q_N

1

Component

Extraction Method: Principal Component Analysis.

1 components extracted.a.

A regra

prática é que

se um item

apresenta

uma carga

inferior a 0,4

ele deve ser

descartado

ou revisto.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Se um item for eliminado então outra

análise deve ser executada com os dados

restantes, pois a carga dos fatores irá se

alterar. Para esses dados vamos verificar que

a maior componente aumenta para 42% e

as cargas dos demais itens permanecem

acima de 0,50.

Medindo a estruturados itens na escala

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Entre com os 20 itens na análise de

componentes principais da análise de

fatores. Para isso basta repetir a análise

anterior com exceção da opção Sorted by

size. Apenas alguns dos resultados são

mostrados.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Verifique os indicadores de

fatorabilidade. Alguns deles são razoáveis. O

valor do KMO, no entanto, é de apenas 0,59.

Também alguns dos valores individuais do

KMO na diagonal da matriz de correlação

anti-imagem estão abaixo do valor 0,50 o

que significa um desempenho pobre do

item.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

KMO and Bartlett's Test

,594

566,695

190

,000

Kaiser-Meyer-Olkin Measure of Sampling

Adequacy.

Approx. Chi-Square

df

Sig.

Bartlett's Test of

Sphericity

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A tabela da variância total explicada

mostra que existem seis componentes com

autovalores maiores do que um. Ela também

mostra o percentual da variância que é

explicada após a rotação dos

componentes.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Component Matrix a

,605 ,377 -,180 ,196 ,079 -,330

,517 ,516 ,105 -,222 -,368 ,055

,654 ,464 -,130 ,285 ,090 -,163

,684 ,323 ,168 -,280 -,081 -,236

,777 -,247 ,105 ,045 -,163 ,023

,702 ,061 -,182 -,056 -,053 -,277

,074 ,482 -,160 ,244 -,042 ,706

,589 ,266 ,441 ,041 -,413 ,021

,280 ,016 ,512 -,264 ,635 ,061

,518 ,176 ,273 ,656 ,255 -,109

,597 -,536 -,144 -,136 -,082 -,098

,765 -,018 ,181 -,186 -,043 ,172

,721 -,414 ,027 ,348 -,190 ,063

,621 -,544 ,168 ,261 ,041 ,025

,663 -,291 -,506 -,119 -,092 -,064

,632 ,308 -,073 -,124 ,059 ,278

,614 -,376 -,313 ,029 ,215 ,313

,687 ,131 -,037 -,195 ,365 -,067

,615 -,357 ,383 -,185 -,065 ,192

,644 ,262 -,427 -,162 ,176 ,091

Q_A

Q_C

Q_D

Q_E

Q_F

Q_J

Q_N

Q_O

Q_S

Q_T

Q_BR

Q_GR

Q_HR

Q_IR

Q_KR

Q_LR

Q_MR

Q_PR

Q_QR

Q_SR

1 2 3 4 5 6

Component

Extraction Method: Principal Component Analysis.

6 components extracted.a.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A matriz dos componentes

rotacionadas anterior mostra que quatorze

dos 20 itens tem a maior carga em um dos

dois primeiros componentes, com três itens

no terceiro. Os últimos três componentes

estão distribuídos nos componentes quatro,

cinco e seis. Observe que os itens q_n e q_s

estão entre esse três.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Scree Plot

Component Number

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

Eig

en

valu

e

10

8

6

4

2

0

O diagrama de

declividade

mostra apenas

dois

componentes

acima do limite

entre a parte

íngreme e a

parte plana da

curva.

Discriminação

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Discriminação significa que pessoas

com escores diferentes em um questionário

devem diferir no construto de interesse. Assim

se o teste é de habilidade numérica então

pessoas com habilidade e sem habilidade

devem ter pontuações diferentes. Existem

três corolários a serem considerados:

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

1. Pessoas com o mesmo escore devem ser

iguais quanto ao construto sendo

mensurado;

2. Pessoas com escores diferentes devem

ser diferentes quanto ao construto sendo

avaliado e

3. O grau de diferença entre as pessoas

deve ser proporcional aos escores.

Viés nas Respostas

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Mesmo quando a formulação das

questões é cuidadosa existem ainda

problemas que podem surgir na construção

de um questionário.

Conjuntos de respostas padronizadas

ou tendenciosidade assumem várias formas

sendo a mais comum a concordância ao

invés da discordância. É o conhecido “digo

sim”. O “digo não” é menos comum.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

O problema quando isso ocorre

é não levar em conta os itens como

tal mas sim o de se obter respostas

estereotipadas a despeito do que

está sendo perguntado.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A forma de lidar com o problema é se

assegurar de que não existem padrões

óbvios na forma em que as questões são

apresentadas. Sempre que possível evite

categorizar questões. Tente manter o

respondente alerta apresentando questões

de forma variada de preferência em ordem

aleatória.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Uma forma adicional de manter o viés

no mínimo é tentar balançar o número de

declarações positivas e negativas. Se o

respondente enfrentar um grande número

de questões em que uma resposta positiva

(negativa) seja necessária isso pode levá-lo

a acreditar que sempre será assim.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

A tendência social é uma forma

de viés de resposta em que o

respondente fornece o que é mais

aceito socialmente do que o que ele,

de fato, pensa. É o hoje denominado

politicamente correto.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

Alguns acreditam que isso é um

problema individual e não do questionário.

Para lidar com isso pode-se incorporar o que

é conhecida como “escala da mentira”, isto

é, formular questões para identificar as

pessoas que tendem a responder de forma

socialmente desejável. Uma vez

identificados eles podem ser excluídos do

estudo.

Referências

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

BOOTH, W. C. , COLOMB, G. G, WILLIAMS, J. M. A

arte da pesquisa (The Craft of Research). São

Paulo: Martins Fontes. 2000.

BRACE, Nicola, KEMP, Richard, SNELGAR, Rosemary.

SPSS for Psychologists: versions 12 and 13. New

York: Palgrave MacMillan. Third Edition, 2006.

FIFE-SCHAW, C. Questionnaire design. In: G. M.

Breakwell, S. Hammond & C. fifeshaw (Eds.).

Research Methods in Psychology (2nd ed.,

Chapter 120. London: Sage.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

FRARY, Robert B. Hints for designing

effective questionnaires. Practical

Assessment, Research & Evaluation. v. 5,

n. 3, 1996.

SCHEAFFER, Richard L., MENDENHALL,

William. Elementary Survey Sampling. New

York: Thonson, 1996. 5th Edition.

Prof. Lorí Viali, Dr. - PUCRS – [email protected] – http://www.pucrs.br/famat/viali/

http://www.chssc.salford.ac.uk/healthSci/resmeth2000/re

smeth/questatt.htm

http://www.chssc.salford.ac.uk/healthSci/resmeth2000/re

smeth/chap2.htm (Ver métodos quantitativos)

http://home.ubalt.edu/ntsbarsh/stat-data/Surveys.htm