19
Lorí Viali, Dr. - DESTAT/FAMAT/PUCRS http://www.pucrs.br/famat/viali Elaborando um Questionário PASSOS Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected] O problema e os objetivos da pesquisa; As hipóteses da pesquisa (Quantitativa); A população a ser pesquisada; Os métodos de análise de dados (escolhidos e/ou disponíveis); Estabelecer uma ligação com: Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected] O Conteúdo das perguntas; Formato das respostas desejado; Formulação das perguntas; A seqüência das perguntas; O fluxo e a estrutura (lay-out); Pré-teste; Decidir sobre: Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected] Identificar a necessidade de informação; Determinar o método de coleta de dados; Planejar as principais seções; Formular as questões de cada seção Determinar o fluxo e a estrutura; Revisar; Conteúdo das questões

Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

  • Upload
    doanh

  • View
    215

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Lorí Viali, Dr. - DESTAT/FAMAT/PUCRS

http://www.pucrs.br/famat/viali

Elaborandoum

QuestionárioPASSOS

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

O problema e os objetivos da pesquisa;

As hipóteses da pesquisa (Quantitativa);

A população a ser pesquisada;

Os métodos de análise de dados

(escolhidos e/ou disponíveis);

Estabelecer uma ligação com:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

O Conteúdo das perguntas;

Formato das respostas desejado;

Formulação das perguntas;

A seqüência das perguntas;

O fluxo e a estrutura (lay-out);

Pré-teste;

Decidir sobre:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Identificar a necessidade de informação;

Determinar o método de coleta de dados;

Planejar as principais seções;

Formular as questões de cada seção

Determinar o fluxo e a estrutura;

Revisar;

Conteúdo das questões

Page 2: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A questão é realmente necessária? Onde a informação vai ser utilizada?

O assunto exige uma nova pergunta ou jáestá incluído em alguma outra?

A questão é clara e específica?

Quantas questões são necessárias sobre esse tópico? Uma é suficiente?

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Qual é a escala que será utilizada?

Uma resposta dicotômica (sim/não) ésuficiente?

A questão envolve um único tema?

O público alvo tem condições de responder a questão?

Que restrições os respondentes podem terem responder as questões?

Formatando as respostas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A escolha do(s) tipo(s) de questão(ões) deve levar em conta a resposta que se quer e também a forma como a informação serátratada.

Quanto ao questionário

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Revise.

Obtenha todas as aprovações;

Realize um pré-teste (piloto) com amigos/colegas;

Faça as revisões baseadas no pré-teste;

Revise novamente!

Page 3: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Identifique você e a organização;

Defina os objetivos do questionário;

Solicite, apele, incentive a participação;

Estime o tempo necessário para

responder;

Forneça instruções básicas (quem, como,

quando).

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Esclareça que a participação évoluntária;

Assegure a confidencialidade e o anonimato;

Questões prospectivas;

Questões avaliativas;

Questões demográficas;

Fechamento (agradecimento);

Quanto as questões

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Seja simples. Se o respondente não entender o que está sendo perguntado ele não responde ou pode responder qualquer coisa;Evite perguntar mais de uma coisa ao mesmo tempo. Por exemplo: você gosta de cinema ou teatro?Evite questões ambíguas. Você acha que os jovens deveriam ser envolver mais em causas sociais?

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Questões opinativas deve ser evitadas.

Por exemplo: com que freqüência você

pratica exercícios?

Negativas duplas podem ser difíceis de

entender. Por exemplo, não é correto

que algumas pessoas não deviam ter

permissão para dirigir?

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Evite o uso de termos técnicos que podem ser desconhecidos. Por exemplo, pressão alta é melhor do que “hipertensão”.

O nível da linguagem deve ser adequado a população sendo amostrada. Utilize um estudo piloto para poder calibrar a linguagem.

Page 4: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Fluxo e Layout

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Primeiro as questões fáceis;

Estabeleça uma seqüência do geral para o específico;

Deixe os tópicos sensíveis para o final, informações pessoais (demográficas);

Estabeleça o entrosamento e o ordenamento lógico dos tópicos.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Vá do real para abstrato;

Comece com as questões fechadas;

Comece com as questões relevantes

ao assunto principal;

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Utilize frases de transição entre as

principais seções, especialmente em

questionários longos:

“A seguir algumas questões sobre o

que você aprova ou desaprova” e por

último “algumas questões pessoais”.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Numere as questões;

Não divida questões/respostas entre

páginas;

Forneça instruções próximas as questões;

Utilize tamanho/estilo da fonte para dar

ênfase (negrito, itálico, sublinhado,

MAIÚSCULAS)

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Não amontoe as questões/respostas.

Deixe espaços.

Seja consistente na escolha da estrutura

(layout);

Utilize a numeração para indicar

questões que podem ser “puladas”,

fornecendo instruções claras, sinais.

Page 5: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Tipos de questões Abertas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Vantagens

Boas para questionamentos;

Exercem pouca influência sobre o entrevistado;

Proporcionam aprofundamentos;

Permitem explicações;

São mais simples de fazer.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Desvantagens

Mais difíceis de codificar;

Maior possibilidade de influência do entrevistador;

Problemas com a resposta de entrevistados com dificuldade de expressão.

Fechadas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Vantagens

São mais fáceis de codificar, processar e analisar;

São mais fáceis de responder;

Exigem menos tempo do entrevistado.

Page 6: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

DesvantagensPodem apresentar erros de medida caso as opções de resposta não sejam exaustivas;

Exigem mais tempo na preparação e elaboração do questionário;

Podem influenciar o entrevistado pelas alternativas apresentadas.

Exemplos

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Abertas03. Em qual escola você fez o ensino médio?

___________________________________

Fechadas04. Em que turno você prefere estudar?

( ) Manhã ( ) Tarde ( ) Noite

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

05. Qual o principal meio de comunicação que você utiliza para se manter informado?( ) Jornal( ) Rádio( ) Televisão( ) Revistas( ) WWW ( ) Outros

Quais?_______________________________________

Semi-abertas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

06. Você exerce atividade remunerada?( ) Sim, em tempo parcial (até 30 h/s)( ) Sim, em tempo integral (mais de 30 h/s)( ) Sim, em trabalho eventual( ) Não. 06.1 Se respondeu Sim à questão anterior, indique o

tipo de atividade remunerada que exerce?( ) Estágio( ) Profissional( ) Autônomo( ) Empresa familiar

Encadeadas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Com matriz de resposta06. Cite 2 filmes que assistiu

recentemente

Filme Nota Um ponto

Forte Fraco

Page 7: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

08. O mais importante em um bom professor é:(5 – mais importante 1 – menos importante)( ) Ser simpático( ) Ter domínio do conteúdo( ) Ser assíduo( ) Ser pontual( ) Falar bem e claro( ) Vestir-se bem e na moda( ) Fazer provas fáceis

Com ordem de preferência

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

09. Nos momentos de lazer você prefere:( ) Ouvir música( ) Ler( ) Ver televisão( ) Praticar esportes( ) Ir ao cinema( ) Ir ao teatro( ) Não fazer nada

De múltipla escolha

Tipo de Pesquisa x

Tipos de questões

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A maioria das perguntas são

abertas

Pesquisa Qualitativa

Pesquisa Quantitativa

A maioria das perguntas são

fechadas

O questionário

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Validade (Validity);

Confiabilidade (Reliability)

Discriminação (Discrimination)

Um bom questionário deve ter três coisas:

Page 8: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Validade

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Os itens de um questionário devem

medir algo e os de um bom questionário

medem aquilo que se pretende medir, isso é,

validade. Assim validade significa medir

aquilo que se pensa que se está medindo. A

validade não é obtida facilmente e pode

assumir pelo menos três formas:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Validade de conteúdo;

Validade de critério e

Validade fatorial.

Validade de Conteúdo

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Os itens de um questionário devem estar relacionados ao

construto sendo medido. Por exemplo um questionário medindo a habil idade de se relacionar terápouco uso se os itens medirem habil idade numérica.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A validade de conteúdo é a representatividade das questões, o quanto elas medem daquilo que

realmente se quer medir.

As questões não devem ser muito parecidas e devem englobar todos os ângulos do construto.

Page 9: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Validade de Critério

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Se o questionário mede aquilo

que ele diz medir. As maneiras de

avaliar se um questionário

apresenta esse tipo de validade

são:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

(a) utilizar o questionário em várias situações e ver o quão preditivo ele é,

(b) ver o quanto ele se correlaciona com outros instrumentos medindo a mesma coisa e

(c) através de técnicas estatísticas como o IVI (Índice de Validade do Item).

Validade Fatorial

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Esse tipo de validade se refere

basicamente se a estrutura de

fatores do questionário faz sentido.

Essa estrutura pode ser avaliada por

meio da análise de fatores (SPSS ou

outro).

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Quando os itens estiverem

prontos e o instrumento testado,

pode-se conduzir uma análise de

fatores nos dados e verificar quanto

fatores estão sendo de fato

avaliados.

Page 10: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A validade énecessária, mas não éuma condição suficiente de um instrumento de medida.

Confiabilidade

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Um questionário não precisa ser apenas

válido, mas também confiável.

Confiabilidade é a propriedade de que um

instrumento de medida produza os mesmos

resultados se submetido as mesmas

condições. Para ser confiável um

questionário precisa primeiro ser válido.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A maneira mais fácil de verificar a

confiabilidade é testar o mesmo grupo de

pessoas mais de uma vez. Se o questionário

é confiável os escores das pessoas devem

ser aproximadamente os mesmos no

decorrer do tempo. Assim os escores das

duas aplicações devem ter uma correlação

perfeita ou quase perfeita.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

No entanto isso não é feito, pois podem

existir efeitos de confundimento, como a de

pessoa lembrar a resposta. Também essa

técnica não é efetiva se estivermos medindo

capacidades que se alteram com o tempo.

Existem técnicas estatísticas que podem

ser utilizadas para verificar a confiabilidade

de um instrumento.Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A mais simples é o método da divisão

pela metade (split-half method). Essa

técnica apresenta alguns problemas que

podem ser superados com o uso do alfa de

Cronbach. Esse índice é a medida de

confiabilidade mais comum. Em geral um

valor de 0,8 ou acima é aceito como um

indicativo de um bom instrumento.

Page 11: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Iniciou a carreira como professor de matemática e química na

escola de ensino médio de Fresno, mudando-se após para a

Universidade de Chicago, Universidade Estadual de Whashington,

Universidade de Illinois e nos últimos 37 anos lecionou na

Universidade de Stanford. Foi presidente da Associação Americana

de Pesquisa em Educação, da Sociedade Psicométrica e membro da

Academia Nacional de Ciências, da Academia Nacional de

Educação, da Sociedade Americana de

Psicologia e da Academia Americana de Artes

e Ciências. Faleceu como professor emérito de

Educação da Universidade de Stanford.

Lee Joseph CRONBACH (1916 - 2001)

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Confiável e Válido

οοο

οο

οοοο

οο

ο

ο

οο

ο

οο

ο

οο ο

ο ο

οοο

ο

οο

ο ο

οοοο

ο

οο ο ο

οο

οο

οο

ο

οο

ο

οο

ο

ο

οο

ο

ο

ο

ο

οο

ο

ο

ο

ο

οο

ο

ο

οο

οο ο

ο

οο

ο

ο οο

ο

ο οο

ο

ο

οο

ο

ο

Confiável mas não Válido

Nem confiável

e nem válido

Consistência Internaou

Confiabilidade

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Se os itens de uma escala devem medir

aspectos de um mesmo construto, então

eles devem ser todos altamente

correlacionados entre eles. Medidas de

consistência interna forma desenvolvidas e

simplificam bastante o processo.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

O alfa de Cronbach ou coeficiente alfa está

relacionado com a correlação entre cada par de

itens e o número de itens de uma escala. É a

medida de consistência mais utilizada. No entanto,

mesmo se uma escala apresenta um valor alfa alto

ela ainda pode ter itens pobremente

correlacionados entre si. Assim convém inspecionar

os seguintes valores da saída do SPSS:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A correlação parte/todo (ou correlação item/total) que é a correlação entre cada item e a soma dos outros itens.

A correlação múltipla ao quadrado para cada item, que é o r2 obtido se um item é colocado na regressão como uma variável critério com os outros itens como variáveis preditivas.

O valor do alfa de Cronbach para a escala se um item em particular é eliminado.

Page 12: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Clique em Ana lyze, depois em Scale e finalmente em Reliability Analysis. A seguinte caixa de diálogos irá abrir:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Mova todos os itens de interesse da escala do painel esquerdo para o direito, clicando sobre o item e depois na seta entre os painéis.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Se o modelo for processado dessa forma a única saída obtida será:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

****** Method 1 (space saver) will be used for this analysis ******

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Reliability Coefficients

N of Cases = 48,0 N of Items = 20

Alpha = ,8994

Ou seja a única estatística de interesse será o valor do coeficiente alfa que nesse caso é 0,8994.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Para obter outros resultados de interesse clique em Statistics que abrirá a seguinte caixa de diálogos:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Marque então as seguintes opções:

Clique em Continue. Nesse caso teremos:

Page 13: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

***** Method 2 (covariance matrix) will be used for this analysis ******R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Mean Std Dev Cases1. Q_A 3,9583 ,8495 48,0 2. Q_C 3,8958 1,0364 48,03. Q_D 4,2708 ,7068 48,04. Q_E 4,4583 ,6510 48,05. Q_F 4,0208 1,0617 48,06. Q_J 4,3333 ,8833 48,07. Q_N 3,6875 1,1139 48,08. Q_O 4,2292 ,7784 48,09. Q_S 3,3542 ,8377 48,0

10. Q_T 3,8750 1,0644 48,011. Q_BR 3,9583 ,9216 48,012. Q_GR 4,3958 ,7363 48,013. Q_HR 3,7917 ,7426 48,014. Q_IR 3,5833 ,9857 48,015. Q_KR 3,6042 1,1250 48,016. Q_LR 3,9167 1,0280 48,017. Q_MR 3,0208 1,1202 48,018. Q_PR 3,9583 ,7978 48,0 19. Q_QR 3,0000 ,9893 48,020. Q_SR 3,5000 ,8251 48,0

Essa tabela é a opção item da Descriptives da caixa Statistics.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

N of Cases = 48,0

Statistics for Mean Variance Std Dev N of Variables

Scale 76,8125 117,4322 10,8366 20

Esse resultado é conseqüência de ter marcado a opção Scale do item Descriptives da caixa Statistics.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Item-total StatisticsScale Scale CorrectedMean Variance Item- Squared Alphaif Item if Item Total Multiple if ItemDeleted Deleted Correlation Correlation Deleted

Q_A 72,8542 107,1059 ,5462 ,7259 ,8942Q_C 72,9167 106,4184 ,4649 ,8423 ,8966Q_D 72,5417 108,0408 ,6052 ,7828 ,8934Q_E 72,3542 108,6166 ,6185 ,7001 ,8935Q_F 72,7917 101,1472 ,7098 ,7512 ,8889Q_J 72,4792 105,1485 ,6351 ,8133 ,8918Q_N 73,1250 114,7074 ,0622 ,3800 ,9097Q_O 72,5833 108,2482 ,5296 ,8215 ,8948Q_S 73,4583 112,4663 ,2400 ,3776 ,9017Q_T 72,9375 106,0598 ,4670 ,7845 ,8967Q_BR 72,8542 106,7655 ,5155 ,7195 ,8949Q_GR 72,4167 106,1206 ,7099 ,7687 ,8909Q_HR 73,0208 106,4889 ,6781 ,7936 ,8916Q_IR 73,2292 105,3293 ,5502 ,7608 ,8940Q_KR 73,2083 102,7216 ,5896 ,8693 ,8929Q_LR 72,8958 103,7974 ,6005 ,7331 ,8925Q_MR 73,7917 103,5301 ,5548 ,7823 ,8941Q_PR 72,8542 106,4251 ,6300 ,6950 ,8923Q_QR 73,8125 105,2194 ,5535 ,7712 ,8939Q_SR 73,3125 106,5173 ,6009 ,6152 ,8929

Esse resultado éconseqüênciade se termarcado a opção Scale if item deleted dacaixa de diálogosStat istics.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Reliability Coefficients 20 itemsAlpha = ,8994 Standardized item alpha = ,9068

Continuação da tabela anterior.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

O alfa padronizado (Standardized item

alpha) é calculado com base na hipótese

(não necessariamente válida) de que as

variâncias de cada item são iguais. Ele é

resultado da opção Inter-item na caixa de

diálogo Statistics da Análise de

Confiabilidade.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Pelo valor de alfa essa escala é

confiável. Mas é possível melhorar um

pouco mais esse valor. Se forem retirados

ou refeitos os itens q_n e q_s, observe que

os valores de alfa, em cada caso,

aumentariam.

Page 14: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A opção por omissão é o alfa, mas na

linha modelo (model) é possível escolher

outros modelos. Uma possibilidade é rodar

o modelo divisão pela metade (split-half)

ao invés de alfa.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

As saídas adicionais, para esse modelo,

são mostradas a seguir:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

****** Method 1 (space saver) will be used for this analysis ******R E L I A B I L I T Y A N A L Y S I S - S C A L E (S P L I T)

Statistics for Mean Variance Std Dev N of VariablesPART 1 40,0833 29,1418 5,3983 10PART 2 36,7292 41,9038 6,4733 10SCALE 76,8125 117,4322 10,8366 20

Reliability CoefficientsN of Cases = 48,0 N of Items = 20Correlation between forms = ,6637 Equal-length Spearman-Brown = ,7979Guttman Split-half = ,7900 Unequal-length Spearman-Brown = ,797910 Items in part 1 10 Items in part 2Alpha for part 1 = ,7944 Alpha for part 2 = ,8781

Esse resultado mostra as estatísticas para toda a escala mais as das somas das respostas de cada uma das metades.

A correlação entre as somas dos itens em cada metade.

Dimensionalidade

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

É possível medir a dimensionalidade de uma escala ou questionário. Primeiro se for desejado uma escala em que todos os itens meçam um único construto pode-se verificar qual a carga de cada item em uma única componente. Itens com cargas fracas são descartados ou reescritos.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Segundo para verificar se existe

mais de um componente na escala

pode-se util izar a análise de

componentes ou de fatores para

determinar a estrutura da escala.

Page 15: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Pode-se utilizar os itens que estão mais

fortemente relacionados a cada

componente, se existir mais de um, como

sub-escalas. Assegurar-se de que uma

escala é unidimensional ou que as sub-

escalas sejam identificadas é um dos

aspectos da validade de construto.

Identificando escalascom um componente

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Entre com os itens na análise de componentes

principais. Para isso basta fazer:

1. Na caixa de diálogos Factor Analysis:

Extraction marque o número de fatores para 1.

2. Na caixa de diálogos Factor Analysis: Options,

selecione Sorted by size. A principal componente

explica apenas 38% da variância

As duas tabelas mais importantes para esse

objetivo são mostradas a seguir:Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Total Variance Explained

7,654 38,272 38,2722,416 12,081 50,3531,463 7,313 57,6661,185 5,924 63,5901,099 5,495 69,0851,059 5,297 74,381,731 3,655 78,037,697 3,485 81,522,659 3,295 84,817,552 2,760 87,577,506 2,529 90,105,449 2,246 92,351,332 1,658 94,009,295 1,474 95,483,266 1,332 96,815,219 1,097 97,912,161 ,803 98,714,117 ,586 99,301,107 ,537 99,838,032 ,162 100,000

Component1234567891011121314151617181920

Total % of Variance Cumulative %Initial Eigenvalues

Extraction Method: Principal Component Analysis.

A principal componente explica apenas 38% da variância

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A partir da análise deve-se

descartar os itens q_s e q_n ou então

reescreve-los. Observe que esses itens

também foram identificados na

análise de confiabilidade (Estatísticas

Item_Total) anterior.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Component Matrix a

,777,765,721,702,687,684,663,654,777,632,621,615,614,605,597,589,518,517,280,074

Q_FQ_GRQ_HRQ_JQ_PRQ_EQ_KRQ_DQ_SRQ_LRQ_IRQ_QRQ_MRQ_AQ_BRQ_OQ_TQ_CQ_SQ_N

1Component

Extraction Method: Principal Component Analysis.1 components extracted.a.

A regra prática é que se um item apresenta uma carga inferior a 0,4 ele deve ser descartado ou rev isto.

Page 16: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Se um item for eliminado então outra

análise deve ser executada com os dados

restantes, pois a carga dos fatores irá se

alterar. Para esses dados vamos verificar que

a maior componente aumenta para 42% e

as cargas dos demais itens permanecem

acima de 0,50.

Medindo a estruturados itens na escala

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Entre com os 20 itens na análise de

componentes principais da análise de

fatores. Para isso basta repetir a análise

anterior com exceção da opção Sorted by

size. Apenas alguns dos resultados são

mostrados.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Verifique os indicadores de

fatorabilidade. Alguns deles são razoáveis. O

valor do KMO, no entanto, é de apenas 0,59.

Também alguns dos valores individuais do

KMO na diagonal da matriz de correlação

anti-imagem estão abaixo do valor 0,50 o

que significa um desempenho pobre do

item.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

KMO and Bartlett's Test

,594

566,695190

,000

Kaiser-Meyer-Olkin Measure of SamplingAdequacy.

Approx. Chi-SquaredfSig.

Bartlett's Test ofSphericity

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A tabela da variância total explicada

mostra que existem seis componentes com

autovalores maiores do que um. Ela

também mostra o percentual da variância

que é explicada após a rotação dos

componentes.

Page 17: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Component Matrix a

,605 ,377 -,180 ,196 ,079 -,330,517 ,516 ,105 -,222 -,368 ,055,654 ,464 -,130 ,285 ,090 -,163,684 ,323 ,168 -,280 -,081 -,236,777 -,247 ,105 ,045 -,163 ,023,702 ,061 -,182 -,056 -,053 -,277,074 ,482 -,160 ,244 -,042 ,706,589 ,266 ,441 ,041 -,413 ,021,280 ,016 ,512 -,264 ,635 ,061,518 ,176 ,273 ,656 ,255 -,109,597 -,536 -,144 -,136 -,082 -,098,765 -,018 ,181 -,186 -,043 ,172,721 -,414 ,027 ,348 -,190 ,063,621 -,544 ,168 ,261 ,041 ,025,663 -,291 -,506 -,119 -,092 -,064,632 ,308 -,073 -,124 ,059 ,278,614 -,376 -,313 ,029 ,215 ,313,687 ,131 -,037 -,195 ,365 -,067,615 -,357 ,383 -,185 -,065 ,192,644 ,262 -,427 -,162 ,176 ,091

Q_AQ_CQ_DQ_EQ_FQ_JQ_NQ_OQ_SQ_TQ_BRQ_GRQ_HRQ_IRQ_KRQ_LRQ_MRQ_PRQ_QRQ_SR

1 2 3 4 5 6Component

Extraction Method: Principal Component Analysis.6 components extracted.a.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A matriz dos componentes

rotacionadas anterior mostra que quatorze

dos 20 itens tem a maior carga em um dos

dois primeiros componentes, com três itens

no terceiro. Os últimos três componentes

estão distribuídos nos componentes quatro,

cinco e seis. Observe que os itens q_n e q_s

estão entre esse três.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Scree Plot

Component Number

2019

1817

1615

1413

1211

109

87

65

43

21

Eige

nval

ue

10

8

6

4

2

0

O diagrama de decliv idade mostra apenas dois componentes acima do limite entre a parte íngreme e a parte plana da curva.

Discriminação

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Discriminação significa que pessoas

com escores diferentes em um questionário

devem diferir no construto de interesse. Assim

se o teste é de habilidade numérica então

pessoas com habilidade e sem habilidade

devem ter pontuações diferentes. Existem

três corolários a serem considerados:

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

1. Pessoas com o mesmo escore devem ser iguais quanto ao construto sendo mensurado;

2. Pessoas com escores diferentes devem ser diferentes quanto ao construto sendo avaliado e

3. O grau de diferença entre as pessoas deve ser proporcional aos escores.

Page 18: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Viés nasRespostas

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Mesmo quando a formulação das questões é cuidadosa existem ainda problemas que podem surgir na construção de um questionário.

Conjuntos de respostas padronizadas ou tendenciosidade assumem várias formas sendo a mais comum a concordância ao invés da discordância. É o conhecido “digo sim”. O “digo não” é menos comum.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

O problema quando isso ocorre

é não levar em conta os itens como

tal mas sim o de se obter respostas

estereotipadas a despeito do que

está sendo perguntado.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A forma de lidar com o problema é se

assegurar de que não existem padrões

óbvios na forma em que as questões são

apresentadas. Sempre que possível evite

categorizar questões. Tente manter o

respondente alerta apresentando questões

de forma variada de preferência em ordem

aleatória.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Uma forma adicional de manter o viés

no mínimo é tentar balançar o número de

declarações positivas e negativas. Se o

respondente enfrentar um grande número

de questões em que uma resposta positiva

(negativa) seja necessária isso pode levá-lo

a acreditar que sempre será assim.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

A tendência social é uma forma

de viés de resposta em que o

respondente fornece o que é mais

aceito socialmente do que o que ele,

de fato, pensa. É o hoje denominado

politicamente correto.

Page 19: Decidir sobre: Estabelecer uma ligação comeuler.mat.ufrgs.br/~viali/cursos/ceea/multi/laminas/CEEA_06.pdf · O Conteúdo das perguntas; Formato das respostas desejado; ... O público

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

Alguns acreditam que isso é um problema individual e não do questionário. Para lidar com isso pode-se incorporar o que é conhecida como “escala da mentira”, isto é, formular questões para identificar as pessoas que tendem a responder de forma socialmente desejável. Uma vez identificados eles podem ser excluídos do estudo.

Referências

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

BOOTH, W. C. , COLOMB, G. G, WILLIAMS, J. M. A arte da pesquisa (The Craft of Research). SãoPaulo: Martins Fontes. 2000.

BRACE, Nicola, KEMP, Richard, SNELGAR, Rosemary. SPSS for Psychologists: versions 12 and 13. New York: Palgrave MacMillan. Third Edition, 2006.

FIFE-SCHAW, C. Questionnaire design. In: G. M. Breakwell, S. Hammond & C. fifeshaw (Eds.). Research Methods in Psychology (2nd ed., Chapter 120. London: Sage.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

FRARY, Robert B. Hints for designing effective questionnaires. Practical Assessment, Research & Evaluation. v. 5, n. 3, 1996.

SCHEAFFER, Richard L., MENDENHALL, William. Elementary Survey Sampling. New York: Thonson, 1996. 5th Edition.

Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística – [email protected]

http://www.chssc.salford.ac.uk/healthSci/resmeth2000/resmeth

/questatt.htm

http://www.chssc.salford.ac.uk/healthSci/resmeth2000/resmeth

/chap2.htm (Ver métodos quantitativos)

http://home.ubalt.edu/ntsbarsh/stat-data/Surveys.htm