Validade InternaCapítulo 2

Capítulo 2 – Shadish , Cook e Campbell (2002)

Pp. 53- 63

Definições A covariação entre A e B reflete uma relação causal de A para

B na forma como as variáveis foram manipuladas ou mensuradas? A deve preceder B A deve covariar com B Inexistência de hipóteses alternativas

Termo livre de confusões proposto por Campbell (1986):

VALIDADE CAUSAL MOLAR LOCAL

Refere-se às inferências causais Os experimentos são

pacotes complexos constituídos por muitos componentes

Limitação da conclusão ao contexto

do treinamento

Ameaças à Validade Interna

“Tipicamente, nós inferimos um efeito a partir de uma causa por meio da eliminação de outras possíveis causas” (Mackie, 1974), tais como: Precedência temporal ambígua Seleção História Maturação Regressão Desgaste Testagem Instrumentação Efeitos Aditivos e Interativos das Ameaças

Ameaças à Validade Interna

Precedência temporal ambíguaEspecialmente em estudos correlacionais, a relação temporal

entre A e B pode ser confusa. O fato de A ocorrer antes de B não justifica que A causa B.

SeleçãoAs diferenças entre os grupos experimentais e de comparação

(ou de controle), em algumas vezes, podem ser responsáveis por diferentes resultados na implementação do programa. A característica chave desta ameaça é a confusão dos efeitos do tratamento com diferenças existentes na população pesquisada.

Ameaças à Validade Interna

HistóriaQualquer evento ocorrido entre o início do tratamento

e o pós-teste e que pode ter produzido os efeitos observados na ausência do tratamento.

MaturaçãoAlterações naturais que podem ocorrer mesmo na

ausência do tratamento. Podem constituir-se em ameaça se produzirem os resultados atribuíveis ao tratamento.

Ameaças à Validade Interna

RegressãoComum quando os participantes são selecionados a

partir de escores extremos, os quais tendem a não ser tão extremos em outras mensurações (regressão para a média).

MortalidadeRefere-se à perda de sujeitos ou participantes da

pesquisa. Essa perda pode provocar diferenças entre pessoas que permanecerem em um e em outro grupo ou condição (controle, tratamento).

Ameaças à Validade Interna

Teste Influência exercida por um teste sobre os resultados da

aplicação do mesmo teste em outra situação. Apesar de preocupante, esta ameaça é menor quando o intervalo de tempo entre uma e outra aplicação de um teste é razoável.

InstrumentaçãoUma alteração no instrumento pode ocorrer ao longo do

tempo mesmo na ausência do tratamento, simulando, assim, o efeito do tratamento. Difere da ameaça referente à testagem, pois reflete uma mudança no instrumento, e não no participante. Comum em estudos sobre o desenvolvimento infantil, em que as medidas são alteradas ao longo do tempo.

Ameaças à Validade Interna

Efeitos AditivosVárias ameaças podem ocorrer conjuntamente. A

rede de ameaças será maior ou menor, dependendo da direção e da magnitude do efeito de cada viés e da forma como essas variáveis atuam conjuntamente (aditivamente ou interativamente);

Inferências causais imprecisas são mais prováveis quanto há muitas ameaças operando simultaneamente na mesma direção.

Reduzindo as ameaças Em delineamentos quase-experimentais:

Modificar as características do desenho da pesquisa ou tornar as ameaças explícitas e, então, eliminá-las uma por uma.

Ano

Nú

mer

o d

e L

igaç

ões

62 6864 66 70 7472

500

1000

1500

2000

2500

3000cobrança

• Intervenção: Cobrança de 20 centavos por ligação para o diretório local de assistência.• Análise das ameaças à validade:

• Regressão: improvável, pois a série anterior à intervenção relata um alto número de ligações por muitos anos;• Seleção: improvável, pois a população usuária do serviço não sofreu mudanças atípicas nos meses anteriores e posteriores à intervenção;• Mortalidade: improvável, pois é difícil imaginar que grande parte dos usuários tenham desconectado seus telefones em resposta à cobrança;• Testagem: no caso, o teste é a conta do usuário, a qual não sofreu alteração alguma nos períodos analisados;• História: plausível somente se outro evento ocorrido simultaneamente com a cobrança tivesse gerado efeito tão drástico, o que parece improvável.

Validade da conclusão estatística:

Questões relevantes:As variáveis independentes e dependentes estão de fato correlacionadas?O efeito da VI sobre a VD foi estatisticamente significativo?

Possíveis ameaças: baixo poder estatístico (amostras pequenas ou testes com baixo poder para testar o efeito); violação de pressupostos estatísticos; instrumentos pouco válidos; heterogeneidade dos sujeitos nas condições; uso de muitos testes estatísticos para testar efeitos; baixa confiabilidade do experimento ou condições de pesquisa; ocorrências imprevistas durante o experimento.

Validade interna

Questões importantes:O que causou os efeitos? O tratamento sozinho produziu os resultados?Há explicações alternativas para os efeitos? Quais são elas?Até que ponto (quanto e em que direção) essas variáveis externas afetaram os resultados?

Ameaças: história (ocorrências alheias ao experimento); maturação (alterações nos participantes ocorridas entre o pré e o pós-teste); instrumentação e testagem, regressão à média, interação da seleção de sujeitos com o tratamento gerando grupos não equivalentes; difusão ou imitação; equalização compensatória dos grupos; rivalidade compensatória entre grupos (controle e tratamento); desmotivação ressentida de um ou mais grupos.

Validade de constructo

Questões importantes:O que significam os resultados?Como os conceitos foram definidos? As definições e operacionalizações estão alinhadas entre si? As medidas são válidas (representativas do constructo que se propõem a medir?) e precisas (avaliam apenas o que estão se propondo a medir?

Ameaças:

Explicações imprecisas dos constructos;Distorção causada pela mono-operacionalização (uma medida para um constructo);Distorção causada pelo mono-método (mesmo método ou método similar);Sujeitos da pesquisa com conhecimento das hipóteses experimentais;Confusão entre conceitos; Expectativas do a avaliador.Dificuldade de generalização dos achados em função da definição e medidas adotadas.

Validade Externa:

Questão relevante:

Os achados da pesquisa podem ser generalizados para outras pessoas, contextos e épocas?

Ameaças:

- amostras de conveniência impedem ou dificultam a generalização;

- interações com variáveis externas.

Delineamentos e controle de ameaças

Fonte: Meneses, 2007

Delineamentos e controle de ameaças

Fonte: Meneses, 2007

Delineamentos e controle de ameaças

Fonte: Meneses, 2007

Delineamentos e controle de ameaças

Fonte: Meneses, 2007