1

Laboratrio de Psicologia Experimental Departamento de Psicologia UFSJ Disciplina: Mtodo de Pesquisa Quantitativa

TEXTO 4: VALIDADE INTERNA E EXTERNA DE UMA PESQUISA

VIESES

Autora: Prof. Marina Bandeira, Ph.D.

Um experimento no confirma definitivamente uma hiptese. Ele apenas coloca prova esta hiptese. Como resultado do experimento, ns podemos tomar duas decises opostas: podemos decidir refutar, eliminar a hiptese, quando os dados foram contrrios nossa hiptese; ou ento, podemos decidir no refutar, no eliminar aquela hiptese, quando nossos dados foram a favor de nossa hiptese. Neste ltimo caso, podemos apenas dizer que por enquanto esta hiptese permanece e no ser eliminada, nem a teoria de onde ela derivou ser contestada. Neste caso, nossa hiptese estar provisoriamente sobrevivendo. Mas ela ser colocada prova novamente por um outro pesquisador, mais tarde. As hipteses esto sempre disposio para serem colocadas prova. Portanto, fazer pesquisa colocar prova uma hiptese. Uma hiptese experimental consiste em um enunciado relacionando duas variveis em uma relao causal. Ela redigida em termos afirmativos, explicitando que a varivel independente causar um determinado efeito em uma varivel dependente.

Validade interna:

Uma pesquisa ser mais vlida se pudermos ter mais certeza de que nossa hiptese a nica explicao para os resultados e que outras possveis explicaes no so viveis. Mas como fazer isto? Para verificar uma hiptese atravs da realizao de uma pesquisa e ter certeza do efeito da VI sobre a VD necessrio que a montagem de nossa pesquisa seja capaz de evitar que variveis esprias interfiram com o efeito de nossa VI. Quando montamos a estratgia de nossa pesquisa de forma a evitar a interferncia de variveis esprias, estamos deste modo eliminando possveis hipteses rivais para explicar nossos dados. Cada varivel espria que pudesse interferir com o efeito da VI seria uma hiptese rival, ou seja, uma hiptese que estaria rivalizando com nossa hiptese experimental para explicar os resultados. Uma pesquisa tem alta validade interna quando ela capaz de diminuir as hipteses rivais plausveis, deixando apenas a nossa hiptese experimental como explicao plausvel dos dados. E a pesquisa s conseguir diminuir hipteses rivais plausveis se sua montagem, ou seja, seu delineamento, puder controlar as variveis esprias que interferem com a interpretao dos dados. A validade interna, portanto, garantida quando o delineamento escolhido permite se ter certeza de que as relaes observadas empiricamente entre as variveis VI e VD no podem ser

2

explicadas por outros fatores, outras variveis alm da VI, ou seja, quando se controla as explicaes rivais plausveis que poderiam explicar os resultados. Vieses so as variveis esprias que interferem com o efeito da VI. Quando controlamos os vieses de uma pesquisa, estamos garantindo sua alta validade interna. No possvel controlar todos os vieses, mas procuramos diminuir o mximo possvel. A montagem de pesquisa que a melhor e mais respeitada como estratgia de garantia da validade interna a distribuio aleatria dos sujeitos aos grupos.

Validade externa:

Por outro lado, dizemos que uma pesquisa possui validade externa quando ela permite ao pesquisador generalizar os resultados obtidos outras populaes, outros contextos. A validade externa de uma pesquisa vai depender de se poder mostrar que os resultados obtidos nesta pesquisa no so dependentes da amostra ou da situao particular desta pesquisa, mas que suas concluses so verdadeiras tambm para outros contextos, outras pessoas. A melhor estratgia para se garantir a validade externa de uma pesquisa compor a amostra que ser estudada com sujeitos que sejam selecionados aleatoriamente da populao-alvo, de modo que a amostra seja representativa da populao.

VALIDADE INTERNA

Existe uma srie de vieses ou fatores esprios que interferem com a interpretao dos resultados quando o delineamento de uma pesquisa no permite eliminar a interferncia destes fatores. Surgem ento explicaes rivais plausveis dos resultados que so baseadas nestes vieses. Ao se elaborar um projeto de pesquisa necessrio indicar quais so os procedimentos que o experimentador adotar para tentar controlar estes vieses ou pelo menos diminuir o seu efeito.

H trs procedimentos bsicos que podem ajudar a controlar a maioria dos vieses. Dentre eles, entretanto, o principal procedimento e o mais respeitado para garantir a validade interna de uma pesquisa a distribuio aleatria dos sujeitos da amostra aos grupos que sero comparados na pesquisa (ver diagrama 1). Os trs procedimentos bsicos so os seguintes:

PROCEDIMENTOS BSICOS:

1. Ter um Grupo Controle com o qual se vai comparar os efeitos da VI. O grupo controle no submetido a VI, apenas o grupo experimental submetido VI. Mas o grupo controle importante justamente para vermos o que acontece com os sujeitos quando eles no so submetidos VI. Por exemplo, em uma pesquisa sobre o efeito de uma terapia, importante saber se as pessoas podem melhorar aps receber a terapia, mas igualmente importante saber se um grupo que no foi submetido terapia melhora tambm s com a passagem do tempo, sem ser submetido a nada. Ou ento, se este grupo no melhora, na ausncia da terapia. O grupo controle

3

recebe o efeito das variveis esprias. Ao observarmos o que acontece com o grupo controle, vemos o efeito de outras variveis que no so nossa VI. Por isto, podemos comparar o efeito da VI no nosso grupo experimental com o efeito dos vieses no grupo controle. Se o nosso grupo experimental obteve uma melhora igual ao do grupo controle ento conclumos que no foi a nossa terapia a causa da melhora, pois o nosso grupo controle tambm melhorou e, no entanto, no foi submetido a ela.

2. Igualar os dois grupos: Quando procuramos igualar as caractersticas dos dois grupos de nossa pesquisa, tais como sexo, idade, escolaridade, variveis clnicas, etc., podemos ter dois grupos de sujeitos equivalentes com relao s variveis individuais mais importantes. Deste modo, impedimos que estas variveis dos sujeitos interfiram nos resultados. Ou seja, o efeito que observamos no poder ser explicado pela idade mdia do grupo dos sujeitos ou pelo seu nvel de escolaridade ou pelas suas caractersticas clnicas, porque as mdias destas variveis sero iguais nos dois grupos, portanto estas variveis foram controladas. Quando ns observamos que sujeitos equivalentes do grupo controle no apresentam os mesmos resultados que nossos sujeitos do grupo experimental que foram submetidos ao tratamento, podemos concluir com mais certeza que o tratamento deve ser o nico responsvel pelos resultados do grupo experimental e no estas variveis individuais.

3. Distribuio aleatria dos sujeitos aos grupos: Esta a melhor maneira de se controlar os vieses que ameaam a validade interna de uma pesquisa. Ao distribuirmos aleatoriamente os sujeitos aos grupos, ns escolhemos ao acaso o grupo para o qual cada sujeito ser designado. Ou seja, para cada sujeito, tiramos a sorte para decidir se ele ir para o grupo experimental ou para o grupo controle. Com isto, estamos distribuindo aleatoriamente as variveis individuais, de modo que estas variveis fiquem igualmente distribudas em um e outro grupo e desta maneira estamos tornando os grupos equivalentes. Por exemplo, aps fazermos a distribuio aleatria dos sujeitos teremos um grupo experimental com sujeitos de vrias caractersticas clnicas e scio-demogrficas, mas tambm o grupo controle ser igualmente composto por sujeitos com variadas caractersticas clnicas e scio-demogrficas. Ambos os grupos sero igualmente variados e heterogneos, pois a distribuio aleatria garante que os grupos tero uma composio variada, mas semelhante de variveis. Portanto, ficaremos mais seguros em afirmar que as diferenas de resultados que encontrarmos na pesquisa no sero resultantes de diferenas iniciais entre os grupos, mas sim o resultado da nossa varivel independente.

VIESES QUE AMEAAM A VALIDADE INTERNA:

So oito os principais vieses que ameaam a validade interna de uma pesquisa

1A. Histria:

o vis provocado pela ocorrncia de um evento externo simultaneamente ocorrncia da VI e que ir influenciar a varivel dependente durante o desenrolar do experimento. As mudanas observadas na nossa VD podero, neste caso, ter sido causadas tanto pela nossa VI, quanto pelo evento histria. Se no utilizarmos nenhum procedimento de controle ou um bom

4

delineamento, no saberemos se as mudanas observadas foram provocadas pela VI ou por este vis. H vrios tipos de eventos que podem provocar este vis, tais como:

Eventos sociais: Suponhamos que voc esteja fazendo uma pesquisa sobre a atitude das pessoas a respeito dos negros. Voc quer verificar se as pessoas mudam de atitude aps ver um filme positivo sobre negros. Para testar esta hiptese, voc faz um pr-teste (O1) medindo a atitude de seus sujeitos atravs de um teste de atitude. Em seguida, voc os expe ao filme, que seu tratamento ou sua varivel independente (que chamaremos de X). Depois, voc mede outra vez a atitude dos sujeitos, aplicando-lhes o mesmo teste de atitude, em um ps-teste (O2) para ver se mudaram de atitude. Teremos ento o seguinte esquema: 01-X-02. Neste tipo de pesquisa, fcil imaginar um evento social capaz de enviesar nossos resultados. Por exemplo, suponha que entre 01 e 02 ocorra uma calamidade na cidade e um indivduo negro se destaca como heri que salvou pessoas, este evento tendo sido noticiado nos jornais e comentado pelas pessoas. Este evento constitui um vis histria que, ocorrendo simultaneamente ao tratamento (X), pode afetar nossos resultados e no saberemos se foi ele a causa das mudanas positivas obtidas em 02. O contrrio tambm poderia ocorrer, ou seja, um evento social negativo praticado por um negro, por exemplo, um crime, poderia afetar nossos resultados no sentido oposto, ou seja, no sentido de diminuir o efeito positivo de nosso filme. Tambm neste caso no saberamos se nossa VI no teve efeito porque ineficaz ou devido interferncia deste vis histria.

Efeito da estao do ano: O incio de uma estao pode provocar mudanas no humor das pessoas. Se este evento acontecer simultaneamente ocorrncia de nossa VI no saberemos se foi este vis a causa das mudanas que observamos ou se a causa foi nossa VI.

Efeito de eventos institucionais: eventos tais como exames finais ou peridicos, proximidade das frias, greves, eleies, etc. afetam as pessoas e se ocorrerem simultaneamente introduo de nossa VI, podero confundir nossos resultados.

Ciclos da semana: a chegada do fim de semana pode afetar as pessoas, provocando mudanas em seu humor, aumentando ou diminuindo a freqncia do comportamento observado (VD). Se deixarmos que nossa VI seja introduzida no fim de semana ou no incio da semana, ento as mudanas obtidas na VD podero ter sido causadas por este vis histria.

Uma maneira de controlar o vis histria utilizar um grupo controle (GC), porque se um destes eventos esprios ocorrerem ao mesmo tempo em que nossa VI, este evento afetar no s nosso grupo experimental (GE), mas ele afetar tambm nosso grupo controle. Ento veremos que o grupo controle tambm apresenta mudanas na mesma direo do outro grupo. Neste caso, saberemos que houve um vis histria e saberemos tambm a intensidade de seu efeito. Se o GE apresentar mudanas mais fortes do que o GC no ps-teste, isto nos indicaria que o GE sofreu efeito tanto do vis histria quanto da nossa VI. A diferena entre o efeito obtido no GC e o efeito obtido no GE nos dar a dimenso do efeito da VI. Se, ao contrrio, o grupo experimental apresentar o mesmo grau de mudana em O2 que o grupo controle ento saberemos que o efeito observado um vis e no o efeito do tratamento.

5

1B. Histria interna:

Entretanto, h um vis parecido com este que no estar controlado com a utilizao do grupo controle. Trata-se do vis historia interna. Dizemos interna para nos referirmos a eventos que ocorrem diferentemente no GE e no GC. Por exemplo, ao fazermos nossa medida da VD nos nossos dois grupos, aps o tratamento (VI), possvel que ocorra um evento durante esta sesso do GE que no ocorre no GC, como por exemplo, uma piada engraada do experimentador que no foi dita no outro grupo ou instrues mais detalhadas para o GE do que para o GC, ou o horrio da sesso que pode favorecer o GE e desfavorecer o GC. Se um destes eventos tem o poder de afetar o comportamento dos sujeitos e se ele ocorre somente no grupo experimental, favorecendo-o, ento estar acontecendo o vis historia interna e o fato de termos um grupo-controle no serviu para evitar este vis. A melhor soluo para controlar este vis testar cada sujeito individualmente, separadamente. No se deve fazer a sesso para todos os sujeitos de um grupo juntos ao mesmo tempo e depois para todos os sujeitos do outro grupo. Mesmo ao fazermos a medida da VD individualmente, no devemos avaliar os sujeitos de um grupo e depois os sujeitos do outro grupo, mas sim distribudos ao acaso. A melhor maneira de controlar este vis designar sujeitos e os perodos ou horrios aleatoriamente a duas condies experimentais.

2. Maturao:

Este um vis ocasionado pela influncia de variveis ligadas a processos internos aos sujeitos, ou seja, processos biolgicos ou psicolgicos que ocorrem entre O1 e O2, independentemente da varivel independente, ou seja, de nossa interveno. Estes processos podem provocar mudanas nos sujeitos que podem interferir com o efeito do tratamento, se elas ocorrerem simultaneamente interveno. Por exemplo, se estivermos investigando o efeito de uma interveno teraputica no grau de depresso de um grupo de sujeitos e se ocorrer remisso espontnea de uma parte do grupo, o resultado mdio do grupo no ps-teste pode ser bem melhor do que no pr-teste, como resultado desta remisso espontnea e no como efeito de nossa interveno.

Em outras palavras, mesmo se no fosse introduzida nenhuma interveno teraputica neste grupo de sujeitos, poderia ocorrer uma melhora no seu grau de depresso por um processo natural de evoluo dos sujeitos em suas vidas. Este efeito de melhora natural (remisso espontnea) bem conhecido, podendo ocorrer em pacientes, por exemplo, que se encontram em lista de espera para receber tratamento psicoterpico. Outros processos internos podem ocorrer durante uma pesquisa, simultaneamente introduo da varivel independente, de modo a interferir com a interpretao de nossos dados. As principais fontes de influncia que podem acarretar no vis maturao so:

1. O desenvolvimento motor ou cognitivo dos sujeitos que ocorre com a idade, quando os sujeitos da pesquisa so crianas e estamos pesquisando o efeito de intervenes que envolvem estes processos;

2. O processo de envelhecimento dos sujeitos, quando os sujeitos so idosos e o efeito do envelhecimento pode mascarar o efeito da varivel independente.

6

3. Processos de fadiga, sono ou fome durante um experimento que duram algumas horas, quando o efeito da VI pode ser confundido com os efeitos destes processos.

4. Mudanas no nvel de motivao dos sujeitos durante a introduo da interveno, quando uma baixa de motivao pode interferir com o efeito da VI.

5. A prpria experincia adquirida pelo sujeito em sua vida, quando este efeito tem probabilidade de interferir com o efeito da VI.

Para controlarmos o efeito do vis maturao, necessrio utilizar um delineamento que inclui um grupo de controle. Neste caso, o vis maturao ocorrer nos dois grupos igualmente, e assim poderemos interpretar os resultados obtidos, sem haver o perigo de nos confundirmos com a interferncia deste vis. Mudanas ocorridas no grupo experimental que forem significativamente mais acentuadas do que as possveis mudanas ocorridas no grupo de controle podero ser interpretadas como sendo resultado da VI e no do vis maturao. Neste caso, o grau da mudana obtida no grupo experimental ser muito mais acentuado do que o grau de mudana ocorrida no grupo de controle, pois esta ultima seria provocada apenas pelos fatores ligados maturao.

3. Testagem:

Este vis ocorre quando os sujeitos aprendem a responder melhor ou pior a um questionrio aplicado no pr-teste e depois no ps-teste, para avaliar os efeitos da interveno na VD. Este vis tem maior probabilidade de ocorrer quando h muitas aplicaes de um mesmo questionrio ou quando o intervalo entre as aplicaes muito pequeno. Por exemplo, a aplicao repetida de um teste de inteligncia pode levar a uma melhora nos resultados devido aprendizagem dos sujeitos com este teste. Os testes de personalidade, quando repetidos, provocam geralmente um melhor resultado, mas ocasionalmente podem provocar um resultado pior. J os questionrios de atitude podem apresentar, em sua repetio, uma leve evidncia de aumento no preconceito (Campbell e Stanley, 1987).

Um efeito semelhante ao citado acima ocorre no caso das medidas reativas, por exemplo, quando fazemos uma auto-observao para medir o nmero de cigarros que fumamos por dia ou o nmero de itens extra de alimentos que ingerimos por dia. Outro exemplo de medida reativa a presena de um observador para avaliar, por exemplo, o comportamento dos sujeitos em uma sala de aula. A utilizao de microfones ou cmeras para registar o comportamento dos sujeitos tambm pode produzir um efeito de interferncia sobre os resultados. O controle do vis testagem pode ser feito utilizando-se um grupo de controle, pois havendo dois grupos de sujeitos na pesquisa o vis testagem ocorrer em ambos os grupos igualmente. Neste caso, podemos interpretar os resultados mais acentuados do grupo experimental ao efeito da VI e no ao efeito deste vis. Um efeito semelhante ao do vis testagem, geralmente considerado dentro deste item, consiste no efeito placebo de uma interveno. O efeito placebo se refere influncia positiva exercida por uma interveno, pelo simples fato dos sujeitos estarem sendo submetidos a um tratamento, mesmo quando este tratamento no possui nenhum ingrediente ativo. Por exemplo, se estivermos testando o efeito de um novo medicamento, o simples fato dos sujeitos estar tomando

7

um remdio pode provocar efeitos positivos, mesmo se este remdio for ineficaz. Para controlar este vis especfico, no basta utilizar um grupo de controle comum, ou seja, aquele grupo que no submetido a nenhum tratamento.

Para controlar o efeito placebo necessrio utilizar, alm disso, um grupo de controle especial, ou seja, aquele em que os sujeitos recebem uma interveno placebo. Uma interveno placebo aquela interveno que no possui nenhum ingrediente ativo. Por exemplo, no caso da pesquisa que testa um novo medicamento, deveramos ter um grupo de controle placebo que recebesse um remdio com as mesmas caractersticas de cor, odor e sabor do remdio novo dado ao grupo experimental, mas sem nenhum ingrediente ativo (simplesmente gua colorida). Evidentemente, necessrio que os sujeitos deste grupo de controle especial no percebam a diferena entre os dois medicamentos, o verdadeiro e o placebo. Deste modo, qualquer efeito placebo do novo medicamento ocorrer igualmente nos dois grupos, no grupo experimental e neste grupo de controle especial. Neste caso, se o grupo experimental apresentar um resultado significativamente mais acentuado do que o resultado deste grupo de controle especial podemos ter certeza de que devido ao efeito do ingrediente ativo do novo medicamento. Alm disso, importante que as pessoas que vo administrar os dois tipos de medicamento tambm no percebam a diferena entre eles, a fim de no comunicarem indevidamente esta informao aos sujeitos. o que se chama usualmente de procedimento do duplo cego, ou seja, tanto os sujeitos quanto os aplicadores esto cegos quanto ao tipo de interveno aplicada.

4. Instrumentao:

Chamamos de instrumentao o vis que ocorre quando nosso instrumento de medida sofre mudanas entre o pr-teste e o ps-teste, de modo a interferir com os resultados de nossa varivel independente. No saberemos ento se a mudana obtida em nossa VD se deve ao efeito da interveno ou se deve interferncia destas modificaes do instrumento de medida. Este vis pode ser provocado, por exemplo, por mudanas ocorridas na calibragem de um instrumento de medida entre o pr-teste e o ps-teste, tais como a distenso de uma balana. Quando utilizamos observadores como instrumentos de medida para registrar, por exemplo, a freqncia de um comportamento dos sujeitos, estes observadores podem sofrer mudanas tambm, tais como uma maior familiaridade ou habituao com o processo de medida ou mudanas de expectativa entre o pr-teste e o ps-teste, que consideraremos como mudanas no instrumento de medida. Para controlar este vis, no basta utilizarmos um grupo de controle, porque no podemos ter certeza de que este vis ocorrer igualmente nos dois grupos. Por exemplo, se o observador sabe quais sujeitos pertencem ao grupo experimental e se ele conhece a interveno a ser utilizada, sua expectativa de que esta interveno ir aumentar a freqncia do comportamento observado pode afetar sua forma de observar e medir. Sua expectativa pode induzi-lo inconscientemente a prestar mais ateno e a observar uma maior freqncia de comportamentos aps a interveno, s no grupo experimental. Seria necessrio, portanto, garantir que o observador no saiba se est observando o grupo de controle ou o grupo experimental, nem se o grupo observado est em perodo de pr ou ps-teste.

O mesmo problema teramos se nossa VD fosse uma prova de conhecimentos a ser aplicada antes e aps a interveno. O indivduo que ir corrigir estas provas tambm poder sofrer influncia de suas prprias expectativas a respeito da interveno, resultando em uma

8

correo diferente no pr e no ps-teste. Neste caso, deveramos misturar todas as provas, de modo que a pessoa que as corrige no saiba se trata de uma prova do grupo experimental ou do grupo de controle e tambm no saiba se se trata de uma prova aplicada antes ou aps a interveno. Para evitar que o cansao dos observadores afete sua maneira de observar e medir os comportamentos, e que isto favorea um ou outro grupo de sujeitos, devemos distribuir aleatoriamente os observadores para os diversos horrios de observao e para os diversos sujeitos a serem observados. Assim, os fatores cansao, mudana de motivao ou mudana na familiaridade dos observadores estaro distribudos igualmente para os diversos sujeitos dos dois grupos. Deste modo, os fatores que induzem falhas destes instrumentos de medida estaro controlados.

5. Mortalidade Experimental:

Este vis estar presente quando a taxa de abandono ou evaso dos sujeitos alterar a composio do(s) grupo(s), de forma que o resultado obtido no ps-teste seja decorrente desta mudana e no do efeito da VI. No caso de termos um delineamento com dois grupos de sujeitos, pode ocorrer, por exemplo, uma evaso diferencial dos sujeitos nos grupos GE e GC, de forma a favorecer o GE nos resultados finais. Ou seja, pode ser que os melhores sujeitos do GE permaneam na pesquisa e os piores sujeitos desistam e o contrrio ocorrer no GC. Neste caso, os resultados superiores do GE no ps-teste seriam decorrentes deste vis e no do efeito da VI. No caso de termos um delineamento de um s grupo na nossa pesquisa, pode ocorrer que a evaso dos sujeitos durante o experimento faa com que os piores sujeitos do grupo desistam, ficando apenas os melhores. Neste caso, o ps-teste apresentar resultados melhores no pelo efeito da VI, mas simplesmente por causa deste vis.

Para diminuir o efeito deste vis, podemos, por exemplo, solicitar os sujeitos que abandonaram o tratamento para participarem assim mesmo do ps-teste (02). Deste modo teremos resultados conservadores no ps-teste, o que significa que o efeito real da VI seria ainda mais forte do que parece. No caso de no termos mais nenhum acesso aos sujeitos que abandonaram a pesquisa, o que devemos fazer comparar os dados de pr-teste dos sujeitos que abandonaram a pesquisa com os dados de pr-teste dos sujeitos que permaneceram na pesquisa, para verificarmos se h ou no diferena significativa entre estes dois grupos de sujeitos, com relao a variveis pertinentes para os resultados do efeito da VI, tais como as variveis individuais e clnicas. Por exemplo, ao verificarmos se um grupo de 40 doentes mentais desinstitucionalisados, que foram devidamente preparados para tal, apresentam resultados melhores na sua reinsero social na comunidade do que um grupo de doentes mentais que no foram preparados para a reinsero social, observamos a evaso de 5 sujeitos do grupo experimental, uns por morte natural, outros por no quererem participar. Neste caso, ns devemos observar se estes sujeitos diferem dos demais, com relao a variveis clnicas, tais como tempo de hospitalizao, durao da doena, diagnstico, numero de rehospitalizaes e outras variveis que podem afetar os resultados do tratamento. Para isto, devemos computar os dados e aplicar um teste estatstico de significncia. A diferena entre os sujeitos que ficaram e os que no ficaram dever ento ser relatada, e os resultados do tratamento devem ser discutidos em funo deste fato. Se os que saram no apresentam diferenas significativas em relao aos que ficaram, ento a anlise dos resultados se faz normalmente. Caso contrrio, devemos ter cautela ao concluirmos a respeito do efeito de nossa VI, nos reportando sempre ao vis mortalidade experimental.

9

Um problema semelhante ocorre quando recrutamos sujeitos voluntrios para um tratamento e apenas alguns aceitam participar. Por exemplo, suponhamos que 100 sujeitos so escolhidos em um ambulatrio para participar de uma pesquisa sobre o efeito de um novo tratamento para a depresso, enquanto outros 100 serviro de grupo controle avaliados normalmente pela rotina de avaliao do ambulatrio. Entretanto, podemos constatar que dos 100 que foram convidados para participar do GE, somente 30 sujeitos aceitam participar da pesquisa. Como faremos para selecionar 30 sujeitos do grupo controle dentre os 100 que foram selecionados para este grupo GC? Quais sujeitos do grupo controle devero compor o grupo dos 30? Tambm neste caso, devemos comparar as caractersticas dos sujeitos que aceitaram com as dos sujeitos que no aceitaram. Para evitar que este problema ocorra, Stanley e Campbell (1966) sugerem que, neste caso, devemos proceder de maneira diferente do que foi exposto acima. Devemos primeiro convidar a totalidade dos 200 sujeitos que faro parte tanto do grupo controle quanto do grupo experimental. . Aps verificarmos quantos aceitam participar, s ento devemos dividir os grupos em dois, GE e GC.

6. Regresso estatstica em direo mdia:

Este vis ocorre quando escolhemos sujeitos com escores extremos no pr-teste para fazer parte de nossa pesquisa, principalmente quando temos apenas um delineamento de um s grupo. Por exemplo, suponhamos que escolhemos os piores alunos para participar de uma pesquisa sobre o efeito de um novo mtodo de ensino. Estes foram escolhidos com base nas piores notas obtidas em um pr-teste que fizemos. Acontece que os escores extremos de um teste, os piores ou os melhores, ou seja, aqueles valores que diferem demais da distribuio dos demais valores da amostra, so considerados como erros aleatrios positivos ou negativos.

Se repetirmos a aplicao deste mesmo teste na nossa amostra algum tempo mais tarde, observaremos que aqueles sujeitos que tiveram os valores positivos mais extremos do grupo tendero a obter valores menores da segunda vez. Por outro lado, aqueles sujeitos que tinham alcanado os valores negativos mais extremos do grupo, tendero a obter notas maiores na segunda vez. Ou seja, existe uma tendncia a uma regresso dos valores extremos em direo mdia do grupo. Este fenmeno, segundo os estatsticos, provocado pela ocorrncia de uma correlao imperfeita teste-reteste do instrumento de medida usado. impossvel termos um instrumento de medida que possua correlao teste-reteste igual a 1.0, que seria a correlao perfeita. Quanto menor a correlao teste-reteste de um instrumento de medida, maior a probabilidade de ocorrer este vis de regresso em direo mdia. Este fenmeno da regresso media ocorre somente quando ns selecionamos deliberadamente nossos sujeitos com base nos piores ou nos melhores escores do pr-teste.

No caso de usarmos um delineamento de dois grupos em nossa pesquisa, o fenmeno da regresso mdia estaria controlado, na medida em que a regresso iria ocorrer igualmente no GE e no GC. Porm, ns s poderemos ter certeza que a regresso ocorrer igualmente nos dois grupos, se eles forem retirados aleatoriamente da populao. Porque somente neste caso que os dois grupos sero representativos da populao, ou seja, tero a mesma distribuio de valores da populao e, portanto, tero uma distribuio equivalente de valores, se comparado um com o outro. Sendo equivalentes, a regresso ocorrer da mesma forma em um e em outro grupo. Campbell e Stanley (1966) advertem contra uma prtica errnea dos pesquisadores quando analisam subgrupos dentro de um grupo experimental que teve valores extremos. Por

10

exemplo, no se pode tomar um subgrupo de sujeitos do GE para verificar se aqueles que foram os piores no pr-teste foram os que melhoraram mais no ps-teste. Esta anlise no valida, segundo estes autores. O que se pode fazer, no mximo, apenas comparar este subgrupo do GE com o subgrupo equivalente do GC.

7. Seleo:

Este um vis ocasionado por diferenas que podem existir desde o incio entre o grupo experimental e o grupo controle, quando se usa um delineamento de dois grupos no equivalentes. Esta diferena inicial poderia ser ento a causa dos resultados no ps-teste e no o efeito da nossa VI. Em outras palavras, mesmo se no tivssemos aplicado nenhum tratamento, os grupos dariam resultados diferentes no ps-teste, devido suas diferenas iniciais. Por exemplo, suponhamos que queremos avaliar dois grupos de pacientes alcoolistas que j esto sendo tratados por dois tratamentos diferentes, um tradicional e outro com atividades programadas em um esquema de hospital-dia. Os sujeitos haviam se oferecido para participar do novo tratamento alternativo, compondo assim o GE e os demais haviam ficado compondo o grupo controle. Portanto, os dois grupos no eram equivalentes. Neste caso, possvel que os sujeitos que se ofereceram para participar do grupo experimental sejam, em sua maioria, sujeitos mais motivados e com menor grau de severidade do alcoolismo do que o outro grupo. Neste caso, eles seriam diferentes desde o incio e esta diferena favoreceria o GE. Ao aplicarmos um ps-teste para comparar os dois grupos, no poderamos saber se nosso GE apresenta melhores resultados devido ao tratamento alternativo ou devido ao fato de ser um grupo diferente, mais propcio a uma melhora. Este vis s pode ser controlado se, no incio do experimento, ns distribuirmos os sujeitos aleatoriamente aos GE e GC, no deixando assim a composio dos grupos ao desejo dos sujeitos. Esta distribuio aleatria serve para nos assegurar de que os dois grupos sero equivalentes um ao outro com relao distribuio das principais variveis relevantes avaliao do tratamento. Este o procedimento mais freqentemente utilizado pelos pesquisadores, porm no considerado pelos estatsticos como o recurso mais perfeito para controlar o vis seleo, porque o acaso tambm pode permitir, embora raramente, uma distribuio desigual de variveis importantes. O procedimento mais recomendado pelos estatsticos para garantir a equivalncia dos grupos primeiro igualarmos todos os sujeitos da pesquisa com relao s variveis mais importantes, atravs do emparelhamento dos casos. Depois, ento, distribumos aleatoriamente estes sujeitos aos GE e GC, de modo a garantir a distribuio eqitativa de todas as variveis entre os dois grupos.

8. Interao seleo-maturao ou outras:

Pode haver tambm interao entre os vieses expostos acima. Por exemplo, o vis seleo pode interagir com o vis maturao, provocando um vis particular desta interao. Neste caso, a maturao ocorrer diferentemente no GE comparativamente ao que ocorrer no GC. Por exemplo, suponhamos que queremos avaliar o efeito de um novo tratamento para a depresso. Os sujeitos se ofereceram voluntariamente para participar do tratamento e sero comparados aos sujeitos-controle, formando assim dois grupos no-equivalentes. provvel que os sujeitos que se ofereceram sejam diferentes dos demais desde o incio podendo, por exemplo, ser mais

11

motivados e apresentarem um grau de depresso menos severa. Alm disso, provvel tambm que a evoluo da depresso em um e outro grupo ocorra de forma diferente. Neste caso, podemos supor facilmente que estes sujeitos possam apresentar uma remisso espontnea maior do que o outro grupo. Ou seja, pode se tratar de um grupo de sujeitos que teriam de qualquer forma evoludo melhor do que o outro grupo. Assim os dois vieses estariam combinados em um efeito conjunto de interao, que favoreceria ainda mais o GE.

Uma maneira de controlar este vis utilizar o delineamento de sries temporais mltiplas, no qual todos os dois grupos so avaliados vrias vezes antes e depois do tratamento, como se fossem duas sries temporais (duas sries A-B). Por exemplo, todos os sujeitos seriam avaliados todas as semanas, durante 6 semanas. Depois do tratamento, o mesmo procedimento seria feito. Neste caso, poderamos observar a evoluo de cada grupo separadamente. Se houver alguma tendncia a uma maturao diferente no GE do que no GC, devido ao vis interao, poderemos notar isto desde o incio, nas 6 primeiras medidas anteriores ao tratamento.

VALIDADE EXTERNA

A validade externa de uma pesquisa se refere, como dissemos no incio do captulo, capacidade de podermos generalizar os resultados, obtidos com a nossa amostra, populao em geral. O que queremos, ao realizar uma pesquisa, descobrir relaes causais que possam ser verdadeiras, no s para a nossa amostra, mas para as pessoas em geral, seno nossas concluses seriam muito limitadas e, portanto, de pouco interesse. Alguns vieses, quando no controlados, provocam esta limitao da validade externa da pesquisa, ou seja, conduzem a uma grande especificidade dos resultados obtidos quele tipo de sujeito estudado ou ao contexto especfico da pesquisa ou a algum conjunto indesejvel de condies especficas daquele experimento. Existe um procedimento bsico para se aumentar a validade externa de uma pesquisa, que selecionar os sujeitos que vo compor a nossa amostra aleatoriamente da populao-alvo, para que a nossa amostra seja representativa desta populao (ver diagrama 2). Somente com este procedimento, evitaremos ter uma amostra particular cujos resultados fiquem restritos a ela.

VIESES QUE AMEAAM A VALIDADE EXTERNA:

So quatro os principais vieses que ameaam a validade externa de uma pesquisa:

1. Interao entre o pr-teste e a VI (testagem-X):

Este vis ocorre quando o pr-teste produz um efeito sobre os sujeitos, no sentido de torn-los mais sensveis ou menos sensveis varivel experimental. O fato de se submeterem ao pr-teste pode aumentar ou diminuir a sensibilidade ou capacidade dos sujeitos interveno utilizada. Neste caso, o pr-teste ter modificado os sujeitos e, portanto, eles no sero mais representativos da populao. Os resultados que obtivermos no sero, portanto, generalizveis

12

populao em geral, pois esta composta de sujeitos que no foram pr-testados. Em outras palavras, o efeito de nossa VI fica limitado a sujeitos que tenham sido submetidos antes a um pr-teste.

Neste caso, no podemos ter certeza que nossa interveno poderia ter algum efeito em sujeitos que no se submeterem a um pr-teste. Por exemplo, consideremos o exemplo citado anteriormente referente pesquisa sobre atitudes em relao aos negros. A pesquisa visa testar o efeito de um filme a favor dos negros sobre o grau de racismo de uma amostra de sujeitos. Para isto, aplicamos um questionrio de atitude sobre os negros em nossa amostra (pr-teste) para avaliarmos seu grau de racismo inicial. Em seguida, submetemos nosso GE a assistir um filme de romance que mostra uma imagem muito positiva dos negros. Aps esta interveno, aplicamos de novo o mesmo questionrio de atitude (ps-teste) para verificamos se a atitude da amostra em relao aos negros se tornou mais positiva em conseqncia daquele filme.

Suponha, entretanto, que o fato de ter respondido ao pr-teste, fez com que nossos sujeitos despertassem para a questo do racismo, o que no teria acontecido se simplesmente tivssemos utilizado o filme, sem nenhum pr-teste. Neste caso, despertando para esta questo, os sujeitos iro assistir ao filme com uma outra perspectiva, refletindo claramente sobre a questo do racismo. Depois, ao fazermos o ps-teste, os resultados podem mostrar um efeito do filme que talvez no tivesse ocorrido se os sujeitos no tivessem sido despertados explicitamente para a questo do racismo. Neste caso, ficaremos com uma dvida muito importante: ser que nossos resultados seriam os mesmos se nossos sujeitos no tivessem feito o pr-teste? Talvez no. E se esta dvida persiste, ento no poderemos concluir genericamente, que o nosso filme ter um efeito benfico para pessoas que no forem pr-testadas. Temos ento um vis que afeta a validade externa de nossa pesquisa.

Uma soluo para este problema consiste na utilizao do delineamento experimental de Solomon (Campell), no qual temos 4 grupos, dois grupos que so submetidos a um pr-teste (GE e GC) e dois grupos que no so submetidos a um pr-teste (GE e GC). Neste caso, teremos dois tipos de resultados em nossa pesquisa: um resultado do efeito da VI em grupo pr-testado e um resultado da VI em um grupo que no foi pr-testado. Saberemos ento se nossa interveno eficaz no s para grupos pr-testados, mas se ela eficaz tambm para grupos que no foram pr-testados.

Este vis ocorre mais freqentemente em situaes de pesquisa em que o pr-teste de grande impacto, seja por incluir testagens inslitas, seja porque o processo de testagem envolve stress para os sujeitos ou os faz refletir e realizar uma reestruturao perceptual ou cognitiva.

2. Interao entre seleo e a interveno (seleo-X):

Quando uma amostra particular ou muito especial, os resultados de nossa pesquisa ficaro restritos quela populao especfica de pessoas, da qual a nossa amostra foi retirada. Por exemplo, se utilizarmos sujeitos voluntrios para realizarmos nossa pesquisa, as nossas concluses a respeito do efeito de nossa VI s se aplicaro s pessoas voluntrias e no populao em geral. Os voluntrios so pessoas de certo modo especiais, pois so pelo menos mais motivadas do que as demais, ou so pessoas at mais temerrias do que a maioria, no caso, por exemplo, do experimento envolver situaes inusitadas.

13

Um outro exemplo consiste nas pesquisas avaliativas em geral, cujo objetivo avaliar a eficcia de um procedimento pedaggico utilizado em uma escola, ou de um procedimento teraputico utilizado em uma instituio de sade ou de sade mental. Se a maioria das instituies evitam participar devido ao desconforto de estarem em uma situao em que se sentiro avaliados, as poucas instituies ou equipes que aceitarem participar da pesquisa pertencero provavelmente a uma classe particular de pessoas altamente motivadas, que no so representativas da populao em geral. Este vis tem maior probabilidade de ocorrer em pesquisas que envolvem situaes particulares, por exemplo, a utilizao de estmulos aversivos durante a experimentao, tais como choque eltrico ou trmico, isolamento social, privao de sono ou de outros elementos, utilizao de drogas, etc. Situaes de desconforto psicolgico, tais como uma avaliao das pessoas ou dos mtodos empregados por elas. Alm disso, nos casos em que o recrutamento dos sujeitos para a pesquisa envolveu muita dificuldade de conseguir a aceitao dos sujeitos, temos grande chance de encontramos este vis. A dificuldade em conseguir a participao de sujeitos ou de instituies na nossa pesquisa constitui um indcio de que estamos utilizando algum elemento inusitado, difcil ou peculiar que dificulta a aceitao das pessoas em participar. Isto constitui um indcio de que nosso contexto de pesquisa peculiar e nossa validade externa estar, portanto ameaada. No caso de no podermos evitar a peculiaridade de nossa pesquisa, devemos pelo menos tecer consideraes a respeito deste vis no nosso projeto de pesquisa, no relatrio da pesquisa ou na publicao de um artigo sobre os dados da pesquisa. Devemos deixar claro que este vis pode estar presente. Neste caso, devemos especificar quantos e quais sujeitos foram recrutados, quantos e quais aceitaram e quantos recusaram. Isto servir para fornecer uma idia do grau de peculiaridade da situao da pesquisa e da dimenso deste vis de validade externa. Quanto ao controle real deste vis, o nico procedimento eficaz consiste na utilizao de sujeitos no voluntrios, mas sim sujeitos selecionados aleatoriamente da populao.

3. Efeitos reativos da situao experimental:

Este vis ocorre quando a situao de realizao da pesquisa apresenta um certo grau de artificialidade que difere da situao natural. Neste caso, no podemos generalizar os resultados da nossa interveno a pessoas que seriam expostas a ela no ambiente natural. Os resultados obtidos por ns na pesquisa ficariam circunscritos a situaes artificiais, tais como a utilizada na pesquisa. Ou seja, o efeito da nossa VI s dever ocorrer, ou pelo menos naquela intensidade observada, no caso de se utilizar a interveno na mesma situao artificial.

Por exemplo, quando utilizamos uma determinada interveno no contexto de um laboratrio, podemos colocar em dvida se aquela interveno tambm ser eficaz no ambiente natural. Talvez no. Um outro exemplo quando utilizamos uma nova interveno teraputica em uma unidade de um hospital de sade mental. Antes da implantao do novo procedimento em uma das unidades, em carter experimental, cria-se uma expectativa em torno do novo tratamento, tanto no meio dos pacientes, quanto no meio dos terapeutas, assistentes e toda a equipe que compe aquela unidade. Geralmente esta expectativa se estende at para as demais unidades e o fato comentado em larga escala na instituio. Isto cria um clima de excepcionalidade e entusiasmo a respeito do novo tratamento que o torna artificial. Talvez se no houvesse este clima particular, se estivssemos avaliando o tratamento em questo em uma

14

situao mais natural, o novo tratamento no teria o mesmo efeito ou ento no teria efeito nenhum. Neste caso, a validade externa da pesquisa estaria, portanto ameaada e no poderamos generalizar nossos resultados e nossas concluses s situaes mais naturais de utilizao daquela interveno.

Para controlar este vis torna-se necessrio evitar que as pessoas tenham conhecimento da introduo da nova interveno, camuflando-a de alguma maneira. Na rea educacional isto se torna mais fcil, pois a interveno pode ser introduzida como uma rotina e as avaliaes de pr-teste e ps-teste podem ser as prprias notas mensais ou semestrais, o que j ocorre normalmente.

No caso de pesquisas avaliando o efeito de tratamentos medicamentos, todos os envolvidos devem estar ignorantes do fato de que um novo tratamento est sendo utilizado. Para isto, preciso utilizar os envoltrios usuais dos medicamentos, porm com o contedo novo, sem que as pessoas envolvidas (sujeitos e aplicadores) percebam a mudana. No caso do tratamento teraputico global em uma unidade de sade mental, a questo se torna mais difcil de ser contornada, mas todo cuidado possvel para inserir o novo tratamento como uma rotina a mais do hospital servir para diminuir a influncia deste vis de validade externa.

4. Interferncia de tratamentos mltiplos:

Quando a pesquisa possui mais de um tratamento ou varivel independente, possvel que haja interferncia do efeito de um tratamento sobre o outro e, neste caso, temos um problema srio, pois no poderemos conhecer o efeito isolado de um tratamento sobre a nossa varivel dependente. Por exemplo, se queremos testar um novo medicamento para saber se seu efeito melhor do que o de um outro medicamento sobre o grau de depresso dos sujeitos, ao submetermos os mesmos sujeitos aos dois medicamentos, consecutivamente, para compararmos seus efeitos, poder haver uma contaminao de um sobre o outro.

Neste caso, os efeitos do segundo medicamento sero alterados pela ingesto anterior do primeiro medicamento. Os resultados desta pesquisa no podero ser generalizados para situaes em que cada medicamento em questo ser dado isoladamente, sem ser precedido pelo outro. Uma maneira de controlar esta interferncia seria ter dois grupos e em cada um deles introduzir uma ordem de ingesto, de modo que um grupo receba o medicamento 1 e depois o medicamento 2 e o outro grupo receba a combinao inversa. O efeito da ordem de apresentao ficaria sob controle, se este procedimento puder ser aplicado.

Referncias Bibliogrficas:

CONTANDRIOPOULOS, AP., CHAMPAGNE, F., POTVIN, L., DENIS, J.L. e BOUYLE, P. (1990) Savoir preparer une recherche. Montral: Les Presses de lUniversit de Montral.

15

CAMPBELL, D.T., STANLEY, J.C. (1979) Delineamentos experimentais e quase-experimentais de pesquisa. Editora da Universidade de So Paulo, SP.

SELLTIZ, C., WRIGHTSMAN, L.S., COOK, S.W. (1987) Mtodos de pesquisa nas relaes sociais. Editora da Universidade de So Paulo, SP.