VALIDADE

Texto base: Cap. 5 (Hogan, 2006)

Sabrina MagalhãesMestranda em Psicologia, linha Avaliação e Reabilitação

Neuropsicológica, UFPR

Roteiro da aula

1. Definição de validade;2. Conceitos complementares;3. Tipos de validade;4. Relação entre Fidedignidade e Validade;5. Conclusão;6. Dúvidas para a prova;7. Trabalho.

Definição

�Validade é o grau em que um teste de fato mensura aquilo que se propõe mensurar.

Definição de Validade

�O que é avaliado é a interpretação dos escores, em função da utilização que se faz do teste.

Χ O Mini Exame do Estado Mental é válido?

� O Mini Exame do Estado Mental é válido para identificar demência do tipo Alzheimer?

�Gradação: a validade é suficiente para se confiar na utilização do teste?

Conceitos complementares

�Construto: Traço ou característica; definiçãooperacional de um conceito.

�Validade: sobreposição entre construto e teste;

Mas....

Conceitos complementares

�O construto nunca é totalmente abarcado peloteste

Sub-representação do construto

�O teste também pode medir outras característicasalém de mensurar parte do construto

Variância irrelevante do construto

O Construto

Sub-representação do construto

Variância irrelevante do construto

Medida válida

O Teste

Conceitos complementares

�A sub-representação do construto refere-se ao grau com que um teste falha em capturar os aspectos importantes desse construto;

�A variância irrelevante do construto refere-se ao grau com que os escores do teste são afetados por processos estranhos ao construto que se pretende mensurar.

�Validade é a consideração mais fundamental que se deve fazer na construção e na correção dos testes.

�O estabelecimento da validade envolve a apresentação de um conjunto integrado e multifacetado de evidências (demonstrações empíricas).

Validade

Tipos de validade

1. Validade de face ou validade aparente

2. Validade de conteúdo

3. Validade relacionada ao critério

a) Convergente

b) Discriminante

4. Validade de construto

VALIDADE DE FACE

�Grau no qual um instrumento parece mensurar oconstruto-alvo.

�Prós e contras.

�Nunca deve ser um substituto para a validadeempírica, embora possa ser útil.

Exemplo: Teste de Fluência Verbal

�Anote quantas palavras você puder pensar que comecem com uma certa letra do alfabeto que eu já irei lhe dizer. Você pode escrever qualquer tipo de palavra que quiser, exceto nomes próprios (como Beto ou Brasil), números, ou palavras que sejam uma variação uma da outra. Eu direi para você parar após 1 minuto. Você está pronto?

�Agora, me diga quantas palavras você pode pensar que começam com a letra F.

VALIDADE DE CONTEÚDO

�Aborda a relação entre o conteúdo de um teste eum domínio bem definido de conhecimento oucomportamento.

�Exemplos de aplicação: testes de proficiência(conhecimento), testes aplicados a candidatos aemprego.

� O propósito desses testes é determinar a extensãodo conhecimento do examinando em relação a umdeterminado corpo de conteúdo.

VALIDADE DE CONTEÚDO

� Realizada através da análise dos itens mediante aopinião de juízes.

� Tabela de especificações para a área de conteúdo: tópicos eprocessos mentais (conhecer, habilidade para aplicar ousintetizar o conteúdo).

� A análise deve indicar as áreas que não foram cobertas peloteste e os itens do teste que não se adequam às especificaçõesdo conteúdo.

VALIDADE DE CONTEÚDO

�Aplicação na Psicologia:

� Limitada, porque poucas áreas são suscetíveis deespecificação clara do domínio que elas cobrem.

� Exemplo: demonstrar que um teste cobre todas ascaracterísticas especificadas por um distúrbioespecífico descrito no DSM-IV.

�Problemas: especificação do conteúdo de umdomínio e grau em que os itens sãoadequadamente julgados.

VALIDADE DE CRITÉRIO

� Estabelece uma relação (comparação) entre odesempenho no teste e algum outro critérioconsiderado um indicador importante do construto deinteresse.

� Coeficiente de validade: expressa a correlação entre oteste e o critério (correlação de Pearson).

VALIDADE DE CRITÉRIO: CONVERGENTE

� Refere-se a uma correlação relativamente alta entre oteste e algum critério que se considera seja capaz demensurar o mesmo construto do teste.

� Validade preditiva: considera se o teste prediz algumacondição futura do examinando quanto a algumcritério.

VALIDADE DE CRITÉRIO: DISCRIMINANTE

� Mostra que o teste tem uma correlação relativamentebaixa com construtos diferentes daquele se pretendemensurar.

ERRO PADRÃO DA ESTIMATIVA

� Índice de erro (desvio padrão) devido a validade decritério.

� Sc: desvio padrão da medida de critério

� r: coeficiente de validade, ou seja, correlação entreteste e critério

VALIDADE DE CONSTRUTO

� É o grau em que um instrumento de medida medeacuradamente o construto teórico que pretende avaliar.

� Diz respeito ao quanto a relação existente (vista,observada, a correlação) entre duas medidas éconsistente com hipóteses teoricamente deduzidassobre os construtos que elas representam.

VALIDADE DE CONSTRUTO: MÉTODOS

� Estrutura interna: consiste em calcular a correlaçãoque existe entre cada item do teste com o restante doitem do teste.

� Análise fatorial: técnicas estatísticas que ajudam aidentificar as dimensões comuns (variabilidade)subjacentes ao desempenho em muitas mensuraçõesdiferentes.

VALIDADE DE CONSTRUTO: ANÁLISE

FATORIAL

1F1

V1

V2V3

F2

V4

V5V6

V = variávelF = fator

EXEMPLO: ESCALA HIPOTÉTICA DE

DEPRESSÃO

� Item 1: Eu me sinto triste

� Item 2: Sou um completo fracasso.

� Item 3: Tenho baixa auto estima.

� Item 4: Não tenho mais apetite.

� Item 5: Tenho dormido muito mal.

� Item 6: Não consigo mais trabalhar.

Auto-imagem

Aspectos somáticos

Aspectos sociais

RELAÇÃO ENTRE FIDEDIGNIDADE E

VALIDADE

� Se um teste não apresenta qualquer fidedignidade –seus escores consistem simplesmente em errosaleatórios -, então não tem qualquer validade.

� Um teste pode ser perfeitamente fidedigno e aindaassim não ter validade; ou seja, o teste estáfidedignamente mensurando algo que, entretanto, édiferente daquilo que se quer mensurar.

VALIDADE

Alta Baixa

FID

ED

IGN

IDA

DE Alta

Bai

xa

PREDIÇÃO ESTATÍSTICA X PREDIÇÃO

CLÍNICA

� As predições estatísticas, no mínimo, se igualam egeralmente superam as predições clínicas.

� No entanto, nem sempre está disponível uma base dedados confiável que é o pressuposto básico para asanálises estatísticas.

� Interação: julgamento clínico guiado (oufundamentado) pelos resultados estatísticos.

CONCLUSÃO

�Validade refere-se a:

� Demonstrações empíricas de que um teste mensuraaquilo que ele se propõe a mensurar;

� Fato de que os escores do teste podem serinterpretados de uma maneira significativa para umpropósito específico.

CONCLUSÃO

�Validade de face não é uma demonstraçãoempírica de validade, mas é útil para aceitaçãopública do teste;

�Validade de conteúdo relaciona o teor do testecom um corpo bem definido de conhecimentos ouhabilidades.

CONCLUSÃO

�As relações entre os escores dos testes e outrasmedidas destinadas a avaliar construtos similaresfornecem uma evidência convergente;

�Enquanto as relações entre os escores do teste emedidas específicas para outros construtosconstituem uma evidência discriminante.

�O critério de interesse deve ser definidooperacionalmente.

CONCLUSÃO

� Validade de construto: evidência que o teste mensura,ao menos em certo grau e para um determinadopropósito, o construto-alvo.

� O usuário de um teste deve integrar as evidências devalidade coletadas em diversas fontes para chegar auma decisão sobre a extensão em que o teste satisfazao seu propósito. Na análise final, o usuário tentaresponder: é melhor utilizar esse teste como uma fontede informação, ou não?

PROVA

�Conteúdo:

� Normas dos testes;

� Fidedignidade das medidas psicológicas;

� Validade das medidas psicológicas

�Dia: 28 de novembro

TRABALHO

� Descrição do teste;

� Objetivo do teste;

� Normas;

� Fidedignidade;

� Validade.

�Entrega: dia 05 de dezembro