T e x t o B á s i c o : H o g a n ( 2 0 0 6 ) , C a p í t u l o 4

FIDEDIGNIDADE

ROTEIRO

• Definição;

• Estatística: coeficiente de correlação;

• Fontes de não-fidedignidade;

• Métodos de fidedignidade;

• Conclusão.

INTRODUÇÃO

• Duas propriedades psicométricas dos testes (distintas, mas complementares) são fundamentais para legitimar a eficiência de um instrumento: validade e fidedignidade.

• Validade: o que o teste mede?, ele realmente avalia o que se propõe a medir?

• Fidedignidade: consistência dos escores do teste, sem importar com o que está sendo medido, de fato.

Embora possa ser fidedigno sem ser válido, um teste não pode ser válido sem ser fidedigno.

DEFINIÇÃO

• Dedica-se a analisar se a medida oferecida pelo instrumento é consistente, ou seja, se o teste apresenta constância nos escores para o mesmo indivíduo. Corresponde a uma estimativa do erro de mensuração.

• Consistência;

• Constância

• Replicabilidade;

• Confiança.

Mudanças reais no traço mensurado não constitui ausência de fidedignidade

COEFICIENTE DE CORRELAÇÃO

• Utilizado para determinação da fidedignidade.

• Em testagem psicológica, o coeficiente mais utilizado é a Correlação de Pearson (r).

• Expressa a relação que resume uma distribuição bivariada (entre duas variáveis);

COEFICIENTE DE CORRELAÇÃO

• Quanto mais alto for r, menor será a dispersão.

• Quanto menor for r, mais alta a dispersão.

• A correlação de Pearson refere-se ao grau de relação linear entre variáveis.

FONTES DE NÃO-FIDEDIGNIDADE

• Quais fatores ou condições podem conduzir a uma mensuração abaixo do que é confiável?

• Cada método de determinação da fidedignidade busca investigar fontes específicas de não-fidedignidade.

1. Correção do Teste

2. Conteúdo do Teste

3. Condições de Aplicação do Teste

4. Condições Pessoais

CORREÇÃO DOS TESTES

• Importância história: desenvolvimento de questões de múltipla escolha em testes de proficiência e de habilidade;

• Falta de concordância entre avaliadores pode resultar em variações não-sistemáticas dos escores do teste.

• Quanto mais critério é necessário para se fazer a correção, mais preocupante se torna essa potencial fonte de não-fidedignidade.

• Julgamento: dispor de instruções suficientemente claras e explícitas, de modo a reduzir as variações dependentes de quem corrige o teste.

CONTEÚDO DO TESTE

• Abrange variações mais ou menos aleatórias na composição de questões que serão apresentadas no teste.

• Versões alternativas do mesmo instrumento.

APLICAÇÃO DO TESTE

• Procedimentos padronizados de aplicação: instrução, limite de tempo, preparação do ambiente físico.

• Exemplo: ruídos, má iluminação,

CONDIÇÕES PESSOAIS

• Condições temporárias dos examinandos que não dizem respeito ao status da característica que está sendo mensurada.

FONTES DE NÃO-FIDEDIGNIDADE

• As variações dos fatores discutidos não resultam automaticamente em perda de fidedignidade.

• A extensão com que esses fatores influenciam os escores é uma questão empírica.

MÉTODOS PARA DETERMINAÇÃO DA

FIDEDIGNIDADE

1. Fidedignidade teste-reteste;

2. Fidedignidade interavaliadores;

3. Fidedignidade de forma alternada;

4. Fidedignidade de consistência interna.

FIDEDIGNIDADE TESTE-RETESTE

• O coeficiente é obtido aplicando-se o mesmo teste aos mesmos indivíduos em duas ocasiões distintas.

• Período: um dia a um mês.

• Correlação entre os escores no primeiro e no segundo teste.

• Também chamado de coeficiente de estabilidade.

• Ajuda e medir a influência das variações nas condições pessoais.

• Pode ou não avaliar mudanças decorrentes das condições de aplicação.

FIDEDIGNIDADE TESTE-RETESTE

• Três desvantagens:1. Não considera erro não sistemático decorrido de

variações no conteúdo do teste.

2. Método trabalhoso.

3. Influência da primeira testagem sobre a segunda

• Intervalo: longo o suficiente para diminuir a influência da primeira testagem, mas não a ponto de favorecer que a característica mensurada sofra uma mudança real.

FIDEDIGNIDADE INTERAVALIADORES

• Mensura a variação não-sistemática ocorrida em função de quem corrige o teste.

• Correlação entre os escores atribuídos por avaliadores distintos e independentes.

• A informação da fidedignidade interavaliadores é particularmente importante quando a correção do teste depende do julgamento de quem o corrige.

FIDEDIGNIDADE DE FORMA ALTERNADA

• Forma paralela ou forma equivalente.

• Pré-requisito: o teste precisa ter duas formas iguais ou bastante semelhantes quanto ao número de questões, aos limites de tempo, às especificações do conteúdo e outros fatores.

• Consiste aplicar ambas as formas aos mesmos examinandos.

• Coeficiente é obtido pela correlação entre os escores nas duas formas do teste.

FIDEDIGNIDADE DE FORMA ALTERNADA

• Mensura a escolha das questões que compuseram o teste (conteúdo).

• Caso haja um intervalo maior entre as aplicações, também avalia mudanças nas condições pessoais do examinando e nas condições de aplicação.

FIDEDIGNIDADE DE CONSISTÊNCIA

INTERNA

• Mais utilizado.

• 3 métodos:

1. Fidedignidade das duas metades

2. Método de Kuder-Richardson

3. Coeficiente alfa

FIDEDIGNIDADE DAS DUAS METADES

• Formas minialternadas;

• Um único teste terá seus escores divididos em metades, sendo que cada metade será uma forma alternada do teste.

• Calcula-se uma correlação entre os escores das duas metades.

• Não divide-se o teste em primeira e segunda metade.

• Fidedignidade par-ímpar.

FIDEDIGNIDADE DAS DUAS METADES

•

FIDEDIGNIDADE DAS DUAS METADES

• Quanto maior o tamanho do teste (número de itens) mais o coeficiente de fidedignidade se aproxima do valor ideal de 1.0.

MÉTODO DE KUDER-RICHARDSON

•

COEFICIENTE ALFA

•

COEFICIENTE ALFA

• Como entender o Coeficiente Alfa:

• Cada item do item pode ser pensado como uma miniforma do teste;

• Cada uma dessas miniformas (itens) está de acordo com as demais miniformas (itens) do teste?

• Agrupa-se todas essas informações de modo a obter uma medida de fidedignidade de consistência interna.

• Indica até que ponto os diferentes itens que compõem o teste estão mensurando o(s) mesmo(s) construto(s) ou característica(s) -> depende da correlação média entre os itens.

COEFICIENTE ALFA

• Pode ser considerado uma medida de homogeneidade dos itens.

• Relaciona-se à falta de fidedignidade devida à escolha dos itens.

ERRO PADRÃO DA MEDIDA (EPM)

•

ERRO PADRÃO DA MÉDIA

•

CONCLUSÕES

• O tamanho do teste é importante: em geral, quanto mais longo, mais confiável será o teste.

• Não existe a fidedignidade de um teste, pois existem muitas fontes de não-fidedignidade e cada método estará apto a lidar com uma ou algumas dessas fontes.

• Não há consenso sobre o quão alta a fidedignidade deve ser para tornar o teste aceitável. A extensão de confiabilidade da medida depende dos objetivos para utilização do instrumento, seu contexto de aplicação e se há outras fontes complementares de informação.

CONCLUSÕES

Método Tipo de variabilidade em fontes de erros não-sistemáticas

Teste-Reteste Tempo; condição pessoal

Forma-Alternada imediata Conteúdo

Forma-Alternada retardada Tempo e conteúdo

Método das metades Conteúdo

Coeficiente Alfa e K-R Conteúdo e heterogeneidade de conteúdo

Interavaliador Diferenças entre avaliadores na correção