apostila

1

UNIVERSIDADE DE FRANCA

PROGRAMA DE MESTRADO E DOUTORADO EM PROMOO DE SADE

Instrumentos de Avaliao:

Qualidades Psicomtricas e Aplicabilidade

Disciplina: Tpicos avanados em Promoo de Sade

Profa. Carolina de Meneses Gaya

FRANCA

2014

TPICOS AVANADOS EM PROMOO DE SADE

2

ORIGEM E HISTRIA DA PSICOMETRIA E SEUS CONCEITOS BSICOS

O QUE A PSICOMETRIA?

Segundo Pasquali (2004), a Psicometria um ramo da Psicologia que se caracteriza por

expressar o fenmeno psicolgico atravs do nmero ao invs da pura descrio verbal.

Fundamenta-se na teoria da medida em cincias pelo fato de abordar a interface entre

smbolos numricos e constructos psicolgicos.

Essa interface viabiliza a criao de instrumentos para investigar os processos psicolgicos e

tambm analisa-los.

A ORIGEM E HISTRIA DA PSICOMETRIA

NO FINAL DO SCULO XIX E INCIO DO SCULO XX: psiclogos queriam investigar de forma

mais objetiva as aptides humanas (inteligncia) - tentaram medi-la atravs de diferentes

testes e instrumentos. E, para medir, tiveram que atribuir nmeros aos desempenhos dos

indivduos.

Psicologia alem era uma psicologia mais mentalista, introspectiva, e buscava investigar a

experincia subjetiva das aptides humanas;

Psicologia inglesa e norte-americana era uma psicologia empirista com foco no estudo do

comportamento das aptides humanas (quantificao do comportamento humano). Dessa

maneira os processos comportamentais poderiam ser classificados em termos de acerto ou

erro, sendo passveis de anlise estatstica.

Histria da Psicometria foi marcada por psiclogos que se destacaram em suas pocas:

3

3. ALFRED BINET (1900)

Juntamente com Henri (1896), criticou os testes at ento utilizados alegando que:

1) ou eram puramente medidas sensoriais que no tinham relao importante com as funes

intelectuais;

2) ou se eram testes de contedo intelectual, estes mediam habilidades extremamente

especficas (como o puro memorizar, calcular, etc.) e no mediam funes mais amplas como a

memria, imaginao, ateno, entre outros.

Estudou meios de avaliar aptides humanas visando predio de tais na rea acadmica e na

rea da sade: criou o teste de 30 itens que avaliava diversas funes (julgamento,

compreenso e raciocnio, etc.) a fim de estimar o nvel de inteligncia de crianas e adultos (e

assim detectar, especialmente, o retardo mental).

1. FRANCIS GALTON (1880)

Estudo das aptides por meio das medidas sensoriais: preconizava que toda a informao

chegaria pelos sentidos e, quanto melhor o estado destes, melhores seriam as operaes

intelectuais;

CONTRIBUIES PARA A PSICOMETRIA:

1) estabeleceu medidas de discriminao sensorial (utilizadas at hoje);

2) desenvolvimento e simplificao de mtodos estatsticos para analisar quantitativamente os

dados coletados;

3) apesar de relatos do uso de testes na China por volta de 3.000 a.C., as origens efetivas dos

instrumentos psicolgicos podem ser atribudas a Galton.

2. JAMES CATTELL (1890)

Sob influncia de Galton, desenvolveu estudo sobre as diferenas individuais das aptides por

meio das medidas sensoriais;

Percebeu que medidas objetivas para funes mais complexas (testes de clculo, testes de

memria e resistncia fadiga, por exemplo) no produziram resultados condizentes com o

desempenho acadmico dos alunos avaliados.


1) introduziu a terminologia de teste mental (mental test).


4


1) elaborou testes de contedo mais cognitivo (e no sensorial) que avaliavam funes mais

amplas grande sucesso nos anos subsequentes;

2) introduziu o conceito matemtico de QI representado pela frmula QI = 100 (IM / IC), onde

QI o quociente intelectual, IM a idade mental e IC a idade cronolgica.

4. SPEARMAN (1900)

Desenvolveu uma teoria da inteligncia que defendia a existncia de um fator nico (fator

g) e comum a todas as habilidades humanas (alguns poderiam apresenta-lo em muita ou

pouca quantidade) e fatores especficos (fatores s) relacionados s capacidades especiais de

cada indivduo. Diversos testes foram desenvolvidos para medir este fator g.

A teoria psicomtrica, 1900 deve ser considerada como a ERA DO SPEARMAN:

- Fundamentos da teoria da Psicometria clssica em suas obras (1904, 1907 e 1913).

5. TESTES DE INTELIGNCIA (1910 - 1930)

- Teste de inteligncia de Binet-Simon (1905);

- Reviso deste teste para os Estados Unidos (Terman, 1916);

- Estudo de Spearman sobre o fator g da Inteligncia (existncia de um fator nico e

comum a todas as habilidades humanas);

- Impacto da Primeira Guerra Mundial: popularizao dos testes, inclusive os de aplicao

coletiva, para seleo rpida de recrutas pelo exrcito americano (baterias Army Alpha e

Army Beta).


1) Com o fim da guerra, a indstria e as instituies iniciaram o uso macio dos testes:

desenvolvimento de baterias (WAIS, WISC), testes e inventrios de personalidade (MMPI) e

projetivos (TAT, Rorschach).

6. ANLISE FATORIAL (1930)

SITUAO POR VOLTA DE 1920: entusiasmo com os testes de inteligncia declinou

consideravelmente:

Testes se mostraram muito dependentes da cultura onde foram criados (no sustentando a

ideia de um fator geral universal);

5

- estudiosos comearam a repensar as ideias de Spearman, sendo a tradio quebrada por

Kelley em 1928;

- movimento se espalhou pelo mundo: Inglaterra (Thomson, 1939; Burt 1941) e Estados

Unidos (Thurstone, 1935, 1947);

ANLISE FATORIAL

Tcnica estatstica que objetiva identificar as principais variveis que conseguem descrever o conjunto de

variveis originais


1) Fundou a Sociedade Psicomtrica

Americana (1936);

2) Desenvolveu a anlise fatorial mltipla e a escalonagem psicolgica

Em outras palavras...

1) Todas as variveis do teste so consideradas simultaneamente;

2) Cada varivel relacionada com as demais para estudar a inter-relao existente entre elas;

3) Reduo do nmero de variveis, restando apenas aquelas que conseguem sumarizar o

conceito que est sendo avaliado;

SUCESSO DA ANLISE FATORIAL: obteno de um nmero pequeno de variveis com alto

grau de explicao do conceito original e que podem ser interpretveis.

7. SISTEMATIZAO (1940 - 1980)

Marcada por duas tendncias:

TRABALHOS DE SNTESE TRABALHOS DE CRTICA

Tentativa de resgatar a credibilidade

dos testes psicolgicos;

Sistematizao dos avanos da

Psicometria, com destaque para:

Questionamento do uso das escalas

de medida;

Primeira grande crtica Teoria

Clssica dos Testes com o


6

1. Teoria Clssica dos Testes (interesse

centrado principalmente no escore total

do examinando no teste) por Gulliksen

(1950);

2. Teoria sobre a medida escalar por

Torgerson (1958);

3. Avano na rea da anlise fatorial

(Thurstone, 1947; Harman, 1967);

desenvolvimento da Teoria do Trao

Latente (Lord & Novick, 1968);

Tal teoria dar origem teoria moderna

da Psicometria: a Teoria de Resposta ao

Item (TRI)

4. Tentativa de sintetizar os dados da

medida em personalidade (Cattell, 1965;

Cattell & Warburton, 1967);

5. Tentativa de sintetizar uma teoria

sobre a inteligncia (Guilford, 1967).

Coletnea de todos os testes

existentes no mercado (Buros, 1938).

Normas de elaborao e uso dos testes

introduzidas - American Psychological

Association (APA, 1954, 1974 e 1985)

Desenvolvimento da Psicologia

Cognitiva (Sternberg, 1977) como

tentativa de superar as dificuldades da

Psicometria clssica (pesquisa sobre os

componentes cognitivos na rea da

Inteligncia).

8. PSICOMETRIA MODERNA (1980)

Representada pela Teoria de Resposta ao Item (TRI), desenvolvida para responder alguns

problemas e superar algumas limitaes da Teoria Clssica dos Testes (TCT).

Desde ento...

Principais pesquisas desenvolvidas pelos psicometristas:

1) sistematizao da Psicometria Clssica;

2) na TRI (desenvolvimento de modelos matemticos);

3) em reas paralelas da Psicometria (validade dos testes, vieses dos testes, construo de

itens, entre outros);

7

Atualmente:

NO CONTEXTO MUNDIAL:

- reflexo e ponderao quanto ao uso dos instrumentos;

- de responsabilidade do profissional:

escolha adequada dos instrumentos a serem utilizados

preocupao acerca da qualidade e atualizao dos instrumentos

zelo quanto aos princpios ticos

NO CONTEXTO NACIONAL:

- discusso centrada na qualidade e na elaborao de instrumentos nacionais para avaliao

psicolgica;

criao pelo Conselho Federal de Psicologia (CFP) da Comisso Nacional sobre Testes

Psicolgicos (primeira edio em 1980, e a segunda em 1986);

criao pelo CFP de resolues regulamentando a ao do psiclogo quanto aos laudos e

aos instrumentos;

RESOLUO CFP 02/2003

Testes psicolgicos constituem um mtodo ou uma tcnica de uso

privativo do psiclogo;

Instrumentos de avaliao psicolgica devem atender a um conjunto

de requisitos mnimos estabelecidos pela Psicometria:

1) Fundamentao terica;

2) Evidncias empricas de validade e preciso dos testes;

3) Sistema de correo e interpretao dos escores;

4) Descrio clara dos procedimentos de aplicao e correo;

5) Manual contendo todas essas informaes.


8

MODELOS DA PSICOMETRIA

Existem dois modelos da Psicometria que buscam estudar a qualidade dos testes, porm com

diferentes abordagens:

1) Teoria Clssica dos Testes (TCT) (Psicometria Clssica)

2) Teoria de Resposta ao Item (TRI) (Psicometria Moderna)

TRI, inicialmente conhecida como Teoria do Trao Latente ou Teoria da Curva Caracterstica,

foi desenvolvida para responder algumas limitaes da TCT, contudo, uma no substituiu a

outra.

TEORIA CLSSICA DOS TESTES (TCT)

- Procura conhecer as habilidades do indivduo por meio do seu resultado final no teste (escore

total); soma dos itens corretos tem um significado muito importante na TCT;

- Esse escore total depende do conjunto de itens que compe um determinado instrumento; e,

PORTANTO, as interpretaes dos resultados esto sempre associadas prova como um todo.

EXEMPLO: em vestibulares, ocorre a comparao dos escores totais dos indivduos para ento

as faculdades selecionarem os considerados mais capazes.

MODELOS MATEMTICOS EMPREGADOS NA TCT

- So modelos matemticos lineares e, no escore bruto do indivduo, so considerados o escore

verdadeiro que se quer medir e o erro de medida associado uma das preocupaes da TCT a

estimativa do impacto do erro na real pontuao obtida por um sujeito.

TEORIA DE RESPOSTA AO ITEM (TRI)

- Procura avaliar as habilidades (traos latentes) do indivduo atravs de modelos matemticos;

tais modelos estudam a relao entre os traos latentes e a probabilidade do indivduo em

acertar a resposta do item.

9

- Pelo fato do foco da TRI ser o estudo dos itens, criou-se o chamado banco de itens

(composto por itens com boa discriminao e com diferentes valores do parmetro de

dificuldade que avaliam uma mesma habilidade)

- A TRI considera dois axiomas fundamentais:

1) O desempenho do indivduo num item do teste se explica em funo dos traos latentes

(habilidades, aptides, etc.); os traos latentes so a causa e o desempenho o efeito;

2) A relao entre o desempenho num item e os traos latentes pode ser descrita pela equao

chamada de CCI (Curva Caracterstica do Item ou Funo Caracterstica do Item) indivduos com

maior aptido () tero maior probabilidade (P()) de responder corretamente ao item.

Extrado de Pasquali (2003)

PRESSUPOSTOS DA TRI

- Entre todos os pressupostos da TRI, dois merecem destaque: a unidimensionalidade e a

independncia local;

a) Unidimensionalidade: existe apenas uma aptido dominante responsvel pela realizao de

um conjunto de itens e ela que ser medida;

b) Independncia local: as respostas do indivduo a qualquer item de um teste so

estatisticamente independentes (isto , os itens so respondidos em funo do trao latente

dominante e no em funo da memria ou outros traos);

PRINCIPAIS MODELOS MATEMTICOS EMPREGADOS NA TRI

- Existem diversos modelos matemticos que expressam a relao entre a probabilidade de

resposta certa em um item e a aptido medida por ele (isto , a CCI);


10

- Os modelos matemticos da TRI so no-lineares; a manipulao dos modelos matemticos

da TRI invivel sem softwares especficos;

- So usados com mais frequncia trs modelos:

1) Modelo logstico de 1 parmetro: avaliam somente a dificuldade do item; em outras

palavras: a probabilidade do indivduo responder corretamente dependeria somente de sua

habilidade e do grau de dificuldade do item.

2) Modelo logstico de 2 parmetros: avaliam a dificuldade do item e a discriminao, assim a

probabilidade de acerto dependeria da habilidade do indivduo e desses dois parmetros;

3) Modelo logstico de 3 parmetros: avaliam a dificuldade do item, a discriminao e o acerto

ao acaso (chute); probabilidade de acerto dependeria da habilidade do indivduo, desses dois

parmetros e do acerto ao acaso;

PRINCIPAIS LIMITAES DA TCT E SOLUES DADAS PELA TRI

TCT: Testes diferentes que medem a mesma aptido iro produzir escores diferentes da mesma

aptido para sujeitos idnticos (Pasquali, 2003), fenmeno conhecido por test-dependent.

TRI: oferece modelos matemticos que estimam as aptides dos indivduos atravs da

probabilidade de resposta dos mesmos independentemente do teste aplicado;

TCT: Dificuldade e discriminao dos itens (parmetros dos itens) dependem diretamente da

amostra de sujeitos utilizada para a sua determinao (group-dependent).

TRI: Dificuldade e discriminao so estimados por meio de modelos matemticos da TRI e so

independentes da amostra de sujeitos;

TCT: Pelo fato da anlise da TCT focar no teste, no h possibilidade de estimar a probabilidade

acerca da performance de um indivduo frente a um determinado item;

TRI: Pelo fato da TRI focar na anlise dos itens, pode-se determinar a probabilidade que um

indivduo teria de responder corretamente a um item do teste.

11

EXEMPLO DA APLICAO DA TRI

- TRI na prova de vestibular;

- Vestibular adota um critrio classificatrio para selecionar os mais aptos realizao dos seus

cursos (requisitos para um rendimento mnimo);

Passo 1: Preparao dos itens da prova do vestibular

Professores capacitados so convocados para preparar questes conforme solicitado pelo

instituto nacional responsvel pelo estudo e pesquisa no ensino superior;

Passo 2: Amostragem

Uma amostra representativa dos recm-universitrios responde s questes na fase

chamada pr-teste;

Passo 3: Anlise das respostas

As respostas da amostra representativa so analisadas e so estabelecidos os graus de

dificuldade e de discriminao; questes que foram respondidas corretamente em 100%

dos casos, ou o contrrio, por exemplo, so excludas;

Passo 4: Banco de itens

As questes com boa discriminao e com diferentes dificuldades so armazenadas em

um banco de itens de onde sero selecionadas no momento da confeco da prova do

vestibular;

Passo 5: Confeco da prova do vestibular

Passo 6: Aplicao da prova

Candidatos respondem s questes sem saber o grau de dificuldade delas;

Passo 7: Anlise do padro de respostas do candidato

Respostas fora do padro do candidato (isto , acerto em itens muito difceis e erro em

itens muito fceis) so consideradas como acerto ao acaso ou descuido e ganham menos

peso na nota final do candidato;

Passo 8: Nota final do candidato

As respostas so analisadas para averiguar em qual etapa o candidato consegue

responder s questes corretamente; esta ser a estimativa da sua nota final.


12

MEDIDAS EM CINCIA

A mensurao em Psicometria tem por objetivo atribuir nmeros aos atributos dos constructos

psicolgicos - medi-los indiretamente. Para isso, foram desenvolvidos instrumentos para avaliar

tais atributos.

CONSTRUCTO: so construes tericas (abstraes) utilizadas para organizar, estruturar ou

atribuir significados s manifestaes da realidade humana. No podem ser diretamente

observados, mas podem ser mensurados pelos atributos (propriedades, caractersticas,

comportamentos) que os definem.

CONSTRUCTO PSICOLGICO: processo psicolgico latente no observado diretamente, mas

que explica comportamentos observveis (atributos) e se expressa por meio deles. EXEMPLOS:

inteligncia (resolver problemas com nmeros, problemas com palavras, problemas

complexos).

- A utilizao de nmeros para a descrio de fenmenos psicolgicos; suscitou alguns

problemas relacionados natureza da medida:

1) O PROBLEMA DA REPRESENTAO (OU ISOMORFISMO): justificvel o uso de nmeros

para representar os fenmenos (no caso da Psicometria, os constructos psicolgicos)?

SIM, se for mantida a relao de uma nica medida numrica para um nico atributo deste

fenmeno.

2) O PROBLEMA DA UNICIDADE DA REPRESENTAO: ser que o nmero a nica ou melhor

forma de representar as propriedades de um fenmeno (no caso da Psicometria, os atributos

de um constructo)?

SIM, porque o nmero possui trs axiomas que garantem identidade, ordem e aditividade, e

quanto mais axiomas do nmero a medida garantir, maior ser seu nvel de medida (escala de

medida).

13

3) O PROBLEMA DO ERRO: a aplicao de nmeros a fenmenos naturais SEMPRE est sujeita

a uma margem de erro (seja pelo instrumento utilizado, pelas diferenas individuais do

pesquisador, erros sem causas identificveis).

Pelo fato de toda e qualquer medida estar acompanhada de erros, o nmero que representa

um determinado fenmeno precisa necessariamente vir acompanhado com um indicador de

erro provvel (calculado pelas teorias estatsticas).

A BASE AXIOMTICA DA MEDIDA

A medida s possvel se os atributos de um fenmeno forem idnticos apenas a eles mesmos

e se forem mantidas a relao de uma nica medida numrica para um nico atributo deste

fenmeno isomorfismo.

Axioma: princpio evidente por si mesmo; premissa evidente que se admite como

universalmente verdadeira sem exigncia de demonstrao.

AXIOMAS DO SISTEMA NUMRICO

1) IDENTIDADE: conceito de igualdade, isto , um nmero idntico a si mesmo e somente a si

mesmo. Trs axiomas que expressam a relao de IGUAL A (=):

a) Reflexividade: a = a ou a b;

b) Simetria: a = b, ento b = a;

c) Transitividade: se a = b e b = c, ento a = c.

2) ORDEM: com exceo do caso de igualdade, todo nmero diferente de outro e, por isso,

podem ser colocados numa sequncia ao longo de uma escala linear. Os trs axiomas que

expressam NO IGUAL A (>):

a) Assimetria: se a > b, ento b < a;

b) Transitividade: a > b e b > c, ento a > c;

c) Conectividade: ou a > b ou b > a.


14

3) ADITIVIDADE: os nmeros podem ser somados; isto , a soma de dois nmeros, com

exceo do zero, produz um outro nmero diferente deles prprios. Neste sentido, as quatro

operaes matemticas podem ser aplicadas. Dois axiomas:

a) Comutatividade: a + b = b + a;

b) Associatividade: (a + b) + c igual a a + (b + c);

Quanto mais axiomas do sistema numrico (identidade, ordem e aditividade) a medida

garantir, maior ser seu nvel de sofisticao.

EXEMPLO: da flor, podemos falar das diferentes qualidades dela (aroma, tamanho, peso) em

termos de magnitude (aroma mais intenso, tamanho maior); assim, todas as flores tero as

mesmas qualidades (aroma, tamanho, cor), mas sero diferentes nas magnitudes (uma ser

mais aromtica que outra; uma ser maior que a outra).

Uso somente dos axiomas de identidade (igual ou diferente a), a operao propriamente no

chega ser considerada medida: trata-se apenas de uma classificao (o nmero, neste caso,

serve apenas de etiqueta para uma classe de coisas);

A medida acontece quando so empregados, pelo menos, os axiomas de ordem (maior que,

mais do que); demonstrando, assim, a ordem de magnitude dos atributos de um constructo

(escala ordinal);

ESCALAS DE MEDIDAS

Stevens (1946) criou um sistema para classificar os diferentes nveis de medida (escalas de

medida). Estes nveis dependem de quantos axiomas do nmero a medida consegue garantir.

1) ESCALA NOMINAL: o nmero considerado apenas como smbolo (axioma de identidade) e

utilizado para identificar e classificar um objeto de outro ou uma classe de objetos de outra

classe. a escala mais pobre.

15

2) ESCALA ORDINAL: alm do axioma de identidade, considerado o de ordem do nmero.

Portanto, existe a propriedade da ordem de classificao, o que significa que os elementos de

um conjunto podem ser organizados em uma srie a partir de uma caracterstica. O zero um

valor arbitrrio e a distncia entre os nmeros pode ou no ser igual (inclusive, o zero pode ser

includo na escala, mas no representa o ponto de referncia).

3 4 5 6 7

3 5 6 10 100

-3 0 15 30 31

RANKING

1 2 3 4

GRUPO So Paulo Palmeiras Corinthians Cruzeiro

OBJETO Joo Maria Jos Ana

3) ESCALA INTERVALAR: conhecida tambm como escala de unidades iguais, o zero tambm

um valor arbitrrio porm a distncia entre os nmeros constante (isto , significativa). Os

axiomas do nmero que esta medida garante so os de identidade e de ordem.

2 4 6 8 10 0 1 2 3 4 -5 0 5 10 15

4) ESCALA DE RAZO: o zero absoluto (zero como ponto de referncia de medida; nenhuma

quantidade) e a distncia entre os nmeros constante. Todos os axiomas do nmero so

garantidos nesta escala.

0 2 4 6 8 0 1 2 3 4 0 5 10 15 20

Em Psicometria, no tem como aplicar a escala de razo porque os constructos psicolgicos

no tem zero absoluto.


16

FORMAS DE MEDIDAS

Como atribuir um nmero ao objeto (e no caso da Psicologia, ao atributo de um constructo)?

E por que este nmero e no qualquer outro?

Existem trs diferentes maneiras (formas de medida) de se fazer isso:

1) MEDIDA FUNDAMENTAL: uma medida de atributos mensurveis (massa, comprimento e

durao temporal) por uma unidade-base especfica (quilograma, metro, segundo) e tem

dimenso extensiva; so objetos que podem ser encadeados. So atributos passveis de uma

medida direta por um instrumento que tenha a mesma qualidade que se quer medir.

EXEMPLO: No caso do comprimento, unidade marcada na rgua (instrumento) o centmetro.

2) MEDIDA DERIVADA: so atributos indiretamente medidos atravs do estabelecimento de

uma relao com representaes extensivas, sendo essa relao um dado emprico.

EXEMPLO: Sabe-se que a massa varia em funo de volume e de densidade: massa = volume x

densidade. Massa e volume permitem uma medida fundamental (quilos e m3,

respectivamente), mas a densidade, no. Portanto, a densidade pode ser medida indiretamente

em funo de massa e volume (kg/ m3).

3) MEDIDA POR TEORIA: os atributos que no so passveis de medida fundamental (por no

ter dimenso extensiva ou unidade-base) ou de medida derivada (por no ter componentes de

dimenso extensiva que permitiram o estabelecimento de uma relao) e so apenas

mensurveis com base em leis e em teorias cientficas.

MEDIDAS POR LEI: medida baseada na relao entre a resposta e o estmulo, isto ,

quando uma lei foi empiricamente estabelecida entre duas ou mais variveis e pode-se medir

indiretamente atravs dessa relao estabelecida. EXEMPLO: lei do reforo em Psicologia -

associao de uma situao com outras semelhantes, generalizando essa aprendizagem para

um contexto mais amplo;

MEDIDAS POR TEORIA: uma medida que no pautada em fatos empricos (leis); isto

, no h leis relacionando variveis e somente hipteses (teorias) podem ser levantadas sobre

a relao entre os atributos e o constructo. Desta forma, a medida de um constructo feita

17

indiretamente atravs dos atributos a ele relacionados via teoria. Na Psicologia, a medida por

teoria pode ter vrios enfoques, tais como a teoria dos jogos, a teoria psicofsica e teoria

psicomtrica (ou teoria dos testes psicolgicos medida por teoria entre comportamentos e

constructos).

Constructo psicolgico Inteligncia medido por TEORIA medida por atributos

(comportamentos tpicos que o expressam)

resolver problemas com nmeros, problemas

espaciais, problemas com palavras

O PROBLEMA DO ERRO

A aplicao de nmeros a fenmenos naturais SEMPRE est sujeita a erro porque o nmero

no um ponto definido como na matemtica, e sim, um intervalo (Popper, 1972).

Os erros de medida podem ser:

1) de observao:

a. Instrumental

CAUSA: instrumentos inadequados ou descalibrados

CORREO: calibrao dos instrumentos

b. Pessoal

CAUSA: diferenas individuais durante a medio

CORREO: treinamento dos indivduos

c. Sistemtico

CAUSA: algum fator que no controlado

CORREO: controle experimental

d. Aleatrio

CAUSA: erros sem causa conhecida

CORREO: teoria do erro (probabilidade)

2) de amostragem:

CAUSA: seleo de uma amostra enviesada da populao

CORREO: representatividade


18

ETAPAS DE CONSTRUO DE UM INSTRUMENTO DE AVALIAO

- Instrumentos de avaliao: ferramentas importantes no contexto da sade, educao,

assistncia social e pesquisa, pois fornecem medidas acuradas, reprodutveis e relevantes que

propiciam a identificao de indivduos com maior chance de preencher critrios para uma

determinada condio;

- Para construo de um instrumento:

- Etapas bem definidas realizadas em uma sequncia determinada

- Procedimentos rigorosos:

1) Procedimentos tericos: enfoque na teoria sobre o constructo para o qual se quer

desenvolver um instrumento e tambm a operacionalizao do constructo em itens.

2) Procedimentos empricos (experimentais): planejamento da aplicao, aplicao do

instrumento piloto e coleta das respostas dos itens.

3) Procedimentos analticos (estatsticos): anlise estatstica das respostas dos itens para

obteno de ndices (de dificuldade, de discriminao, de coeficiente de fidedignidade) e

tambm normatizao dos resultados.

PROCEDIMENTOS TERICOS

PASSO 01. Escolha do constructo (objeto, trao latente) a ser estudado

- escolha baseadas em interesses, reflexo e literatura.

EXEMPLO: Funes cognitivas

PASSO 02. Definio das propriedades (atributos) do constructo

- levantamento da teoria que explica o constructo e os atributos que constituem uma

representao adequada do mesmo.

EXEMPLO: Inteligncia verbal

PASSO 03. Estabelecimento da dimensionalidade dos atributos

- levantamento de teoria e dados empricos que se tem sobre os atributos para definir sua

estrutura interna (so uni ou multifatoriais); teorias inconsistentes levam construo de

instrumentos ruins;

19

EXEMPLO: Inteligncia verbal composta por, pelo menos, dois fatores distintos, a

compreenso verbal e a fluncia verbal necessidade de instrumentos diferentes para avaliar a

inteligncia verbal ou de um instrumento que avalie separadamente os dois fatores.

PASSO 04. Definies constitutiva e operacional do constructo

- Conceituao clara e precisa dos fatores para os quais se quer construir o instrumento de

medida; a definio constitutiva e a definio operacional devem apresentar coerncia entre si;

Definio constitutiva: definio conceitual que delimita o que est ou no relacionado ao

constructo;

EXEMPLO: Inteligncia verbal definida como a capacidade de compreender a linguagem;

Definio operacional: define as operaes concretas (comportamentos, sintomas) que esto

relacionadas e que representam o constructo;

EXEMPLO: Inteligncia verbal definida como a capacidade de compreender a linguagem

(definio constitutiva) que pode ser traduzida no comportamento de reproduzir uma frase com

outras palavras e dar sinnimos e antnimos (definio operacional), por exemplo.

PASSO 05. Operacionalizao do constructo

- Construo dos itens que iro compor o instrumento (exemplo: tarefas ou comportamentos

que os indivduos devero executar para que se possa avaliar a magnitude do constructo em

questo); alguns critrios devero ser respeitados para a construo dos itens:

1. Critrio comportamental: o item deve representar um comportamento ou uma habilidade

ou sintoma claro e preciso;

2. Critrio de objetividade ou de desejabilidade: o item deve ser apresentado de uma forma

que seja possvel resposta certa ou errada (ou, no caso de atitude ou de caractersticas de

personalidade, se ou no desejvel);

3. Critrio de simplicidade: o item deve expressar uma ideia nica;

4. Critrio de clareza: o item deve ser escrito de forma inteligvel para o pblico-alvo;

5. Critrio de relevncia: a frase do item deve estar coerente com o atributo em questo (no

pode insinuar outro atributo);


20

6. Critrio de variedade: uso de uma linguagem que no seja repetitiva ou montona; e em

escalas de preferncias, metade dos itens em termos favorveis e outra, em desfavorveis;

7. Critrio de modalidade: formular frases que no utilizem expresses extremadas (meus pais

so a melhor coisa do mundo);

8. Critrio de tipicidade: formar frases com expresses condizentes com o atributo (conscincia

pesada x conscincia bonita);

9. Critrio de credibilidade: o item deve ser formulado de modo que no parea ridculo,

despropositado ou infantil.

PASSO 06. Anlise terica dos itens

- Os itens so submetidos anlise de constructo (conhecida tambm por anlise de juzes;

peritos no assunto avaliam a pertinncia dos itens ao constructo que representam); e tambm

anlise semntica (compreenso dos itens por todos os membros do pblico-alvo);

desenvolve-se o instrumento piloto para aplicao.

PROCEDIMENTOS EMPRICOS (EXPERIMENTAIS)

PASSO 07. Planejamento da aplicao do instrumento

- Constituio de uma amostra que represente o pblico-alvo para que o instrumento piloto

seja administrado, criao de instrues claras e precisas de como responder ao instrumento,

definio quanto sistemtica do instrumento (aplicao individual, coletiva, auto-relato, entre

outros) e do formato (mltipla escolha, escala Likert, entre outros).

Escala Likert: uma das mais populares (e confiveis) maneiras de medir as atitudes ou

comportamentos. A Escala Likert mede atitudes e comportamentos utilizando opes de

resposta que variam de um extremo a outro (por exemplo, de nada provvel para

extremamente provvel). Ao contrrio de uma simples questo de resposta "sim ou no", uma

Escala Likert permite descobrir nveis de opinio.

PASSO 08. Aplicao do instrumento e coleta dos resultados

- Administrao do instrumento piloto e coleta dos resultados.

PROCEDIMENTOS ANALTICOS (ESTATSTICOS)

21

PASSO 09. Anlise da dimensionalidade

PASSO 10. Anlise dos itens

- Clculo dos ndices de dificuldade e de discriminao dos itens (Curva Caracterstica do Item)

PASSO 11. Anlise da fidedignidade (preciso) dos resultados

- Clculo dos coeficientes de fidedignidade

PASSO 12. Estabelecimento de normas

- Normatizao dos dados

ESCOLHA DE UM BOM INSTRUMENTO: deve-se basear em suas qualidades psicomtricas

(validade, fidedignidade e normatizao) e tambm aspectos prticos (de aplicao) do

instrumento.

- as qualidades psicomtricas do instrumento so obtidas atravs dos procedimentos analticos

(estatsticos) durante o seu desenvolvimento.

Validade: capacidade de o instrumento medir aquilo que se prope a medir.

Fidedignidade: preciso do resultado obtido no instrumento, isto , um resultado preciso e com

relativa estabilidade.

OBSERVAO: a qualidade da fidedignidade no pertence aos instrumentos, mas aos resultados

obtidos nos mesmos.

Normatizao: obteno de normas para interpretao do resultado obtido no instrumento

(normas desenvolvimentais, normas intragrupo ou normas referenciadas em critrios).


22

VALIDADE

VALIDADE diz respeito propriedade de um teste de medir aquilo que se pretende medir

(Kelly, 1927, citado por Pasquali, 2007).

- Pode-se dizer que: se o instrumento for vlido, ele ser relevante/pertinente (com o que se

quer medir), e se ele for preciso, ele ir medir sem erros.

EXEMPLO: Constri-se uma barra de ferro de um metro para medir o comprimento das coisas.

Mede-se, ento, um pedao de madeira com a barra de ferro e obtm-se uma medida do

mesmo. Posteriormente, aquece-se a barra de ferro e repete-se a medio da madeira ela

certamente estar diferente da primeira medida.

- Pergunta: o metro deixou de medir comprimento? No, pois o metro ainda est medindo

comprimento, porm est medindo errado. Pois ento: o metro continua medindo aquilo que

ele se pretende medir (VALIDADE), mas est medindo errado (FIDEDIGNIDADE).

- um teste vlido para um determinado uso dentro de um determinado contexto

- a capacidade do teste de medir o comportamento pretendido est relacionada com a

qualidade da manifestao do comportamento. Para isso: necessidade de conhecer o

constructo e os comportamentos, sintomas, habilidades a ele relacionados.

Vrios testes com diferentes objetivos

Vrios tipos de validade

Vrias formas de se obter evidncias de validade

dos testes

Modelo proposto por Cronbach e Meehl (1955): modelo trinitrio da validade

1) Validade de contedo

2) Validade de critrio

3) Validade de constructo

- Essas validades no so excludentes e podem estar presentes em um mesmo instrumento.

23

VALIDADE DE CONTEDO

Um teste tem validade de contedo se ele constitui uma amostra representativa de um

universo finito de comportamentos; isto , o teste tem validade de contedo se ele realmente

abranger os diferentes aspectos representativos do objeto a ser avaliado.

EXEMPLO: teste para avaliar transtorno depressivo tem que abranger todos os critrios

estabelecidos pelo CID-10 ou DSM-IV.

- Obtm-se evidncias de validade de contedo de um teste atravs de um processo de

julgamento composto por duas partes distintas: o desenvolvimento do teste e a avaliao deste

por especialistas na rea;

- Para que um teste tenha validade de contedo, preciso se ater ao processo de

desenvolvimento do mesmo:

a) definir claramente o constructo a ser medido e conhecer toda a sua extenso (teoria e

definies constitutivas do constructo);

b) traduzi-lo em comportamentos representativos e ento selecionar comportamentos que

consigam englobar todos os aspectos do constructo (definies operacionais do constructo)

c) eliminar os contedos estranhos que estejam interferindo no resultado do teste.

- A avaliao qualitativa do teste (item a item e o teste em geral) feita pelos especialistas na

rea (juzes) e mede-se ento a proporo ou porcentagem de juzes que esto em

concordncia sobre determinados aspectos do teste.

VALIDADE DE CRITRIO

Um teste tem validade de critrio quando este discrimina indivduos que diferem em

determinadas caractersticas. a capacidade de um teste de se corresponder com outras

medidas ou de predizer algo que se prope.

- Obtm-se evidncias de validade de critrio de um teste atravs de um critrio-padro

(necessariamente, parte-se do pressuposto que j existam testes com validades comprovadas e

possam ser consideradas padro-ouro);

quando o teste a ser validado e o critrio-padro so aplicados simultaneamente, avalia-se a


24

VALIDADE CONCORRENTE;

EXEMPLO: Avaliar leses cerebrais em vtimas de acidente de carro; aplica-se o novo teste que

avalia leses cerebrais (critrio) nos pacientes e estes so submetidos a uma tomografia

(padro-ouro que fornecer o critrio-padro) obtm-se, portanto, duas medidas. Calcula-se

ento o coeficiente de validade entre essas duas medidas (resultado do novo teste e dados

obtidos da tomografia).

- testes com validade concorrente se mostram pertinentes caso apresentem vantagens em

relao aos testes j validados (por exemplo, economia de tempo).

quando o teste a ser validado e o critrio-padro so aplicados em um intervalo de tempo,

avalia-se a VALIDADE PREDITIVA.

EXEMPLO: Avaliar transtorno depressivo em uma amostra de pacientes com cncer usando o

teste desenvolvido e depois realizar uma entrevista diagnstica (SCID) com um especialista

obtm-se, portanto, duas medidas. Calcula-se ento o coeficiente de validade entre essas duas

medidas.

RETOMANDO OS EXEMPLOS...

OBJETIVO DO TESTE CARACTERSTICAS TIPO DE VALIDADE

Avaliar o domnio do idioma portugus de um aluno.

Desenvolvimento adequando do teste e avaliao por juzes Contedo

Avaliar leses cerebrais em vtimas de acidente de carro.

Teste x Padro-ouro com aplicaes simultneas

Critrio concorrente

Avaliar transtorno depressivo em pacientes com cncer.

Teste x Padro-ouro com aplicaes separadas por um

intervalo de tempo

Critrio preditivo

VALIDADE DE CONSTRUCTO

Validade de constructo considerada a forma mais fundamental de validade dos testes

psicolgicos, dado que esta validade verifica se a amostra de comportamentos (traduzidos

25

operacionalmente) representativa do constructo (traos latentes) e se o teste tem a

capacidade de confirmar hipteses esperadas (discriminar ou predizer).

- Pode-se considerar que a validade de contedo e de critrio so aspectos da validade de

constructo.

- Duas tcnicas para avaliar a adequao da representao do constructo pelo teste: anlise da

consistncia interna e anlise fatorial.

- Correlao com outros testes que meam o mesmo trao latente tambm utilizada como

demonstrao de validade de constructo (se um teste X mede validamente o trao Z e o novo

teste N se correlaciona altamente com X, ento o novo teste mede o mesmo trao Z).


26

FIDEDIGNIDADE (PRECISO, CONFIABILIDADE)

- Quando decises precisam ser tomadas com base nos resultados de instrumentos,

necessrio ter certeza de que estes resultados so confiveis.

EXEMPLO 01: Dois instrumentos equivalentes que avaliam traos de personalidade foram

aplicados no mesmo indivduo em um nico momento. Espera-se que os resultados dos dois

instrumentos sejam muito prximos.

EXEMPLO 02: Hipoteticamente, tem-se a seguinte situao: trs novos testes foram lanados

no mercado para medir a memria e estes variam de 0 a 100, sendo 0 indicativo de uma

memria muito comprometida e 100, uma memria completamente preservada. Os trs testes

foram aplicados em trs indivduos sadios que, durante o perodo de avaliao, no foram

sujeitos a nenhum evento catastrfico. Qual desses trs testes parece a princpio produzir um

resultado mais confivel?

APLICAES DOS TESTES JANEIRO FEVEREIRO MARO

Pontuao do Teste A 98 10 55 Pontuao do Teste B 78 30 81 Pontuao do Teste C 85 84 86

- no caso dos trs testes hipotticos, nenhum evento catastrfico aconteceu para que pudesse

impactar no desempenho da memria dos trs indivduos, contudo, os resultados dos testes

oscilaram muito nas trs aplicaes. Provavelmente, essas oscilaes estejam relacionadas

prpria qualidade dos testes e no porque o desempenho da memria esteja oscilante.

ESPERA-SE que resultados diferentes em um teste indiquem comportamentos alterados;

- Quanto mais preciso for considerado o resultado, mais livre de erros ele se encontra; e

importante considerar tambm o constructo que est sendo avaliado, pois fenmenos

psicolgicos diferentes possuem caractersticas distintas e sofrem influncia de diferentes

fatores.

- Contudo, toda e qualquer medida est sujeita a erro.

27

Resultado obtido = Resultado verdadeiro + erro

X = T + e

X: escore observado do indivduo

T (true score): nvel verdadeiro de um

constructo no indivduo

e: erro

- Busca-se sempre identificar as fontes de erro para minimiz-las e estimar a extenso da

influncia do erro no resultado (porque quando o erro muito grande, o resultado no

confivel e o instrumento perde sua utilidade);

ESTIMAO DA FIDEDIGNIDADE

- Existem basicamente duas tcnicas estatsticas para estimar a preciso do resultado: a

correlao e as tcnicas alfa (anlise de consistncia interna).

TCNICA SITUAO MTODO

CORRELAO SIMPLES

Mesmo indivduo (ou grupo) submetido ao mesmo instrumento em duas ocasies diferentes.

Mtodo do teste-reteste

Mesmo indivduo (ou grupo) submetido a duas formas paralelas (equivalentes) do mesmo instrumento em uma nica ocasio.

Mtodo das formas paralelas

TCNICAS ALFA

Aplicao de um instrumento em um indivduo (ou grupo) em uma nica ocasio para avaliar sua consistncia interna (relao entre respostas individuais nos itens e escore total do teste). Diviso dos itens do instrumento em duas metades para avaliar sua consistncia interna (coeficiente alfa de Cronbach).

Mtodo das duas metades

Coeficiente de fidedignidade: expressa o nvel de relao ou correspondncia que existe entre

os resultados de duas medidas.

- quanto mais semelhantes/precisos esses resultados, mais prximo de 1 o valor do coeficiente


28

EXEMPLO: Aplica-se um teste em um grupo de indivduos num dia e, depois de um ms, aplica-

se novamente o teste. Se o resultado dos indivduos for idntico nas duas ocasies, existe uma

correspondncia de 100% entre os dois resultados e o coeficiente de fidedignidade ser de 1.

- coeficiente positivo mais prximo de 1: mais prxima ser a correspondncia direta entre as

duas classificaes;

- coeficiente negativo mais prximo de 1: correspondncia inversa (primeiros classificados na

primeira aplicao sero os ltimos na segunda aplicao e vice-versa);

- coeficiente 0: no h nenhuma relao entre a classificao na primeira e na segunda

aplicao do teste; isto , a partir da classificao dos sujeitos na primeira aplicao, no d

para predizer nada sobre como ser esta classificao na segunda aplicao.

ESTIMAO DO COEFICIENTE DE FIDEDIGNIDADE

1) Mtodo do teste-reteste: investigar a consistncia da medida do instrumento em momentos

distintos (o quo estveis so os resultados obtidos em um teste aplicado mais de uma vez em

uma mesma pessoa ou grupo de pessoas); parte-se do pressuposto que o constructo que est

sendo medido se apresenta relativamente estvel ao longo de um determinado tempo.

Procedimento: aplica-se o mesmo teste nos mesmos indivduos em dois momentos distintos e

calcula-se a correlao entre os resultados (coeficiente de estabilidade); quanto maior a

correlao (mais prximo de 1), mais fidedigno (preciso) o resultado do teste.

Limitaes: dificuldade em encontrar um intervalo ideal de tempo entre as duas avaliaes para

reduzir o impacto da memria e no h controle dos eventos que podem ocorrer neste perodo e

que podem influenciar no desempenho do indivduo.

2) Mtodo por avaliadores: verificar a concordncia entre dois ou mais avaliadores que

corrigem ou atribuem pontuao ao desempenho do indivduo em um determinado

instrumento; espera-se controlar a subjetividade dos avaliadores;

Procedimento: aplica-se um teste em um indivduo e dois ou mais avaliadores corrigem seu

desempenho separadamente, e ento verifica a correlao dos resultados.

Limitaes: dificuldade em encontrar uma forma de aplicao que o avaliador no sofra a

influncia do outro.

29

3) Mtodo das formas paralelas: investigar a consistncia da medida entre duas formas

paralelas de um instrumento (isto , verses que medem o mesmo constructo com itens

diferentes)

Procedimento: aplicam-se duas formas paralelas de um instrumento em um indivduo (ou

grupo) em uma nica ocasio e calcula-se a correlao.

Limitaes: dificuldade em se obter duas formas perfeitamente paralelas de um instrumento (isto

, verses que medem o mesmo constructo com itens diferentes); possvel treinamento obtido

na primeira forma aplicada do instrumento (dessensibilizao ao contedo) e efeitos

motivacionais negativos.

3) Mtodo das duas metades: trata da verificao da consistncia interna de um instrumento

atravs da diviso do contedo em duas metades equivalentes.

Procedimento: aplica-se um instrumento em uma amostra em um nico momento.

Posteriormente, divide-se o instrumento em duas partes equivalentes (itens pares e itens

mpares, primeira metade e segunda metade, ou qualquer outra diviso); calcula-se a

correlao entre as duas metades.

Limitaes: dificuldade em se obter duas metades equivalentes (nmero de itens igual nas duas

metades, bem como o mesmo nvel de dificuldade, de discriminao e ter os mesmos ndices de

consistncia interna).

CONSISTNCIA INTERNA: homogeneidade dos itens do teste em relao ao constructo isto ,

itens homogneos so aqueles que avaliam o mesmo constructo e, por tanto, produziro

resultados semelhantes;

EXEMPLO: se um indivduo responder positivamente para eu gosto de chocolate, espera-se

tambm que ele responda negativamente para eu detesto chocolate.

- clculo do coeficiente alfa de Cronbach: anlise mais comum - o coeficiente alfa vai de 0 a 1,

sendo 0 indicativo de ausncia total de consistncia interna dos itens e 1, a presena de

consistncia interna de 100% dos itens.


30

REFERNCIAS

Andreoli, SB; Blay, L. e Mari, JJ. Escalas de rastreamento aplicadas na populao geral. In:

Gorenstein, C; Andrade, HSG e Zuardi, AW (Ed.) Escalas de Avaliao Clnica em Psiquiatria e

Psicofarmacologia. So Paulo: Lemos Editorial. cap. 5, p. 45-52. 2000.

Fachel JMG, Camey S. Avaliao psicomtrica: a qualidade das medidas e o entendimento dos

dados. In: Cunha JA, org. Psicodiagnstico, p. 158-70, 5 ed. Porto Alegre: Artmed, 2000.

Gunther, H. Como elaborar um questionrio. In: Instrumentos psicolgicos: Manual Prtico de

Elaborao. Pasquali, L. (org). Braslia: LabPAM. Cap. 10. 1999.

Pasquali, L. Psicometria: Teoria e Aplicao. A Teoria clssica dos testes psicolgicos. Editora

Universidade de Braslia, Braslia, 1997.

Pasquali L. Instrumentos Psicolgicos: Manual prtico de elaborao. Braslia: LabPAM. 1999.

Pasquali, L. Psicometria: Teoria dos Testes na Psicologia e na educao. Petrpolis: Vozes. 2004.

Documents

apostila