307Avaliao Psicolgica, 2014, 13(2), pp. 307-310

NOTA TCNICA

O processo de construode escalas psicomtricas

Caroline Tozzi Reppold, Lia Gonalves GurgelUniversidade Federal de Cincias da Sade de Porto Alegre, Porto Alegre-RS, Brasil

Claudio Simon HutzUniversidade Federal do Rio Grande do Sul, Porto Alegre-RS, Brasil

1 Endereo para correspondncia: R. Sarmento Leite, 245, Centro, 90050-170, Porto Alegre-RS. E-mail: leiagg@yahoo.com.br

A proposio de novos instrumentos de avalia-o psicolgica um dos temas de grande interesse da Psicologia nos ltimos anos, em especial aps a Resoluo CFP n02/2003 (CFP, 2003). Os princpios da criao de um instrumento podem ser divididos em trs eixos, conforme a denominao de Pasquali (1999): procedi-mentos tericos, procedimentos empricos (experimen-tais) e procedimentos analticos (estatsticos). Contudo,

os procedimentos que operacionalizam esses eixos so descritos pelo ITC (2001) e pela American Educational Research Association, American Psychological Association e National Concil on Measurement in Education (1999), e pelo Conselho Federal de Psicologia (CFP, 2003; Primi, Muniz e Nunes, 2009).

O objetivo da presente nota ilustrar o proces-so de elaborao e validade de escalas psicolgicas,

RESUMOA proposio de novos instrumentos de avaliao psicolgica um tema de grande interesse da Psicologia nos ltimos anos. Para instrumentos psicomtricos, as exigncias incluem: fundamentao terica coerente, estudos sobre caractersticas de preciso e validade, procedimentos de administrao, correo e interpretao. O objetivo desta nota ilustrar cada etapa do processo de elaborao e validao de uma escala psicolgica. Nesse caso, sero apresentados exemplos das etapas da construo da Escala de Ajustamento Psicolgico para Adolescentes, incluindo: I procedimentos tericos, elaborao dos itens e evidncias de validade baseadas no contedo; II evidncias de validade baseadas na estrutura interna; III evidncias de validade baseadas nas relaes com variveis externas convergentes.Palavras-chave: psicometria; avaliao psicolgica; testes psicolgicos.

ABSTRACT The process of construction of psychometric scalesThe proposition of new psychological assessment instruments is a topic of great interest in psychology in recent years. The requirements for psychometric instruments include: coherent theoretical foundation, studies on precision characteristics and validity, administration procedures, scoring and interpretation. The aim of this technical note is to illustrate each step of the development and validation process of a psychological scale. In this case, examples of the stages of the development of the scale Psychological Adjustment for Teenagers will be presented, including: I theoretical procedures, preparation of items and evidence of validity based on the content; II evidence of validity based on internal structure; III Evidence of validity based on relations with converging external variables.Keywords: psychometrics; psychological assessment; psychological tests

RESUMEN El proceso de construccin delas escalas psicomtricasLa propuesta de nuevos instrumentos de evaluacin psicolgica es un tema de gran inters en la psicologa en los ltimos aos. Para instrumentos psicomtricos, los requisitos incluyen: base terica coherente, estudios sobre las caractersticas de precisin y la validez, los procedimientos de administracin, calificacin e interpretacin. El propsito de esta nota es para ilustrar cada etapa del proceso desarrollo y validacin de una escala psicolgica. En este caso, se presentarn ejemplos de las etapas de la construccin de la escala Ajuste Psicolgico para Adolescentes, incluyendo: I procedimientos tericos, la preparacin de los elementos y evidencias de validez basado en el contenido; II evidencia de la validez basada en la estructura interna; III La evidencia de la validez basada en las relaciones con convergencia de las variables externas.Palabras clave: psicometra; evaluacin psicolgica; pruebas psicolgicas.

308 Avaliao Psicolgica, 2014, 13(2), pp. 307-310

Reppold, C. T., Gurgel, L. G., & Hutz, C. S.

com exemplos das etapas da construo da Escala de Ajustamento Psicolgico para Adolescentes (EAPA) (Reppold, 2005). Este instrumento composto por cinco escalas destinadas avaliao do ajustamento psicolgico de adolescentes entre 11 e 17 anos, que cobrem os cons-trutos ansiedade, humor, conduta social, ateno/ativida-de motora e contedo do pensamento. De acordo com o ITC (2001), a elaborao de um instrumento psicomtri-co envolve as seguintes etapas:

Etapa I procedimentos tericos, elaborao dos itens e evidncias de validade baseadas no contedo

Tem como objetivo a especificao das categorias comportamentais que representam o objeto psicolgico a ser medido e a operacionalizao dos construtos em itens. No caso da EAPA, a escolha dos atributos foi deter-minada pelas indicaes da literatura (demandas desen-volvimentais e clnicas), por entrevistas realizadas com oito profissionais da rea da sade (psiclogos, neurolo-gistas, psiquiatras e hebiatras) sobre as principais queixas clnicas dos adolescentes, e pela anlise documental das fichas de atendimentos de adolescentes em duas clnicas--escolas. Neste caso, foram observados os principais mo-tivos de encaminhamento dos adolescentes e as queixas relatadas por eles durante a triagem.

O segundo passo da elaborao de um instrumen-to psicolgico a definio das dimenses do teste, em termos constitutivos e operacionais, e a elaborao dos itens. No caso da EAPA, os principais referenciais te-ricos que balizaram as definies dos construtos foram os estudos clnicos e epidemiolgicos que assumiam a perspectiva da Psicopatologia Operacional-Pragmtica, as diretrizes diagnsticas descritas em manuais psi-quitricos, e as orientaes nacionais e internacionais sobre diretrizes na avaliao psicolgica. Para criao dos itens, procedeu-se da seguinte maneira: foram re-alizadas entrevistas com profissionais, sobre a fenome-nologia do construto, e com a populao-alvo; foram levantados os instrumentos disponveis que avaliavam o mesmo construto ou construtos correlatos; e foram levantados os dados obtidos nos pronturios de clnicas--escolas de Psicologia (diferenas de queixas em relao a sexo, idade, forma de relatar dificuldades de ajusta-mento, diferenas entre motivos de encaminhamento e queixas autorrelatadas).

Em especfico, foram realizadas entrevistas indivi-duais com oito profissionais (um hebiatra, quatro psic-logos, dois psiquiatras e um neurologista) sobre quais so as expresses verbais mais comumente pronuncia-das pelos adolescentes quando eles falam sobre: a) an-siedade? b) humor? c) conduta social? d) pensamento (obsesso/compulso)? e) ateno e hiperatividade?. Com relao anlise dos pronturios, os seguintes pontos foram observados: se os motivos de encaminha-mento diferiam quanto a sexo e idade; o modo como

os adolescentes relatavam dificuldades de ajustamento (expresses utilizadas); as diferenas entre motivos de encaminhamento e queixas autorrelatadas. Constatou-se, por exemplo, que os problemas de internalizao so subdimensionados por quem faz o encaminhamento dos adolescentes ao atendimento clnico, e que a forma de relatar queixas varia de acordo com a metacognio dos adolescentes.

Com relao s evidncias de validade baseadas no contedo propriamente dito, pode-se dizer que esse processo objetiva determinar se os itens elaborados so adequados teoricamente e se algum dos fatores do atri-buto coberto pelo teste super ou sub-representado no instrumento pelo vis do pesquisador. Essa anlise te-rica dos itens realizada por juzes e inclui uma anlise semntica dos itens (Cronbach, 1996; Pasquali, 1999).

No procedimento de anlise semntica dos itens da EAPA, o instrumento piloto foi apresentado em dez amostras de seis adolescentes de 12 a 17 anos, de ambos os sexos, escolhidos aleatoriamente. Para os procedimentos da anlise de juzes da verso preliminar dos instrumen-tos, contou-se com psiquiatras infanto-juvenis, hebiatras e psiclogos. Os procedimentos incluram a apresentao dos itens, da definio do construto e das dimenses co-bertas pelo teste. Com base nisso, os peritos indicavam se o item era pertinente ao trao latente a que teoricamente deveria se referir e se havia alguma faceta do construto no coberta pelo instrumento. Cada instrumento elabo-rado para a bateria foi analisado por, no mnimo, dois ju-zes. Alm disso, os itens foram apresentados a trs grupos de adolescentes, organizados conforme idade, para averi-guar se essa populao-alvo compreendia esses itens. Os adolescentes deveriam dizer o que cada item expressava e, para aumentar a validade aparente, sugerir eventuais modificaes na linguagem do item.

Etapa II evidncias de validade baseadas na estrutura interna

Dois procedimentos esto includos nesta etapa. Os procedimentos experimentais englobam o planejamen-to da pesquisa e a coleta dos dados. Os procedimentos analticos envolvem o tratamento estatstico e a anlise dos resultados (Pasquali, 1999). Neste contexto, a AERA, APA e NMCE (1999) preconizam que a validade a considerao mais fundamental quando da construo e anlise dos testes, pois revela o quanto a evidncia e o suporte terico do teste esto absorvidos na proposta apresentada. A fidedignidade se refere consistncia dos dados de avaliao frente aos mesmos procedimentos de testagem em indivduos ou em grupos, quando as condi-es de padronizao so mantidas.

A validao da EAPA foi realizada com 4033 ado-lescentes (51% do sexo feminino e 49% do sexo mas-culino), na faixa entre 11 e 17 anos (mdia=14,4 anos, d.p.=1,72). Atravs das anlises fatoriais exploratrias realizadas, foi possvel identificar quais itens tinham

309

A construo de escalas em Psicologia

Avaliao Psicolgica, 2014, 13(2), pp. 307-310

pertinncia estatstica com relao ao construto avaliado eliminando-se, assim, os itens no pertinentes. Para composio dos fatores, foi considerada tambm a per-tinncia terica dos itens em cada fator. A fidedignidade do instrumento foi averiguada por meio do clculo do Alpha de Cronbach.

Etapa III evidncias de validade baseadas nas relaes com variveis externas convergentes

A validade atestada quando as correlaes estabe-lecidas entre os escores da escala-teste e os indicadores externos (por exemplo, escores de instrumentos conver-gentes ou divergentes) assumem magnitude e direo coerentes com as expectativas formuladas com base na literatura (Cronbach, 1996; Nunes e Primi, 2010). No caso da EAPA, os participantes responderam simultane-amente a um par de instrumentos (formado pelo teste construdo e por um equivalente especfico), cujos re-sultados foram submetidos anlise de Correlao de Pearson. Cada par de instrumentos foi respondido por, no mnimo, 39 adolescentes. Para ansiedade, foram utilizadas a Escala Fatorial de Ajustamento Emocional/Neuroticismo (Hutz & Nunes, 2001), EFN Fatores ansiedade e vulnerabilidade psicolgica, e a Escala Beck de Ansiedade BAI (Cunha, 2001). Para Humor, fo-ram usadas as Escalas Beck de Depresso, Desesperana e Ideao Suicida BDI/BHS/BSI (Cunha, 2001). Para conduta social, a Escala Fatorial de Ajustamento Emocional/Neuroticismo (Hutz & Nunes, 2001) EFN Fator desajustamento psicossocial, subescalas do Inventrio de Habilidades Sociais (IHS) referentes con-versao/desenvoltura social e situaes novas/autocon-trole da agressividade (Del Prette & Del Prette, 2003). Para ateno e atividade motora, o Teste de Ateno D2 (Brickenkamp, 2004), subtestes Dgitos (ateno vigi-lante e ateno dividida), Cdigos (ateno mantida) e Aritmtica (ateno dividida) do WISC III (Wechsler, 1991, adaptado por Figueiredo, 2002), subteste Labirinto (impulsividade) do WISC III (Wechsler, 1991, adaptado por Figueiredo, 2002).

Na validao baseada em critrios externos, a qua-lidade do teste determinada pela capacidade de discri-minar mudanas comportamentais j identificadas por terceiros ou por testes, de forma objetiva em estudos transversais (validade diagnstica ou concorrente), ou identificadas como preditoras de comportamento/quadro futuro (validade preditiva). Para a EAPA, realizou-se a

seleo de trs grupos-critrio. Para o grupo I (clnico), o critrio foi o encaminhamento de psiclogos, psiquiatras e neurologistas de adolescentes com indicao diagnsti-ca de disfunes psiquitricas. Cada grupo se refere a um dos construtos de interesse da bateria. O grupo relativo ao construto ansiedade (N=62) foi composto por ado-lescentes que apresentavam sintomas de Transtorno de Ansiedade Generalizada, Fobia Social, Fobia Especfica ou Transtorno de Pnico. O grupo-critrio relativo ao construto humor (N=36) foi composto por adolescen-tes com indicadores de Transtorno de Humor. Os par-ticipantes do grupo-critrio referente ao construto con-duta social (N=24) apresentavam diagnstico prvio de Transtorno de Conduta ou de Transtorno Desafiador Opositivo. O diagnstico de Transtorno de Ansiedade Obsessivo-Compulsivo foi o critrio eleito para seleo do grupo clnico que constituiu amostra para validao de critrio da escala de pensamento (N=23). Por fim, o grupo-critrio relativo ao construto ateno/atividade motora foi constitudo por adolescentes com diagnsti-co de Transtorno de Dficit de Ateno e Hiperatividade (N=55). Para o grupo II, o critrio foi a indicao de professores ou orientadores pedaggicos de adolescentes que, no contexto escolar, apresentavam reiteradamente comportamentos indicativos de problemas de condu-ta (N=31), dificuldades de ateno ou hiperatividade (N=50) ou ansiedade exacerbada (N=23), sem diagns-tico clnico. Para o grupo III, especfico para escala de conduta social, o critrio foi a existncia de uma quei-xa crime contra o adolescente. Assim, foram includos no estudo 129 indivduos encaminhados Promotoria da Infncia e Juventude, aps o cometimento de um ato infracional.

Consideraes finais

Ressalta-se a importncia do tema abordado neste estudo, pois atende ao propsito de colaborar didatica-mente com o ensino sobre a elaborao de instrumen-tos psicomtricos. A oferta de instrumentos qualificados que auxiliem os clnicos a direcionar suas investigaes diagnsticas com maior segurana e que forneam aos pesquisadores novos recursos metodolgicos para o es-tudo dos processos avaliativos uma meta dos pesquisa-dores da rea da avaliao psicolgica - sobretudo tendo em conta a escassez de medidas psicolgicas validadas e normatizadas para avaliao de adolescentes.

Referncias

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, DC: Autor.

American Educational Research Association, American Psychological Association e National Council on Measurement in Education. (1999). Standards for educational and psychological testing. New York: American Educational Research Association.

310 Avaliao Psicolgica, 2014, 13(2), pp. 307-310

Reppold, C. T., Gurgel, L. G., & Hutz, C. S.

American Psychiatric Association. (2002). Manual diagnstico e estatstico de transtornos mentais (DSM-IV-TR). Porto Alegre: ArtMed.Brickenkamp, R. (2004). d2: Test de atencin (2a ed.). Madrid: TEA Ediciones.Conselho Federal de Psicologia. (2003). Resoluo para regulamentao dos testes psicolgicos. Resoluo 02/2003. Recuperado de http://

site.cfp.org.br/resolucoes/resolucao-n-2-2003/Cronbach, L. (1996). Fundamentos da testagem psicolgica. Porto Alegre: Artes Mdicas.Cunha, J. (2001). Manual da verso em portugus das Escalas Beck. So Paulo: Casa do Psiclogo. Del Prette, Z., & Del Prette, A. (2003). Inventrio de Habilidades Sociais (IHA-Del-Prette): manual de aplicao, apurao e interpretao (2 edio

revisada e ampliada). So Paulo: Casa do Psiclogo.Figueiredo, V. (2002). WISC III Escala de inteligncia Wechsler para crianas. (3 ed.). So Paulo: Casa do Psiclogo.Hutz, C., & Nunes, C. (2001). Manual da Escala de Ajustamento Emocional/Neuroticismo EFN. So Paulo: Casa do Psiclogo. ITC Comisin Internacional de Tests (2000). Diretrices internacionales para el uso de los tests. Recuperado de http://www.cop.es/tests.htmlNunes, C. H. S. S., & Primi, R. (2010). Aspectos tcnicos e conceituais da ficha de avaliao dos testes psicolgicos. Em Conselho Federal

de Psicologia (CFP). Avaliao Psicolgica: diretrizes na regulamentao da profisso (pp. 101-128). Braslia: CFP.Pasquali, L. (1999). Instrumentos psicolgicos: Manual prtico de elaborao. Braslia: LabPAM & IBAPP.Primi, R., Muniz, M., & Nunes, C. H. S. S. (2009). Definies contemporneas de validade de testes psicolgicos. Em C. S. Hutz (Org.),

Avanos e polmicas em avaliao psicolgica (pp. 243-265). So Paulo: Casa do Psiclogo.Reppold, C.T. (2005). Construo, validao e normatizao de uma bateria de cinco escalas para avaliao de ajustamento psicolgico em adolescentes. (Tese

de doutorado no publicada). Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil.

Sobre os autores

Caroline Tozzi Reppold Psicloga, doutora em Psicologia, professora adjunto da UFCSPA. Membro do corpo docente do PPG Cincias da Sade e do PPG Cincias de Reabilitao/UFCSPA. Bolsista produtividade do CNPq. Membro da diretoria do IBAP.

Lia Gonalves Gurgel Fonoaudiloga, mestre em Cincias da Sade, doutoranda do PPG em Cincias da Sade da UFCSPA. Bolsista de Doutorado CAPES.

Claudio Simon Hutz Psiclogo, doutor em Psicologia, Professor Titular da UFRGS, Pesquisador IA do CNPq. J foi presidente do IBAP e da ANPEPP e atualmente presidente da ABP+.

Recebido em novembro de 2013 Aprovado em fevereiro de 2014