OBJETIVOS DA AVALIAO DA FIDEDIGNIDADE EM ESTUDOS OBSERVACIONAIS

Ceclia Guarnieri Batista Pontifcia Universidade Catlica de Campinas

RESUMO - Na literatura da anlise aplicada do comportamento, verifica-se que a avaliao da fidedignidade feita atravs do clculo do acordo entre observadores. J na literatura etolgica, constata-se maior diversificao de tcnicas de avaliao de fidedignidade, in-cluindo-se a considerao de que a replicao da identificao das mesmas categorias por outros autores se constitui em indicao de que o observador foi f idedigno. Procura-se identif icaras razes pelas quais existe essa diferena de enfoque questo. Conclui-se sugerindo que a avaliao da fidedignidade deve estar subordinada aos objetivos e caractersticas de cada projeto de pesquisa, retendo-se o significado mais amplo do termo "f idedignidade", entendido como exatido e replicabilidade.

GOALS OF RELIABILITY EVALUATION IN OBSERVATIONAL STUDIES

ABSTRACT - In the applied behavior analysis literature, reliability evaluation is done through the measurement of interobserver agree-ment. In the ethological literature, on the other hand, several tech-niques of reliability evaluation are used, including the replication of the identification of the same categories of behavior by other resear-chers. Reasons for this difference are identified. As a conclusion, it is suggested that reliability evaluation must be subordinated to the goals and characteristics of each research project, whi le keeping general meaning of reliability as accuracy and replicability.

As ltimas dcadas de estudo do comportamento tm assistido a um crescente interesse por estudos observacionais, por influncia de determinadas abordagens tericas, como a etologia (Blurton Jones, 1972; Hinde, 1966) e a anlise do comportamento aplicada (Bijou, Peterson e Ault, 1968; Ramp e Semb, 1975). Recentemente so realizados estudos observacionais que decorrem direta ou indiretamente dessas abordagens e que abordam diferentes temas, como, por exemplo, o apego e as reaes da criana separao (Ferreira, 1984), a comunicao no-verbal (Scherer e Ekman, 1982) e as relaes entre professor e aluno em sala de aula (Marturano, 1978, 1979; Marturano, Bertoldo e Camelo, 1982).

Paralelamente ao desenvolvimento desses estudos, tem crescido a preo-cupao com a aferio da fidedignidade do sistema de observao e, espe-cif icamente, do observador humano como parte desse sistema (Johnson e Bolstad,

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205 -214 - Set.-Dez. 1985 205

1973; Caro, Roper, Young e Dank, 1979). No presente artigo, pretende-se examinar a forma como a fidedignidade tem sido considerada em Psicologia e, mais especificamente, nos estudos observacionais, e estabelecer algumas concluses a partir desse exame.

FIDEDIGNIDADE EM PSICOLOGIA

A definio de fidedignidade em dicionrios de Psicologia varia de acordo com as diferentes situaes em que o conceito aplicado, como se pode ver a seguir:

Com relao a relatos verbais, f idedignidade entendida como "o grau de exatido de um dado relato (de um evento, fenmeno, etc.) ou o grau de confiana no testemunho de um dado indivduo" (Warren, 1934).

Com relao aos testes psicolgicos, considerada como "uma das qualidades de uma medida. A fidedignidade de um teste expressa com o auxlio dos coeficientes de constncia, de equivalncia e de homogeneidade". Cons-tncia, por sua vez, entendida como "correlao entre duas sries de medidas de um mesmo atributo ou carter, efetuadas sobre um mesmo grupo, qualquer que seja o tempo decorrido entre as duas observaes". Equivalncia refere-se "cor-relao entre duas formas de um teste, que se tomam como equivalentes e se aplicam com intervalo reduzido". E homogeneidade definida como a "correlao entre as duas partes de um teste (questes pares e mpares)". (Piron, 1966, original de 1951).

Para a pesquisa experimental, f idedignidade refere-se ao "grau em que os resultados so consistentes na repetio do experimento" (Wolman, 1973).

Com relao a aparelhagens eletrnicas ou a sistemas homem-mquina, entende-se f idedignidade como a "probabil idade de que estes funcionem sem defeito, sob certas condies e durante um perodo determinado" (Sillamy, 1 980),

Verifica-se, assim, que ao longo das diferentes acepes que o termo assume, destacam-se as seguintes caractersticas: exatido, constncia de pro-priedades ao longo de um perodo, repetio de um resultado obedecidas as mesmas prescries. Sabe-se, tambm, que a tcnica especfica a serutil izada para a avaliao da fidedignidade varia de acordo com a rea de conhecimento em que o conceito aplicado: f idedignidade de um teste psicolgico aferida de modo diferente do que fidedignidade dos resultados de uma pesquisa experimental.

FIDEDIGNIDADE DO OBSERVADOR NA LITERATURA DA ANLISE DO COMPORTAMENTO APLICADA

A questo da fidedignidade do observador tem sido extensivamente tratada pelos autores que atuam em anlise do comportamento aplicada. Essa rea de pesquisa originou-se da anlise experimental do comportamento, que trabalha com uma ou poucas respostas que produzem um efeito ambiental claro, efeito esse registrado eletromecanicamente, em laboratrio. A anlise aplicada do compor-tamento, por sua vez, lida com respostas escolhidas em funo de sua relevncia social, ao invs de sua importncia para a teoria (Baer, Wolf e Risley, 1968). Isso leva o analista a atuarem ambientes complexos como salas de aula, instituies, residncias, etc, e a anotar as respostas relevantes para o problema estudado, respostas estas que raramente permitem um registro eletromecnico. Lana-se mo, ento, do observador humano, que registra as respostas selecionadas de

206 Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985

acordo com instrues predeterminadas. Da necessidade de se aferir a preciso desse observador, menos confivel do que os equipamentos eletromecnicos, que provavelmente surgiu a importncia atribuda estimativa da fidedignidade do observador.

O objetivo bsico da avaliao da fidedignidade tem sido descrito na literatura da anlise do comportamento aplicada como o de estabelecer a credibilidade dos dados de observao (Hawkins e Dotson, 1975; Kazdin, 1977; Kratochwil l e Wetzel , 1977). Essa credibil idade vai permitir que se confie nas demonstraes de relaes entre escores de comportamento e variveis externas, nas demonstraes de mudanas no comportamento, em termos de taxa de resposta ou durao, ao longo de diferentes fases experimentais (Johnson e Bolstad, 1973; Hopkins e Herman, 1977). O acordo entre observadores que registram o comportamento simultnea e independentemente considerado como indicao da fidedignidade desses observadores (Kazdin, 1977; Yelton, 1979). Os pesquisadores assumiram que o acordo em ocorrncias e/ou no ocorrncias de comportamentos-alvo sugere que os observadores esto respondendo aos mesmos eventos. Assim, o acordo entre observadores uma indicao da replicabilidade dos dados de observao (Wildman e Erickson, 1977).

Entretanto, ao longo do uso de ndices de acordo entre observadores em estudos dessa natureza, foram surgindo elementos para indicar que esses ndices esto sujeitos influncia de vrios fatores (Johnson e Bolstad, 1973; Kazdin, 1977). Alm disso, foi sendo aprofundada a discusso sobre a relao entre acordo entre observadores e definio do comportamento,

Em um texto sobre caractersticas de uma boa definio, distribudo para alunos universitrios, Michael (sem data) afirma que o teste final da qualidade de uma definio o clculo de fidedignidade. Em seguida a essa afirmao, ele faz a ressalva de que tem havido motivos que impedem o estabelecimento dessa relao direta na maioria das pesquisas realizadas e menciona algumas, entre as quais se inclui o uso do mesmo conjunto de definies no treino e na coleta de dados, o que pode levar os observadores a serem controlados por uma definio implcita (de consenso) e no pela definio explcita. Ele afirma que, nessas condies, o observador aprendeu a emitir o mesmo comportamento de registrar que seu treinador, mas que o grau em que isso corresponde definio verbal relatada completamente desconhecido. Assim, a definio explcita (relatada na pesquisa) no foi avaliada; apenas a definio implcita (no expressa verbalmente) foi avaliada. Ele afirma que isso no seria problema exceto porduas limitaes: a) esse tipo de definio provavelmente mais suscetvel de modificao no intencional (como, por exemplo, o desejo do experimentador de obter certos resultados); b) mais difcil a replicao do mtodo de mensurao por cientistas de outros laboratrios, uma vez que a definio real desconhecida. Ele considera, a seguir, que mesmo quando o observador que faz o teste de fidedignidade no foi pr-treinado nas definies de interesse, ainda podem haver problemas, pois: a) esse segundo observador pode ter uma definio de comportamento implcita seme-lhante do primeiro observador, e, b) a definio pode ser pobre e produzir alto acordo devido topografia que facilita a discriminao de outros comportamentos: desse modo, ela continua sendo pouco adequada para replicao do estudo.

Uma discusso semelhante encontrada em Hawkins e Dotson (1 975) sobre acordo entre observadores em registro de intervalo. Esses autores mostram que, quando se usa para clculo da porcentagem de acordo entre observadores uma frmula em que se computam tanto os acordos na ocorrncia como os acordos na

Psicol., Teori., Pesqui., Braslia, V. 1 N.3 p. 205 -214 - Set.-Dez. 1985 207

no-ocorrncia do comportamento, esse ndice altamente afetado pela taxa (ou durao) do comportamento, e no serve a nenhuma das seguintes funes: 1 )como ndice de quo precisa, clara, objetiva e completa uma definio; 2) como nice de quo competente o observador; 3) como ndice da confia-bil idade no efeito experimental relatado.

A partir dessa colocao de Hawkins e Dotson (1975), a discusso de fidedignidade em anlise do comportamento aplicada passou a girar em torno de modos de se evitar ndices altos devidos ao acaso. Para isso, foram feitas sugestes no sentido de: a) calcular separadamente ndices de acordo para ocorrncia e para no ocorrncia do comportamento (Bijou, Peterson e Ault, 1968; Hawkins e Dotson, 1 975); b) estabelecer meios de identif icara proporo de acordo devida ao acaso (Johnson e Bolstad, 1973; Hartmann, 1977; Hopkins e Hermann, 1977; Birkimer e Brown, 1979, a, b; Yelton, 1979), muitos deles envolvendo uma certa sofisticao estatstica. A reao de autores com tradio na rea no tem sido muito favorvel a esse segundo tipo de proposio. Ao comentar o artigo de Hartmann(1977), por exemplo, Baer(1977) afirma que o que interessa ao analista do comportamento responder questo: "Ser que quaisquer dois observadores, usando o mesmo cdigo de comportamentos, veriam os mesmos comportamentos do mesmo modo ao mesmo tempo?" questo essa que se refere avaliao da homogeneidade dos observadores que atuam num mesmo projeto. Ele considera que essa resposta pode ser obtida atravs do clculo separado das porcentagens de acordo sobre ocorrncia e no ocorrncia do comportamento registrado em intervalos e que as proposies sobre outros modos de calcularo acordo, inclusive levando em conta os valores obtidos ao acaso, so dispensveis e at prejudiciais rea da anlise do comportamento aplicada. Curiosamente, as colocaes de Michael (sem data) no so retomadas nos trabalhos referentes a ndices de acordo entre observadores.

Levando-se em conta as consideraes acima, verifica-se que a questo da f idedignidade do observador tratada na anlise do comportamento aplicada privilegiando-se o clculo do acordo entre observadores como indicador de f ide-dignidade. Busca-se identificar e controlar os fatores de erro que afetam esses ndices, sempre na direo de preservar essa forma de aferir f idedignidade. Isso est ligado ao interesse central da anlise do comportamento aplicada, que o de demonstrar o efeito de variveis experimentais sobre a freqncia (ou durao) do comportamento, produzindo mudanas de magnitude consideradas socialmente significativas. A exatido da contagem , portanto, crucial, para que no sejam confundidos os efeitos dessas variveis com os erros de mensurao.

FIDEDIGNIDADE DO OBSERVADOR NA LITERATURA ETOLGICA

O livro organizado por Blurton Jones (1972) com uma coletnea de artigos sobre comportamento infantil e maternal marca o incio da pesquisa etolgica sistemtica do comportamento humano. Em vrios artigos, a questo da f ide-dignidade do observador abordada, no sentido de enfatizar a replicabilidade das observaes. Vrios autores afirmam que um teste adequado da realidade das categorias identificadas o fato de que outros pesquisadores independentes estaro tambm identificando categorias semelhantes (Blurton Jones, 1972; Leach, 1972; Richards e Bernal, 1972). Nota-se que, aqui, a preocupao bsica com a fidedignidade na identificao de categorias replicveis, definidas em termos de unidades observveis, contrapondo-se aos estudos de psicologia social

208 Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205 -214 - Set.-Dez. 1985

e do desenvolvimento da poca, que faziam uso de categorias amplas de comportamento, e que exigiam dos pesquisadores certo grau de interpretao para decidir em que categoria enquadrar os eventos observados.

Uma outra nfase notada nos comentrios de alguns autores, no livro j citado, refere-se desconfiana no ndice de acordo entre observadores como indicador de fidedignidade. Argumenta-se que um grupo de observadores, depois de um treino suficiente, provavelmente comea a compartilhar entre si de interpretaes quanto identificao de categorias, mas que este grupo pode divergir de um outro grupo utilizando o mesmo sistema de categorias. Isso visto como um obstculo para a comunicao com leitores posteriores e, portanto, para a replicao do estudo (Blurton Jones, 1972; Smith e Connolly, 1972).

Nesse sentido, uma das solues propostas e a do calculo do acordo entre observadores em que um deles no est familiarizado com as categorias do estudo; foi o que fizeram Smith e Connolly (1972) quando utilizaram um observador com treino de observao de crianas que estudou apenas as definies escritas dos comportamentos referentes quele estudo especfico e efetuou o clculo de acordo com o observador principal.

A nfase dos etlogos, ento, na replicabilidade das categorias seleciona-das para estudo e na busca de padres de exatido do registro que evitem o mero consenso entre observadores, eventualmente desviando-se das prprias de-finies escritas.

Um texto mais recente na revista "Behaviour" (Caro, Roper, Young e Dank, 1979) discute a questo da fidedignidade entre observadores em estudos etolgicos. Os autores apresentam ndices para clculo do acordo entre obser-vadores e arrolam fatores que afetam o ndice, baseando-se, em parte, na literatura sobre fidedignidade produzida pela anlise do comportamento aplicada. Eles consideram que os mtodos de concordncia podem ser teis, especialmente no que se refere ocorrncia do comportamento a cada intervalo, no treino de observadores ou no exame detalhado de padres de comportamento.Eles fazem uma analogia entre o observador e um instrumento utilizado na observao cientfica: ambos funcionam diferentemente sob diferentes condies. Assim, os fatores que afetam o modo como os observadores registram o comportamento so anlogos s diferentes condies que afetam o funcionamento de um instrumento cientfico. Os autores comentam, no final do artigo, que a fidedignidade entre observadores no uma condio suficiente para garantir a validade de um estudo. Eles consideram que possvel obter uma alta f idedignidade entre observadores e um resultado estatisticamente significante a partir de uma amostra viesada; assim, o nico teste da validade de um estudo sua replicao. Eles afirmam, ainda, que as diferenas entre observadores no so a nica fonte de erro, constituindo-se a avaliao dessas diferenas em uma estimativa moderada do erro total.

Assim, nesse texto, verifica-se uma valorizao maior do acordo entre observadores como indicao de fidedignidade do que nos textos do livro de Blurton Jones, ao mesmo tempo que se mantm a nfase na importncia da replicao dos resultados. Isso est ligado aos objetivos da pesquisa etolgica, de detectar e descrever padres de comportamento para responder a perguntas em um ou mais dos seguintes nveis de anlise: causal, ontogentica, funcional e filogentica (Blurton Jones, 1972). Assim, a deteco dos mesmos padres por outros pesquisadores uma indicao muito significativa de que se est selecionando categorias adequadas para anlise. Por outro lado, reconhece-se a utilidade relativa do clculo do acordo entre observadores, como uma das formas

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985 209

de se aferir a preciso do registro de um observador ao longo de um estudo. Dessa forma, a questo da fidedignidade do observadora tratada na etologia de um modo mais diversificado do que na anlise do comportamento aplicada: um observador f idedigno tanto pode ser aquele que obtm resultados replicveis como aquele que obtm um alto ndice de acordo com outro observador, preferindo-se para esse teste um observador no treinado naquele conjunto especfico de categorias.

Assim, duas vertentes de pesquisa, com perguntas diferentes, enfocam diferentemente a questo da avaliao da fidedignidade do observador.

EM BUSCA DE UMA SOLUO

A avaliao da fidedignidade do observador em diferentes reas de pesquisa apresenta pontos comuns e pontos divergentes, relacionados aos objetivos especficos da investigao em cada rea.

Um ponto levantado por autores de ambas as reas revisadas refere-se relao entre teste do acordo entre observadores e o teste da qualidade de um sistema de categorizao do comportamento. Um grupo de autores que trabalham na rea de comunicao no-verbal chegou a uma soluo interessante (Frey e Pool, mencionados em Fisch, Frey e Hirsbrunner, 1983). Eles desenvolveram um sistema de notao de posies de cada parte do corpo, a serem codificadas a partir da observao da gravao da sesso em video-teipe; em seguida, calcularam ndices de acordo intra e intercodificadores e obtiveram valores acima de 90%. No entanto, esses autores consideraram que o ndice de fidedignidade alto no garante a qualidade de um esquema de notao e que a avaliao dessa qualidade depende do grau de resoluo do esquema de notao, ou seja, o grau em que o mesmo est apto a descrever fidedignamente as diferenas comportamentais existentes. Para tanto, procuraram reconstruir 40 posies randomicamente selecionadas com base nos dados codificados. Para esse objetivo, tomou-se uma pessoa que atuou como modelo e cada parte de seu corpo foi colocada nas posies correspondentes codificao dos sujeitos originais. Fotos tiradas desse modelo foram ento codificadas e comparadas aos cdigos obtidos a partir das posies originais. Os resultados indicaram acordo acima de 98%, dos 2400 itens de dados obtidos para cada conjunto de fotos.

Nesse estudo, verificaram-se alguns pontos a destacar. Em primeiro lugar, foi feita uma distino entre acordo na codificao e teste da qualidade do sistema de categorizao. Alm disso, o teste de acordo na codificao foi efetuado tanto entre codificadores como intracodificadores. Essa uma nova possibilidade a ser explorada a partir do uso mais extensivo do equipamento de video-teipe em estudos observacionais.

De fato, uma possvel soluo para a avaliao da f idedignidade do observador o uso exclusivo da aferio do acordo intra-observador, em duas codificaes separadas por um intervalo de tempo do mesmo teipe. Isso foi feito por Marturano (1978), em um estudo descritivo do comportamento de crianas de pr-escola em sala de aula. Nesse trabalho, o estudo de fidedignidade abrangeu um teste do catlogo de comportamentos, atravs do acordo entre observadores na utilizao do mesmo, e uma avaliao da estabilidade do pesquisador na utilizao desse catlogo para a codificao do comportamento observado atravs do video-teipe. Essa avaliao de estabilidade foi realizada levando-se em conta que todas as codificaes das sesses foram realizadas por um mesmo pesquisador. Calculou-se, ento, a proporo de variao na codificao da mesma fita, a

210 Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set-Dez. 1985

Psicol., Teori., Pesqui., Brasilia, V . 1 N. 3 p. 205-214 - Set.-Dez. 1985 211

intervalos de 48 horas e de seis meses da codificao original, obtendo-se valores considerados satisfatrios. Desse modo, apresenta-se uma possibilidade de o pesquisador atuar sozinho na anlise dos dados e aferir sua preciso no registro de seu catlogo de comportamentos. Note-se que o pesquisador s utilizou o clculo do acordo entre observadores para aferir inicialmente os itens do catlogo.

A guisa de concluso, a partir de todas as consideraes feitas, sugere-se que a avaliao da fidedignidade do observador seja pensada pelo pesquisador de modo a estar relacionada especificamente a seu objetivo de estudo e s caractersticas especficas de seu projeto de trabalho. Algumas sugestes so apresentadas a seguir;

a) Estudos preliminares, de caracterizao de um fenmeno, podem se beneficiar mais de discusses informais entre pesquisadores do que de testes formais de fidedignidade. Uma vez formalizados os critrios para delimitao de unidades e estabelecido um sistema de categorias, deve-se passar seleo de uma tcnica adequada de avaliao da fidedignidade do observador.

b) Estudos em que um observador o principal codificador do compor-tamento podem ter avaliaes de f idedignidade atravs de vrias tcnicas, entre as quais pode-se propor a avaliao do acordo entre observadores, em que o observador convidado um pesquisador experimentado que efetua alguns testes de acordo, tendo tido contato com o sistema de categorias utilizadas nesse estudo apenas por escrito. Outra possibilidade, quando se conta com gravaes es-pordicas ou sistemticas em video-teipes, a avaliao da estabilidade desse observador ao longo do tempo, na codificao do mesmo teipe.

c) Projetos de pesquisa que envolvam grupos de observadores para a coleta de dados tero necessariamente de contar com um sistema de aferio da preciso de cada um desses observadores. Na elaborao desse sistema de aferio, dever-se- levar em conta a literatura que aponta para diferentes fatores que afetam os ndices de acordo entre observadores. Esse sistema de aferio no indicar necessariamente a adequao do sistema de categorias utilizado. Entretanto, a anlise diferenciada dos ndices de acordo para diferentes categorias poder fornecer elementos para a reviso do sistema ou para o treino diferenciado de algumas categorias em que os observadores apresentem maior dificuldade.

d) O teste do sistema de categorias, conforme foi discutido, pode receber contribuies dos dados obtidos a partir do teste de acordo entre observadores mas no deve se confundir com este, uma vez que preciso levar em conta, tambm, o risco de observadores com alto ndice de acordo estarem reagindo a uma definio implcita da categoria, que no coincide necessariamente com a definio explcita. A soluo proposta por Fisch et al. (1983) parece muito boa: a partir do registro codificado, algum reproduz o comportamento e este codificado de acordo com o mesmo sistema. Comparam-se, a seguir, as duas codificaes. Talvez no seja to fcil representar certos tipos de comportamentos, da mesma forma que posturas, como foi feito no estudo citado. Entretanto, talvez seja ti l tentar a execuo dessa e de outras propostas com o objetivo explcito de teste do sistema de categorias.

Verifica-se, ento, que a questo da fidedignidade do observador pode ser trabalhada de vrios modos, e que essa discusso tem sido implementada nos ltimos anos. O importante reter o significado mais amplo do termo fidedignidade e estabelecer formas compatveis com os objetivos de cada trabalho para lidar com a questo da avaliao da fidedignidade do observador.

REFERNCIAS

BAER, D. M. (1977). Reviewer's comment: just because it's reliable doesn't mean that you can use it. Journal of Applied Behavior Analysis, 10, 117-119.

BAER, D. M., WOLF, M. M., & RISLEY, T. R. (1968). Some current dimensions of applied behavior analysis. Journal of Applied Behavior Analysis, 1, 91-97.

BIJOU, S. W., PETERSON, R. F., & AULT, M. (1968). A method to integrate descriptive and experimental f ield studies at the level of data and empirical concepts. Journal of Applied Behavior Analysis, 1, 175 -191 .

BIRKIMER, J. C., & BROWN, J. H. (1979). A graphical judgmental aid which summarizes obtained and chance reliability data and helps assess the believability of experimental effects. Journal of Applied Behavior Analysis, 12, 523-533(a).

BIRKIMER, J. C, & BROWN, J.H. (1979). Back to basics: percentage agreement measures are adequate, but there are easier ways. Journal of Applied Behavior Analysis, 12, 535-543(b).

BLURTON JONES, N. (1972). Characteristics of ethological studies of human behaviour. Em N. Blurton-Jones. (Ed.). Ethological studies of child behaviour. Cambridge: Cambridge University Press.

CARO, . -, ROPER, R., YOUNG, M., & DANK, G. R. (1979). Inter-observer reliability. Behaviour. LXIX, 3-4, 303-315.

FERREIRA, M. R. (1984). O apego e as reaes da criana separao da me: uma reviso bibliogrfica. Cadernos de Pesquisa, 48, 3-19.

FISCH, H., FREY, S., & HIRSBRUNNER, H. (1983). Analyzing nonverbal behavior in depression, Journal of Abnormal Psychology, 92 (3), 307-318.

HARTMANN, D. P. (1977). Considerations in the choice of inter-observer reliability est imates.Journal of Applied Behavior Analysis, 10, 103-116.

HAWKINS, R.P. ,&D0TS0N,V. A. (1975). Reliability scores that delude: an Alice in Wonderland trip through the misleading characteristics of inter-observer agreement scores in interval recording. Em E. Ramp, & G. Semb (Ed.). Behavior analysis: areas of research and application, Englewood Cliffs, N. Jersey: Prentice-Hall.

HINDE, R. A. (1966). Animal behaviour. N. York: McGraw-Hil l .

HOPKINS, B. L ,& HERMANN, J. A. (1977). Evaluating inter-observer reliability of interval data. Journal of Applied Behavior Analysis, 10, 121 -126.

JOHNSON , S. M.,& BOLSTAD, 0. D. (1973). Methodological issues in naturalistic observation: some problems and solutions for field research. Em L. A.

2 1 2 Psicol., Teori., Pesqui., Brasilia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985

Hamerlynck, L. . Handy, & E. J. Mash (Eds.). Behavior change: methodology, concepts, and practice. Champaign, Il l inois: Research Press.

KAZDIN, A. E. (1977). Artifact, bias and complexity of assessment: the ABCs of reliability. Journal of Applied Behavior Analysis, 10, 141-1 50.

KRATOCHWILL, T. R., & WETZEL, R. J. (1977). Observer agreement, credibil ity, and judgment: some considerations in presenting observer agreement data. Journal of Applied Behavior Analysis, 10, 133-139.

LEACH, G. M. (1977). A comparison of the social behaviour of some normal and problem children. Em N. Blurton-Jones (Ed.). Ethological Studies of Child Behaviour. Cambridge: Cambridge University Press.

MARTURANO, E. M. (1978). Um mtodo para a observao e anlise do comportamento da criana em sala de aula. Psicologia, 4 (2), 37-73.

MARTURANO, E. M. (1979). Caractersticas do comportamento no jardim da infncia: l-repertrio bsico. Psicologia, 5 (1), 69-89.

MARTURANO, E. M., BERTOLDO, A. A., & CAMELO, A. L. P. (1982). Estudo descritivo do intercmbio verbal em sala de aula atravs da anlise de contingncia - uma contribuio metodolgica. Psicologia, 5 ( 3 ) , 19-36.

MICHAEL J. (sem data). Characteristics of a good definit ion. Apostila mimeogra-fada para distribuio interna na American University.

PIERON, H. (1966). Dicionrio de Psicologia. Traduo de Cullinan, D. ., do original francs de 1951 . Rio de Janeiro: Globo.

RAMP, E., & SEMB, G. (Eds.). (1975). Behavior analysis: areas of research and application. Englewood Cliffs, N. Jersey: Prentice-Hall.

RICHARDS, M. P. M., & BERNAL, J. F. (1972). An observational study of mother-infant interaction. Em N. Blurton-Jones (Ed.). Ethological Studies of Child Behaviour. Cambridge: Cambridge University Press.

SCHERER, K. R., & EKMAN, P. (1982). Handbook of methods in nonverbal behavior research. Cambridge: Cambridge University Press.

SILLAMY, N. (1 980). Dictionnaire encyclopedique de Psychologie. Paris: Bordas.

SMITH, P. K.,& CONNOLLY, K. (1972). Patterns of play and social interaction in pre-school children. Em N. Blurton-Jones (Ed.). Ethological Studies of Child Behaviour. Cambridge: Cambridge University Press.

WARREN, H. (1934). Dictionary of Psychology. Boston: Houghton Miff l in.

WILDMAN, B. G., & ERICKSON, M. T. (1977). Methodological problems in behavioral observation. Em J. D. Cone, & R. P. Hawkins (Eds.). Behavioral assessment: New directions in clinical psychology. N. York: Brunner, Mazel.

Psicol-, Teori., Pesqui., Brasilia, V . 1 N . 3 p. 205-214 - Set.-Dez. 1985 213

WOLMAN, . . (1973). Dictionary of behavioral science. N. York: Van Nostrand

Reinhold.

YELTON, A. R. (1979). Reliability in the context of the experiment. Journal of Applied Behavior Analysis, 12, 565-569.

214

Artigo recebido em setembro de 1985.

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205 -214 - Set.-Dez. 1985