9
Dental Press J Orthod 33.e1 2011 Nov-Dec;16(6):33.e1-9 David Normando*, Marco Antonio de Oliveira Almeida**, Cátia Cardoso Abdo Quintão*** A RTIGO I NÉDITO Análise do emprego do cálculo amostral e do erro do método em pesquisas científicas publicadas na literatura ortodôntica nacional e internacional Introdução: o dimensionamento adequado da amostra estudada e a análise apropriada do erro do método são passos importantes na validação dos dados obtidos em determinado estudo científico, além das questões éticas e econômicas. Objetivo: esta investigação tem o objetivo de avaliar, quantitativamente, com que frequência os pesquisadores da ciência ortodôntica têm empregado o cálculo amostral e a análise do erro do método em pesquisas publicadas no Brasil e nos Estados Unidos. Métodos: dois importantes periódicos, de acordo com a Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), foram analisados, a Revista Dental Press de Ortodontia e Ortopedia Facial (Dental Press) e o American Journal of Orthodontics and Dentofacial Orthopedics (AJO-DO). Apenas artigos publicados entre os anos de 2005 e 2008 foram analisados. Resultados: a maioria das pesquisas publicadas em ambas as revistas emprega alguma forma de análise do erro do método, quando essa metodologia pode ser aplicada. Porém, apenas um número muito pequeno dos artigos publicados nesses periódicos apresenta qualquer descrição de como foram dimensionadas as amostras estudadas. Essa proporção, já pequena (21,1%) na revista editada nos Estados Unidos (AJO-DO), é significativamente menor (p=0,008) na revista editada no Brasil (Dental Press) (3,9%). Conclusão: os pesquisadores e o corpo editorial, de ambas as revistas, deveriam dedicar uma maior atenção ao exame dos erros inerentes à ausência de tais análises na pesquisa científica, em especial aos erros inerentes a um dimensionamento inadequado das amostras. Resumo Palavras-chave: Bioestatística. Cálculo amostral. Erro do método. * Professor da Disciplina de Ortodontia da Faculdade de Odontologia da UFPA. Doutor em Ortodontia pela UERJ. Mestre em Clínica Inte- grada pela FOUSP. Especialista em Ortodontia pela PROFIS-USP. ** Mestre e Doutor em Ortodontia pela UFRJ. Professor Titular de Ortodontia, UERJ. *** Mestra e Doutora em Ortodontia pela UFRJ. Professor Adjunto da Disciplina de Ortodontia, UERJ. Como citar este artigo: Normando D, Almeida MAO, Quintão CCA. Análise do emprego do cálculo amostral e do erro do método em pesquisas científi- cas publicadas na literatura ortodôntica nacional e internacional. Dental Press J Orthod. 2011 Nov-Dec;16(6):33.e1-9. » Os autores declaram não ter interesses associativos, comerciais, de proprie- dade ou financeiros que representem conflito de interesse, nos produtos e companhias descritos nesse artigo.

2011 - Análise do emprego do cálculo amostral e do erro do método em pesquisas.pdf

Embed Size (px)

Citation preview

  • Dental Press J Orthod 33.e1 2011 Nov-Dec;16(6):33.e1-9

    David Normando*, Marco Antonio de Oliveira Almeida**, Ctia Cardoso Abdo Quinto***

    A r t i g o i n d i t o

    Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientficas publicadas na literatura ortodntica nacional e internacional

    Introduo: o dimensionamento adequado da amostra estudada e a anlise apropriada do erro do mtodo so passos importantes na validao dos dados obtidos em determinado estudo cientfico, alm das questes ticas e econmicas. Objetivo: esta investigao tem o objetivo de avaliar, quantitativamente, com que frequncia os pesquisadores da cincia ortodntica tm empregado o clculo amostral e a anlise do erro do mtodo em pesquisas publicadas no Brasil e nos Estados Unidos. Mtodos: dois importantes peridicos, de acordo com a Capes (Coordenao de Aperfeioamento de Pessoal de Nvel Superior), foram analisados, a Revista Dental Press de Ortodontia e Ortopedia Facial (Dental Press) e o American Journal of Orthodontics and Dentofacial Orthopedics (AJO-DO). Apenas artigos publicados entre os anos de 2005 e 2008 foram analisados. Resultados: a maioria das pesquisas publicadas em ambas as revistas emprega alguma forma de anlise do erro do mtodo, quando essa metodologia pode ser aplicada. Porm, apenas um nmero muito pequeno dos artigos publicados nesses peridicos apresenta qualquer descrio de como foram dimensionadas as amostras estudadas. Essa proporo, j pequena (21,1%) na revista editada nos Estados Unidos (AJO-DO), significativamente menor (p=0,008) na revista editada no Brasil (Dental Press) (3,9%). Concluso: os pesquisadores e o corpo editorial, de ambas as revistas, deveriam dedicar uma maior ateno ao exame dos erros inerentes ausncia de tais anlises na pesquisa cientfica, em especial aos erros inerentes a um dimensionamento inadequado das amostras.

    Resumo

    Palavras-chave: Bioestatstica. Clculo amostral. Erro do mtodo.

    * Professor da Disciplina de Ortodontia da Faculdade de Odontologia da UFPA. Doutor em Ortodontia pela UERJ. Mestre em Clnica Inte-grada pela FOUSP. Especialista em Ortodontia pela PROFIS-USP.

    ** Mestre e Doutor em Ortodontia pela UFRJ. Professor Titular de Ortodontia, UERJ. *** Mestra e Doutora em Ortodontia pela UFRJ. Professor Adjunto da Disciplina de Ortodontia, UERJ.

    Como citar este artigo: Normando D, Almeida MAO, Quinto CCA. Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientfi-cas publicadas na literatura ortodntica nacional e internacional. Dental Press J Orthod. 2011 Nov-Dec;16(6):33.e1-9.

    Os autores declaram no ter interesses associativos, comerciais, de proprie-dade ou financeiros que representem conflito de interesse, nos produtos e companhias descritos nesse artigo.

  • Dental Press J Orthod 33.e2 2011 Nov-Dec;16(6):33.e1-9

    Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientficas publicadas na literatura ortodntica nacional e internacional

    INTRODUOEstudos cientficos so mais confiveis quan-

    do so cautelosamente planejados. O problema a ser investigado deve ser bem definido e ope-racionalizado a partir de amostras selecionadas aleatoriamente de populaes apropriadas. Os mtodos utilizados devem ser seguidos cui-dadosamente e as medidas, obtidas atravs de instrumentos confiveis e previamente testa-dos6. Finalmente, o estudo deve ter um tama-nho adequado em relao aos seus objetivos e com amostras suficientemente grandes para que um efeito considerado clinicamente importante seja, tambm, estatisticamente significativo.

    O dimensionamento da amostra um pro-cesso matemtico de deciso, antes do incio do estudo, de quantos indivduos ou espcimes devem ser estudados5. O tamanho amostral importante por questes ticas e econmicas7. Um estudo utilizando amostra pequena pode no produzir resultados teis, expondo os seus participantes (amostra) a riscos desnecessrios, enquanto uma amostra de tamanho excessivo usa mais fonte de recursos do que necessrio, alm de expor um excessivo nmero de indiv-duos aos riscos porventura existentes.

    Infelizmente, o distanciamento natural dos pesquisadores e clnicos da rea da sade em relao ao entendimento da matemtica e, consequentemente, compreenso dos m-todos estatsticos, somado linguagem pouco acessvel usada pelos estatsticos na comuni-cao com os profissionais da rea da sade, torna esse assunto desinteressante para a maio-ria dos pesquisadores clnicos12. O desconhe-cimento e o desinteresse aumentam a proba-bilidade de erros no desenho e na anlise dos resultados de um estudo cientfico, reduzindo a confiabilidade dos dados obtidos. O estudo e a compreenso desses erros ajudariam o pes-quisador a entender os motivos que levaram ao seu aparecimento e os passos necessrios para tentar minimiz-los.

    CONCeITOs BsICOsPressupondo o distanciamento natural de uma

    considervel parte dos pesquisadores e clnicos em relao aos mtodos estatsticos, ser delineada uma breve reviso dos conceitos necessrios para o entendimento dos temas que envolvem o clcu-lo para obteno de uma amostra com tamanho adequado e dos erros inerentes ao mtodo empre-gado para a mensurao dos dados coletados4,10.

    Clculo amostralUm pesquisador, ao realizar a anlise estatstica

    dos seus resultados, aps a devida escolha de um teste estatstico, est sujeito a dois tipos de erros inerentes a essa fase. O erro tipo I (alfa) e o erro tipo II (beta)7.

    Para facilitar o entendimento desses dois tipos de erros, deve-se considerar como exemplo um teste estatstico usado para definir se duas amos-tras apresentam diferenas significativas, e compa-r-lo a um julgamento que ir definir se um ru culpado ou inocente.

    erro tipo I () ou falso positivoNo final de todo um processo judicial, o jri

    dever emitir o seu parecer, julgando o ru como inocente ou culpado, e levando em considerao que, a princpio, todos so inocentes at que se prove o contrrio. Estatisticamente, esse princpio definido como a hiptese de nulidade (Ho), ou seja, que os dados obtidos no estudo no produzi-ram provas suficientes para considerar as amostras como significativamente diferentes.

    Ao declarar um ru como culpado, o jri po-der estar incorrendo em um erro, se, na verdade, o ru for inocente. O erro desse jri pode exem-plificar, na anlise estatstica, o erro tipo I, ou falso positivo. No caso exemplificado, as amostras so consideradas estatisticamente diferentes, porm, na verdade, so semelhantes, ou foram obtidas da mesma populao.

    Na anlise estatstica, a probabilidade de ocorrncia do erro tipo I (ou alfa) definida pelo

  • Dental Press J Orthod 33.e3 2011 Nov-Dec;16(6):33.e1-9

    Normando D, Almeida MAO, Quinto CCA

    valor p, obtido em qualquer teste estatstico. Por-tanto, quanto menor o valor p, menor ser a pos-sibilidade (probabilidade) de erro ao afirmar, no exemplo, que a diferena obtida na comparao das duas amostras estatisticamente significativa, ou que tenha ocorrido por acaso10. notria a grande dificuldade dos investigadores iniciantes em entender o valor p, porque no vinculam o valor obtido como sendo uma PROBABILIDA-DE de ERRO. Assim, quanto menor o seu valor, maior ser a significncia estatstica analisada.

    O nvel de erro tipo I () deve ser definido an-tes do incio do estudo e, geralmente, na Odonto-logia, definido como sendo menor ou igual a 5%. Portanto, a probabilidade mxima de erro aceita para se rejeitar a hiptese de nulidade (igualdade) de 5%, ou p0,05). Assim como muito co-mum a seguinte explicao: Provavelmente, com uma amostra de maior tamanho poderia-se obter

    uma diferena estatisticamente significativa entre os grupos. Quando um investigador observa entre grupos uma diferena clinicamente importante, po-rm sem significncia estatstica, define-se o estudo como sem poder. Poder, em estatstica, reflete a probabilidade de um estudo evitar um resultado falso negativo10, ou seja, no exemplo citado ante-riormente, de definir as amostras como semelhan-tes e, de fato, elas serem semelhantes.

    Assim, poder em estatstica expressa a pro-babilidade de detectar um efeito verdadeiro. Convencionalmente, o poder tem sido estabe-lecido como 80% ou 90% (0,8 ou 0,9) e igual a 1 . Portanto, para o poder ser no mnimo igual a 0,8, a probabilidade de ocorrer o erro tipo II () no deve ser maior do que 20% (0,2). Poder= 1 0,2 = 0,8.

    Amostras pequenas reduzem o poder de um estudo; contudo, amostras demasiadamente gran-des proporcionam, geralmente, significncia esta-tstica entre os grupos7 estudados, mesmo quando a diferena muito pequena e considerada clini-camente sem importncia.

    Essa reviso dos conceitos acerca dos erros co-muns em estatstica refora a necessidade de se desenharem estudos aonde o tamanho das amos-tras seja adequado para evitar falsas interpretaes dos resultados e, consequentemente, tratamentos clnicos imprprios. Entretanto, alm dos nveis e , outros fatores fazem parte da receita que defi-ne o tamanho amostral1,6,10, sendo eles:

    a) O efeito clnico mnimo que o pesquisador deseja constatar na varivel principal (primria) do estudo desenvolvido. Quanto menor o efeito a ser examinado, maior dever ser o tamanho da amostra (n).

    b) Como os dados obtidos vo ser mensurados (escala contnua, ordinal, ou nominal). Dados no-minais (ex: presente x ausente/ Classe I, Classe II e Classe III) ou ordinais (ex: dor severa, modera-da, suave) exigem amostras com maior tamanho, quando comparados a dados numricos contnuos (ex: medidas cefalomtricas).

  • Dental Press J Orthod 33.e4 2011 Nov-Dec;16(6):33.e1-9

    Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientficas publicadas na literatura ortodntica nacional e internacional

    c) O tipo de teste estatstico a ser usado, e se uni ou bilateral. O tipo de teste escolhido a partir do tipo de varivel mensurada e do tipo de distribuio dos dados, normal ou livre. Testes paramtricos, que utilizam dados contnuos com distribuio normal (ex: teste t, ANOVA, Cor-relao de Pearson), exigem amostras com um menor nmero de participantes, comparados a testes no paramtricos (ex: Qui-quadrado, Tes-te exato de Fisher, Mann-Whitney, Wilcoxon, Correlao de Spearman). Um tutorial8 sobre a escolha do teste estatstico adequado para o seu estudo pode ser obtido em www.dentalpress.com.br/bioestatistica.

    d) A variabilidade dos dados obtidos. Quanto maior a variabilidade dos dados (desvio-padro, varincia, desvio interquartlico), maior dever ser o tamanho da amostra. Em geral, amostras parea-das pressupem um melhor controle da variabili-dade dos dados.

    Ento, uma questo importante surge: ser que os pesquisadores da cincia ortodntica tm, real-mente, se preocupado em dimensionar adequada-mente as amostras utilizadas em seus estudos? Re-centemente, o Instituto de Pesquisa Craniofacial e Odontolgica dos Estados Unidos determinou a incluso de todas essas informaes nas pesqui-sas clnicas candidatas a obter recursos financeiros dessa instituio de fomento9.

    Embora ausentes na literatura odontolgica, alguns estudos tm sido publicados na literatura mdica sobre a adequao do tamanho das amos-tras ou do poder dos testes estatsticos utilizados em pesquisas clnicas. Em geral, a anlise de estu-dos que no conseguem observar diferenas esta-tisticamente significativas entre um grupo tratado e o controle revela o emprego de amostras com dimenses inadequadas para ler diferenas clinica-mente importantes, ou seja, a presena frequente do erro tipo II, falso negativo2,11.

    Um estudo analisando 2.000 pesquisas cl-nicas sobre o tratamento da esquizofrenia10 re-velou que apenas 1% das pesquisas publicadas

    (n=20) apresentou um estudo do poder estats-tico ou clculo amostral. Os autores observa-ram, ainda, que apenas 3% dos estudos analisa-dos (n=60) apresentaram um tamanho amostral suficiente para ler uma diferena de 20% entre os resultados das terapias empregadas.

    erro do mtodoOutro tipo de erro que pode ocorrer em es-

    tudos cientficos est relacionado confiabilidade da leitura dos dados obtidos, ou seja, a capacidade dos mesmos de representar a verdade sobre o fe-nmeno que ora est sendo examinado e de serem reproduzveis em um outro momento4,13.

    Embora comum em estudos com variveis contnuas (ex: grandezas cefalomtricas)13, o cl-culo de erros de medidas pode e deve, tambm, ser examinado nos dados no paramtricos (ex: estudos epidemiolgicos sobre a prevalncia da m ocluso). Entretanto, assim como nem sem-pre possvel coletar um tamanho apropriada da amostra para um determinado estudo, por ques-tes ticas ou econmicas, em algumas situaes impossvel fazer uma anlise adequada do erro do mtodo por exemplo, quando da perda inevi-tvel do espcime no momento da leitura dos da-dos. Frequentemente, essa perda comum, entre outras circunstncias, nos ensaios de cisalhamento de braquetes, aps o descolamento do acessrio, impedindo a repetio do procedimento e obten-o de uma nova mensurao dos nveis de fora empregados para a fratura da colagem.

    O erro de um determinado mtodo emprega-do por um pesquisador conseguido, geralmen-te, duplicando-se as medidas realizadas em um determinado intervalo de tempo. Dois tipos de erros so geralmente examinados: o erro casual, que mede o grau de preciso das medidas e o erro sistemtico, que examina a reprodutibilida-de ou replicabilidade das medidas executadas4. Uma grande parte da varincia de uma varivel examinada est relacionada com a impreciso das medidas obtidas, ou seja, o erro do mtodo, o que

  • Dental Press J Orthod 33.e5 2011 Nov-Dec;16(6):33.e1-9

    Normando D, Almeida MAO, Quinto CCA

    tem, tambm, implicao no dimensionamento do tamanho da amostra examinada3. Quanto me-nores os erros do mtodo, ou das mensuraes, maior a validade ou confiabilidade dos dados ob-tidos3. As medidas devem, portanto, ser precisas e reproduzveis. Define-se como preciso a ca-pacidade do mtodo de fazer uma leitura exata do fenmeno examinado; e como reprodutibili-dade, a possibilidade dessa medida ser repetida em diferentes momentos.

    Apesar de amplamente divulgados e exigidos nos peridicos mais conceituados e de maior fator de impacto, ainda se pode constatar inmeros ar-tigos cientficos sem o adequado exame do erro do mtodo empregado na obteno dos dados.

    PROPOsIOLevando-se em considerao a importncia do

    adequado dimensionamento das amostras analisa-das em um estudo cientfico, assim como a confia-bilidade e reprodutibilidade dos dados obtidos a partir dessas amostras, esse estudo tem o objetivo de analisar a frequncia com que o emprego do clculo amostral e do erro do mtodo relatado na literatura ortodntica nacional e internacional.

    MATeRIAL e MTODOsDois peridicos cientficos relacionados ci-

    ncia ortodntica foram selecionados para a ob-teno da amostra do presente estudo. Um pu-blicado em lngua portuguesa e editado no Bra-sil, a Revista Dental Press de Ortodontia e Or-topedia Facial (Dental Press Editora, Maring/PR, Brasil) e outro publicado em lngua inglesa e editado nos Estados Unidos, o American Jour-nal of Orthodontics and Dentofacial Orthope-dics, ou AJO-DO (Elsevier, Sant Louis, EUA). Esses dois peridicos foram selecionados, pois representam, segundo a Capes (Coordenao de Aperfeioamento de Pessoal de Nvel Superior), as revistas cientficas dessa especialidade com o maior impacto cientfico no Brasil e no mundo, respectivamente.

    A anlise dos artigos publicados foi feita, inicial-mente, pelo resumo do artigo, sendo observado se o mesmo descrevia alguma anlise estatstica dos resultados. Em caso positivo, iniciava-se a leitura das sees Material e Mtodos e Resultados, por um nico examinador. Uma leitura minuciosa des-sas sees foi realizada para se constatar se o arti-go publicado apresentava ou no uma anlise do clculo amostral, ou do poder do teste estatstico utilizado, e a descrio do erro do mtodo (quando possvel de ser aplicado naquele determinado estu-do). No houve qualquer julgamento sobre o grau de adequao dos mtodos estatsticos empregados e/ou da confiabilidade dos seus resultados.

    Na Revista Dental Press foram examinados apenas artigos indexados na seo artigos indi-tos, enquanto no AJO-DO foram analisados so-mente artigos publicados na seo artigos origi-nais (original articles). Nessas sees, foram anali-sados apenas artigos nos quais foram empregados mtodos estatsticos descritivos e/ou analticos. Casos clnicos e revises de literatura no foram, por razes bvias, examinados.

    Clculo amostralInicialmente, um estudo piloto foi feito a partir

    da leitura dos 20 ltimos artigos originais publica-dos no peridico nacional (Revista Dental Press) no ano de 2007 (v. 12, n. 4, 5 e 6), com o intuito de se obter a proporo de artigos publicados nessa revis-ta que apresentavam a descrio do clculo amos-tral. Nessa busca inicial, apenas 1 artigo, entre os 20 examinados, descrevia, de alguma forma, o clculo amostral empregado no estudo, o que correspon-de a uma proporo de 5%. Em 16 estudos (80%), dentre os 20 analisados, a replicabilidade dos dados foi considerada possvel e, portanto, o estudo do erro do mtodo. A anlise desses 16 artigos eviden-ciou o uso do erro do mtodo em 8 trabalhos, ou seja, uma proporo de 50%.

    Estabeleceu-se o clculo amostral atravs do software Bioestat 5.0 (disponvel em: www.ma-miraua.org.br), considerando-se o emprego de um

  • Dental Press J Orthod 33.e6 2011 Nov-Dec;16(6):33.e1-9

    Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientficas publicadas na literatura ortodntica nacional e internacional

    teste estatstico binomial bicaudal, com poder de 80% (0,8) e nvel alfa de 5% (0,05) capaz de ler uma diferena de 20% entre os artigos publica-dos entre as duas revistas. Assim sendo, o tama-nho da amostra foi definido como 49 artigos para cada grupo para a anlise do clculo amostral e 93 artigos por grupo para a leitura do emprego do erro do mtodo.

    Foram selecionados para leitura os volumes mais recentes das duas revistas, visto representarem a ten-dncia mais atual do formato dos artigos publicados em ambos os peridicos investigados. Com o intui-to de se obter o tamanho da amostra predetermi-nado para a aplicabilidade do clculo amostral, foi necessria, inicialmente, a leitura de todos os artigos publicados na Revista Dental Press de Ortodontia e Ortopedia Facial publicados no ano de 2007 (v. 12), nos nmeros 1 a 6, e em uma edio publicada no ano de 2006 (v. 11, n. 6), totalizando 51 artigos publicados em 7 nmeros da revista. No peridico AJO-DO foi necessria, inicialmente, a leitura de 5 nmeros da revista publicados nos meses de se-tembro (v. 132, n. 3), outubro (v. 132, n. 4), novem-bro (v. 132, n. 5) e dezembro de 2007 (v. 132, n. 6) e um nmero do volume 133, publicado em janeiro de 2008 (n. 1), totalizando o exame de 57 artigos.

    Dentre os 51 artigos lidos na Revista Dental Press e 57 artigos lidos no AJO-DO, foi conside-rado possvel executar o erro do mtodo em 43 dos estudos publicados na Revista Dental Press e 41 publicados no AJO-DO. Assim, para se alcan-ar o nmero determinado no clculo amostral para se identificar uma diferena na proporo de 20 % (= 5%, = 20%) foi necessria a leitura de mais 6 nmeros da Revista Dental Press (v. 11, n. 1 a 5; e v. 10, n. 6, ) e 7 nmeros do AJO-DO (v. 132, n. 1 e 2; e v. 131, n. 2 a 6), totalizando mais 49 artigos na Revista Dental Press (total, n= 92) e 53 no AJO-DO (total, n= 94).

    erro do mtodoQuinze artigos publicados em cada uma das

    revistas (n=30) foram aleatoriamente relidos pelo

    mesmo examinador, uma semana aps a primeira leitura, com o intuito de se avaliar a replicabilida-de da avaliao executada. O teste de Kappa, com nvel de confiana de 95% (= 0,05), foi utilizado para analisar a replicabilidade do exame. O nvel de concordncia foi definido tanto para a presena do estudo do clculo amostral quanto para a pre-sena da anlise do erro do mtodo.

    Anlise estatsticaAs frequncias observadas na aplicao do

    clculo amostral e do erro do mtodo nos dois peridicos examinados foram comparadas atravs do teste binomial, para duas propores. O nvel de confiana estabelecido foi de 95% (= 0,05).

    ResULTADOs e DIsCUssOReplicabilidade da leitura dos artigos

    A anlise do erro do mtodo revelou uma exce-lente replicabilidade, na releitura dos artigos, para a definio do percentual de emprego do clculo estatstico, com 100% de concordncia (Kappa= 0,9, p

  • Dental Press J Orthod 33.e7 2011 Nov-Dec;16(6):33.e1-9

    Normando D, Almeida MAO, Quinto CCA

    mais que 21% dos seus artigos com a descrio dos mtodos utilizados para o clculo amostral (Tab. 1). Esses dados refletem uma desateno preocupante dos pesquisadores e revisores com esse importante fator de introduo de erros na avaliao estatstica dos dados obtidos publicados nesses dois importantes peridicos.

    estudo do erro do mtodoNo que concerne preocupao quanto ao

    emprego do erro do mtodo, os resultados da presente investigao revelaram um quadro dife-rente daquele apresentado para o uso do clculo do tamanho da amostra. Na Revista Dental Press de Ortodontia e Ortopedia Facial, em apenas pouco mais de 15% dos artigos publicados no era possvel, aos autores, duplicar as medidas rea-lizadas no estudo e, dessa forma, efetuar o estudo do erro do mtodo. Para o peridico AJO-DO, o estudo do erro do mtodo foi considerado como impossvel de ser executado em 28,1% dos arti-gos publicados (Tab. 2).

    Entre os artigos que possibilitavam o estudo do erro do mtodo, a maioria reportava o em-prego de algum modelo de anlise do erro do mtodo (Tab. 2). Para a Revista Dental Press, 60,9% dos artigos (n=56) onde era possvel o estudo do erro do mtodo haviam realizado esse tipo de anlise; enquanto no AJO-DO 76,6% dos artigos (n=72) apresentavam o estudo do erro do mtodo (Tab. 2).

    Comparativamente, nos artigos publicados no AJO-DO (76,6%), os autores pareciam um pou-co mais preocupados com a questo do estudo do erro do mtodo, em comparao aos publicados na Revista Dental Press (60,9%/ p=0,02). Entre-tanto, ressalta-se o nmero expressivo de artigos cientficos publicados na Revista Dental Press que utilizaram alguma ferramenta de controle de erro do mtodo. Deve-se considerar, ainda, o fato dos artigos analisados no AJO-DO terem sido publicados nos ltimos 12 meses (fev. 2007 a jan. 2008), enquanto na Revista Dental Press foi necessria, com o intuito de compor a amostra

    tabela 1 - Frequncia absoluta e relativa (%), diferena relativa, valor p e Poder para os artigos com anlise estatstica (a) e com descrio do clculo amostral (b) publicados na Revista Dental Press de Ortodontia e Ortopedia Facial e no american Journal of Orthodontics and Dentofacial Orthopedics.

    ** p

  • Dental Press J Orthod 33.e8 2011 Nov-Dec;16(6):33.e1-9

    Anlise do emprego do clculo amostral e do erro do mtodo em pesquisas cientficas publicadas na literatura ortodntica nacional e internacional

    com um tamanho adequado, a incluso de artigos publicados nos anos de 2005 e 2006.

    Os dados obtidos revelam que os artigos pu-blicados nas duas revistas apresentam um nvel de preocupao relativamente pequeno quanto aplicao de mtodos de dimensionamento do tamanho das amostras estudadas. O resultado preocupante para ambas as revistas, mas mais crtico para a revista publicada no Brasil: entre 51 artigos analisados, publicados entre o final de 2005 e o final de 2007, apenas 2 (3,9%) faziam referncia ao dimensionamento da amostra.

    Por outro lado, os dados so mais animadores para o emprego do estudo do erro do mtodo. A maioria dos estudos publicados em ambas as re-vistas, nos quais essa anlise se fazia possvel, re-portava o emprego do erro do mtodo, embora esse nmero seja um pouco maior para a revista americana (AJO-DO).

    CONCLUsOA maioria das pesquisas publicadas na Re-

    vista Dental Press de Ortodontia e Ortopedia Facial e no American Journal of Orthodontics and Dentofacial Orthopedics, quando aplicvel, emprega alguma forma de anlise do erro do mtodo. Porm, apenas em um nmero muito pequeno desses artigos os autores executam o clculo do tamanho adequado para as amostras analisadas. Essa proporo, j pequena (21,1%) para a revista editada nos EUA (AJO-DO), significativamente menor (P=0,008) para a re-vista de Ortodontia editada no Brasil (3,9%). Pesquisadores e o corpo editorial, de ambas as revistas, deveriam direcionar uma maior pre-ocupao para o exame dos erros inerentes ausncia de tais anlises na pesquisa cientfica, em especial os erros inerentes a um dimensio-namento inadequado das amostras.

    The use of sample size calculation and error of method in researches published in Brazilian and international orthodontic journals

    Abstract

    Introduction: Reliable sample size and an appropriate analysis of error are important steps to validate the data obtained in a scientific study, in addition to the ethical and economic issues. Objectives: To evaluate, quantitatively, how often the researchers of orthodontic science have used the calculation of sample size and evaluated the error of method in studies published in Brazil and in the United States of America. Methods: Two major journals, according to Capes (Coordenao de Aperfeioamento de Pessoal de Nvel Superior), were analyzed through a manual search: Revista Dental Press de Ortodontia e Ortopedia Facial and the American Journal of Orthodontics and Dentofacial Orthopedics (AJO-DO). Only papers published between 2005 and 2008 were examined. Results: The results showed that most of the surveys pub-lished in both journals used some kind of analysis of the error of method, when this methodology could be applied. On the other hand, only a very small number of articles published in these journals have any description of how sample size was calculated. This proportion was 21.1% for journals published in the United States (AJO-DO), and was significantly lower (p=0.008) for the Journal of Orthodontics published in Brazil (3.9%). Conclusion: Researchers and the editorial board of both journals should give greater attention to the examination of errors inherent to the absence of such analy-ses in scientific research, particularly the errors related to the use of an inadequate sample size.

    Keywords: Biostatistics. Sample size. Error of method.

  • Dental Press J Orthod 33.e9 2011 Nov-Dec;16(6):33.e1-9

    Normando D, Almeida MAO, Quinto CCA

    endereo para correspondnciaDavid NormandoRua Boaventura da Silva, 567-1201CEP: 66.055-090 - Belm / PAE-mail: [email protected]

    1. Browner WS, Newman TB. Sample size and power based on the population attributable fraction. Am J Public Health. 1998;79(9):1289-94.

    2. Freiman JA, Chalmers TC, Smith H Jr, Kuebler RR. The importance of beta, the type II error and sample size in the design and interpretation of the randomized control trial. Survey of 71 negative trials. N Engl J Med. 1978;299(13):690-4.

    3. Houston WJ. The analysis of errors in orthodontic measurements. Am J Orthod. 1983;83(5):382-90.

    4. Hulley SB, Cummings SR, Browner WS, Grady D, Hearst N, Newman TB. Designing clinical research an epidemiologic approach. 2nd ed. Baltimore: Williams and Wilkins; 2001.

    5. Last JM. Making the dictionary of epidemiology. Int J Epidemiol. 1996;25(5):1098-101.

    6. Lenth RV. Some practical guidelines for effective sample size determination. Am Statistician. 2001;55(3):187-93.

    7. MacFarlane TV. Sample size determination for research projects. J Orthod. 2003;30(2):99-100.

    RefeRNCIAs

    8. Normando D, Tjderhane L, Quinto CCA. A PowerPoint-based guide to assist in choosing the suitable statistical test. Dental Press J Orthod. 2010;15(1):101-6.

    9. National Institute of Dental and Craniofacial Research. Policies and Procedures for Investigator Initiated Clinical Trials. [Cited 2008 Feb 10]. Available from: www.nidcr.nih.gov/ClinicalTrials/ClincalTrialsProgram/DataCoordinator.htm.

    10. Phillips C. Sample size and power. What is enough? Semin Orthod. 2002;8:67-76.

    11. Thornley B, Adams C. Content and quality of 2000 controlled trials in schizophrenia over 50 years. BMJ. 1998;31(317):1181-4.

    12. Torgerson DJ, Miles JN. Simple sample size calculation. J Eval Clin Pract. 2007;13(6):952-3.

    13. Valladares JVN, Domingues MHMS, Capelozza Filho L. Pesquisa em Ortodontia: bases para a produo e a anlise crtica. Rev Dental Press Ortod Ortop Facial. 2000;5(4):89-105.

    Enviado em: 7 de agosto de 2008Revisado e aceito: 31 de agosto de 2008