PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS …arquivos.cruzeirodosuleducacional.edu.br/principal/old/mestrado... · silvia regina shiwa prÁtica baseada em evidÊncias: a base

UNIVERSIDADE CIDADE DE SÃO PAULO

PROGRAMA DE MESTRADO EM FISIOTERAPIA

SÍLVIA REGINA SHIWA

PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS

PEDro, REPRODUTIBILIDADE DA ESCALA DE

QUALIDADE PEDro EM PORTUGUÊS E A INFLUÊNCIA DO

IDIOMA DE PUBLICAÇÃO NA QUALIDADE DOS ESTUDOS

CONTROLADOS ALEATORIZADOS

SÃO PAULO

2012

SÍLVIA REGINA SHIWA

PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS

PEDro, REPRODUTIBILIDADE DA ESCALA DE

QUALIDADE PEDro EM PORTUGUÊS E A INFLUÊNCIA DO

IDIOMA DE PUBLICAÇÃO NA QUALIDADE DOS ESTUDOS

CONTROLADOS ALEATORIZADOS

Dissertação apresentada ao Programa de

Mestrado em Fisioterapia da

Universidade Cidade de São Paulo,

como requisito para obtenção do título

de Mestre, sob orientação do Prof. Dr.

Leonardo Oliveira Pena Costa.

SÃO PAULO

2012

SILVIA REGINA SHIWA

PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS PEDro,

REPRODUTIBILIDADE DA ESCALA DE QUALIDADE PEDro EM

PORTUGUÊS E A INFLUÊNCIA DO IDIOMA DE PUBLICAÇÃO NA

QUALIDADE DOS ESTUDOS CONTROLADOS ALEATORIZADOS

Dissertação apresentada ao Programa de

Mestrado em Fisioterapia da

Universidade Cidade de São Paulo,

como requisito para obtenção do título

de Mestre.

Área de concentração: Avaliação, Intervenção e Prevenção em Fisioterapia

Data da defesa: 03/02/2012

Resultado:_________________________

BANCA EXAMINADORA

Prof. Dr. Leonardo de Oliveira Pena Costa ___________________________________

Universidade Cidade de São Paulo

Prof. Dr. Cristina Maria Nunes Cabral __________________________________

Universidade Cidade de São Paulo

Prof. Dr. Silvia Maria Amado João ____________________________________

Universidade de São Paulo

DEDICATÓRIA

Aos meus pais Paulo e Lídia, meus maiores exemplos de vida, de amor incondicional e

de sabedoria. Papai, mesmo você não estando aqui fisicamente, eu sei que você estará sempre

ao meu lado, me apoiando, me guiando, me dando forças para superar as derrotas e

comemorando junto comigo todas as vitórias.

Dedico ao meu querido Edson, por todo amor, atenção, apoio e compreensão em todos

os momentos.

AGRADECIMENTOS

Sempre tive o mestrado como plano, mas nunca achava que era a hora certa. Retornei

à UNICID com outros projetos e acabei no mestrado em fisioterapia. Por sorte, destino ou

escolha certa, posso afirmar que foi um divisor de águas. Grande parte disso devo ao meu

orientador, que me orientou de forma magnífica e além dos trabalhos científicos. Tive uma

sorte imensa de ser orientada por um profissional tão bem qualificado, competente, humano,

honesto, amigo e companheiro. Obrigada Leo por todos os ensinamentos, paciência,

compreensão, amizade e por ter tornado o meu mestrado uma experiência incrível, de novas

descobertas e muito prazerosa.

Agradeço à Lucíola Costa, a menina mais bonitinha do mundo, pela sua ajuda

imediata em tudo, sua disposição e carinho. Muito obrigada ao super casal que além de ótimos

profissionais, também são ótimos amigos. Obrigada pelo apoio nos momentos difíceis, pelas

risadas e pelos puxões de orelha.

Agradeço à Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) pelo

financiamento dos meus estudos.

Agradeço a todos os professores do mestrado em fisioterapia da UNICID pelo

acolhimento e ensinamentos. Vocês tornam este programa ainda melhor!

Agradeço a todos os meus amigos de mestrado, ao grupo estudos em dor lombar, ao

grupo de estudos em corrida, pela amizade, companheirismo e a oportunidade de crescermos

juntos, superando nossas frustrações, papers rejeitados, papers aceitos e muitas vitórias.

E por fim, agradeço a minha família, meus pais Paulo e Lídia pela oportunidade de

realizar o mestrado e apoio constante em minha vida; aos meus irmãos Mark e Marcelo,

minha cunhada Kayoko, minhas lindas sobrinhas Isabela e Lia e ao meu amor, companheiro

de todas as horas, meu querido Edson, por todos vocês fazerem parte da minha vida, pelo

apoio e pela compreensão. Amo muito vocês.

SUMÁRIO

Páginas

Prefácio ....................................................................................................................... vi

Resumo ..................................................................................................................... viii

Abstract ...................................................................................................................... xi

Capítulo 1 - Contextualização ................................................................................... 1

1.1. O que é prática baseada em evidências? ............................................................... 2

1.2. Qual a importância da prática baseada em evidências? ......................................... 4

1.3. Como utilizar a prática baseada em evidências? ................................................... 5

1.4. A Base de dados PEDro e a Escala de Qualidade PEDro ..................................... 6

1.5. Tradução, adaptação transcultural e propriedades clinimétricas da Escala de Qualidade

PEDro ........................................................................................................................... 7

1.6. Influência do idioma de publicação na qualidade dos estudos controlados

aleatorizados ................................................................................................................. 8

1.7. Objetivos da dissertação ...................................................................................... 10

1.8. Referências .......................................................................................................... 11

Capítulo 2 – PEDro: a base de dados de evidências em fisioterapia (Artigo

publicado na Revista Fisioterapia em Movimento) ............................................... 15

Resumo ....................................................................................................................... 16

Abstract ....................................................................................................................... 17

Introdução ................................................................................................................... 18

Resultados. .................................................................................................................. 20

Conclusão ................................................................................................................... 30

Referências ................................................................................................................. 31

Capítulo 3 – Reproducibility of the Portuguese version of the PEDro Scale ...... 27

Resumo ....................................................................................................................... 29

Abstract ....................................................................................................................... 31

Introduction ................................................................................................................ 33

Methods ...................................................................................................................... 37

Results ........................................................................................................................ 41

Discussion ................................................................................................................... 45

References .................................................................................................................. 48

Appendix 1: Instructions of management of PEDro scale.................. ................ ...... 50

Capítulo 4 – Language of publication slightly influences the quality of reports of

randomised controlled trials of physiotherapy interventions............................... 53

Abstract ....................................................................................................................... 55

Introduction ................................................................................................................ 57

Methods ...................................................................................................................... 59

Results ........................................................................................................................ 60

Discussion ................................................................................................................... 67

References .................................................................................................................. 70

Capítulo 5 – Conclusão ............................................................................................ 73

5.1. Resultados principais ........................................................................................... 74

5.2. Implicações dos resultados para a prática clínica e de pesquisa e sugestão de

estudos futuros ............................................................................................................ 74

5.3. Referências .......................................................................................................... 77

Apêndice 1 – Artigo publicado na revista Cadernos de Saúde Pública: Reproducibility of

the Portuguese version of the PEDro Scale ............................................................ 79

Anexo 1 – Normas de publicação: Journal of Clinical Epidemiology ................. 85

Ficha Elaborada pela Biblioteca Prof. Lúcio de Souza. UNICID

S558p

Shiwa, Sílvia Regina. Práticas baseadas em evidências: a base de dados PEDro, reprodutibilidade da escala de qualidade Pedro em português e a influência do idioma de publicação na qualidade dos estudos controlados aleatorizados. / Sílvia Regina Shiwa. --- São Paulo, 2012. 95 p.; anexos. Bibliografia Dissertação (Mestrado) – Universidade Cidade de São Paulo - Orientador: Prof. Dr. Leonardo Oliveira Pena Costa. 1. Base de dados - PEDro. 2. Prática clínica baseada em evidências. 3. Pesquisa. I. Costa, Leonardo Oliveira Pena. II. Título.

CDD 615.82

vi

PREFÁCIO

Essa dissertação de mestrado aborda tópicos relacionados à prática baseada em

evidências em fisioterapia e qualidade metodológica de estudos controlados

aleatorizados; em especial temas relacionados à base de dados PEDro (Physiotherapy

Evidence Database), a Escala de Qualidade PEDro, a reprodutibilidade da Escala de

Qualidade PEDro em português e sobre a influência do idioma de publicação na

qualidade metodológica de estudos controlados aleatorizados relevantes para a

fisioterapia. É composta por cinco capítulos que podem ser lidos independentemente e

cada capítulo possui sua própria lista de referências bibliográficas. O Programa de

Mestrado em Fisioterapia da Universidade Cidade de São Paulo permite a inclusão de

artigos publicados, aceitos ou submetidos para publicação a serem incluídos em seu

formato de publicação ou submissão no corpo do exemplar da dissertação.

O capítulo 1 apresenta uma contextualização dos tópicos que serão abordados

nessa dissertação. O capítulo 2 tem como objetivo fazer uma descrição detalhada da

base de dados e da Escala de Qualidade PEDro. Este capítulo está apresentado em

formato de artigo publicado na revista Fisioterapia em Movimento. O capítulo 3 tem

como objetivo apresentar um estudo sobre a reprodutibilidade da Escala de Qualidade

PEDro em português, esse capítulo foi publicado na revista Cadernos de Saúde Pública

no formato “nota de pesquisa”. A versão detalhada do manuscrito está apresentada no

capítulo 3 e a nota de pesquisa está disponível no apêndice 1. O capítulo 4 tem como

objetivo apresentar um estudo que investigou a influência do idioma de publicação na

qualidade de estudos controlados aleatorizados que analisam o efeito de intervenções

fisioterapêuticas. Este capítulo está formatado segundo as normas do Journal of Clinical

Epidemiology, revista ao qual foi submetida para publicação. O Capítulo 5 é um

vii

capítulo de conclusão da dissertação que apresenta uma visão geral dos principais

achados dos capítulos 2, 3 e 4, as implicações desses resultados, assim como sugestões

para estudos futuros. Uma cópia das “instruções para os autores” do Journal of Clinical

Epidemiology está apresentada como anexo.

viii

RESUMO

Esta dissertação de mestrado teve como objetivo geral contribuir com a prática

baseada em evidências através de uma série de estudos relacionados à qualidade dos

estudos controlados aleatorizados que avaliam a eficácia das intervenções

fisioterapêuticas. Os objetivos específicos foram: 1) apresentar detalhadamente a base

de dados PEDro, 2) testar a reprodutibilidade da Escala de Qualidade PEDro em

português e 3) avaliar a influência do idioma de publicação na qualidade dos estudos

controlados aleatorizados em fisioterapia.

A PEDro é a base de dados mais abrangente em estudos que testam a eficácia

das intervenções fisioterapêuticas, em que são indexados estudos controlados

aleatorizados, revisões sistemáticas e diretrizes de prática clínica, sendo que os estudos

controlados aleatorizados possuem sua qualidade metodológica e descrição estatística

avaliadas através da Escala de Qualidade PEDro. A PEDro tem acesso livre e gratuito,

facilitando o uso por profissionais, alunos da área e pesquisadores. Apesar de um

enorme número de acessos da base de dados PEDro se originar do Brasil, é comum

fisioterapeutas brasileiros desconhecerem a existência ou como utilizar essa importante

base de dados. O Capítulo 2 dessa dissertação apresenta, em detalhes, a PEDro, assim

como apresenta um tutorial de uso para a mesma.

A Escala de Qualidade PEDro é uma ferramenta eficaz na avaliação da

qualidade metodológica e estatística dos estudos controlados aleatorizados. E para

disponibilizá-la em português foi necessário testar sua reprodutibilidade a fim de

garantir que o uso da escala seja feito de forma confiável (capítulo 3). Dois grupos de

fisioterapeutas brasileiros avaliaram 50 estudos controlados aleatorizados em português

utilizando a Escala de Qualidade PEDro em português, esses mesmos estudos já haviam

ix

sido avaliados por avaliadores internacionais que utilizaram a versão original da escala

em inglês. Foi calculada a reprodutibilidade inter examinadores, assim como foram

comparados os resultados das avaliações utilizando a escala em português com os

resultados das avaliações que utilizaram a escala em inglês. Como resultado, foi

observado uma confiabilidade variando entre moderada a quase perfeita para itens

individuais da Escala de Qualidade PEDro (coeficiente Kappa variando entre 0,53 a

1,00) e confiabilidade excelente para a pontuação total (coeficiente de correlação

intraclasse de 0,82 [IC 95% de 0,70 a 0,89]). A concordância entre examinadores foi

considerada boa (erro padrão de medida de 0,58 pontos) e uma excelente confiabilidade

na comparação da versão em português com a versão original em inglês com um

coeficiente de correlação intraclasse de 0,78 (IC 95% de 0,67 a 0,86).

O viés de linguagem está presente de diversas formas nos estudos, desde a não

interpretação da evidência devido à falta de conhecimento do idioma, até a exclusão de

estudos publicados em idiomas diferentes do inglês por assumir que os mesmos

possuem baixa qualidade metodológica ou mesmo por questões logísticas. Porém não

há conhecimento se esta premissa de que estudos publicados em inglês possuem

qualidade superior é verdadeira. Para isso, seria necessário avaliar a qualidade dos

estudos controlados aleatorizados em diferentes idiomas, com um número

representativo de estudos relevantes para a fisioterapia. No capítulo 4 estão

apresentados os resultados de um estudo que avaliou a qualidade dos estudos a partir do

idioma de publicação de 12.532 estudos controlados aleatorizados em fisioterapia

publicados em inglês e 860 publicados em outros idiomas. Foi observado uma melhora

da qualidade dos estudos com o passar do tempo, não foi observada diferença

significativa entre as publicações em inglês ou em outro idioma na análise univariada

(diferença média de -0,1 pontos, IC 95% de -0,02 a 0,0, p=0.24, t=1.18). Porém na

x

análise ajustada para os confundidores, observou-se que o idioma inglês influencia

sutilmente a qualidade dos estudos (coeficiente beta = 0.15, IC 95% de 0,04 a 0,25). O

idioma de publicação é associada com a qualidade metodológica e descrição estatística

de estudos controlados aleatorizados de intervenções fisioterapêuticas, porém estudos

publicados em inglês possuem melhor qualidade do que os estudos publicados em

outras línguas, mas a magnitude desta influência é pequena e é inconsistente em alguns

itens.

Todos os estudos apresentados nesta disssertação contribuem para a prática

baseada em evidências. Na base de dados PEDro encontra-se uma excelente fonte de

evidências, tanto para pesquisadores, fisioterapeutas clínicos e usuários dos serviços de

fisioterapia. Os fisioterapeutas brasileiros podem utilizar a Escala de Qualidade PEDro

para avaliar criticamente a qualidade metodológica e estatística dos estudos controlados

aleatorizados e identificar a melhor evidência disponível devido a sua alta

reprodutibilidade inter avaliadores. E por fim, estudos controlados aleatorizados em

fisioterapia publicados em inglês possuem uma melhor qualidade que estudos

publicados em outros idiomas, porém essa diferença é pequena e talvez não relevante.

Sendo assim, estudos publicados em outros idiomas não deveriam ser excluídos para a

tomada de decisões clínicas e composição de revisões sistemáticas.

xi

ABSTRACT

This dissertation aims to contribute to evidence-based practice through a series

of studies related to the quality of randomized controlled trials that evaluated the

efficacy of physical therapy interventions. The specific objectives were: 1) to present in

detail the PEDro database; 2) to test the reproducibility of the PEDro Scale into

Portuguese and 3) to evaluate the influence of language of publication in the quality of

reports of randomized controlled trials in physical therapy.

PEDro is the most comprehensive database indexing randomized controlled

trials of physical therapy interventions. This database also indexes systematic reviews

and clinical practice guidelines relevant to the field of physical therapy. Randomized

controlled trials indexed in PEDro are rated for methodological quality and statistical

reporting using the 11-item PEDro Scale. PEDro is freely available, allowing its use by

clinicians, students and researchers in physical therapy. Despite a large number of

accesses to PEDro from Brazil, Brazilian physical therapists do not fully understand this

important database. Chapter 2 presents the PEDro database in detail and provides a

tutorial on how to use it.

The PEDro Scale is an effective tool to evaluate the methodological quality and

statistical reporting of reports of randomized controlled trials. In order to use the

Portuguese version of this scale it was necessary to test its reproducibility to ensure that

the use of the scale was reliable (Chapter 3). Two groups of Brazilian physical

therapists evaluated 50 reports of randomized controlled trials in Portuguese using the

Portuguese version of the PEDro Scale. These trials have already been assessed by

international raters who used the original English scale. We calculated the inter-

examiner reproducibility, as well as compared the results of the evaluations using the

xii

scale in Portuguese with the results of evaluations that have used the scale in English.

We observed reliability estimates ranging from moderate to almost perfect for the

individual items of the PEDro Scale (Kappa Coefficient ranging from 0.53 to 1.00) and

excellent reliability for the total score (Intraclass Correlation Coefficient of 0.82 [95%

CI 0.70 to 0.89]). The agreement between examiners was considered good (Standard

Error of Measurement of 0.58 points) and excellent reliability of the Portuguese version

compared with the original version in English with an Intraclass Correlation Coefficient

of 0.78 (95% CI 0.67 to 0.86).

Language bias is present in various ways in clinical trials, this ranges from

difficulties in interpreting the evidence due to the lack of knowledge of a certain

language, to the exclusion of trials published in languages different than English by

assuming that they have low methodological quality or even due to methodological

and/or logistical issues. But there is no evidence that trials published in English have

higher quality then non-English trials. To answer this question it is necessary to

evaluate the quality of randomized controlled trials in different languages, with a

representative number of trials relevant to physical therapy. Chapter 4 present the

results of a study that assessed the quality of 12,532 randomized controlled trials

published in English and 860 trials published in languages other than English. We

observed an improvement in quality of the trials over time. There was no significant

difference among English and non-English trials in the univariate analysis (mean

difference of -0.1 points, (95% CI: 0.02 to 0.0, p = 0.24, t = 1.18). But after adjusting

for confounders, we found that the English language slightly influences the quality of

clinical trials (beta coefficient = 0.15, 95% CI 0.04 to 0.25). Language of publication is

associated with the methodological quality and statistical report of randomized

controlled trials of physical therapy interventions. Trials published in English have

xiii

better quality than trials published in other languages, but the magnitude of this

influence is small and is inconsistent in some items.

All studies presented in this thesis contribute to evidence-based practice. PEDro

database in an excellent source of evidence both for researches, clinicians and users of

physical therapy services. Physical therapists may use the Brazilian PEDro Scale in

order to critically assess the methodological quality and statistical reporting of reports

of randomized controlled trials; being this scale having high inter-rater reliability.

Finally, randomized controlled trials published in English have a better quality than

trials published in other languages, but this difference is small and probably irrelevant.

Thus, trials published in other languages should not be excluded for clinical decision-

making as well as for systematic reviews.

1

CAPÍTULO 1

CONTEXTUALIZAÇÃO

2

1.1. O que é a prática baseada em evidências?

A prática baseada em evidências pode ser definida como o uso de evidências

científicas atualizadas para orientar a tomada de decisão clínica1. Surgiu na década de

70 quando um grupo de epidemiologistas da McMaster University (Toronto – Canadá),

liderados pelos pesquisadores David Sackett, Brian Haynes, Peter Tugwell e Victor

Neufeld planejaram a publicação de uma série de artigos descrevendo regras básicas

necessárias para a análise crítica de uma evidência2. Tais séries foram publicadas no

início de 1981 no Canadian Medical Association Journal e tinham por objetivo

investigar a análise crítica, em ambiente hospitalar, de processos assistenciais sugeridos

pela literatura médica2. No início da década de 90, Gordon Guyatt deu continuidade ao

trabalho do Dr. Sackett e adotou como missão o treinamento de profissionais de saúde

na prática clínica baseada em evidências2. Tal treinamento abrangia as diversas áreas de

assistência à saúde tais como medicina, enfermagem, fisioterapia, nutrição, odontologia

e posteriormente, áreas da economia e gestão de serviços de saúde1.

A prática baseada em evidências engloba três aspectos fundamentais: a pesquisa

clínica de alta qualidade, o conhecimento do profissional e as preferências do paciente.

Pesquisa clínica de alta qualidade refere-se às pesquisas realizadas com pacientes,

conduzidas em ambientes clínicos, utilizando-se de perguntas clínicas e que apresenta

resultados mais próximos da realidade clínica, com o menor viés possível3. O

conhecimento do profissional surge da prática e experiência clínica, nas quais os

profissionais avaliam a sua prática e aprendem com as suas experiências anteriores3. As

preferências do paciente, seus valores pessoais e suas experiências anteriores devem ser

respeitadas e consideradas na tomada de decisão; e sempre que possível o paciente deve

participar dessa decisão a fim de se obter a melhor conduta para o tratamento3. Na

ausência de estudos de alta qualidade, devem-se buscar os estudos clínicos com

3

qualidade inferior respeitando os níveis de evidência4 (Figura 1), seguido de opiniões de

experts e dos bons profissionais3.

Figura 1. Diagrama ilustrativo dos níveis de evidência em estudos de intervenção

(adaptado de Bob Phillips et al4) (ECA = estudo controlado aleatorizado)

Além disso, há outros fatores que podem influenciar a prática baseada em

evidências, como o idioma de publicação, aspectos culturais, políticos, econômicos,

equipamentos, habilidades do fisioterapeuta e as condições de trabalho5. Por exemplo,

uma intervenção muito eficaz para determinada condição de saúde pode exigir o uso de

um equipamento caro e talvez inacessível para o profissional, neste caso o profissional

teria que utilizar uma intervenção menos eficaz3. Outro exemplo de limitação ao uso da

prática baseada em evidências seria quanto ao idioma de publicação dos estudos, a

maior parte desses são publicados em inglês, porém se o leitor não tiver conhecimento

deste idioma, o acesso à evidência torna-se limitado. O problema do idioma de

publicação também pode afetar pessoas que só dominam o idioma inglês uma vez que

existem estudos de alta qualidade publicados em idiomas diferentes do inglês e que o

acesso destes estará restrito a um número reduzido de profissionais. Além disso, o

Revisão

sistemática

de ECA

ECA de alta qualidade

ECA de baixa qualidade

Estudos controlados não aleatorizados

Série de casos

Estudos de caso único

Opinião de experts sem avaliação crítica explícita, ou baseado na fisiologia e/ou

estudos laboratoriais

4

idioma de publicação irá dificultar a realização de revisões sistemáticas sem “viés de

linguagem”6-8

.

1.2. Qual a importância da prática baseada em evidências?

A utilização de intervenções baseadas em evidência é importante tanto para os

pacientes, como para fisioterapeutas, convênios, seguradoras de saúde e governo3. Do

ponto de vista dos pacientes, estes receberão intervenções seguras e eficazes em busca

da melhor resposta clínica possível3. Hoje, com a prática baseada em evidências, o

fisioterapeuta ganhou autonomia, e ao mesmo tempo responsabilidade para assegurar o

diagnóstico e o prognóstico correto do paciente, assim como ser bem informado quanto

aos benefícios, danos ou riscos da intervenção3. Para os convênios, seguradoras e para o

governo que financiam os tratamentos há o interesse em assegurar que o dinheiro será

investido em tratamentos comprovadamente eficazes, assim como em decidir sobre

investimentos nos serviços de saúde baseados em evidências5.

A prática baseada em evidências em fisioterapia tornou-se factível devido ao

número crescente e maior facilidade no acesso de estudos de alta qualidade nos últimos

anos9, 10

. Uma amostra disto é o número de indexações na base de dados PEDro

(Physiotherapy Evidence Database). Em janeiro de 2012 haviam 16.734 estudos

controlados aleatorizados, 3.118 revisões sistemáticas e 1167 diretrizes de prática

clínica relacionados a intervenções fisioterapêuticas indexados nesta base de dados11

.

Porém a prática clínica não acompanhou a velocidade de crescimento da evidência,

visto que o volume de informação é extenso, e consequentemente, aumenta a

dificuldade dos fisioterapeutas a se manterem atualizados, assim como utilizar toda a

evidência disponível12-15

.

5

1.3. Como utilizar a prática baseada em evidências?

O processo de prática baseada em evidências requer o desenvolvimento de cinco

componentes: 1) formulação da pergunta clínica; 2) condução de uma busca eficiente na

literatura para os tipos de estudos apropriados para responder a pergunta clínica; 3)

avaliação crítica da validade interna e externa dos estudos através da compreensão dos

métodos da pesquisa; 4) implementação dos resultados de estudos relevantes na prática

clínica, considerando as preferências dos pacientes, seus valores e circunstâncias; e 5)

avaliação dos efeitos da implementação da evidência encontrada16

.

O primeiro passo para encontrar a resposta adequada, de forma rápida e efetiva

seria através de uma boa formulação da pergunta clínica17

. As principais perguntas

clínicas3 são relativas a: 1) efeitos de intervenção, 2) experiências dos pacientes, 3)

prognóstico, 4) diagnóstico e 5) etiologia. Para cada pergunta clínica há um tipo de

estudo ou delineamento de pesquisa mais adequado. Por exemplo, para estudos que tem

como objetivo avaliar a eficácia de uma determinada intervenção, o delineamento ideal

seria um estudo controlado aleatorizado ou através de revisões sistemáticas que

sumarizam os resultados de vários estudos controlados aleatorizados9. Quando uma

revisão sistemática não se encontra disponível para uma determinada pergunta clínica,

devem-se buscar os estudos controlados aleatorizados isolados, preferencialmente os de

boa qualidade metodológica3.

Um dos possíveis problemas para profissionais de saúde é que podem ser

encontrados vários estudos de um mesmo assunto com diversos níveis de qualidade

metodológica e nem sempre fisioterapeutas que não estão envolvidos com a vida

acadêmica conseguem distinguir estudos de alta qualidade dos de baixa qualidade. Para

facilitar esta distinção de qualidade metodológica dos estudos controlados aleatorizados,

foi criada a base de dados PEDro (www.pedro.org.au) que disponibiliza aos seus

http://www.pedro.org.au/

6

usuários de forma gratuita, o resultado da busca dos estudos em ordem de evidência e

qualidade, sendo os estudos controlados aleatorizados avaliados através da Escala de

Qualidade PEDro18, 19

.

1.4. A base de dados PEDro e a Escala de Qualidade PEDro

A PEDro é a base de dados mais abrangente na indexação de estudos que

investigam a eficácia das intervenções fisioterapêuticas20, 21

. Foi criada em 1999 por um

grupo de fisioterapeutas australianos da Universidade de Sydney, com a missão de

maximizar a eficácia dos serviços de fisioterapia e facilitar a aplicação prática da

melhor evidência existente22

. É utilizada em mais de 125 países, com destaque para o

Brasil, pois cerca de 10% de todos os acessos na PEDro são realizados por

fisioterapeutas brasileiros11

. Apesar do Brasil ser o terceiro maior usuário da base de

dados PEDro11

, muitos fisioterapeutas brasileiros desconhecem a existência dessa

importante ferramenta de auxílio para a prática baseada em evidências. Todos os

estudos controlados aleatorizados indexados na base de dados PEDro têm sua qualidade

metodológica e estatística avaliada através da Escala de Qualidade PEDro18, 19, 23, 24

.

Essa escala é composta por 11 critérios e a pontuação final é gerada através da

somatória de dez dos onze critérios. Esta avaliação é realizada por dois avaliadores

independentes, e em caso de discordância em algum dos critérios, um terceiro avaliador

arbitra a pontuação final, que varia entre 0 e 10 pontos18, 19, 24, 25

. Até o presente

momento, não havia uma publicação em português apresentando em detalhes a base de

dados PEDro, assim como a Escala de Qualidade PEDro. O capítulo 2 dessa dissertação

apresenta em detalhes esses tópicos que podem ajudar fisioterapeutas a compreender e

utilizar melhor essa importante base de dados.

7

1.5. Tradução, adaptação transcultural e propriedades clinimétricas da Escala de

Qualidade PEDro

No Brasil, há aproximadamente 140 mil fisioterapeutas26

e somente uma

pequena proporção da população brasileira possui boa compreensão da língua inglesa. O

website da base de dados PEDro já foi traduzido para o português, porém a Escala de

Qualidade PEDro não estava disponível em português até a conclusão dessa dissertação.

Além da tradução é necessário realizar a adaptação transcultural e testar as propriedades

clinimétricas do instrumento adaptado27

. O objetivo do processo de adaptação

transcultural é produzir equivalência semântica e idiomática entre a versão original23

e a

versão adaptada28

. Quando uma adaptação transcultural de um instrumento de medida é

realizada, assume-se que as propriedades clinimétricas originais foram mantidas, porém

em alguns casos isto não é possível devido às diferenças culturais entre as duas

populações. Sendo assim, é essencial testar as propriedades clinimétricas do

instrumento adaptado para a população-alvo após os procedimentos de adaptação

transcultural27

. As propriedades clinimétricas são: consistência interna, validade,

reprodutibilidade (engloba a concordância e a confiabilidade), responsividade e efeitos

teto e piso29

. Neste presente estudo foi abordado somente a reprodutibilidade porque as

demais propriedades clinimétricas não se aplicam a escalas de qualidade metodológica.

A definição de reprodutibilidade utilizada nesta dissertação foi “o nível em que medidas

repetidas em condições estáveis promovem respostas similares (p.36)”29

.

A Escala de Qualidade PEDro em inglês possui reprodutibilidade satisfatória,

apresentando uma moderada confiabilidade entre examinadores23

. Porém a versão em

português nunca foi testada quanto a sua reprodutibilidade, desta forma, não se sabe se

os resultados das análises de estudos controlados aleatorizados utilizando a escala em

português são semelhantes àqueles utilizando a mesma escala original em inglês. O

8

Capítulo 3 apresenta um estudo de reprodutibilidade da versão em português da Escala

de Qualidade PEDro.

1.6. A influência da língua de publicação na qualidade dos estudos controlados

aleatorizados

Na base de dados PEDro encontram-se estudos controlados aleatorizados de

intervenções fisioterapêuticas publicados em 33 idiomas diferentes11

, sendo que esses

estudos possuem uma grande heterogeneidade do ponto de vista de qualidade

metodológica. É improvável que algum fisioterapeuta tenha o conhecimento de todas

essas línguas e tempo hábil de ler o extenso número de publicações para manter-se

atualizado. Desta forma, a melhor solução para fisioterapeutas se manterem atualizados

seria através da leitura de revisões sistemáticas de estudos controlados aleatorizados.

Infelizmente a maioria dessas revisões sistemáticas (mesmo as de alta qualidade)

também sofrem com um problema comum denominado viés de línguagem7. O viés de

linguagem refere-se à limitação devido ao idioma de publicação do estudo, por

exemplo, estudos publicados em idioma diferente do inglês exigirão que o leitor tenha

conhecimento deste idioma7. O viés de linguagem também se refere aos estudos que

ignoram a existência de estudos anteriores publicados em outros idiomas, como ocorre

na exclusão de estudos em uma revisão sistemática devido ao idioma de publicação30

.

Há evidência que 78% das meta-análises de estudos controlados aleatorizados sofrem

restrições quanto ao idioma de publicação e 93% excluem estudos publicados em

idiomas diferentes do inglês31, 32

. Esse viés de linguagem é comumentemente aceito em

revisões sistemáticas por dois motivos: 1) por razões logísticas (como por exemplo,

devido à necessidade de pessoas fluentes em diferentes idiomas para auxiliar na

extração e interpretação dos dados) ou 2) simplesmente porque pesquisadores assumem

9

que somente artigos publicados em inglês teriam qualidade (e quantidade) suficiente

para chegar a uma conclusão final. Em outras palavras assume-se que artigos publicados

em outros idiomas teriam uma qualidade metodológica inferior e que, portanto,

poderiam ser descartados6. Porém, essa premissa que os estudos controlados

aleatorizados em idiomas diferentes do inglês teriam uma qualidade metodológica

inferior aos estudos publicados em inglês foi mensurada em apenas dois estudos6, 7

. Em

um deles6, foram comparados a qualidade metodológica através da Escala Jadad

33 de

133 estudos controlados aleatorizados publicados em inglês e 96 estudos controlados

aleatorizados publicados em francês, italiano ou espanhol sobre medicina interna e

geral. Não foi encontrada diferença entre os estudos publicados em inglês e em outros

idiomas. Outro estudo7 comparou a qualidade de 40 pares de estudos publicados em

inglês e alemão de medicina geral. A qualidade metodológica foi avaliada através de

duas escalas de qualidade33, 34

. Não foram encontradas diferenças na qualidade desses

estudos. Estes estudos avaliaram idiomas isoladamente, com uma amostra pequena de

artigos e somente da área da medicina. Seria interessante a comparação de estudos

controlados aleatorizados referentes à fisioterapia, com uma amostra representativa e

com um número maior de idiomas. O capítulo 4 apresenta um estudo que avalia a

qualidade dos estudos controlados aleatorizados de fisioterapia publicados em diferentes

idiomas e que comparou a qualidade dos estudos publicados em inglês (n=12.532) com

os publicados em línguas diferentes do inglês (n=860).

10

1.7. Objetivos da dissertação

Esta dissertação de mestrado tem como objetivos abordar tópicos relacionados à

prática baseada em evidências, em especial:

1. Apresentar detalhadamente a base de dados e a Escala de Qualidade PEDro

(capítulo 2);

2. Analisar a reprodutibilidade da Escala de Qualidade PEDro em português

(capítulo 3);

3. Apresentar a influência do idioma de publicação na qualidade dos estudos

controlados aleatorizados na área da fisioterapia (capítulo 4).

11

1.8. Referências

1. Group E-BMW. Evidence-based medicine. A new approach to teaching the practice of

medicine. JAMA. 1992;268(17):2420-5.

2. Claridge JA, Fabian TC. History and development of evidence-based medicine. World

J Surg. 2005;29(5):547-53.

3. Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical Evidence-Based Physiotherapy.

2nd ed. London: Churchill Livingstone; 2011.

4. Philips B, Ball C, Sackett DL, Badenoch D, Strauss SE, Haynes B, et al. Levels of

Evidence. 2009 [updated 2009; cited 21/07/2011]; Available from:

http://www.cebm.net/index.aspx?o=1025.

5. Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical Evidence-Based Physiotherapy.

Butterworth-Heinemann; 2005.

6. Moher D, Fortin P, Jadad AR, Juni P, Klassen T, Le Lorier J, et al. Completeness of

reporting of trials published in languages other than English: implications for conduct and

reporting of systematic reviews. Lancet. 1996;347(8998):363-6.

7. Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lengeler C, Antes G.

Language bias in randomised controlled trials published in English and German. Lancet.

1997;350(9074):326-9.

8. Moher D, Pham B, Lawson ML, Klassen TP. The inclusion of reports of randomised

trials published in languages other than English in systematic reviews. Health Technol Assess.

2003;7(41):1-90.

9. Marques AP, Peccin MS. Pesquisa em fisioterapia: a prática baseada em evidências e

modelos de estudos. Fisioter Pesq. 2005;2(1):43-8.

http://www.cebm.net/index.aspx?o=1025

12

10. Maher CG, Sherrington C, Elkins M, Herbert RD, Moseley AM. Challenges for

evidence-based physical therapy: accessing and interpreting high-quality evidence on therapy.

Phys Ther. 2004;84(7):644-54.

11. PEDro. PEDro acess statistics. 2011 [updated 2011; cited 29/08/2011]; Available

from: www.pedro.org.au.

12. Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based

medicine: what it is and what it isn't. BMJ. 1996;312(7023):71-2.

13. Nilsson LM, Nordholm LA. Physical therapy on stroke rehabilitation: bases for

swedish physiotherapists´ choice of treatment. Physiother Theory Pract. 1992;8(1):49-55.

14. Rudd AG, Lowe D, Irwin P, Rutledge Z, Pearson M. National stroke audit: a tool for

change? Qual Health Care. 2001;10(3):141-51.

15. Turner PA, Harby-Owren H, Shackleford F, So A, Fosse T, T.W.A W. Audits of

physiotherapy practice. Physiother Theory Pract. 1999;15(4):261-74.

16. Sackett DL, Strauss SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based

Medicine: How to Practice and Teach EBM. 2nd ed. New York: Churchill Livingstone; 2000.

17. Sutherland SE, Matthews DC, Fendrich P. Clinical practice guidelines in dentistry:

Part I. Navigating new waters. J Can Dent Assoc. 2001;67(7):379-83.

18. Maher CG, Moseley AM, Sherrington C, Elkins MR, Herbert RD. A description of the

trials, reviews, and practice guidelines indexed in the PEDro database. Phys Ther.

2008;88(9):1068-77.

19. Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of

randomized trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.

20. Michaleff ZA, Costa LOP, Moseley AM, Maher CG, Elkins MR, Herbert RD, et al.

CENTRAL, PEDro, PubMed, and EMBASE are the most comprehensive databases indexing

randomized controlled trials of physical therapy interventions. Phys Ther. 2011;91(2):190-7.


13

21. Moseley AM, Sherrington C, Elkins MR, Herbert RD, Maher CG. Indexing of

randomised controlled trials of physiotherapy interventions: a comparison of AMED,

CENTRAL, CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed.

Physiother. 2009;95(3):151-6.

22. Centro de Fisioterapia Baseada em Evidências (CEBP). [cited 2011 30/01/2011];

Available from: http://www.pedro.org.au/portuguese/about-us/cebp/.

23. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the

PEDro scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.

24. Sherrington C, Moseley AM, Herbert RD, Elkins MR, Maher CG. Ten years of

evidence to guide physiotherapy interventions: Physiotherapy Evidence Database (PEDro). Br

J Sports Med. 2009;44(12):836-7.

25. de Morton NA. The PEDro scale is a valid measure of the methodological quality of

clinical trials: a demographic study. Aust J Physiother. 2009;55(2):129-33.

26. COFFITO. Perguntas mais frequentes: Quantitativo de profissionais. 01/02/2011

[updated 01/02/2011; cited 14/07/2011]; Available from: www.coffito.org.br/faqs/faq.asp.

27. Maher CG, Latimer J, Costa LO. The relevance of cross-cultural adaptation and

clinimetrics for physical therapy instruments. Rev Bras Fisioter. 2007;11(4):245-52.

28. Costa C. Portuguese adaptation of the PEDro scale. Lisbon: Technical University of

Lisbon; 2011.

29. Terwee CB, Bot SDM, Boer MR, van der Windta DAWM, Knola DL, Dekkera J, et

al. Quality criteria were proposed for measurement properties of health status questionnaires.

J Clin Epidemiol. 2007;60(1):34-42.

30. Gregoire G, Derderian F, Le Lorier J. Selecting the language of the publications

included in a meta-analysis: is there a Tower of Babel bias? J Clin Epidemiol.

1995;48(1):159-63.

http://www.pedro.org.au/portuguese/about-us/cebp/

http://www.coffito.org.br/faqs/faq.asp

14

31. Pham B, Klassen TP, Lawson ML, Moher D. Language of publication restrictions in

systematic reviews gave different results depending on whether the intervention was

conventional or complementary. J Clin Epidemiol. 2005;58(8):769-76.

32. Moher D, Pham B, Klassen TP, Schulz KF, Berlin JA, Jadad AR, et al. What

contributions do languages other than English make on the results of meta-analyses? J Clin

Epidemiol. 2000;53(9):964-72.

33. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Gavaghan DJ, et al.

Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control

Clin Trials. 1996;17(1):1-12.

34. Chalmers I, Adams M, Dickersin K, Hetherington J, Tarnow-Mordi W, Meinert C, et

al. A cohort study of summary reports of controlled trials. JAMA. 1990;263(10):1401-5.

15

CAPÍTULO 2

PEDro: A BASE DE DADOS DE EVIDÊNCIA EM

FISIOTERAPIA

Fisioter Mov. 2011 jul/set;24(3):523-33

ISSN 0103-5150Fisioter. Mov., Curitiba, v. 24, n. 3, p. 523-533, jul./set. 2011

Licenciado sob uma Licença Creative Commons

[T]

PEDro: a base de dados de evidências em fisioterapia [I]

PEDro: the physiotherapy evidence database

[A]

Sílvia Regina Shiwa[a], Leonardo Oliveira Pena Costa[b], Auristela Duarte de Lima Moser[c], Isabella de Carvalho Aguiar[d], Luis Vicente Franco de Oliveira[e]

[a] Mestranda em Fisioterapia, Universidade Cidade de São Paulo (UNICID), São Paulo, SP - Brasil, e-mail: [email protected][b] Coordenador do Programa de Mestrado em Fisioterapia, Centro Brasileiro de Fisioterapia Baseada em Evidências/PEDro

Brasil, Universidade Cidade de São Paulo (UNICID), São Paulo, SP - Brasil. [c] Professora do Programa de Pós Graduação em Tecnologia em Saúde (PUCPR), Curitiba, PR - Brasil. [d] Mestranda em Ciências da Reabilitação, Universidade Nove de Julho (UNINOVE), São Paulo, SP - Brasil.[e] Professor do Programa de Mestrado e Doutorado em Ciências da Reabilitação (UNINOVE), São Paulo, SP, Brasil.

[R]

Resumo

Introdução: A prática baseada em evidências é necessária para que os pacientes recebam tratamentos efi-cazes, assim como para reduzir os custos de saúde em geral. Com o crescimento da produção científica com qualidade metodológica heterogênea, torna-se difícil para o fisioterapeuta selecionar quais as me-lhores evidências para embasar a sua conduta terapêutica. Objetivos: Apresentar a base de dados PEDro (Physiotherapy Evidence Database). Materiais e métodos: Foram descritos a abrangência da base de da-dos, tipos de estudos indexados, grau de acessibilidade aos usuários e critérios de qualificação metodoló-gica, entre outras características. Resultados: PEDro é a base de dados mais abrangente em estudos que testam a eficácia das intervenções fisioterapêuticas, em que são indexados estudos controlados aleatoriza-dos, revisões sistemáticas e diretrizes de prática clínica, e os estudos controlados aleatorizados possuem sua qualidade metodológica e descrição estatística avaliadas por meio da escala de qualidade PEDro. A PEDro tem acesso livre e gratuito, facilitando o uso por profissionais, alunos da área e pesquisadores. Os resultados das buscas são ranqueados de acordo com a qualidade metodológica dos artigos encontrados. A PEDro está disponível em cinco idiomas: inglês, mandarim, francês, alemão e português e disponibiliza uma versão simples, sem termos técnicos, para consumidores de serviços de fisioterapia, que são as “escolhas

16


Shiwa SR, Costa LOP, Moser ADL, Aguiar IC, de Oliveira LVF.524

fisioterapêuticas”, ou physiotherapy choices. Conclusão: A PEDro cumpre o seu papel auxiliando tanto pro-fissionais como pacientes, informando sobre as evidências de eficácia de tratamentos fisioterapêuticos de uma forma rápida e simples e contribuindo com o recolhimento de informações para subsidiar decisões ou escolhas terapêuticas. [#]

[P]

Palavras-chave: Prática clínica baseada em evidências. Base de dados. Fisioterapia. [#]

[B]

Abstract

Introduction: Evidence-based practice is needed in order to provide effective and low cost treatments for pa-tients. Due to the growth of the number scientific articles with heterogeneous methodological quality, it be-comes difficult for physiotherapists to select which information to be used in order to keep updated as well as to make clinical decisions. Objective: The aim of this article is to present the Physiotherapy Evidence Database (PEDro). Method: We described the comprehensiveness, types of studies indexed, the accessibility and how the methodological quality of randomised controlled trials is rated on the PEDro database. Results: PEDro is the most comprehensive database that indexes studies aimed to test the efficacy of physiotherapy interventions. PEDro indexes randomized controlled trials, systematic reviews and clinical practice guidelines, being the ran-domized controlled trials having their methodological quality and statistical reporting evaluated by the PEDro scale. PEDro is an open access database, which facilitates the use for physiotherapists, students and research-ers. The search results are ranked according to the methodological quality. The PEDro website is available in English, Mandarin, French, German and Portuguese and the website also have an easy-friendly using link to the consumer version of PEDro, named “physiotherapy choices”. Conclusion: PEDro database helps both health care professionals as well as patients by informing them with regards to the efficacy of physiotherapy interven-tions in an easy and quick way. PEDro contributes significantly in the decision-making process by providing all information available regarding the efficacy of physiotherapy interventions. [#]

[K]

Keywords: Evidence-based practice. Database. Physiotherapy. [#]

matofitoses e promoção do progresso escolar (3). Desde então, o número de ECAs com o objetivo de testar intervenções fisioterapêuticas cresceu rapi-damente. Em 1960, havia 15 ECAs e, nas quatro dé-cadas seguintes, esse número teve um crescimento exponencial, com 86 ECAs em 1970, 441 em 1980, 1.925 em 1990 e 5.301 em 2000. As revisões siste-máticas de ECAs relevantes para a fisioterapia tam-bém acompanharam esse crescimento. A primeira revisão sistemática foi publicada em 1975 (4), e em 1991 havia 39 revisões. A primeira diretriz de prá-tica clínica foi publicada em 1987 (5). Em 1995 e 2009 totalizavam 19 e 603 diretrizes de prática clí-nica, respectivamente (6). Em maio de 2011 havia 2.801 revisões sistemáticas, 808 diretrizes de prá-tica clínica e 15.293 ECAs relacionados a interven-ções fisioterapêuticas.

Com base nesses dados é possível observar um aumento considerável no número de informações so-bre a eficácia de intervenções em fisioterapia e não há previsão para redução desse crescimento em um

Introdução

A fisioterapia baseada em evidências é o elemento central da fisioterapia contemporânea. A aplicação de intervenções baseadas em evidências científicas é necessária para que os pacientes recebam trata-mentos eficazes, assim como para reduzir os cus-tos de saúde em geral. As revisões sistemáticas, as diretrizes de prática clínica e os estudos controla-dos aleatorizados (ECAs) (Quadro 1) são conside-rados as melhores fontes de evidência para avaliar o efeito de uma determinada intervenção (1), isto é, se os tratamentos são eficazes ou não. Sugere-se que esses estudos devem sempre ser escolhidos para auxiliar fisioterapeutas em suas tomadas de decisão clínica (2).

O primeiro ECA em fisioterapia foi publicado em 1929, por Colebrook e colaboradores, no periódico Medical Research Council Special Report Series. Esse estudo investigou o efeito da irradiação ultravioleta na prevenção de resfriados, doenças infecciosas, der-

17


PEDro: a base de dados de evidências em fisioterapia525

Quadro 1 - Definição dos tipos de estudos relevantes para avaliar a eficácia de intervenções

Tipo de estudo Definição

Estudo controlado aleatorizado (ECA)

São estudos longitudinais, de intervenção, controlados, em que os pacientes são distribuídos em dois ou mais grupos de forma aleatória (os grupos controle podem ser um grupo que não recebe tratamento, que recebe um tratamento placebo ou que recebe outro tipo de tratamento). Os ECAs são considerados como padrão ouro dos estudos que têm como objetivo avaliar efeitos de intervenções terapêuticas.

Revisão sistemática É um modo de executar revisões abrangentes da literatura de forma não tendenciosa. Reúne de forma orga-nizada uma grande quantidade de resultados de ECAs. Uma revisão sistemática responde a uma pergunta claramente formulada, utilizando métodos sistemáticos e explícitos para identifi car, selecionar e avaliar criticamente pesquisas relevantes, assim como coletar e analisar dados de estudos incluídos na revisão. Os métodos estatísticos (meta-análise) podem ou não ser usados para analisar e sumarizar os resultados dos estudos incluídos.

Diretriz de prática clínica(Guidelines)

É um conjunto de recomendações para a prática clínica (prevenção, diagnóstico e tratamento). Cada uma das recomendações deve estar embasada pela melhor evidência científi ca disponível, representando orien-tações para a prática baseada em evidências. As diretrizes devem tornar mais fáceis as decisões na prática diária, devem ser concretas, precisas, aplicáveis em todo o território nacional, devem alertar para os riscos, limitações, possíveis prejuízos e benefícios de sua aplicação. Podem ser consideradas como um caminho que auxilia o profi ssional a separar as práticas desnecessárias das necessárias.

Fonte: Ministério da Educação (19).

Gráfico 1 - Frequência acumulada do número de estudos controlados aleatorizados (ECAs), revisões sis-temáticas (RS) e diretrizes de prática clínica em fisioterapia por década

20101930 1940 1950 1960 1970 1980 1990 20000

2000

4000

6000

8000

10000

12000

14000

Núm

ero

de E

CAs,

RS

e D

iret

rize

s

da base de dados PEDro, descrever os tipos de estu-dos indexados, grau de acessibilidade aos usuários e critérios de qualificação metodológica com vistas à sua apresentação aos leitores deste periódico.

Os autores realizaram o acesso à base tendo em mente simular uma busca para apresentar o funcio-namento da base de dados, assim como apresentar os tipos de estudos indexados, grau de acessibili-dade aos usuários e critérios de qualificação meto-dológica. Os resultados são apresentados a seguir.

futuro próximo (Gráfico 1), uma vez que o número de estudos relacionados à eficácia de intervenções dobra a cada três anos e meio. Diante dessa situa-ção tão dinâmica, é improvável que fisioterapeutas consigam lidar com esse expressivo volume de in-formações. Além do grande número de estudos rela-cionados à eficácia de intervenções, outro problema encontrado por fisioterapeutas que desejam se atu-alizar adequadamente é o fato de que a qualidade metodológica dos estudos tende a ser muito hete-rogênea, sendo a maioria dos estudos de baixa qua-lidade metodológica. Esses estudos de baixa quali-dade metodológica proporcionam conclusões com pouca validade científica, que infelizmente mais con-fundem do que orientam tomadas de decisão clínica de fisioterapeutas. É importante salientar que esses problemas são também observados em outras pro-fissões da área da saúde.

Uma solução que pode amenizar esses proble-mas seria o ranqueamento quanto à qualidade me-todológica dos estudos relacionados à eficácia de in-tervenções em fisioterapia, e que esses resultados estejam disponíveis em tempo real e sem custo para toda a comunidade de fisioterapeutas. Felizmente, essa solução já é disponível através da base de da-dos PEDro (Physiotherapy Evidence Database).

Cientes dessa necessidade, os autores deste es-tudo definiram como objetivo: uma exploração prática

18



Quadro 2 - Escala de qualidade PEDro (versão em português)

Escala de qualidade PEDro – português (Brasil)

1. Os critérios de elegibilidade foram especifi cados.

2. Os sujeitos foram aleatoriamente distribuídos por grupos (em um estudo cruzado, os sujeitos foram colocados em grupos, de forma aleatória, de acordo com o tratamento recebido).

3. A alocação dos sujeitos foi secreta.

4. Inicialmente, os grupos eram semelhantes no que diz res-peito aos indicadores de prognóstico mais importantes.

5. Todos os sujeitos participaram de forma cega no estudo.

6. Todos os terapeutas que administraram a terapia fi zeram-no de forma cega.

7. Todos os avaliadores que mediram pelo menos um resulta-do-chave fi zeram-no de forma cega.

8. Mensurações de pelo menos um resultado-chave foram ob-tidas em mais de 85% dos sujeitos inicialmente distribuídos pelos grupos.

9. Todos os sujeitos a partir dos quais se apresentaram men-surações de resultados receberam o tratamento ou a con-dição de controle conforme a alocação ou, quando não foi esse o caso, fez-se a análise dos dados para pelo menos um dos resultados-chave por “intenção de tratamento”.

10. Os resultados das comparações estatísticas intergrupos fo-ram descritos para pelo menos um resultado-chave.

11. O estudo apresenta tanto medidas de precisão como medidas de variabilidade para pelo menos um resultado-chave.

ficos para publicar o resumo ou mesmo o link para o texto completo. Todos os estudos controlados ale-atorizados possuem sua qualidade metodológica e descrição estatística avaliados por meio da escala de qualidade PEDro (Quadro 2). Ao realizar uma busca, esses estudos são ranqueados em ordem de impor-tância metodológica para facilitar o acesso rápido à evidência mais válida possível.

Para um ECA ser inserido na base de dados PEDro, ele deve obedecer a cinco critérios:

1) o estudo deve comparar no mínimo duas in-tervenções terapêuticas;

2) pelo menos uma das intervenções que estão sendo testadas pelo estudo deve fazer parte do arsenal terapêutico dos fisioterapeutas;

3) as intervenções dos estudos devem ser apli-cadas em seres humanos que representem a população de pacientes que frequentemente utilizam serviços de fisioterapia;

Resultados

O que é a PEDro?

A PEDro é uma base de dados específica para es-tudos que investigam a eficácia de intervenções em fisioterapia, podendo ser acessada gratuitamente por meio do site <http://www.pedro.org.au>. Essa base de dados foi criada em 1999, por um grupo de fisio-terapeutas australianos do Centro de Fisioterapia Baseada em Evidências da Universidade de Sydney, com a missão de maximizar a eficácia dos serviços de fisioterapia e facilitar a aplicação prática da me-lhor evidência existente, com o lema principal “a fisioterapia eficaz deve ser centrada no paciente, focado na prevenção, baseada na melhor evidência existente e gerenciada de forma eficiente” (7).

Dois estudos apontam a PEDro como a base de dados mais abrangente de estudos que testam a efi-cácia das intervenções fisioterapêuticas (8, 9). Esses estudos compararam a abrangência de diversas ba-ses de dados, entre elas, AMED, CENTRAL, CINAHL, PubMed, Hooked on Evidence, Embase, PsycINFO e a PEDro. Moseley e colaboradores (9) concluíram que a PEDro e a CENTRAL (a base de dados de ECAs da colaboração Cochrane) são as bases de dados mais completas quanto à indexação de ECAs de fi-sioterapia. Em outro estudo, Michaleff e colabora-dores (8) concluíram que as bases CENTRAL, PEDro, PubMed e Embase são as mais abrangentes para realizar as buscas de ECAs de intervenções fisiote-rapêuticas, destacando que, dessas quatro bases, a PEDro é a única específica de estudos relacionados à fisioterapia.

A PEDro é utilizada por fisioterapeutas em mais de 80 países, com mais de 4.300 buscas realizadas por dia pelo website, tendo fornecido no último ano respostas para mais de 800.000 perguntas clínicas (10). Dentre esses países, destacam-se a Austrália, os Estados Unidos e o Brasil como os três que mais acessam a base, respectivamente, sendo aproxima-damente 10% de todos os acessos da base de dados PEDro realizados por fisioterapeutas brasileiros.

Na PEDro estão indexados cerca de 19.000 es-tudos controlados aleatorizados, revisões sistemá-ticas e diretrizes da prática clínica em fisioterapia. Quando possível, são colocados a disposição dos usuá-rios o resumo e o link para o texto completo de cada artigo. A razão disso é que nem sempre a PEDro re-cebe autorização dos editores dos periódicos cientí-

19



Quadro 3 - Indicações para a administração da escala PEDro

Todos os critérios A pontuação só será atribuída quando um critério for claramente satisfeito. Se em uma leitura literal do relatório do ensaio existir a possibilidade de um critério não ter sido satisfeito, ele não deve receber pontuação.

Critério 1 Esse critério pode considerar-se satisfeito quando o relatório descreve a origem dos sujeitos e a lista de requisitos utilizados para determinar quais sujeitos eram elegíveis para participar do estudo.

Critério 2 Considera-se que em um determinado estudo houve alocação aleatória se o relatório referir que a alocação dos sujeitos foi aleatória. O método de aleatoriedade não precisa ser explícito. Procedimentos tais como lançamento de dados ou moeda ao ar podem ser considerados como alocação aleatória. Procedimentos de alocação quase-aleatória, tais como os que se efetuam a partir do número de registro hospitalar, da data de nascimento, ou de alternância, não satisfazem esse critério.

Critério 3 Alocação secreta signifi ca que a pessoa que determinou a elegibilidade do sujeito para participar no ensaio des-conhecia, quando a decisão foi tomada, o grupo a que o sujeito iria pertencer. Deve atribuir-se um ponto a esse critério, mesmo que não se diga que a alocação foi secreta, quando o relatório refere que a alocação foi feita a partir de envelopes opacos fechados ou que implicou o contato com o responsável pela alocação dos sujeitos por grupos e esse último não participou do ensaio.

(Continua)

2) estar disponível publicamente; 3) a busca sistemática da literatura deve ser ba-

seada em artigos publicados em revistas revi-sadas por pares ou ser baseada em uma re-visão sistemática publicada nos quatro anos anteriores à publicação da diretriz;

4) pelo menos um ECA relacionado com a fisio-terapia deve estar incluído na diretriz;

5) a diretriz deve conter afirmações sistematica-mente desenvolvidas, que incluem recomenda-ções, estratégias e informações que auxiliem os fisioterapeutas ou pacientes a tomar decisões;

6) pelo menos uma recomendação deve ser feita para uma intervenção que faz parte do arse-nal da fisioterapia ou que poderia se tornar parte da prática fisioterapêutica.

Escala de qualidade PEDro

A grande parte dos critérios da escala de quali-dade PEDro baseia-se na escala Delphi, desenvol-vida por Verhagen e colaboradores (11), do Depar-ta mento de Epidemiologia da Universidade de Maastricht, Holanda, com exceção de dois critérios. A escala baseia-se em um “consenso de especialis-tas” e não em dados empíricos (Quadro 3).

A escala de qualidade PEDro inclui dois critérios adicionais que não constavam da escala Delphi: um critério relativo ao número de pacientes avaliados em cada período de acompanhamento (critério 8)

4) a distribuição dos sujeitos nos grupos de trata-mento e controle deve ser realizada de forma aleatória ou com “intenção de ser aleatória”;

5) o estudo deve estar publicado em formato in-tegral em revista revisada por pares.1 Após a inclusão do estudo na base de dados PEDro, este é avaliado quanto à sua qualidade meto-dológica e descrição estatística por meio da escala de qualidade PEDro.

Para inserção de revisões sistemáticas, deve-se obedecer a dois critérios:

1) ser uma revisão sistemática de ECAs; e 2) ter uma sessão de métodos e que pelo menos

um artigo da revisão satisfaça aos cinco crité-rios de inclusão de estudos controlados alea-torizados da base de dados PEDro (6).

Para a inserção das diretrizes de prática clínica, deve-se obedecer a seis critérios:

1) ter sido produzido sob o controle de uma as-sociação especializada da área, sociedade pro-fissional, organização pública ou privada, ór-gãos de governo, ou instituições de saúde em geral. Se a diretriz de prática clínica foi desen-volvida por um indivíduo ou grupo de indiví-duos não oficialmente apoiados por um dos tipos de organizações citadas anteriormente, essa não será incluída na PEDro;

20



Quadro 3 - Indicações para a administração da escala PEDro

Critério 4 No mínimo, nos estudos de intervenções terapêuticas, o relatório deve descrever pelo menos uma medida da gravi-dade da condição a ser tratada e pelo menos uma (diferente) medida de resultado-chave que caracterize a linha de base. O examinador deve assegurar-se de que, com base nas condições de prognóstico de início, não seja possível prever diferenças clinicamente signifi cativas dos resultados para os diversos grupos. Esse critério é atingido mes-mo que somente sejam apresentados os dados iniciais do estudo.

Critérios 4, 7-11 Resultados-chave são resultados que fornecem o indicador primário da efi cácia (ou falta de efi cácia) da terapia. Na maioria dos estudos, utilizam mais do que uma variável como medida de resultados.

Critérios 5-7 Ser cego para o estudo signifi ca que a pessoa em questão (sujeito, terapeuta ou avaliador) não sabe qual o grupo a que o sujeito pertence. Mais ainda, sujeitos e terapeutas só são considerados “cegos” se for possível esperar que sejam incapazes de distinguir entre os tratamentos aplicados aos diferentes grupos. Nos ensaios em que os resultados-chave são relatados pelo próprio (por exemplo, escala visual análoga, registro diário da dor), o avaliador é considerado “cego” se o sujeito foi “cego”.

Critério 8 Esse critério só se considera satisfeito se o relatório referir explicitamente tanto o número de sujeitos inicialmente alocados nos grupos como o número de sujeitos a partir dos quais se obtiveram medidas de resultados-chave. Nos ensaios em que os resultados são medidos em diferentes momentos no tempo, um resultado-chave tem de ter sido medido em mais de 85% dos sujeitos em algum desses momentos.

Critério 9 Uma análise de intenção de tratamento signifi ca que, quando os sujeitos não receberam tratamento (ou a condição de controle) conforme o grupo atribuído e quando se encontram disponíveis medidas de resultados, a análise foi efetuada como se os sujeitos tivessem recebido o tratamento (ou a condição de controle) que lhes foi atribuído inicialmente. Esse critério é satisfeito, mesmo que não seja referida a análise por intenção de tratamento, se o relatório referir expli-citamente que todos os sujeitos receberam o tratamento ou condição de controle, conforme a alocação por grupos.

Critério 10 Uma comparação estatística intergrupos implica uma comparação estatística de um grupo com outro. Conforme o desenho do estudo, isso pode implicar uma comparação de dois ou mais tratamentos ou a comparação do tra-tamento com a condição de controle. A análise pode ser uma simples comparação dos resultados medidos após a administração do tratamento ou a comparação das alterações em um grupo em relação às alterações no outro (quando se usa uma análise de variância para analisar os dados, essa última é frequentemente descrita como inte-ração grupo versus tempo). A comparação pode apresentar-se sob a forma de hipóteses (por meio de um valor de p, descrevendo a probabilidade dos grupos diferirem apenas por acaso) ou assumir a forma de uma estimativa (por exemplo, a diferença média ou a diferença mediana, ou uma diferença nas proporções, ou um número necessário para tratar, ou um risco relativo ou uma razão de risco) e respectivo intervalo de confi ança.

Critério 11 Uma medida de precisão é uma medida da dimensão do efeito do tratamento. Já este pode ser descrito como uma diferença nos resultados do grupo ou como o resultado em todos os (ou em cada um dos) grupos. Medidas de va-riabilidade incluem desvios-padrão (DPs), erros-padrão (EPs), intervalos de confi ança, amplitudes interquartis (ou outras amplitudes de quantis) e amplitudes de variação. As medidas de precisão e/ou as medidas de variabilidade podem ser apresentadas grafi camente (por exemplo, os DPs podem ser apresentados como barras de erro em uma fi gura) desde que aquilo que é representado seja inequivocamente identifi cável (por exemplo, desde que fi que claro se as barras de erro representam DPs ou EPs). Quando os resultados são relativos a variáveis categóricas, consi-dera-se que esse critério foi cumprido se o número de sujeitos em cada categoria é apresentado para cada grupo.

(Conclusão)

dade metodológica dos ECAs (validade interna, cri-térios 2 a 9 da escala), bem como avaliar a descrição estatística, isto é, se o estudo contém informações estatísticas mínimas para que os resultados possam ser interpretáveis (critérios 10 e 11 da escala). Não são avaliadas a validade externa do estudo, genera-lização dos resultados, nem a magnitude do efeito de tratamento (isto é, se os resultados são clinica-mente relevantes ou não).

e um outro critério que avalia se houve compara-ção estatística entre grupos (critério 10). Apesar de essa escala não avaliar a validade externa do estudo, o critério relativo à elegibilidade dos participantes (critério 1) foi mantido para que todos os critérios da escala Delphi estejam representados na escala de qualidade PEDro.

O objetivo da escala de qualidade PEDro é auxiliar os usuários da base de dados PEDro quanto à quali-

21



pontuação máxima na escala PEDro que esse estudo poderia receber seria de 8 pontos, pois os pontos re-lacionados ao cegamento de pacientes e terapeutas sequer podem ser cumpridos e automaticamente re-cebem “não”. Outro exemplo seria um estudo compa-rando a eficácia de um equipamento de eletroterapia com placebo, comparação do uso TENS convencio-nal versus TENS em dose mínima. Nesse caso é possí-vel cegar o paciente e o terapeuta, uma vez que estes seriam incapazes de distinguir as duas intervenções, pois não reconheceriam qual equipamento é o con-vencional e qual é o placebo. Dessa forma, esse artigo pode receber a pontuação máxima na escala PEDro de 10 pontos. Sendo assim, a escala não deve ser uti-lizada para comparar a “qualidade” de ECAs realiza-dos em diferentes áreas de terapia, principalmente porque em algumas áreas da prática da fisioterapia não é possível satisfazer todos os itens da escala.

Indexações PEDro

A base de dados PEDro indexa estudos em diver-sas línguas e os 19.026 estudos que estão na base atualmente foram publicados em 34 idiomas diferen-tes. Os idiomas mais comumente encontrados nos artigos da base são: inglês (90%), mandarim (3%), alemão (2%), holandês (1%), francês (1%) e por-tuguês (0,6%). É importante ressaltar que a PEDro é uma base de dados que somente indexa ECAs, re-visões sistemáticas e diretrizes de prática clínica. Qualquer outro tipo de delineamento, tais como es-tudos de caso-controle, estudos observacionais re-lacionados à fisiologia ou biomecânica, estudos de caso único, estudos de coorte, estudos com indiví-duos normais, experimentos com animais, revisões narrativas, não são indexados na PEDro.

Apesar desses tipos de estudos serem extrema-mente relevantes para a fisioterapia, eles não são os melhores para estabelecer se uma determinada intervenção é eficaz ou não e, portanto, não fazem parte dos estudos que são indexados na base de da-dos PEDro (2, 15).

Qualidade dos estudos controlados aleatorizados

Apesar do grande volume de ECAs na área da fi-sioterapia, a maior parte desses trabalhos são de baixa qualidade, problema esse que se agrava quando

Os avaliadores da PEDro analisam somente o que está reportado no manuscrito, quando há dúvida por parte do avaliador na hora de pontuar o critério, ele o classifica como “não”, obedecendo a recomendação de escala de qualidade metodológica denominada: “culpado até que se prove a inocência”. Por exemplo, se um estudo reportar que é “duplo cego”, mas não explicar quem foi cego, receberá a classificação de “não” para todos os critérios relacionados ao cega-mento de pacientes, terapeutas e avaliadores. A pon-tuação final da escala de qualidade PEDro é dada por meio da soma do número de critérios que foram classificados como satisfatórios entre os critérios 2 ao 11. O critério 1 não é considerado para a pontua-ção final por tratar-se de um item que avalia a va-lidade externa do estudo. Cada ECA é avaliado por dois avaliadores independentes e, no caso de dis-cordância de avaliação de qualquer item em ques-tão, um terceiro avaliador faz uma arbitragem final. A pontuação final pode variar entre 0 e 10 pontos.

A escala de qualidade PEDro em inglês possui propriedades de medida satisfatórias, apresentando uma moderada confiabilidade entre examinadores. A validade da escala já foi testada e confirmada em dois estudos (12, 13). Esses dados confirmam que ela é capaz de distinguir entre ECAs de boa quali-dade e de má qualidade. As propriedades clinimé-tricas da escala de qualidade PEDro em português estão sendo testadas pelo nosso grupo de pesquisa e os resultados serão divulgados em breve (14).

Essa mesma escala não deverá ser usada para a interpretação dos resultados de ECAs. Advertimos aos usuários dessa escala que estudos que revelem efeitos estatisticamente significativos do tratamento e que obtenham pontuação elevada na escala PEDro não fornecem necessariamente evidência de que o tratamento seja clinicamente útil. Adicionalmente, importa saber se o efeito do tratamento foi suficiente-mente eficaz para poder ser considerado clinicamente relevante, se os efeitos positivos superam os negativos, e aferir a relação de custo-benefício do tratamento.

Dois critérios da PEDro – o cegamento do tera-peuta e do paciente – nem sempre são possíveis de serem cumpridos durante a realização dos estudos. Por exemplo, um estudo comparando duas interven-ções para dor lombar, tendo um grupo de pacientes recebido exercícios e o outro grupo recebido uma cartilha de orientações. Nesse exemplo foi possível que pacientes e terapeutas conseguissem distinguir os dois tipos de tratamento oferecido. Portanto, a

22



Figura 1 - Página do site PEDro: busca simples

a ser pesquisado na PEDro, devendo ser digitados os termos de busca em inglês. Quando forem colo-cados um ou mais termos, a PEDro realizará uma busca dos artigos que contenham essas palavras, lembrando que, se for colocado mais de um termo, será buscado por artigos que contenham todas as palavras inseridas.

Depois, ao clicar em “start search” (iniciar a pes-quisa), aparecerá uma lista com todos os artigos encontrados, ranqueados pela qualidade metodoló-gica (primeiro as diretrizes, seguidas das revisões sistemáticas e depois os ECAs ordenados pela escala PEDro – Figura 2). Ao clicar sobre o título do artigo, aparecerão os dados bibliométricos do artigo, assim como os critérios da escala de qualidade PEDro que foram satisfatórios (Figura 3). Um exemplo pode ser visto nas Figuras 1 a 3, que apresentam o resultado de uma busca por evidências do uso do ultrassom no tratamento das epicondilites.

Para busca avançada é necessário clicar em “ad-vanced search” (Figura 4). Aparecerá uma página com 12 campos de busca, podendo qualquer um ser utilizado para realizar a busca, não sendo necessá-rio o preenchimento de todos os campos. Os campos

analisadas as publicações nacionais. Um estudo do nosso grupo de pesquisa analisou 50 ECAs de fisio-terapia publicadas em português por meio da escala de qualidade PEDro, a pontuação média dos estudos foi de 3,4 pontos (DP 1,4), de um total de 10 pontos possíveis. Também observamos que 84% desses es-tudos apresentaram nota 4 ou inferior (14). Os va-lores encontrados nessas publicações nacionais apre-sentam-se inferiores à média mundial, que é de 5,2 pontos (DP 1,6) (1). Pode-se concluir que ainda há uma necessidade de se melhorar a qualidade meto-dológica e as apresentações estatísticas dos ECAs nacionais e internacionais.

Como fazer uma busca na PEDro?

Na base de dados PEDro é possível realizar a busca de duas formas: busca simples ou busca avan-çada, estando atualmente as páginas do sistema de busca em inglês. Ao acessar o website da PEDro e clicar em “simple search” (busca simples – Figura 1), aparecerá uma página com uma caixa de texto para que sejam escritos os termos de busca sobre o tópico

23



Figura 3 - Detalhes do resultado da busca

Figura 2 - Apresentação do resultado da busca

24



Figura 4 - Apresentação do resultado da busca

dos consumidores dos serviços de fisioterapia, en-tre eles: pacientes, administradores de serviços de saúde e seguradoras. Com linguagem simples e sem termos técnicos, são fornecidas as melhores evidên-cias científicas para a eficácia das intervenções fisio-terapêuticas. O Brasil é líder no número de acessos dessa versão para consumidores da PEDro, apesar de o website estar disponível somente em inglês.

Website disponível em diversos idiomas

Com o objetivo de facilitar o acesso à base e mi-nimizar a barreira do idioma, algumas partes do website da base de dados PEDro estão disponíveis em outros idiomas: mandarim (http://www.pedro.org.au/chinese/), francês (http://www.pedro.org.au/french/), português (http://www.pedro.org.au/portuguese/) e em alemão (http://www.pedro.org.au/german/), porém, para realizar a busca indepen-dente do idioma deve-se utilizar os termos de busca em inglês, sendo os resultados também apresenta-dos em inglês.

disponíveis para busca são: “abstract & title” (resumo e título), “therapy” (terapia), “problem” (problema), “body part” (parte do corpo), “subdiscipline” (área da fisioterapia: ortopedia, neurologia, ginecologia, ergo-nomia e saúde ocupacional, entre outras), “method” (tipo de estudo), “author/association” (autor ou as-sociação), “title only” (somente no título), “source” (fonte), “published since” (publicado desde), “new recorded added since” (novos registros adicionados desde), “score of at least” (pontuação mínima), “re-turn” (número de artigos encontrados por página) e “when searching – match all search terms” (AND) (procurar utilizando todos os termos) “or match any search terms (OR)” (procurar por qualquer termo). As páginas de resultados são dispostas da mesma forma apresentada no exemplo anterior (Figura 3).

Escolhas em fisioterapia

A base de dados Physiotherapy Choices (Escolhas em Fisioterapia <http://www.physiotherapychoices.org.au>) é uma versão da PEDro criada para o uso

25



7. Centro de Fisioterapia Baseada em Evidências (CEBP). [acesso em 30 jan. 2011]. Disponível em: http://www.pedro.org.au/portuguese/about-us/cebp/

8. Michaleff ZA, Costa LOP, Moseley AM, Maher CG, Elkins MR, Herbert RD, et al. CENTRAL, PEDro, PubMed, and EMBASE are the most comprehensive databases in-dexing randomized controlled trials of physical ther-apy interventions. Phys Ther. 2011;91(2):190-7.

9. Moseley AM, Sherrington C, Elkins MR, Herbert RD, Maher CG. Indexing of randomised controlled trials of physiotherapy interventions: a comparison of AMED, CENTRAL, CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed. Physiotherapy. 2009; 95(3):151-6.

10. Sherrington C, Moseley AM, Herbert RD, Elkins MR, Maher CG. Ten years of evidence to guide physiother-apy interventions: Physiotherapy Evidence Database (PEDro). Br J Sports Med. 2010;44(12):836-7.

11. Verhagen AP, de Vet HC, de Bie RA, Kessels AG, Boers M, Bouter LM, et al. The Delphi list: a criteria list for quality assessment of randomized clinical trials for conducting systematic reviews developed by Delphi consensus. J Clin Epidemiol. 1998;51(12):1235-41.

12. de Morton NA. The PEDro scale is a valid measure of the methodological quality of clinical trials: a demo-graphic study. Aust J Physiother. 2009;55(2):129-33.

13. Macedo LG, Elkins MR, Maher CG, Moseley AM, Herbert RD, Sherrington C. There was evidence of convergent and construct validity of Physiotherapy Evidence Database quality scale for physiotherapy trials. J Clin Epidemiol. 2010;63(8):920-5.

14. Shiwa SR, Costa LO. Reprodutibilidade da Escala de Qualidade PEDro. Dissertação [dissertação]. São Paulo: Universidade Cidade de Sao Paulo; 2011.

15. Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of randomized trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.

Recebido: 03/01/2011Received: 01/03/2011

Aprovado: 10/05/2011 Approved: 05/10/2011

Conclusão

A prática da fisioterapia baseada em evidências é fundamental para a valorização e o crescimento da profissão, melhorando a qualidade dos atendimen-tos e a satisfação do paciente, reduzindo os custos com o tratamento. Ser um profissional diferenciado no mercado significa realizar condutas eficazes para seus pacientes e, para isso, ter acesso à melhor evi-dência científica é extremamente necessário.

Com o número crescente de estudos na área da fi-sioterapia, a dificuldade em encontrar a melhor evi-dência é uma barreira a ser minimizada com o uso da base de dados PEDro, que é a mais completa em fisioterapia. A forma como os resultados das buscas são mostrados pelo website proporciona um rápido acesso às respostas das perguntas clínicas feitas pelos fisioterapeutas usuários do sistema. A PEDro também facilita o acesso à informação sobre a qua-lidade dos estudos aos pacientes e outros consumi-dores dos serviços de fisioterapia por meio de um website especializado (Physiotherapy Choices), que apresenta uma linguagem de fácil entendimento.

Referências

1. Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core journals that publish clinical trials of physical therapy interventions. Phys Ther. 2010;90(11):1631-40.

2. Herbert R, Jamtvedt G, Mead J, Hagen KB. Practical evidence-based physiotherapyed. Edinburgh: Elsevier Butterworth Heinemann; 2005.

3. Colebrook D. Irradiation and health: an ultra-violet irradiation of school children. Medical Research Council Special Report Series. 1929;131:1-47.

4. Kolind-Sorensen V. Lesions of the lateral ligament of the ankle joint. Ugeskr Laeger. 1975;137(29):1637-8.

5. Spitzer W. Scientific approach to the assessment and management of activity-related spinal disorders. Spine. 1987;12(7 Suppl):S1-59.

6. Maher CG, Moseley AM, Sherrington C, Elkins MR, Herbert RD. A description of the trials, reviews, and practice guidelines indexed in the PEDro database. Phys Ther. 2008;88(9):1068-77.

26

CAPÍTULO 3

REPRODUCIBILITY OF THE PORTUGUESE

VERSION OF THE PEDro SCALE

27

REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDro SCALE

Reprodutibilidade da Escala de Qualidade PEDro em português

Silvia Regina Shiwa1*

, Luciola da Cunha Menezes Costa2, Anne Moseley

2, Alexandre Dias

Lopes1, Cintia Regina Ruggero

1, Tatiana de Oliveira Sato

3, Roberta Ceila Venâncio

1, Luiz

Carlos Hespanhol Junior1, Leonardo Oliveira Pena Costa

1,2

1 Programa de Mestrado em Fisioterapia, Universidade Cidade de São Paulo, São Paulo,

Brasil

2 Centre for Evidence-Based Physiotherapy, The George Institute for Global Health, Australia

3 Programa de Pós Graduação em Fisioterapia (PPG-Ft), Universidade Federal de São Carlos

– UFSCar, Brasil

*Corresponding author

Rua Cesário Galeno, 448/475 – São Paulo, SP – CEP: 03071-000, [email protected]

Running title: Reproducibility of the Portuguese PEDro scale / Reprodutibilidade da Escala de

Qualidade PEDro em português

28

mailto:[email protected]

RESUMO

Contextualização: O uso da base de dados PEDro por fisioterapeutas brasileiros pode ser

limitado devido às restrições do idioma, além disso os resultados das buscas no site da PEDro

estão disponíveis somente em inglês. A versão na língua portuguesa da Escala de Qualidade

PEDro foi desenvolvida para amenizar esta barreira de idioma, mas as suas propriedades

clinimétricas ainda não foram investigadas.

Objetivos: Testar a reprodutibilidade (confiabilidade com a versão em inglês da Escala de

Qualidade PEDro e confiabilidade/concordância) da versão em língua portuguesa da Escala

de Qualidade PEDro.

Métodos: Sete fisioterapeutas brasileiros avaliaram a qualidade metodológica de 50 Estudos

Controlados Aleatorizados em português que estavam previamente indexados na base de

dados PEDro. Cada artigo foi avaliado por duas equipes de avaliadores (dois avaliadores

independentes mais um terceiro quando não houve consenso entre os dois avaliadores) para

gerar duas pontuações de consenso. Cada artigo já possuía sua respectiva avaliação na base de

dados PEDro que geralmente é feita por um avaliador PEDro bilíngüe utilizando a versão em

inglês da Escala de Qualidade PEDro. A confiabilidade e concordância (tanto para os itens

individuais quanto para pontuação total da Escala de Qualidade PEDro) foram calculados para

comparar as duas pontuações de consenso. Foi também calculada a confiabilidade da primeira

pontuação total de consenso com a pontuação total da avaliação utilizando a escala em inglês.

Resultados: A confiabilidade da versão da escala em português foi classificada como boa,

com coeficientes Kappa variando entre 0,53 a 1,00 para itens individuais e um coeficiente de

correlação intraclasse de 0,82 (IC 95% 0,70 a 0,89) para a pontuação total. O Erro Padrão de

Medida da escala PEDro em português foi de 0,58 ponto. A versão em português da escala foi

29

comparada com a versão em inglês e foi observado um coeficiente de correlação intraclasse

de 0,78 (IC 95% 0,67 a 0,86).

Conclusões: A reprodutibilidade da versão em língua portuguesa da Escala de Qualidade

PEDro foi adequada e similar à versão em inglês. Avaliações de ECAs utilizando a escala

PEDro em português foram semelhantes àquelas que utilizaram a escala original em inglês.

Palavras-chave: prática clínica baseada em evidências, estudos clínicos, reprodutibilidade

30

ABSTRACT

Background: The use of the Physiotherapy Evidence Database (PEDro) by Brazilian physical

therapists might be limited due to language restrictions as search results are only available in

English. A Portuguese version of the PEDro scale has been developed to start addressing this

language barrier, but the measurement properties of the Portuguese PEDro scale have not

been investigated.

Objectives: To test the inter-rater reproducibility of the Portuguese version of the PEDro

scale and evaluate parallel forms reproducibility by comparing ratings made with the

Portuguese version of the PEDro scale to those made with the English version of the PEDro

scale on the same set of trials.

Methods: Seven Brazilian physical therapists rated the methodological quality of 50

Portuguese-language reports of randomized controlled trials indexed on the PEDro database

with the Portuguese version of the PEDro scale. Each report was rated by two teams of raters

(two independent raters plus arbitration by a third rater, if necessary) to generate two sets of

consensus ratings. Each report also had existing ratings on the PEDro database generated by

bilingual PEDro raters using the English version of the PEDro scale. Reproducibility

(individual PEDro scale items and total PEDro score) was evaluated by comparing the two

sets of Portuguese consensus ratings. Parallel forms reproducibility was also evaluated by

comparing the total PEDro score from the first set of Portuguese consensus ratings with

ratings generated using the English version of the PEDro scale.

Results: The inter-rater reproducibility of the Portuguese version of the PEDro scale was

good, with Kappa coefficients ranging from 0.53 to 1.00 for individual scale items and an

Intraclass Correlation Coefficient of 0.82 (95% CI 0.70 to 0.89) for the total PEDro score. The

standard error of the measurement of the Portuguese PEDro scale was 0.58 points. The

31

Portuguese version of the PEDro scale was comparable with the English version, with an

Intraclass Correlation Coefficient of 0.78 (95% CI 0.67 to 0.86) supporting the parallel forms

reproducibility of the PEDro scale.

Conclusions: The inter-rater reproducibility of the Portuguese PEDro scale is adequate and

similar to the original English version. There is evidence for parallel forms reproducibility

with ratings generated with the Portuguese version of the PEDro scale being comparable to

ratings with the English version; suggesting that the scales can be used interchangeably.

Key words: evidence-based practice, clinical trials, reproducibility

32

INTRODUCTION

The Physiotherapy Evidence Database (PEDro; http://www.pedro.org.au) is a free

database that indexes randomized controlled trials, systematic reviews and clinical practice

guidelines in physical therapy1. PEDro is considered one of the most comprehensive

databases indexing reports of randomized controlled trials investigating the effects of physical

therapy interventions2, 3

. To be eligible for PEDro a trial must satisfy five criteria: 1) the study

must compare at least two interventions, 2) at least one of the interventions evaluated must be

used in physical therapy practice, 3) the interventions evaluated must be applied to

participants who are representative of physical therapy practice, 4) the allocation of

participants to the interventions must be random or “intended to be random” and 5) the study

should be published in full text format in a peer reviewed journal4.

All trials indexed on PEDro are evaluated for methodological quality and statistical

reporting using the 11-item PEDro scale1, 5

. The items are: 1) eligibility criteria and source

specified; 2) random allocation; 3) concealed allocation; 4) baseline comparability; blinding

of 5) subjects; 6) therapists and 7) assessors; 8) more than 85% follow-up; 9) intention-to-

treat analysis; 10) reporting of between-group statistical comparisons; and 11) reporting of

point measures and measures of variability. The last 10 items are used to calculate the total

PEDro score (the first item is not used as it is related to external validity, rather than

methodological quality and statistical reporting), which is calculated by summing the number

of items met. The total PEDro score ranges from 0 to 10, with a higher score indicating a

higher quality study. Each trial indexed on PEDro is evaluated by two independent raters and,

if necessary, arbitration is performed by a third rater. Reports of trials written in languages

other than English are evaluated by bilingual raters using the English version of the PEDro

scale. The English PEDro scale has moderate reliability, with Kappa values for individual

PEDro scale items ranging between 0.50 and 0.79 and an Intraclass Correlation Coefficient

33

for the total PEDro score of 0.68 for consensus ratings generated by groups of two or three

raters5. Two recent studies have confirmed the validity of the scale

6, 7.

More than 4,300 searches of the PEDro database are performed every day by physical

therapists worldwide, and Brazil is currently the third biggest user of PEDro with 10% of all

searches (the first and second most frequent users are Australia and the USA, respectively)8.

Portuguese-speaking countries (Brazil, Portugal, Angola and others) account for about 15% of

PEDro searches. Due to the increasing use by non-English speaking countries, the PEDro

website is being translated into languages other than English (to date the website has been

translated into French, German, Chinese and Portuguese). However, the PEDro search and

results pages, including the PEDro scale scores, are only available in English. As only a low

proportion of the Brazilian population is able to fully understand English text, this language

restriction of the PEDro search function is likely to limit the use of PEDro by Brazilian (and

other Portuguese-speaking) people.

As a first step to make the PEDro search function more accessible to Portuguese-

speaking physical therapists, the PEDro scale has been translated and cross-culturally adapted

into Portuguese by a research group from the Technical University of Lisbon (Portugal)9. This

translation and cross-cultural adaptation was performed to international standards10

, involving

the following steps.

1) forward translation: one bilingual Portuguese native-speaker translated the PEDro scale

from English to Portuguese.

2) synthesis and forward translation using a web-based Delphi consensus process. The Delphi

process involved a panel of six experts who evaluated and criticized the first translation. The

evaluation was performed using a likert scale ranging from 1 “do not agree with the

translation” to 5 “totally agree with the translation”. This process had to be consensual (5 or

34

more experts’ ratings of 5 points). Four rounds were needed until all experts reached

consensus about semantic equivalency. The Delphi process produced the second version of

the forward translation.

3) Back translation of the synthesized forward translation. A new independent translator (a

bilingual English native speaker), who was blind to the original version, translated the scale

back to English.

4) Back translation review and report: the back translated version was compared with the

original English version of the PEDro scale and all discrepancies were discussed with the

authors of the PEDro scale.

5) Pre-test cognitive debriefing: the investigators tested the second Portuguese version of the

PEDro scale on a group of 30 physical therapists in order to test alternative wording and to

check the understanding, interpretation, and cultural relevance of the translation. The

physiotherapists were asked firstly to rate three randomized controlled trials and then rate the

comprehension of the Portuguese PEDro scale using a likert scale ranging from 1 “unclear” to

5 “clear”.

6) Review of cognitive debriefing results: a comparison of the participants’ interpretations of

the second version was performed to highlight and amend possible discrepancies, and to

compose the third and final version of the Portuguese PEDro scale.

7) Proof reading: the investigators performed a final review of the translation to highlight and

correct any typographic, grammatical or other possible mistakes. This round developed the

final adapted version of the Portuguese version of the PEDro scale.

A few adjustments in the Portuguese (Portugal) version of the PEDro scale were

performed in order to adapt the Portuguese version into Brazilian Portuguese; all adjustments

35

were related to the orthographical differences between the Portuguese versions, no semantic

or grammatical modifications were necessary. The Brazilian Portuguese adjustments have

been incorporated into the Portuguese (Brazil) version of the PEDro scale (Table 1) as well as

into the instructions of management of PEDro scale (Appendix 1). The measurement

properties of the Portuguese translation of the PEDro scale have not been evaluated.

Table 1: PEDro scale (Portuguese version)

Reproduced from http://www.pedro.org.au/portuguese/downloads/pedro-scale/, with

permission

Escala de Qualidade PEDro – Português (Brasil)

___________________________________________________________________________

___

1. Os critérios de elegibilidade foram especificados

2. Os sujeitos foram aleatoriamente distribuídos por grupos (num estudo cruzado, os sujeitos

foram colocados em grupos de forma aleatória de acordo com o tratamento recebido)

3. A alocação dos sujeitos foi secreta

4. Inicialmente, os grupos eram semelhantes no que diz respeito aos indicadores de

prognóstico mais importantes

5. Todos os sujeitos participaram de forma cega no estudo

6. Todos os terapeutas que administraram a terapia fizeram-no de forma cega

7. Todos os avaliadores que mediram pelo menos um resultado-chave, fizeram-no de forma

cega

8. Mensurações de pelo menos um resultado-chave foram obtidas em mais de 85% dos

sujeitos inicialmente distribuídos pelos grupos

9. Todos os sujeitos a partir dos quais se apresentaram mensurações de resultados receberam

o tratamento ou a condição de controle conforme a alocação ou, quando não foi esse o

caso, fez-se a análise dos dados para pelo menos um dos resultados-chave por “intenção

de tratamento”

36

http://www.pedro.org.au/portuguese/downloads/pedro-scale/

10. Os resultados das comparações estatísticas inter-grupos foram descritos para pelo menos

um resultado-chave

11. O estudo apresenta tanto medidas de precisão como medidas de variabilidade para pelo

menos um resultado-chave

The objective of this study is to test the inter-rater reproducibility, and parallel forms

reproducibility, of the Portuguese (Brazil) version of the PEDro scale. Therefore the aims of

this study were:

1. To test the inter-rater reproducibility of the Portuguese (Brazil) version of the

PEDro scale.

2. To test the parallel forms reproducibility (compared to the original English

language version) of the Portuguese (Brazil) PEDro scale.

METHODS

Participants

Seven independent raters participated in this study. All raters were Brazilian physical

therapists with 2 to 13 years of clinical, teaching or research practice after their entry level

physical therapy qualification. Two had completed doctoral degrees in physical therapy, and

all were working in Brazilian universities. The raters were trained to evaluate the

methodology quality and statistical reporting of reports of randomized controlled trials using

the Portuguese (Brazil) version of the PEDro scale through the online PEDro scale training

program – Portuguese version. After this training, each therapist passed an accuracy test to

confirm that they were applying the scale in a similar way to other raters. The accuracy test

involved rating five Portuguese-language reports of randomized controlled trials, the “pass”

37

cut-off for the test was making five or less errors (from a total of 55 items being evaluated)

compared to criterion ratings.

Procedures

Fifty Portuguese-language reports of randomized controlled trials were used in this

evaluation. The citation details (author, title, journal, year) and PEDro ratings (11 individual

PEDro scale items and the total PEDro score) for all Portuguese-language trials indexed on

the PEDro database were downloaded on 2 August 2010. Reports were excluded from this list

if 1) they were used in the PEDro scale training program – Portuguese version and the

Portuguese version of the PEDro scale accuracy test, or 2) did not have complete consensus

ratings (i.e., two independent assessors, with arbitration by a third assessor if required)

generated using the English version of the PEDro scale. Fifty Portuguese-language trials met

these criteria. One of the selected trials was published in the 1980s, seven in the 1990s, 40

were published between 2000 and 2009, and two were published in 2010. Thirteen trials were

coded as relevant to the musculoskeletal subdiscipline, thirteen to cardiothoracics, eight as

continence and women’s health, five as neurology, three as gerontology, two as sports, two as

paediatrics, one as orthopaedics, one as ergonomics and occupational health, and the “no

appropriate category” was assigned to two trials.

Two sets of consensus ratings (individual items and total PEDro score) were generated

using the Portuguese (Brazil) version of the PEDro scale by the Brazilian raters (see Figure

1). Each trial was independently assessed by two raters, with arbitration by a third rater if

necessary, to produce the first set of Portuguese (Brazil) PEDro scale consensus ratings. This

process was then repeated using three different raters to produce the second set of Portuguese

(Brazil) PEDro scale consensus ratings.

38

Figure 1: Flow chart of the study procedures

7 physical therapists

PEDro scale training program – Portuguese version

Passed the Portuguese accuracy test

Data collection N=50 Portuguese-language trials

with English PEDro scale consensus ratings

Portuguese PEDro scale consensus ratings #1

(two independent raters, with arbitration by a third

rater if necessary)

Portuguese (Brazil) PEDro scale consensus ratings #2

(two independent raters, with arbitration by a third

rater if necessary)

Inter-rater

reproducibility

Parallel forms

Reproducibility

39

Based on recommendations for establishing the measurement properties of health

status questionnaires11, 12

, reproducibility (that is, the degree which repeated measurements in

stable conditions provide similar answers) of the Portuguese (Brazil) PEDro scale was

evaluated. Both reliability (“the degree which evaluations could be distinguished from each

other, despite measurement error” 11

page 36) and agreement (“how close repeated measures

are, expressed in the unit of the scale being tested”11

page 36) were investigated. The two sets

of Portuguese (Brazil) PEDro scale consensus ratings were compared to evaluate test-retest

reproducibility. The first set of Portuguese (Brazil) PEDro scale consensus ratings was

compared to the English PEDro scale consensus ratings to evaluate parallel forms

reproducibility; we also performed a sensitivity analysis using the second set of the

Portuguese (Brazil) PEDro scale comparing with the English PEDro scale.

Statistical analysis

The mean, standard deviation and frequency distribution of the total PEDro scores

were calculated to describe the overall quality of the 50 Portuguese-language reports of

randomized controlled trials. These were calculated separately for the total PEDro score

generated using the English version of the scale and for the two sets of total PEDro scores

generated using the Portuguese (Brazil) PEDro scale. In addition, the proportion of reports

scoring a “yes” (i.e., base rate) for each item on the PEDro scale was calculated for ratings

from the English version of the scale and for the two sets of ratings generated using the

Portuguese (Brazil) PEDro scale.

Test-retest reproducibility of the Portuguese (Brazil) version of the PEDro scale was

evaluated using three methods. First, Kappa coefficients (K) and 95% confidence intervals

were calculated for of each individual item of the PEDro scale. Second, an Intraclass

Correlation Coefficient type 1,1 (ICC 1,1) and 95% confidence intervals of the Intraclass

Correlation Coefficient were calculated for the total PEDro score. Third, the standard error of

40

the measurement (SEM) was calculated by dividing the standard deviation of the difference in

the total PEDro scores by the square root of two11

. The parallel forms reproducibility of the

Portuguese (compared to the English) version of the PEDro scale was determined by

calculating the Intraclass Correlation Coefficient type 1,1 for the total PEDro score.

The benchmarks for the interpretation of Kappa coefficients used in this study were

suggested by Landis and Koch13

, 0.81 or more were considered as almost perfect reliability,

0.61 to 0.80 as substantial, 0.41 to 0.60 as moderate, 0.21 to 0.40 as poor, and 0.00 to 0.20 as

very poor. We have adopted the benchmarks suggested by Fleiss14

for the interpretation of the

Intraclass Correlation Coefficients, in which 0.75 or larger were classified as excellent

reliability, 0.40 to 0.75 as good, and lower than 0.40 as poor. To interpret the standard error of

the measurement we converted the standard error of the measurement into a percentage of the

total score of the scale (i.e., 10) as suggested by Ostelo et al15

. These percentage values were

interpreted as: ≤ 5% or less very good; more than 5% but 10% or less as good; more than 10%

but 20% or less as doubtful, and more than 20% as negative15

.

RESULTS

The mean total PEDro score for the 50 Portuguese-language reports of trials evaluated

was 3.3 (English PEDro scale) to 3.5 (Portuguese (Brazil) PEDro scale set 2) out of 10

(standard deviation ~1.4), with a range of 1 to 7 points (see Table 2). The mean, standard

deviation and frequency distributions were similar for each of the sets of total PEDro scores

generated in this study. Interestingly, over three-quarters of the reports scored 4 out of 10 or

less, indicating that the majority of the reports were of low methodological quality. The

proportion of reports scoring “yes” was 10% or less for five PEDro scale items (see Table 3):

blinding of therapists (0%), intention-to-treat analysis (0-4%), blinding of subjects (4%),

41

concealed allocation (8-12%), and blinding of assessors (10-14%). No PEDro scale items had

very high (i.e., 90% or more) proportions of reports scoring “yes”.

Table 2. Frequency distribution of the total PEDro score for the 50 Portuguese-language

reports of randomized controlled trials evaluated in this study using the Portuguese (Brazil)

and English versions of the PEDro scale.

Total PEDro

score (/10)

English PEDro

scale [number

(%)]

Portuguese PEDro

scale set 1

[number (%)]

Portuguese PEDro

scale set 2

[number (%)]

0 1 (2%) 0 (0%) 0 (0%)

1 5 (10%) 5 (10%) 4 (8%)

2 6 (12%) 9 (18%) 9 (18%)

3 16 (32%) 10 (20%) 8 (16%)

4 13 (26%) 18 (36%) 18 (36%)

5 6 (12%) 5 (10%) 8 (16%)

6 2 (4%) 2 (4%) 1 (2%)

7 1 (2%) 1 (2%) 1 (2%)

8 0 (0%) 0 (0%) 0 (0%)

9 0 (0%) 0 (0%) 0 (0%)

42

10 0 (0%) 0 (0%) 0 (0%)

Mean (SD) 3.3 (1.4) 3.4 (1.4) 3.5 (1.3)

There was “moderate” to “almost perfect” test-retest reproducibility for the individual

PEDro scale items assessed using the Portuguese (Brazil) version of the PEDro scale (see

Table 3). Based on the classification suggested by Landis and Koch13

, three items (random

allocation, blinding of subjects, and blinding of therapists) had Kappa values of more than

0.80 and were classified as having “almost perfect” reliability. Five items had Kappa values

ranging between 0.61 and 0.80 (concealed allocation, blinding of assessors, intention-to-treat

analysis, reporting of between-group statistical comparisons, and reporting of point measures

and measures of variability) and were classified as having “substantial” reliability. Three

items (eligibility criteria and source specified, baseline comparisons, and more than 85%

follow-up) were classified as “moderate” reliability (i.e., Kappa between 0.41 and 0.60). In

contrast, the test-retest reliability established for the English version of the PEDro scale had

three items in the “moderate” range (baseline comparability, intention-to-treat analysis, and

reporting of point measures and measures of variability) and eight items in the “substantial”

range5.

43

Table 3. Kappa coefficients and proportion of reports with a yes response (base rate) for each of the individual PEDro scale items for ratings

generated using the Portuguese (Brazil) and English versions of the PEDro scale.

PEDro scale items

Kappa (95% CI) (k)

Portuguese

Kappa (k)

English5#

Portuguese 1

Base-rate

Portuguese 2

English

1. Eligibility criteria and source specified 0.57 (0.32 to 0.82) 0.63 80% 72% 72%

2. Random allocation 0.91 (0.73 to 1.00)* 0.79 86% 88% 84%

3. Concealed allocation 0.73 (0.38 to 1.00)* 0.70 8% 8% 12%

4. Baseline comparability 0.60 (0.38 to 0.82) 0.50 50% 66% 42%

5. Blinding of subjects 1.00 (1.00 to 1.00) 0.70 4% 4% 4%

6. Blinding of therapists 1.00 (1.00 to 1.00) 0.79 0% 0% 0%

7. Blinding of assessors 0.78 (0.49 to 1.00)* 0.79 10% 10% 14%

8. More than 85% follow-up 0.53 (0.29 to 0.77) 0.67 36% 38% 36%

9. Intention-to-treat analysis 0.66 (0.03 to 1.00)* 0.57 2% 4% 0%

10. Reporting of between-groups statistical comparisons 0.66 (0.44 to 0.88) 0.68 64% 60% 68%

11. Reporting of point measures and measures of variability 0.74 (0.52 to 0.96) 0.54 78% 72% 72%

# the original study did not provide 95% confidence intervals

* 95% confidence intervals are asymmetric because the upper bounds of these estimates were outside the range of the scale, in these cases we

changed them to 1.00.

44

The test-retest reproducibility of the total PEDro score generated using the Portuguese

(Brazil) version of the PEDro scale was classified as “excellent”, with an Intraclass Correlation

Coefficient of 0.82 (95% CI 0.70 to 0.89). This exceeds the value of 0.68 (95% CI 0.57 to 0.76)

established for the English version of the PEDro scale5.

The standard error of the measurement was 0.58 points (or 5.8%) for the total PEDro

score generated with the Portuguese (Brazil) version of the PEDro scale. This is classified as

“good” agreement15

.

There was “excellent” parallel forms reproducibility between the Portuguese and English

versions of the PEDro scale. The Intraclass Correlation Coefficient for the English version

compared to Portuguese set one was 0.78 (95% CI 0.67 to 0.86). The sensitivity analysis using

the second set of Portuguese ratings yielded very similar results with an Intraclass Correlation

Coefficient of 0.75 (95% CI 0.59 to 0.85).

DISCUSSION

The PEDro scale evaluates the methodological quality and statistical reporting of reports

of randomized controlled trials of physical therapy interventions1. The aim of this study was to

establish the reproducibility of the new Portuguese (Brazil) version of the PEDro scale. We

observed that the Portuguese (Brazil) PEDro scale had good reproducibility, with Kappa

coefficients ranging from 0.53 and 1.00 for individual scale items and an Intraclass Correlation

Coefficient of 0.82 and a standard error of measurement of 0.58 points for the total PEDro score.

There was excellent parallel forms reproducibility between the Portuguese and English versions

of the PEDro scale, with an Intraclass Correlation Coefficient of 0.78. As only orthographical

differences between the Portuguese (Portugal) version of the PEDro scale to create the Brazilian

Portuguese version, these reproducibility estimates can be generalised to both the Portuguese

(Portugal) and Portuguese (Brazil) versions of the PEDro scale.

45

The reliability estimates of individual items of the Portuguese version of the PEDro scale

were found to be very similar to the estimates obtained by a previous study that tested the

reliability of the English version of the PEDro scale5. While Kappa coefficients from the original

English version ranged from “moderate” to “substantial” (0.50 to 0.79), the Kappa coefficients

obtained in our study ranged from “moderate” to “almost perfect” (0.53 to 1.00) (Table 3).

Although the Kappa estimates were slightly higher in favour of the Portuguese scale, caution

must be taken when interpreting this comparison. The reliability study of the English version of

the PEDro scale5 recruited six raters who evaluated 120 English-language reports of randomized

controlled trials while our study recruited 7 raters who evaluated 50 Portuguese-language reports

of randomized controlled trials. Therefore although a comparison is interesting, a direct

comparison of the results of these studies is not completely straightforward.

Five items on the PEDro scale had a very low base rate (i.e., proportion of trials scoring a

“yes” for the item) in our evaluation of the Portuguese PEDro scale (blinding of therapists,

intention-to-treat analysis, blinding of subjects, concealed allocation, and blinding of assessors).

The reason for the low prevalence of blinding was that all reports selected for our study compared

two active complex interventions. This makes blinding of both subjects and therapists difficult to

achieve, so only two reports appear to have blinded the subjects and no reports have blinded the

therapists. This difficulty of blinding may have accounted for the extremely high Kappa

coefficients for these items.

The reliability estimates for the total PEDro score were similar for the English PEDro

scale (Intraclass Correlation Coefficient 0.68)5 and the Portuguese version (0.82), and can be

classified as “good” and “excellent”, respectively. The standard error of the measurement for the

Portuguese PEDro scale was 0.58 points (or 5.8%), which reflects low absolute measurement

error. The “excellent” parallel form of reproducibility between the Portuguese and English

46

versions of the PEDro scale (Intraclass Correlation Coefficient = 0.78) would suggest that either

version of the scale can be used to generate PEDro ratings.

We have only tested the measurement property of reproducibility (reliability and

agreement) for this study as other types of clinimetric properties would not be applicable for a

methodological scale such as the PEDro scale. For example, the measurement property of

responsiveness is not relevant to the evaluation of the PEDro scale as the PEDro scale is not

intended to measure change over time like scales which measure patient symptoms or physical

performance. It would be valuable to evaluate the validity of the Portuguese version of the PEDro

scale. In order to test the construct validity, however, comparison with another scale which

measures the same construct would be necessary. At the time of publication, the authors are

unaware of the existence of a methodological scale (e.g., the Jadad16

or van Tulder17

scales)

which have been translated into Portuguese and could therefore be used to evaluate the validity of

the Portuguese version of the PEDro scale. The validity of the English version of the PEDro scale

has been established6,7

, and can be assumed to be similar for the Portuguese version of the PEDro

scale.

An important incidental finding of this study was the low methodological quality and the

poor statistical reporting of the evaluated reports. The mean total PEDro score of the Portuguese-

language reports evaluated in our study was ~3.4 points, which was lower than the mean total

PEDro score of 5.2 points in a recent study describing the quality of 3120 predominantly English-

language reports of randomized controlled trials published in the core physical therapy journals18

.

Perhaps a review of journal editorial policies along with training for authors and reviewers are

required to bridge this gap in the reporting of randomized controlled trials in Portuguese.

In conclusion, the scores obtained using the Portuguese version of the PEDro scale are

similar to the ones obtained using the original English version. The Portuguese version of the

PEDro scale has good reproducibility for both individual items and for the total PEDro score. It is

47

now possible for Portuguese speakers to use the Portuguese version of the PEDro scale to

critically appraise the methodological quality and statistical reporting of reports of randomized

controlled trials.

REFERENCES

1. Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of randomized

trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.





randomised controlled trials of physiotherapy interventions: a comparison of AMED, CENTRAL,

CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed. Physiother

2009;95(3):151-6.



2008;88(9):1068-77.

5. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the PEDro

scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.

6. de Morton NA. The PEDro scale is a valid measure of the methodological quality of

clinical trials: a demographic study. Aust J Physiother. 2009;55(2):129-33.

7. Macedo LG, Elkins MR, Maher CG, Moseley AM, Herbert RD, Sherrington C. There was

evidence of convergent and construct validity of Physiotherapy Evidence Database quality scale

for physiotherapy trials. J Clin Epidemiol. 2010;63(8):920-5.

48

8. Moseley AM. PEDro statistics (personal communication). In: Shiwa S, Costa LO, editors.

São Paulo; 2010. p. 1-2.


Lisbon; 2011.

10. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-

cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.

11. Terwee CB, Bot SDM, Boer MR, van der Windta DAWM, Knola DL, Dekkera J, et al.

Quality criteria were proposed for measurement properties of health status questionnaires. J Clin

Epidemiol. 2007;60(1):34-42.

12. de Vet HCW, Terwee CB, Knol DL, Bouter LM. When to use agreement versus reliability

measures. J Clin Epidemiol. 2006;59(10):1033-9.

13. Landis JR, Koch GG. The measurement of observer agreement for categorical data.

Biometrics. 1977;33(1):159-74.

14. Fleiss JL. The design and analysis of clinical experiments. New York, NY: John Wiley &

Sons; 1986.

15. Ostelo RW, de Vet HC, Knol DL, van den Brandt PA. 24-item Roland-Morris Disability

Questionnaire was preferred out of six functional status questionnaires for post-lumbar disc

surgery. J Clin Epidemiol. 2004;57(3):268-76.

16. Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials.

Current issues and future directions. Int J Technol Assess Health Care. 1996;12(2):195-208.

17. van Tulder MW, Assendelft WJ, Koes BW, Bouter LM. Method guidelines for systematic

reviews in the Cochrane Collaboration Back Review Group for Spinal Disorders. Spine

1997;22(20):2323-30.

18. Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core

journals that publish clinical trials of physical therapy interventions. Phys Ther.

2010;90(11):1631-40.

49

Appendix 1: Instructions of management of PEDro scale / Instruções para a administração

da Escala de Qualidade PEDro:

Todos os

critérios

A pontuação só será atribuída quando um critério for claramente satisfeito. Se

numa leitura literal do relatório do ensaio existir a possibilidade de um critério não ter

sido satisfeito, esse critério não deve receber pontuação.

Critério 1 Este critério pode considerar-se satisfeito quando o relatório descreve a origem dos

sujeitos e a lista de requisitos utilizados para determinar quais os sujeitos eram elegíveis

para participar no estudo.

Critério 2 Considera-se que num determinado estudo houve alocação aleatória se o relatório referir

que a alocação dos sujeitos foi aleatória. O método de aleatoriedade não precisa de ser

explícito. Procedimentos tais como lançamento de dados ou moeda ao ar podem ser

considerados como alocação aleatória. Procedimentos de alocação quase-aleatória tais

como os que se efetuam a partir do número de registro hospitalar, da data de nascimento,

ou de alternância, não satisfazem este critério.

Critério 3 Alocação secreta significa que a pessoa que determinou a elegibilidade do sujeito para

participar no ensaio desconhecia, quando a decisão foi tomada, o grupo a que o sujeito

iria pertencer. Deve atribuir-se um ponto a este critério, mesmo que não se diga que a

alocação foi secreta, quando o relatório refere que a alocação foi feita a partir de

envelopes opacos fechados ou que a alocação implicou o contato com o responsável pela

alocação dos sujeitos por grupos, e este último não participou do ensaio.

Critério 4 No mínimo, nos estudos de intervenções terapêuticas, o relatório deve descrever pelo

menos uma medida da gravidade da condição a ser tratada e pelo menos uma (diferente)

medida de resultado-chave que caracterize a linha de base. O examinador deve

assegurar-se de que, com base nas condições de prognóstico de início, não seja possível

prever diferenças clinicamente significativas dos resultados, para os diversos grupos.

50

Este critério é atingido mesmo que somente sejam apresentados os dados iniciais do

estudo.

Critérios

4, 7-11

Resultados-chave são resultados que fornecem o indicador primário da eficácia (ou falta

de eficácia) da terapia. Na maioria dos estudos, utilizam mais do que uma variável como

medida de resultados.

Critérios 5-7 Ser cego para o estudo significa que a pessoa em questão (sujeito, terapeuta ou

avaliador) não conhece qual o grupo em que o sujeito pertence. Mais ainda, sujeitos e

terapeutas só são considerados “cegos” se for possível esperar-se que os mesmos sejam

incapazes de distinguir entre os tratamentos aplicados aos diferentes grupos. Nos ensaios

em que os resultados-chave são relatados pelo próprio (por exemplo, escala visual

análoga, registro diário da dor), o avaliador é considerado “cego” se o sujeito foi “cego”.

Critério 8 Este critério só se considera satisfeito se o relatório referir explicitamente tanto o número

de sujeitos inicialmente alocados nos grupos como o número de sujeitos a partir dos

quais se obtiveram medidas de resultados-chave. Nos ensaios em que os resultados são

medidos em diferentes momentos no tempo, um resultado-chave tem de ter sido medido

em mais de 85% dos sujeitos em algum destes momentos.

Critério 9 Uma análise de intenção de tratamento significa que, quando os sujeitos não receberam

tratamento (ou a condição de controle) conforme o grupo atribuído, e quando se

encontram disponíveis medidas de resultados, a análise foi efetuada como se os sujeitos

tivessem recebido o tratamento (ou a condição de controle) que lhes foi atribuído

inicialmente. Este critério é satisfeito, mesmo que não seja referida a análise por intenção

de tratamento, se o relatório referir explicitamente que todos os sujeitos receberam o

tratamento ou condição de controle, conforme a alocação por grupos.

Critério 10 Uma comparação estatística inter-grupos implica uma comparação estatística de um

grupo com outro. Conforme o desenho do estudo, isto pode implicar uma comparação de

51

dois ou mais tratamentos, ou a comparação do tratamento com a condição de controle. A

análise pode ser uma simples comparação dos resultados medidos após a administração

do tratamento, ou a comparação das alterações num grupo em relação às alterações no

outro (quando se usou uma análise de variância para analisar os dados, esta última é

frequentemente descrita como interação grupo versus tempo). A comparação pode

apresentar-se sob a forma de hipóteses (através de um valor de p, descrevendo a

probabilidade dos grupos diferirem apenas por acaso) ou assumir a forma de uma

estimativa (por exemplo, a diferença média ou a diferença mediana, ou uma diferença

nas proporções, ou um número necessário para tratar, ou um risco relativo ou um razão

de risco) e respectivo intervalo de confiança.

Critério 11 Uma medida de precisão é uma medida da dimensão do efeito do tratamento. O efeito do

tratamento pode ser descrito como uma diferença nos resultados do grupo, ou como o

resultado em todos os (ou em cada um dos) grupos. Medidas de variabilidade incluem

desvios-padrão (DP’s), erros-padrão (EP’s), intervalos de confiança, amplitudes

interquartis (ou outras amplitudes de quantis), e amplitudes de variação. As medidas de

precisão e/ou as medidas de variabilidade podem ser apresentadas graficamente (por

exemplo, os DP’s podem ser apresentados como barras de erro numa figura) desde que

aquilo que é representado seja inequivocamente identificável (por exemplo, desde que

fique claro se as barras de erro representam DP’s ou EP’s). Quando os resultados são

relativos a variáveis categóricas, considera-se que este critério foi cumprido se o número

de sujeitos em cada categoria é apresentado para cada grupo.

52

1

Language of publication slightly influences the quality of reports of randomised

controlled trials of physiotherapy interventions

Sílvia Regina Shiwa1, Anne M. Moseley

2,3, Christopher G. Maher

2,3,

Leonardo Oliveira Pena Costa1,2

1Masters in Physical Therapy Program, Universidade Cidade de Sao Paulo, Sao Paulo, Brazil

2The George Institute for Global Health, Australia

3The University of Sydney, Australia

53

2

ABSTRACT

Objective: To investigate whether the methodological quality and statistical reporting of trials

reports is influenced by language of publication in randomised controlled trials of

physiotherapy interventions.

Study design: Bibliometric and methodological quality data from all reports of RCTs indexed

on the Physiotherapy Evidence Database (PEDro) up to February 2011 were extracted.

Descriptive statistics on the total PEDro score and the 11 individual PEDro items were

calculated for each language of publication and for all non-English-language reports

combined. Regression models were calculated to predict the total PEDro score and the

presence of each of the 11 items of the PEDro scale using the language of publication as an

independent variable.

Results: A total of 13,392 reports of trials used for this study, being 12,532 trials published in

English and 860 published in other languages. Methodological quality and statistical reporting

was slightly better for English reports than reports written in other languages (= 0.15, 95%

CI 0.04 to 0.25).

Conclusion: Language of publication is associated with the methodological quality and

statistical reporting of reports of physiotherapy trials. While English reports are more likely to

have better methodological quality than reports written in other languages, the magnitude of

this influence is small.

Keywords: Language bias, methodological quality, physiotherapy, editorial policies.

54

3

What is new?

Key finding: Although Language of publication is associated with the methodological quality

and statistical reporting of reports of physiotherapy trials, the magnitude of this influence is

small.

What this adds to what was known: Previous studies on this topic were small and restricted

to just few languages and were relevant to few areas of healthcare. A more robust analysis

from our study indicates that studies published in languages other than English should be

considered in summaries of evidence.

What is the implication, what should change now: There is substantial evidence that the

risk of bias may be higher in physiotherapy trials published in languages other than English

and that the careful assessment of the risk of bias of published trials is important for trials

published in any language but even more important for trials published in languages other

than English. These conclusions are based only to physiotherapy trials and cannot be

generalized to other areas of health care.

55

4

INTRODUCTION

The practice of evidence-based physiotherapy should be informed by relevant and

high-quality clinical research1. The best types of clinical research about the effects of an

intervention are randomised controlled trials and systematic reviews of randomised controlled

trials2, 3

. Two challenges for implementing evidence-based physiotherapy are that the quality

of reports of trials vary widely4 and trials and reviews are published in a number of different

languages, challenges also experienced in other areas of healthcare5.

High quality studies are the ones that present low risk of bias. There is some empirical

evidence that the quality of randomised controlled trials in physiotherapy are slowly

improving over time6. This improvement in quality may be explained due to a better

understanding on important sources of bias, such as concealed allocation, intention-to-treat

analysis and blinding6. There are some types of complex interventions (such as

physiotherapy) that some sources of bias cannot be avoided in randomised trials, for example

blinding of patients and therapists are only possible in some specific fields of physiotherapy,

such as electrotherapy interventions. Randomised controlled trials in physiotherapy are

published in multiple languages and to our knowledge there are no studies that investigated

the influence of language of publication in the quality of randomised controlled trials in

physiotherapy.

While language of publication does not appear to influence the quality of reports of

medical trials7, 8

, only a small number of languages have been investigated (English, German,

French and Spanish) using a relatively small sample of trials reports (2298 and 80

7). A more

robust evaluation of the influence of language would be possible with a larger sample of

published trials that included a broader range of languages. It is possible to perform this

analysis with reports of trials of physiotherapy interventions because nearly all trials of

physiotherapy interventions have been indexed on a single database, the Physiotherapy

56

5

Evidence Database (PEDro)9, 10

. Furthermore, all reports indexed on PEDro are assessed for

methodological quality and completeness of reporting using the PEDro scale4, 11, 12

.

Although English is considered a “world language”, only 25% of the world population

can speak or read English13

, on the other hand around 95% of all physiotherapy trials and

systematic reviews are published in English. Nearly 80% of systematic reviews of randomised

controlled trials had restrictions with regards to the language of publication, mostly excluding

trials published in languages other than English14

. Perhaps these language restrictions

occurred in these reviews because of the difficulty in identifying trials published in languages

other than English, the reviewers skills for language or due to the view that English language

publications are sufficient for summaries of evidence such as systematic reviews or clinical

practice guidelines8. One way to assess whether language restrictions are reasonable for

systematic reviews is to assess the quality of reports trials in both languages (English and

languages other than English). If the quality of English-language and other-language trial

reports are similar, there will be no reason for exclusion of trials based upon the language of

publication8.

Our primary aim was to investigate whether the quality of trial reports is influenced by

the language of publication (English versus languages other than English) rated by the 11-

item PEDro Scale. Our secondary aim was to describe the characteristics of a universe of

physiotherapy randomised controlled trials reports published in each available language.

METHODS

All trial reports indexed on PEDro in February 2011 were downloaded. The variables

downloaded were title, authors, journal name, year of publication, language, therapy being

evaluated, and PEDro scale (ratings of each of the 11 items and the total PEDro score). We

57

6

excluded trials that had incomplete PEDro scale ratings (i.e. reports not yet rated by two

independent raters, with arbitration by a third rater if necessary) from the evaluation of the

relationship between language and quality of reporting.

The Physiotherapy Evidence Database (PEDro; http://www.pedro.org.au) was chosen

for this study and trials indexed on PEDro are assessed for methodological quality and

statistical reporting using the 11-item PEDro scale4, 11, 12

. The items are: 1) eligibility criteria

and source specified; 2) random allocation; 3) concealed allocation; 4) baseline comparability;

blinding of 5) subjects; 6) therapists and 7) assessors; 8) more than 85% follow-up; 9)

intention-to-treat analysis; 10) reporting of between-group statistical comparisons; and 11)

reporting of point measures and measures of variability. The last 10 items are used to

calculate the total PEDro score (the first item is not used as it is related to generalisability,

rather than methodological quality and statistical reporting), which is calculated by summing

the number of items met. The total PEDro score ranges from 0 to 10, with higher scores

indicating higher methodological quality and more complete statistical reporting. Each trial

indexed on PEDro is rated by two independent assessors and, if there are disagreements,

arbitration is performed by a third assessor. Trials are rated on the basis of what they report. If

a trial does not report that a particular criterion was met, we score it as if the criterion was not

met (”guilty until proven innocent”). The assessors also allocate codes for the therapy being

evaluated (i.e., acupuncture; behaviour modification; education; electrotherapies, heat, cold;

fitness training; health promotion; hydrotherapy, balneotherapy; neurodevelopmental therapy,

neurofacilitation; orthoses, taping, splinting; respiratory therapy; skill training; strength

training; stretching, mobilisation, manipulation, massage). Reports of trials written in

languages other than English are rated by bilingual assessors using the English version of the

PEDro scale.

58


7

Statistical analysis

The number of trial reports in each language was calculated. The mean (95%

confidence interval) of total PEDro score were calculated for trial reports in each individual

language as well as for all non-English reports combined. The total PEDro score was

calculated for all years of publication combined and for each decade from the 1920s to 2010s.

A Student´s independent t-test was used to compare the total PEDro score for English-

language trials to non-English-language trials. We calculated the proportion of “yes”

responses for each individual item of the PEDro scale for each individual language and for all

non-English reports combined.

The multivariate analyses allowed for controlling for factors other than publication

language that may be associated with the quality of reporting (i.e., potential confounders). A

multivariate linear regression analysis was performed to predict the total PEDro score

(dependent variable) including the following terms in the regression equation (independent

variables): English trial reports (coded as 1) versus non-English trial reports (coded as 0);

number of years since publication (we calculated this variable by subtracting the year of

publication from 2011); if the trial evaluated electrotherapy (coded as 1) versus non-

electrotherapy trials (coded as 0), this variable was included in the analysis as a potential

confounder because blinding of participants and therapists are possible in electrotherapy trials

compared to other interventions. Multivariate logistic regression analyses were performed to

predict each of the 11 items of the PEDro scale (dependent variables) for language (English

versus non-English), adjusted for the number of years since the publication and electrotherapy

(electrotherapy versus non-electrotherapy). We used backward elimination to specify a model

in which all variables achieve statistical significance (p<0.05).

59

8

RESULTS

In February 2011, PEDro indexed 14,619 reports of randomised controlled trials. Of

these trial reports, 13,392 had complete PEDro ratings - 12,532 trials published in English and

860 published in languages other than English. In this study, we included only articles

published in English (n=12,532, N electrotherapy trials = 1838), Chinese (n=405, N = 123),

German (n=253, N = 74), Norwegian (n=8, N = 2), French (n=31, N = 9), Italian (n=19, N =

6), Portuguese (n=62, N = 11), Spanish (n=49, N = 7) and Dutch (n=33, N = 4). The

remaining languages were excluded because they did not have complete ratings: Arabic

(n=1), Bosnian/Serbian/Croatian (n = 10), Bulgarian (n=2), Czech (n=14), Danish (n=61),

Farsi (n=6), Finnish (n=5), Greek (n=2), Hebrew (n=7), Hungarian (n=8), Iceland (n=2),

Japanese (n=65), Korean (n=64), Lithuanian (n=3), Polish (n=36), Russian (n=66), Slovak

(n=6), Swedish (n=14), Turkish (n=63), Ukrainian (n=1) and Romanian (n=2).

Univariate analysis indicated that methodological quality and statistical reporting was

similar for English and non-English trial reports. The English trial reports had a mean total

PEDro score of 4.8 points (95% CI 4.8 to 4.9) while the non-English trial reports combined

had a mean total PEDro score of 4.8 points (95% CI 4.7 to 4.9), see Figure 1. Of the non-

English trial reports, Norwegian-language reports had the highest mean total PEDro score (5.4

points, 95% CI 4.4 to 6.4, n = 8) and trial reports in Portuguese had the lowest mean total

PEDro score (3.7 points, 95% CI 3.3 to 4.2, n = 62). The primary unadjusted analysis revealed

no differences in quality of trials published in English compared to trials published in

languages other than English (mean difference of -0.1 points, 95% CI -0.2 to 0.0, p=0.24,

t=1.18).

The first English language trial15

was published four decades before the first non-

English language trial (see Table 1). The first non-English trial was published in 1963 (a

60

9

French trial16

), the first trials published in Dutch17

, German18, 19

and Norwegian20, 21

were

published in the 1970’s, and finally during the 1980’s the first trials written in Chinese22

,

Italian23

, Portuguese24

and Spanish25

were published. While there is a trend of improvement in

the quality of trials over time regardless of the language (see Table 1), English trial reports

appear to have the largest improvement.

The multivariate linear regression analysis revealed that language of publication,

adjusted for time since publication and electrotherapy intervention, does influence the total

PEDro score. The equation to predict the total PEDro score is: total PEDro score = 5.27 +

0.15 x published in English (1=yes, 0=no) – 0.06 x number of years before 2011 + 0.30 x

electrotherapy trial (1=yes, 0=no). This means that if a trial report is in English 0.15 points, on

average, can be added to the total PEDro score (after adjusting for number of years since

publication and electrotherapy trials) compared to a trial published in a language other than

English. This equation also means that electrotherapy trials have, on average, an additional

0.30 points on the total PEDro score compared to non-electrotherapy trials. Finally, for every

decade before 2011 a trial report has, on average, 0.6 points less on the total PEDro score

compared to trials published in 2011.

Table 2 presents number of trial reports and the proportion of trial reports that satisfied

each of the PEDro scale individual items. The items satisfied most often in English reports

were eligibility criteria and source specified (71.8%), random allocation (95.7%), reporting of

between-groups statistical comparisons (92.8%), and reporting of point measures and

measures of variability (86.5%). In contrast, the items satisfied most often in non-English

reports were eligibility criteria and source specified (75.2%), random allocation (88.7%),

more than 85% follow up (71.2%) and reporting of between-groups statistical comparisons

(91.9%).

61

10

Compared to publishing a trial report in a non-English language, publishing in English

increased the likelihood of fulfilling three PEDro scale items: random allocation, concealed

allocation, and blinding of assessors. These three items had very high odds ratios (i.e., > 2.0),

see Table 3. In contrast, reports published in a non-English language were more likely to fulfil

two PEDro items: more than 85% follow up and intention-to-treat analysis.

DISCUSSION

Our results revealed that English reports were more likely to have better quality than

reports written in languages other than English, but the magnitude of this influence was small

(Beta coefficient = 0.15 points) when the analysis was adjusted for time since publication and

electrotherapy intervention. We also observed that recent studies (Beta coefficient = -0.06

points) and the electrotherapy intervention trials (Beta coefficient = 0.30 points) have better

quality. The items random allocation, concealed allocation and blinding of assessors were

more likely to be satisfied in studies published in English and the items more than 85% follow

up and intention-to-treat analysis were more likely to be satisfied in studies published in

languages other than English.

This study is the first to assess the influence of language of publication on the quality

of reports of randomised controlled trials in a universe of trials of physiotherapy. From a total

of 14,619 reports of trials that were included on the PEDro database on February 2011, 1227

reports of trials were excluded (being 489 trials published in English and 738 trials published

in languages other than English) as these trials had incomplete PEDro scores, which can be

considered as a possible limitation of the study. Moreover, as the PEDro scale assesses only

the information that was reported in the manuscript (similarly to other risk of bias scales) we

cannot rule out the possibility that the trial as conducted had different methodological quality.

For example, one study interviewed authors of 2235 reports of randomised controlled trials

62

11

published in Chinese revealed that only 9,3% of the studies adhered to accepted methodology

for randomisation26

, in other words although most of studies reported true randomisation, the

interviews with the authors of these papers revealed that this was not the case. This shows a

lack of understanding by the authors about key concepts of trial design, nevertheless these

trials are usually rated positive in quality scales such as the PEDro scale, as it is impossible to

audit all studies.

Only two previous studies7, 27

have investigated the influence of language on

methodological quality in randomised controlled trials in general medicine. Both studies were

small (n= 2298 and 80

7), and evaluated a restricted number of languages (for example English

versus German or English versus French, German, Italian or Spanish), instead of 9 languages

as we have evaluated. Importantly, both studies reported univariate analyses that did not

adjust the analyses for possible confounders, so the conclusion that language does not affect

the quality of reporting of trials may be inaccurate. Our adjusted analysis revealed that trial

reports published in English are slightly better than those published in languages other than

English; however the magnitude of this influence is small and probably not important. We

would argue that trials published in languages other than English should be considered in

clinical decision-making as well as being included in systematic reviews and other summaries

of evidence such as clinical practice guidelines.

Another interesting finding of our study is that although trials that evaluate

electrotherapy are one of the few types of physiotherapy interventions that can successfully

blind subjects and therapists (which could add up to 2 points on PEDro score compared with

non-electrotherapy intervention trials), we observed that on average these studies adds only

0.30 points on PEDro total score (after adjustment for confounders). This shows that blinding

has not been properly implemented in these trials and perhaps more improvement in the

design of electrotherapy trials is possible.

63

12

Although our study is the largest that has investigated the influence of language of

publication on the quality of reports of randomised controlled trials, it is important to consider

if our results would be similar for other health disciplines, such as general medicine or other

allied health professions such as psychology, nursing, dentistry or speech pathology. It would

also be interesting to compare possible differences in trial quality for different physiotherapy

subdisciplines (e.g. musculoskeletal, neurology, etc) . Another suggestion for future studies

would be to compare more items related to external validity of studies published in different

languages, for example items related to the description of the sample, sample size and

description of the interventions.

CONCLUSION

Language of publication is associated with the methodological quality and statistical reporting

of reports of physiotherapy trials. While English reports are more likely to have better

methodological quality than reports written in other languages, the magnitude of this

influence is small.

64

13

References

1. Herbert R, Jamtvedt G, Hagen KB, Mead J. Practical Evidence-Based Physiotherapy.

2nd ed. London: Churchill Livingstone; 2011.

2. Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core

journals that publish clinical trials of physical therapy interventions. Phys Ther.

2010;90(11):1631-40.

3. Maher CG, Sherrington C, Elkins M, Herbert RD, Moseley AM. Challenges for

evidence-based physical therapy: accessing and interpreting high-quality evidence on therapy.

Phys Ther. 2004;84(7):644-54.



2008;88(9):1068-77.

5. Sackett DL, Strauss SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based

Medicine: How to Practice and Teach EBM. 2nd ed. Edinburgh: Churchill Livingstone; 2000.

6. Moseley AM, Herbert RD, Maher CG, Sherrington C, Elkins MR. Reported quality of

randomized controlled trials of physiotherapy interventions has improved over time. J Clin

Epidemiol. 2011;64(6):594-601.

7. Egger M, Zellweger-Zahner T, Schneider M, Junker C, Lengeler C, Antes G.

Language bias in randomised controlled trials published in English and German. Lancet.

1997;350(9074):326-9.

8. Moher D, Fortin P, Jadad AR, Juni P, Klassen T, Le Lorier J, et al. Completeness of

reporting of trials published in languages other than English: implications for conduct and

reporting of systematic reviews. Lancet. 1996;347(8998):363-6.



65

14

CENTRAL, CINAHL, EMBASE, hooked on evidence, PEDro, PsycINFO and PubMed.

Physiotherapy. 2009;95(3):151-6.




11. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the

PEDro scale for rating quality of randomized controlled trials. Phys Ther. 2003;83(8):713-21.

12. Sherrington C, Herbert RD, Maher CG, Moseley AM. PEDro. A database of

randomized trials and systematic reviews in physiotherapy. Man Ther. 2000;5(4):223-6.

13. Graddol D. The Future of English? United Kingdom: The British Council; 2000.

14. Gregoire G, Derderian F, Le Lorier J. Selecting the language of the publications

included in a meta-analysis: is there a Tower of Babel bias? J Clin Epidemiol.

1995;48(1):159-63.

15. Colebrook D. Irradiation and health: an ultra-violet irradiation of school children.

Medical Research Council Special Report Series. 1929;131:1-47.

16. Seze Sd, Ryckewaert A, Caroit M, Hubault A, Poinsard G, Renier J, et al. Studies of

the painful shoulder (humeroscapular periarthritis) versus a systematic therapeutic

investigation. Revue du Rhumatisme 1963:1-14.

17. Maesen F, Brombacher PJ, Buytendijk HJ, Janssen HC. Comparative investigation on

sputum viscosity before and after administration of mistabron or physiological saline solution

with and without physiotherapy (vibration-therapy) Acta Tuberc Pneumol Belg.

1974;65(2):212-8.

18. Buchwalsky R, Schnellbacher K, Roskamm H, Barmeyer J. Long-term training effects

in chronic ischemia. Med Welt. 1974;25(3):83-6.

66

15

19. Valtonen E, Lilius H. Doppelblindversuch uber die wirkung der diadynamischen

(bernardschen) strome bie verschiedenen schmerzzustanden Zeitschrift fur Physiotherapie.

1974;26:133-6.

20. Bihaug O. Autotraksjon for ischialgipasienter. Fysioterapeuten. 1978;45:377-9.

21. Kogstad O, Karterud S, Gudmundsen J. Cervicobrachialgia. A controlled trial with

conventional therapy and manipulation. Tidsskrift for den Norske Laegeforening.

1978;98(16):845-8.

22. Chang R, Wen K. The effects of combined acupuncture anesthesia in gastrectomy.

Zhen Ci Yan Jiu [Acupuncture Research] 1985;10(3):161-4.

23. D'Ort S, Germani M, Parente F. Studio in doppio cieco sulla terapia con agopuntura

nella periartrite scapolo-omerale (Double-blind study on acupuncture treatment of frozen

shoulder). Ortopedia e Traumatologia Oggi. 1985;5(1):37-44.

24. Rovinski A, Filho NA. Estudo comparativo entre as palmilhas de tipo convencional e

palmilhas do tipo 1/4 de esfera para tratamento de pes planos em criancas. Medicina de

Reabilitacao. 1988;19:6-7.

25. Willner R. Efectos de los laser He-Ne e infrarrojo en la osteoartritis de manos y

rodillas: estudio doble ciego. Investigacion Y Clinica Laser. 1985;2:75-6.

26. Wu T, Li Y, Bian Z, Liu G, Moher D. Randomized trials published in some Chinese

journals: how many are randomized? Trials. 2009;10:46.

27. Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials.

Current issues and future directions. Int J Technol Assess Health Care. 1996;12(2):195-208.

67

CAPÍTULO 5

CONCLUSÃO

68

5.1. Resultados Principais

O objetivo desta dissertação de mestrado foi contribuir e incentivar a fisioterapia

baseada em evidências no Brasil, através da apresentação da base de dados PEDro1 como uma

ferramenta de busca de evidências em fisioterapia, da Escala de Qualidade PEDro, que auxilia

os fisioterapeutas a distinguir a qualidade dos estudos controlados aleatorizados e a

reprodutibilidade da Escala de Qualidade PEDro2 em português, confirmando que a Escala de

Qualidade PEDro em português é um instrumento reprodutível para ser utilizado no Brasil

(capítulos 2 e 3).

O estudo sobre a influência da língua de publicação na qualidade dos estudos

controlados aleatorizados (capítulo 4) mostrou que os estudos publicados em inglês

apresentam apenas uma pequena vantagem em termos de qualidade metodológica e descrição

estatística quando comparados com estudos publicados em outras línguas, e portanto, estudos

publicados em outras línguas deveriam ser considerados nas escolhas de tratamentos a serem

utilizados por fisioterapeutas, assim como na realização de revisões sistemáticas em

fisioterapia.

5.2. Implicância dos resultados para a prática clínica e de pesquisa e sugestão de estudos

futuros

A base de dados PEDro é uma das melhores fontes de evidência3 que investiga as

intervenções fisioterapêuticas, é gratuita, sua interface está disponível em diversos idiomas e

auxilia os leitores ao apresentar seus resultados de busca de acordo com os níveis de evidência

e qualidade dos estudos, em ordem decrescente, que são avaliados através da Escala de

Qualidade PEDro, que foi traduzida e adaptada para o português4. A Escala de Qualidade

PEDro em português, por sua vez, foi testada quanto a sua reprodutibilidade2, comprovando

69

ser uma ferramenta confiável para fisioterapeutas brasileiros avaliarem a qualidade

metodológica e descrição estatística dos estudos controlados aleatorizados.

A língua inglesa mesmo que difundida no Brasil, ainda é uma barreira para os

fisioterapeutas brasileiros interpretarem a evidência. Há uma estimativa de que uma pequena

parcela da população tenha conhecimento suficiente da língua inglesa para se comunicar

através dela. No capítulo 4 desta dissertação, foi mostrado que a língua de publicação

influencia apenas de forma sutil a qualidade dos estudos, porém deve ser salientado que o

número de estudos avaliados em cada idioma foi discrepante, sendo a maior parte da

evidência publicada em inglês e que é fundamental que o fisioterapeuta brasileiro tenha

conhecimento deste idioma para manter-se atualizado. Com o resultado deste estudo, é

importante destacar que estudos publicados em idiomas diferentes do inglês não deveriam ser

excluídos das revisões sistemáticas, o que constituiria um viés de linguagem para esse tipo

estudo.

Como sugestões para estudos futuros, consideramos interessante realizar um

mapeamento da evidência na fisioterapia (exemplos5, 6

), para determinar quais subdisciplinas

relevantes para a fisioterapia apresentam maior quantidade e melhor qualidade dos estudos

controlados aleatorizados, quais as que ainda sofrem com a escassez de bons estudos, com o

objetivo de nortear o direcionamento de recursos para estimular a realização de pesquisa

clínica de alta qualidade e o crescimento da profissão. Nosso grupo de pesquisa vem

realizando um mapeamento da evidência em fisioterapia cardiopulmonar e esperamos

divulgar esses resultados em breve7.

Deve-se também incentivar a implementação dos conhecimentos oriundos da prática

baseada em evidências. É incoerente ter a evidência disponível e não aplicá-la na prática

clínica, afinal a pesquisa e a clínica deveriam progredir juntas. Uma sugestão para identificar

se isto está ocorrendo, seria através da realização de auditorias da prática clínica (exemplo8, 9

).

70

Uma reclamação constante dos fisioterapeutas é quanto a sua remuneração, mas como

reivindicar melhores salários se seu atendimento nem sempre é baseado na melhor evidência

científica disponível? A implementação do Problem-Based Learning (PBL) como sistema de

ensino da fisioterapia no Brasil, aumentaria a adesão à prática baseada em evidências, uma

vez que o aluno busca o seu aprendizado em bases de dados e não limita-se somente ao

conhecimento do seu professor.

Outro ponto importante, seria a identificação do viés de publicação em estudos

relevantes para a fisioterapia. Por exemplo, realizar um estudo para analisar se há diferença no

tempo de aceite de estudos com resultado positivos comparados a estudos com resultados

negativos. Outro exemplo seria um estudo comparando periódicos com diferentes fatores de

impacto e os artigos que os mesmos publicam para analisar se os periódicos com fatores de

impacto maior publicam estudos com resultados mais expressivos do que periódicos de fator

de impacto inferior. Comumente é observado no Brasil que os estudos com melhor

delineamento experimental e que obtiveram resultados positivos são geralmente submetidos

(e posteriormente publicados) em revistas internacionais, e que os estudos menores, com

menor rigor metodológico e estatístico, com resultados não tão significantes são enviados para

as revistas nacionais. Com a visão deste panorama, como os periódicos nacionais irão se

fortalecer se os melhores estudos são enviados para os periódicos internacionais? Pesquisas de

natureza qualitativa, entrevistando editores de revista nacionais e autores brasileiros podem

esclarecer esse panorama.

Após a implementação do CONSORT Statement10

para os estudos controlados

aleatorizados, houve uma melhora na descrição textual e qualidade metodológica dos estudos

publicados11, 12

. Seria interessante analisar se esta melhora também ocorreu nos estudos

relacionados à fisioterapia, sabe-se que a qualidade metodológica e estatística melhoraram a

longo dos anos, mas a implementação do CONSORT Statement fez diferença? Nesse mesmo

71

tópico, seria interessante também avaliar a qualidade dos resumos/abstracts de estudos

controlados aleatorizados em fisioterapia para averiguar se estes também estão seguindo as

diretrizes propostas, uma vez que a seleção dos estudos a serem lidos mais detalhadamente é

feita a partir da leitura dos resumos ou nos casos em que o estudo é publicado em um idioma

que o leitor não tem conhecimento adequado, geralmente o resumo está publicado também em

inglês e que se estiver bem escrito, conseguirá informar melhor os leitores desses artigos.

5.3. Referências

1. Shiwa SR, Costa LOP, Moser ADL, Aguiar IC, Oliveira LVF. PEDro: a base de dados

de evidências em fisioterapia. Fisioter Mov. 2011;24(3):523-33.

2. Shiwa SR, Costa LO. Prática baseada em evidências: a base de dados PEDro,

Reprodutibilidade da Escala de Qualidade PEDro em português e a influência do idioma de

publicação na qualidade dos estudos controlados aleatorizados. São Paulo: Universidade

Cidade de Sao Paulo; 2011.



CENTRAL, CINAHL, EMBASE, Hooked on Evidence, PEDro, PsycINFO and PubMed.

Physiother. 2009;95(3):151-6.


Lisbon; 2011.

5. Moseley AM, Sherrington C, Herbert R, Maher CG. The extent and quality of

evidence in neurological physiotherapy: an analysis of the Physiotherapy Evidence Database

(PEDro). Brain Impair. 2000;1(2 ):130-40.

72

6. Sherrington C, Moseley AM, Herbert RD, Elkins MR, Maher CG. Ten years of

evidence to guide physiotherapy interventions: Physiotherapy Evidence Database (PEDro). Br

J Sports Med. 2009;44(12):836-7.

7. Geha NN, Costa LOP. The description of randomised controlled trials of

physiotherapy interventions for cardiothoracic conditions [Em andamento]. São Paulo:

Universidade Cidade de São Paulo; 2011.

8. Rudd AG, Lowe D, Irwin P, Rutledge Z, Pearson M. National stroke audit: a tool for

change? Qual Health Care. 2001;10(3):141-51.

9. Turner PA, Harby-Owren H, Shackleford F, So A, Fosse T, T.W.A W. Audits of

physiotherapy practice. Physiother Theory Pract. 1999;15(4):261-74.

10. Group C. CONSORT: Transparent report of trials 1996 [updated 1996 2007; cited

2011]; Available from: http://www.consort-statement.org/.

11. Moher D, Jones A, Lepage L. Use of the CONSORT statement and quality of reports

of randomized trials: a comparative before-and-after evaluation. JAMA. 2001;285(15):1992-

5.

12. Plint AC, Moher D, Morrison A, Schulz K, Altman DG, Hill C, et al. Does the

CONSORT checklist improve the quality of reports of randomised controlled trials? A

systematic review. Med J Aust. 2006;185(5):263-7.

73

http://www.consort-statement.org/

APENDICE 1

ARTIGO PUBLICADO NA REVISTA CADERNOS DE

SAÚDE PÚBLICA:

REPRODUCIBILITY OF PORTUGUESE VERSION OF

THE PEDro SCALE

74

Cad. Saúde Pública, Rio de Janeiro, 27(10):2063-2067, out, 2011

2063

Reproducibility of the Portuguese version of the PEDro Scale

Reprodutibilidade da Escala de Qualidade PEDro em português

1 Universidade Cidade de São Paulo, São Paulo, Brasil.2 The George Institute for Global Health, Sydney, Australia.3 Centro de Ciências Biológicas e da Saúde, Universidade Federal de São Carlos, São Carlos, Brasil.

CorrespondenceL. O. P. CostaUniversidade Cidade de São Paulo.Rua Cesário Galeno 448, São Paulo, SP03071-000, [email protected]

Silvia Regina Shiwa 1

Leonardo Oliveira Pena Costa 1,2

Luciola da Cunha Menezes Costa 2

Anne Moseley 2

Luiz Carlos Hespanhol Junior 1

Roberta Venâncio 1

Cintia Ruggero 1

Tatiana de Oliveira Sato 3

Alexandre Dias Lopes 1

Abstract

The objective of this study was to test the inter-rater reproducibility of the Portuguese version of the PEDro Scale. Seven physiotherapists rated the methodological quality of 50 reports of ran-domized controlled trials written in Portuguese indexed on the PEDro database. Each report was also rated using the English version of the PEDro Scale. Reproducibility was evaluated by com-paring two separate ratings of reports written in Portuguese and comparing the Portuguese PEDro score with the English version of the scale. Kappa coefficients ranged from 0.53 to 1.00 for individ-ual item and an intraclass correlation coefficient (ICC) of 0.82 for the total PEDro score was ob-served. The standard error of the measurement of the scale was 0.58. The Portuguese version of the scale was comparable with the English version, with an ICC of 0.78. The inter-rater reproducibil-ity of the Brazilian Portuguese PEDro Scale is ad-equate and similar to the original English version.

Evidence-Based Practice; Clinical Trials; Ques-tionnaires

The Physiotherapy Evidence Database (PEDro; http://www.pedro.org.au) is a free database of randomized controlled trials (RCTs), systematic reviews and clinical practice guidelines in phys-iotherapy 1. PEDro is considered to be one of the most comprehensive databases for indexing re-ports of RCTs that investigate the effects of phys-iotherapy interventions 2. To be included in PE-Dro a trial must satisfy five eligibility criteria: (1) the trial must involve comparison of at least two interventions; (2) at least one of the interventions evaluated must be currently part of physiothera-py practice; (3) the interventions should be ap-plied to subjects who are representative of those to whom the intervention might be applied in the course of physiotherapy practice; (4) the trial should involve random allocation or intended-to-be-random allocation of subjects to interven-tions; (5) the study must be a full paper published in a peer reviewed journal 1.

All trials indexed on PEDro are assessed for methodological quality and statistical reporting using the PEDro Scale 1 that considers the fol-lowing criteria: (1) eligibility criteria and source of participants; (2) random allocation; (3) con-cealed allocation; (4) baseline comparability; (5) blinding of subjects; (6) blinding of therapists; (7) blinding of assessors; (8) measures of key outcomes from more than 85% of participants; (9) intention-to-treat analysis; (10) between-group statistical comparisons; (11) point mea-sures and measures of variability. The scale is

NOTA RESEARCH NOTE

75

Shiwa SR et al.2064


scored out of 10 with one point being awarded for each of the itens (2) to (11) clearly satisfied and reported by the trial. Each trial is assessed by two independent raters. Any disagreements are arbitrated by a third rater. Reports of trials writ-ten in languages other than English are assessed by bilingual raters using the English version of the PEDro Scale.

More than 4,300 searches of PEDro are per-formed everyday by physiotherapists worldwide, of which 15% are performed by professionals from Portuguese-speaking countries. Although the PEDro website was recently translated into Portuguese, the search and results pages, includ-ing the PEDro Scale score, are only available in English. As only a small proportion of the Brazil-ian population are fully proficient in English, it is likely that this limitation of the PEDro search function will restrict the use of PEDro by Portu-guese-speaking physiotherapists.

As a first step to making PEDro more acces-sible to physiotherapists that are not proficient in English, the PEDro Scale has been cross-cul-turally adapted into Portuguese by a Portuguese research group 3. This adaptation was performed following the recommendations from current guidelines 4.

Some orthographical adjustments were made to the Portuguese version of the PEDro Scale to adapt it to Brazilian Portuguese. No semantic or grammatical modifications were necessary. The scale in Brazilian Portuguese can be accessed at: http://www.pedro.org.au/portuguese/downloads/pedro-scale/. To date, the reproducibility of the Brazilian Portuguese PEDro Scale has not been evaluated.

The objective of this study was to test the re-producibility and parallel-form reproducibility of the Brazilian Portuguese version of the PEDro Scale compared to the original English version.

Methods

Seven Brazilian physiotherapists participated in this study as independent raters. The raters un-derwent training to assess the methodological quality of RCTs using the Brazilian Portuguese version of the PEDro Scale through the online PEDro Scale Training Program (http://training.pedro.org.au/portuguese/index.html – this web-site is password protected). After training, each therapist had to pass an accuracy test to ensure that they were applying the scale to the same standard as other raters.

Fifty reports of RCTs written in Portuguese were used in this study derived from a universe of 65 RCTs indexed on the database. The cita-

tion details and PEDro ratings for all Portuguese language trials indexed on PEDro were down-loaded on 2 August 2010. Two sets of consensus ratings (individual items and total PEDro score) were generated by the Brazilian raters using the Brazilian Portuguese version of the PEDro Scale (Figure 1). To produce the first set, each trial was independently assessed by two raters and any disagreements were arbitrated by a third rater. This process was then repeated by three differ-ent raters to produce a second set of consensus ratings.

The reproducibility of the Brazilian Por-tuguese version was evaluated based on the definition from the guidelines for health status questionnaires: “the degree to which repeated measurements provide similar answers in stable conditions” 5 (p. 36). Both reliability (“the de-gree to which evaluations could be distinguished from each other, despite measurement error”) and agreement (“how close repeated measures are, ex-pressed in the unit of the scale being tested”) were investigated. The two sets of the Brazilian-Portu-guese version consensus ratings were compared to evaluate test-retest reproducibility. The first set of Brazilian Portuguese consensus ratings was compared to the English version consensus rat-ings to evaluate parallel-form reproducibility. A sensitivity analysis was also performed to com-pare the second set of Brazilian Portuguese con-sensus ratings with those of the English PEDro Scale.

The following statistics were determined to evaluate the test-retest reproducibility of the Brazilian-Portuguese version of the PEDro Scale: 1) kappa coefficients for each item of the PEDro Scale (kappa estimates for an individual item are considered important so that PEDro users can critically appraise the reproducibility of each item from the PEDro Scale); 2) intraclass corre-lation coefficient type 1,1 (ICC1,1) 6 and its 95% confidence intervals (95%CI) for the total PEDro score and to determine parallel-form reproduc-ibility; 3) standard error of measurement (SEM) was calculated by dividing the standard deviation of the difference in the total PEDro scores by the square root of two 5.

Results

The mean total PEDro score for the 50 reports of trials was 3.5 (SD = 1.4; range 1-7), indicating that the majority of the reports were of low meth-odological quality. Five of the PEDro Scale item were clearly satisfied in only 10% (or less) of the reports (Table 1). No PEDro Scale item was clearly satisfied in 90% (or more) of the reports.

76

REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDRO SCALE 2065


“Moderate” to “almost perfect” 7 test-retest reproducibility was obtained for individual PEDro Scale itens assessed using the Brazilian Portuguese version of the PEDro Scale (Table 1). Kappa values of items 2, 5 and 6 were greater than 0.80 and these criteria were classified as having “almost perfect” 6 reliability. Kappa values of items 3, 7, 9, 10 and 11 ranged between 0.61 and 0.80 and these criteria were classified as hav-ing “substantial” reliability. Items 1, 4 and 8 were classified as having “moderate” reliability (kappa values between 0.41 and 0.60). In contrast, in the test-retest reliability of the English version of the PEDro Scale, three items were classified as having “moderate” reliability and eight items as having “substantial” reliability 1.

The test-retest reproducibility of the total PE-Dro score generated using the Brazilian Portu-guese version was classified as “excellent”, with an ICC1,1 of 0.82 (95%CI: 0.70-0.89). This is great-

er than the value of 0.68 (95%CI: 0.57-0.76) con-tained for the English version of the PEDro Scale 1. The SEM was 0.58 for the total PEDro score. This was classified as “good” agreement.

The parallel-form reproducibility between the Portuguese and English versions of the PEDro Scale was classified as “excellent”. The ICC1,1 of the English version compared to the first Brazil-ian Portuguese set was 0.78 (95%CI: 0.67-0.86). The sensitivity analysis using the second set of Portuguese ratings yielded similar results with an ICC1,1 of 0.75 (95%CI: 0.59-0.85).

Discussion

It was observed that the Brazilian Portuguese PEDro Scale has good reproducibility. Parallel-form reproducibility between the Portuguese and English versions of the PEDro Scale is excellent.

Figure 1

Flow chart of the study process.

77

Shiwa SR et al.2066


As only orthographical differences between the Portuguese (Portugal) version of the PEDro Scale were made to create the Brazilian Portuguese version, the reproducibility estimates obtained can be applied to both Portuguese versions of the PEDro Scale.

The reliability estimates of individual itens of the Brazilian Portuguese version of the PEDro Scale were found to be similar to the estimates obtained by a previous study that tested the reli-ability of the English version of the scale 1. Al-though it is interesting to note that kappa esti-mates were slightly higher for the Brazilian scale (Table 1), the factors involved in this comparison are complex and any such conclusion should be treated with caution because different RCTs were evaluated.

The reliability estimates of the total PEDro score of the English PEDro Scale (ICC = 0.68) 1 and Portuguese version (0.82) were similar. The SEM of the Portuguese version of the PEDro Scale reflects a low absolute measurement error. The “excellent” parallel-form of reproducibility be-tween the Portuguese and English versions of the PEDro Scale (ICC = 0.78) suggest that either ver-sion may be used to generate PEDro ratings.

An important incidental finding of this study is the low methodological quality and the poor statistical reporting found in the reports that were assessed. The mean total PEDro score of re-

Table 1

Kappa coeffi cients and the proportion of reports with a yes response (base rate) for each of the individual item for ratings generated using the Portuguese

(Brazil) and English versions of the PEDro Scale.

PEDro Scale items Portuguese English * Portuguese

1 (%)

Base-rate Portuguese

2 (%)

English

(%)Kappa (95%CI) Kappa

1. Eligibility criteria and source specified 0.57 (0.32-0.82) 0.63 80 72 72

2. Random allocation 0.91 (0.73-1.00) ** 0.79 86 88 84

3. Concealed allocation 0.73 (0.38-1.00) ** 0.70 8 8 12

4. Baseline comparability 0.60 (0.38-0.82) 0.50 50 66 42

5. Blinding of subjects 1.00 (1.00-1.00) 0.70 4 4 4

6. Blinding of therapists 1.00 (1.00-1.00) 0.79 0 0 0

7. Blinding of assessors 0.78 (0.49-1.00) ** 0.79 10 10 14

8. More than 85% follow-up 0.53 (0.29-0.77) 0.67 36 38 36

9. Intention-to-treat analysis 0.66 (0.03-1.00) ** 0.57 2 4 0

10. Reporting of between-groups statistical

comparisons

0.66 (0.44-0.88) 0.68 64 60 68

11. Reporting of point measures and measures

of variability

0.74 (0.52-0.96) 0.54 78 72 72

* The original study did not provide 95% confi dence intervals;

** 95% confi dence intervals (95%CI) are asymmetric because the upper-bound estimate was outside the range of the scale. In such cases the value was ad-

justed to 1.00.

ports in Portuguese was lower than that recorded by a study describing the quality of 3,120 reports of RCTs relevant to physiotherapy 8. Perhaps a review of journal editorial policies, together with training provision for authors and reviewers, is required to bridge this gap in reports of RCTs written in Portuguese.

In conclusion, the scores obtained using the Brazilian Portuguese version of the PEDro Scale are similar to those achieved using the original English version. It is now possible for Portuguese speakers that are not proficient in English to use the PEDro Scale to critically appraise the meth-odological quality and statistical reporting of re-ports of RCTs.

78

REPRODUCIBILITY OF THE PORTUGUESE VERSION OF THE PEDRO SCALE 2067


Resumo

O objetivo foi testar a reprodutibilidade da versão em português da Escala de Qualidade PEDro. Sete fisiote-rapeutas avaliaram a qualidade metodológica de 50 estudos controlados aleatorizados em português, inde-xados na base de dados PEDro. Cada artigo já possuía sua respectiva avaliação nessa base de dados, utilizan-do a versão em inglês da escala PEDro. Foi calculada a confiabilidade da escala, assim como foi comparada a pontuação total de consenso com a pontuação das avaliações utilizando a escala em inglês. Os coeficien-tes kappa variaram entre 0,53 e 1,00 para itens indivi-duais, e um coeficiente de correlação intraclasse (CCI) de 0,82 foi obtido para a pontuação total. O erro-pa-drão de medida foi de 0,58 ponto. A versão em portu-guês da escala foi comparada com a versão em inglês e foi observado um CCI de 0,78. A reprodutibilidade da versão em língua portuguesa da Escala de Qualidade PEDro foi adequada e similar à versão em inglês.

Prática Clínica Baseada em Evidências; Ensaio Clíni-co; Questionários

Contributors

L. O. P. Costa participated in the definition and mana-gement of data collection, statistical analysis and in drafting of this article. S. R. Shiwa, A. D. Lopes, L. C. M. Costa, A. Moseley, L. C. Hespanhol Junior e T. O. Sato collaborated in defining the study, data collection and drafting of this article. R. Venâncio e C. Ruggero con-tributed to defining the study, data collection and final revision of the manuscript.

Acknowledgments

We are grateful for the financial support provided for this study by FAPESP.

References

1. Maher CG, Sherrington C, Herbert RD, Moseley AM, Elkins M. Reliability of the PEDro scale for rat-ing quality of randomized controlled trials. Phys Ther 2003; 83:713-21.

2. Michaleff ZA, Costa LOP, Moseley AM, Maher CG, Elkins MR, Herbert RD, et al. CENTRAL, PEDro, PubMed, and EMBASE are the most comprehen-sive databases indexing randomized controlled trials of physical therapy interventions. Phys Ther 2011; 91:190-7.

3. Costa C. Portuguese adaptation of the PEDro scale. Lisboa: Universidade Técnica de Lisboa; 2011.

4. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural ad-aptation of self-report measures. Spine (Phila Pa 1976) 2000; 25:3186-91.

5. Terwee CB, Bot SD, de Boer MR, van der Windt DA, Knol DL, Dekker J, et al. Quality criteria were pro-posed for measurement properties of health status questionnaires. J Clin Epidemiol 2007; 60:34-42.

6. Krebs DE. Declare your ICC type. Phys Ther 1986; 66:1431.

7. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-74.

8. Costa LO, Moseley AM, Sherrington C, Maher CG, Herbert RD, Elkins MR. Core journals that publish clinical trials of physical therapy interventions. Phys Ther 2010; 90:1631-40.

Submitted on 17/Feb/2011Final version resubmitted on 28/Jun/2011Approved on 06/Jul/2011

79

ANEXO 1

NORMAS DE PUBLICAÇÃO:

JOURNAL OF CLINICAL EPIDEMIOLOGY

80

Instructions for Authors

Contributions are welcomed from any pertinent source but should be written clearly

enough to be understood by scholarly clinical readers and clinical researchers. Pertinent

symposia and reviews will be considered for publication.

The Journal of Clinical Epidemiology does not accept articles reporting material that

has been published at any length elsewhere. The author(s) should state, in a covering

letter, that the submitted material has not been published and is not under consideration

for publication elsewhere. If any form of preliminary publication other than an abstract

of not more than 400 words has occurred or is being considered, a reprint or manuscript

should accompany the material submitted to the Journal.

Conflict of Interest

As a scientific forum for research and commentary, the Journal is willing to consider

submissions from any appropriate source, and to review them according to pertinent

scientific and editorial standards. Since the text itself may not always allow evaluators

and subsequent readers to discern possible conflicts of interest, authors should always

acknowledge all sources of funding for the research. In addition, authors (and

reviewers) should disclose any financial relationships (such as consultancies, stock

ownership, contracts, honoraria, etc.), as well as personal relationships, academic

competition, or intellectual commitments that might bias the work or interfere with

objective judgment. The covering letter is the appropriate place for such disclosures. All

sources of funding must be disclosed as an acknowledgment in the text.

81

Submission Process

As of 01 May 2005, the Journal of Clinical Epidemiology will use only a web-based,

online submission and review system. (Note thatmanuscripts submitted before 01

February 2005,will continue to be processed in the previous system.) Please visit

http://ees.elsevier.com/jce and the website will guide you step by step through the

electronic submission. Manuscripts must be written in English. Please note that an

editable file is needed for production purposes, in the case that your manuscript is

accepted; original source files, not PDF files, are required.

In an accompanying letter, authors should state that the manuscript, or parts of it, have

not been and will not be submitted elsewhere for publication.

Authors are highly encouraged to provide the contact details (including e-mail

addresses) of three or more potential peer reviewers for their manuscript. These should

be experts in their field of study, who will be able to provide an objective assessment of

the manuscript. Any suggested peer reviewers should not have published with any of

the authors of the manuscript within the past five years and should not be members of

the same research institution. Members of the Editorial Board of the journal can be

nominated. Suggested reviewers will be considered alongside potential reviewers

identified by their publication record or recommended by Editorial Board members.

Authors' submission items include a cover letter, suggested reviewers, the manuscript

(including title page, abstract, manuscript text, references, and table/figure legends),

tables, and figures. Note: A "Letter to the Editor" does not require an abstract.

Supplemental information such as extensive statistical tables, computer algorithms and

original questionnaires will not be included in the print version of the Journal of

82

http://ees.elsevier.com/jce

Clinical Epidemiology, but will be made available on the web site; the link will be

provided in the printed article. Please note: supplemental pieces will not be copy edited.

Revised manuscripts should also be accompanied by a unique file (separate from the

covering letter) with responses to reviewers' comments.

The preferred order of files is as follows: cover letter, suggested reviewers, response to

reviews (revised manuscripts only), manuscript file(s), table(s), figure(s).

Files should be labelled with appropriate and descriptive file names (e.g.,

SmithText.doc, Fig1.eps, Table3.doc).

Upload text, tables and graphics as separate files.

Do not import figures or tables into the text document.

Complete instructions for electronic artwork submission can be found on the Author

Gateway, accessible through the Journal of Clinical Epidemiology's home page.

Once the submission files are uploaded, the system automatically generates an

electronic (PDF) proof, which is then used for reviewing.

All correspondence, including the Editor's decision and request for revisions, will be by

e-mail.

Authors who are unable to provide an electronic version or have other circumstances

that prevent online submission must contact either our Ottawa or Maastricht editorial

office at the address listed below, prior to submission to discuss alternate options. The

Publisher and Editors regret that they are not able to consider submissions that do not

follow these procedures.

83

André Knottnerus

Editor

Journal of Clinical Epidemiology

Dept of General Practice

P.O. Box 616

6200 MD Maastricht

THE NETHERLANDS

Tel: +31-43-388-2322

Fax: +31-43-367-1458

E-mail: [email protected]

Website: www.jclinepi.com

Peter Tugwell

Editor

Journal of Clinical Epidemiology

Centre for Global Health

1 Stewart Street

Ottawa, ON

K1N 6N5 Canada

E-mail: [email protected]

Manuscripts and Abstracts

Manuscripts should be typewritten and double spaced. Author(s) should retain the

original to facilitate revisions or resubmissions. The letter of submission should identify

an address for the corresponding author, and where possible, the author's fax number,

e-mail address, and telephone number.

JCE has adopted the editorial policy of "more informative titles" (MITs) that crisply and

concisely tell our readers what our authors found in their research. A MIT states the

study type and summarizes its key findings, using the past tense for individual studies

and the present tense for systematic reviews. Although we are ready to assist authors in

generating MITs for their work, we encourage them to submit draft MITs with their

original submissions.

84


http://www.jclinepi.com/


Each original article must have an abstract/summary not exceeding 200 words.

Abstracts must be structured with the following headings: Objective, Study Design and

Setting, Results, and Conclusion. Double-space abstracts, and print them on a separate

page. Abstracts not in compliance with this format will be returned to the authors for

revision. The bottom of the abstract page should list six key words (index-appropriate

terms),a running title, and a word count.

Research Articles

The Journal endorses the World Health Standards for registration of all human medical

research ( http://www.who.in/ictrp/about/details/en ). JCE considers original papers

reporting results of clinical trials if they have been registered in a clinical trial registry.

Authors are asked to provide registration details in the submission letter and the

manuscript.

Length of Articles

The following are guidelines for various article lenghts:

Reviews and Original Articles - 3,000 to 5,000 words

Letters - 500 words

Brief Reports - 1,500 words

Commentaries - 2,500 words.

The correct use of statistical methods is paramount for a proper interrogation and

interpretation of study data. There are several checklists available that can be used to

help authors. One checklist we have found to be helpful is from the Department of

85

http://www.who.in/ictrp/about/details/en

Biostatistics, Venrbilt University School of Medicine

(http://biostat.mc.vanderbilt.edu/ManuscriptChecklist)and we refer authors submitting

articles to the JCEto this checklist. The list covers general statistical problems, filtering,

missing data, multiple comparison problems, multivariate modeling issues, use of

imprecise lanaguage, graphics/tables and other areas.

Authors are asked to provide a text box entitled 'What is new?' that summarizes what

this paper adds to the existing literature up to 5 items/points addressing the following

areas:

key finding

what this adds to what was known

what is the implication, what should change now

Please place this box below the abstract but before the introduction of your paper.

References

All references should be to publications that are readily available or in press, avoiding

personal communications, presentations at meetings, and manuscripts submitted but not

yet in press. Citations should be placed at the end of each article (not as footnotes on

each page), and should be numbered consecutively in the text, enclosed in square

brackets on the lines of writing (not as superscript numbers). At the end of the article,

references should be listed in the numerical order in which they are cited. The

references should be typed, double-spaced, and should conform to the styles noted

either in the 'Vancouver Convention' or by Index Medicus or the Council of Biology

Editors Style Manual (available from http://www.icmje.org or the American Institute

86

http://biostat.mc.vanderbilt.edu/ManuscriptChecklist

http://www.icmje.org/

of Biological Sciences, 1401Wilson Boulevard, Arlington, VA 22209, U.S.A.).

Ultimate responsibility for accuracy of citations rests with the author(s).

The publisher has specific requirements for electronic files in which text citations must

be properly matched to the reference list. Please review any revised manuscript for

discrepancies (especially with numbering) and correct the references appropriately.

Examples

(i) Book chapter

Temple R. Dose-response and registration of new drugs. In: Lasagna L, Erill S, Naranjo

CA, Eds. Dose-Response Relationships in Clinical Pharmacology. Amsterdam:

Elsevier;1989:145-70.

(ii)Book

Kramer MS. Clinical Epidemiology and Biostatistics: a Primer for Clinical Investigators

and Decision-makers. Berlin: Springer; 1988.

(iii) Journal

Garraway WM, Whisnant JP, Kurland LT, O'Fallon WM. Changing pattern of cerebral

infarction: 1945-1974. Stroke 1979; 10:657-63.

(iv) Miscellaneous

Ontario Ministry of Health. Schedule of Benefits, Ontario Health Insurance Plan.

Kingston, Ontario: Ontario Ministry of Health; April 1987.

87

Abbreviations, Symbols and Nomenclature

Well-known abbreviations (e.g. DNA, EKG) may be used without definition; all others

must be defined when first used. Units of measurement should be used in accordance

with current custom and acceptability. Generic names of drugs are preferred; a

proprietary name may be used if its generic equivalent is identified.

Figures and Tables

Figures and Tables accompanying manuscripts should be numbered and provided with

suitable legends, in a separate electronic file. Authors should indicate on the manuscript

the appropriate positions of the tables and figures.

Tables: Type each table on a separate page. Do not insert vertical lines in tables.

Include a title for each table. Number tables consecutively within the manuscript (Table

1, Table 2, Table 3, etc.). Use standard citation superscript symbols (*,†, ‡, §...).

Authors should place footnotes in order, reading from left to right and top to bottom,

and should begin a new series of footnotes for each table. Footnotes should not appear

in table titles.

Figures: Illustrations include charts, drawings, graphs, and photographs. Charts,

drawings and graphs must be computer-generated and should use a Sans-serif typeface

(e.g. Arial). Number figures consecutively in the order they are to appear in the text

(e.g., Figure 1, Figure 2, Figure 3, etc.). Figures should be uploaded as separate files,

not embedded in the manuscript file. TIFF, EPS or PDF are the preferred file formats.

MS Office files (Word, Excel and PowerPoint) are also accepted. The following image

file formats are not acceptable because they are low resolution: JPG, GIF,ONG, PCX,

88

PNG, and XBM. Figure resolution for pixel-based images should be at least 1,200 dpi

for line art (e.g., graphs, flow charts) or 500 dpi for photographs, micrographs,

computed tomography scans, and related images. Color images should use CMYK color

mode.

Additional instructions for the electronic submission of artwork can be found on the

Elsevier Author Support website

athttp://www.elsevier.com/wps/find/authors.authors/authorartworkinstructions.

Authors must bear all costs associated with printed color figures and tables. The cost of

the first color figure is $650.00 and each additional figure is $100.00. If authors elect

not to print figures in color, in most cases, figures will appear in black and white

version in the print issue of JCE, but will appear in color online.

If any table or figure has been published previously, a copy of the letter of permission

from the copyright holder must accompany the manuscript. The original source of the

table or figure should be acknowledged in full reference form in the reference section of

the manuscript. The figure legend (or table notes) should conclude with: "Reprinted

with permission" followed by the appropriate reference number. Authors are responsible

for applying for permission for both print and electronic rights for all borrowed

materials, and they are responsible for paying any fees related to the application of these

permissions.

89

http://www.elsevier.com/wps/find/authors.authors/authorartworkinstructions

Human Medical Research

The Journal endorses the World Health Organization Standards for registration of all

human medical research ( http://www.who.in/ictrp/about/details/en ). JCE considers

original papers reporting results of clinical trials if they have been registered in a

clinical trial registry. Authors are asked to provide registration details in the submission

letter and the manuscript.

Review and Production Process

Manuscripts are examined by both Editors and two reviewers. Decisions of the Editors

are final. All material accepted for publication is subject to copy-editing. Authors will

receive page proofs of their article before publication, and should answer all queries and

carefully check all editorial changes at this point. Authors are urged to check their

proofs carefully before return, since late corrections cannot be guaranteed for inclusion

in the scheduled issue. Authors are responsible for the specific content of their articles.

Reprints may be purchased using the order form that is sent with the page proofs.

Neither the Editors nor the Publisher accept responsibility for the views and statements

expressed by authors in their communications.

Updated March 2011

90

http://www.who.in/ictrp/about/details/en

Documents

PRÁTICA BASEADA EM EVIDÊNCIAS: A BASE DE DADOS …arquivos.cruzeirodosuleducacional.edu.br/principal/old/mestrado... · silvia regina shiwa prÁtica baseada em evidÊncias: a base