Importante Testes

Embed Size (px)

Citation preview

  • 7/21/2019 Importante Testes

    1/22

    1

    Mtodos No-Paramtricos

    Isabel Fraga AlvesDepartamento de Estatstica e Investigao

    Operacional

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 2

    ProgramaIntroduoAnlise de Dados Categorizados Teste do Qui-Quadrado

    Teste de Ajustamento Tabelas de Contingncia Teste de Independncia

    Teste de Homogeneidade

    Estatstica No-Paramtrica Introduo: O problema geral da localizao relativo a 2 amostras Amostras emparelhadas

    Teste dos Sinais (pequenas e grandes amostras) Teste de Wilcoxon (pequenas e grandes amostras)

    Uso das Ordens para Comparar Populaes: Amostras Independentes 2 Populaes: O Teste de Mann-Whitney (pequenas e gr andes amostras) Mais de 2 Populaes:

    O Teste de Kruskal-Wallis ( pequenas e grandes amostras ) Teste de Friedman (pequenas e grandes amostras)

    Uso das Ordens para Testar Independncia e Aleatoriedade Teste de Spearman (pequenas e grandes amostras) Teste dos Runs para Aleatoriedade (pequenas e grandes amostras)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 3

    BibliografiaCONOVER, W. J. (1999) - Practical Nonparametric Statistics, 3rd ed. Wiley.

    DANIEL, W. W. (1990) - Applied Nonparametric Statistics, 2nd ed. PWS-Kent.

    Graa Martins, M. E. (2005) Introduo Probabilidade e Estatstica Comcomplementos de Excel, SPE.

    DeGroot, Morris H. - Probability and statistics (1986 ) - 2nd ed Massachusetts Addison-Wesley.

    Pestana e Velosa (2006) - Introduo Probabilidade e Estatstica, I, Fundao

    Gulbenkian.2 ed.SIEGEL, S. and Castellan, N. Y. (1988) - Nonparametric Statistics for the BehavioralSciences. McGraw-Hill.

    * Wackerly, D., Mendenhall, W. and Scheaffer, L. (2007) Mathematical Statistics with Applications. Duxbury Press; 7th ed.

    * Manual Recomendado para consulta das Tabelas ao longo dos slides.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 4

    Introduo

    O que a Estatstica ?

    Estudo da Incerteza

    Como a quantificar? Que podemos fazer com ela?

    As experincias repetidassob o que pensamos serem as condies

    no resultam sempre da mesma forma!

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 5

    Tipos de Experincias

    Causais ou DeterminsticasEx: Deixar cair uma pedra no rio

    Aleatria ou EstocsticaEx: O Tempo que vou Esperar pelo Autocarro

    Como posso prever o resultado?

    Com Estatsticaquantificamos e medimos o imprevisvel!

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 6

    Estatstica: produz afirmaes numricas relativamente asituaes sujeitas aINCERTEZA.Exemplos: Quem ir ganhar as prximas eleies? Estaro os clientes da PT satisfeitos com o servio

    prestado? Qual das duas pastas dentfricas mais eficiente que a

    outra para prevenir as cries? Qual a previso da quantidade de precipitao para o

    prximo inverno? Aps a monitorizao de pacientes com doenas

    cardacas, como decidir acerca dos factores que

    afectam a sua sade ?

  • 7/21/2019 Importante Testes

    2/22

    2

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 7

    Como e Que Respostas ?Para responder a estas perguntas frequentemente usamos modelosprobabilsticos, que so modelos matemticos para lidar com incerteza.

    So recolhidosDados para explorar umaPopulao, o objectivode nosso estudo.

    Quando recolhida uma amostra grande necessrio produzir resumosdas informaes nela contidas. Existem ferramentas grficas e numricasque so normalmente utilizadas pelos estatsticos

    AMOSTRA

    Estatstica DescritivaInferncia Estatstica - faz generalizaes vlidas para aPopulao ,

    a partir deAmostras.(enquanto na Previso - apresentada uma afirmao sobre o Futuro.)

    Dados - observaesde determinadas quantidades de interesse.Variveis - incerteza acerca dos seus verdadeiros valores.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 8

    Tipos de Variveis

    VARIVEL

    QUALITATIVAQUANTITATIVA

    DISCRETA NOMINALORDINALCONTNUA

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 9

    Tipos de Variveis (cont.)QUANTITATIVA vs. QUALITATIVA :variveis com /sem representao numrica e ordenao naturalnica (por exemplo, apresso arterial versusreligio).

    DISCRETA vs. CONTNUA:variveis quantitativascom / sem lacunas conceptuais entre os seus valores

    (por exemplo,nmero de crianas numa famlia versuspresso arterial ).

    ORDINAL vs. NOMINAL:variveis qualitativas com/ sem ordenao (eventualmente no nica) dos seusvalores (a satisfao do cliente versusreligio).

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 10

    De modo geral,as variveisqualitativas esto mais ligadas aosmodelos no-paramtricos

    enquanto que

    as variveisquantitativas aos modelosparamtricos .

    Tipos de Variveis (cont.)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 11

    As variveis qualitativas podem ainda ser classificadas de acordo com:VARIVEL CATEGORIZADA (Categrica, Nominal ou de Classe) nomes das pessoas ou coisas; asletras do alfabeto; osexo, masculino ou feminino,

    macho ou fmea; oestado civil, solteiro, casado, divorciado, vivo; ocurso, primrio,secundrio, colegial, universitrio, ps-graduao, etc.

    Representa o nvel mais simples e mais elementar de medio. Os indivduos de umapopulao ou amostra so medidos mediante uma certacaracterstica que pode sercategoria, nome ou classe.

    Caractersticas binrias ou dicotomizadas : presente ou ausente, 1 ou 0, positivo ou negativo, v ivo ou morto, sim ou no, benigno

    ou maligno, etc.Essas caractersticas somutuamente exclusivas , isto , cada indivduo s pode se enquadrar

    em um nico nome, categoria ou classe, e tambm soexaustivas , pois devem atingir todos osindivduos da populao ou amostra em estudo, sem excepo.

    A varivel categrica qualitativa e no se presta aos clculos aritmticoscomuns: soma, subtraco, multiplicao e diviso.Apresenta as seguintes propriedades deequivalncia (=):reflexiva (x=x);simtrica

    (x=y ento y=x);transitiva (x=y e y=z ento x=z).

    Tipos de Variveis (cont.)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 12

    VARIVEL ORDINAL no alfabeto , A,B,C,D ou D,C,B,A; emnmeros de ordem , 1,2,3 ou 3,2,1; no

    sexo, F,M ou M,F; nocurso, primrio- secundrio-superior ou superior-secundrio-primrio; em umaquantificao, leve-moderado-intenso ou intenso-moderado-leve; emcruzes, +,++,+++,++++ ou ++++,+++,++,+; naordenaode dados numricos, 11,18,23,29,35 ou 35,29,23,18,11; etc.

    Os indivduos de uma populao ou amostra so classificados de acordocom as diversas categorias de uma determinada caracterstica e emseguida so ordenados. Esta ordenao pode ser crescente oudecrescente, ou igualmente, ascendente ou descendente.

    A varivel ordinal tambm qualitativa. Sabe-se que um indivduo ou coisa maior ou menor do que outro, porm no se

    sabe o quanto maior nem o quanto menor. So comuns as expressescomparativas: maior, menor; superior, inferior; primeiro, ltimo; mais intenso,menos intenso; mais alto, mais baixo; prefervel; etc.

    Na escala ordinal utilizam-se as comparaes maior do que (>) e menor doque () apre senta a propriedadetransitiva (se x>y ey>z ento x>z).

    Tipos de Variveis (cont.)

  • 7/21/2019 Importante Testes

    3/22

    3

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 13

    VARIVEL INTERVALAR os valores de idade, altura, peso, presso arterial, frequncia cardaca, exames

    laboratoriais, medidas diversas, etc.A escala intervalar verdadeiramentequantitativa . A medio feitadirectamente em nmeros reais, obtidos mediante a comparao com umdeterminado valor fixo, denominadounidade. O nome intervalar estligado aosintervalos entre as categorias da varivel e aqui se sabeexactamenteo quanto uma categoria menor ou maior que outra,ou ainda se higualdade entre elas.

    As operaes aritmticas comuns (soma, subtraco, multiplicao ediviso) so aplicveis.

    A varivel intervalar rene todas as propriedades dos dois tipos anterioresde mensurao: as deequivalncia (=), reflexiva (x=x), simtrica (x=yento y=x) e transitiva (x=y e y=z ento x=z) e a deordenao (>),transitiva (x>y e y>z ento x>z).

    Tipos de Variveis (cont.)

    ESTATSTICA NOPARAMTRICA

    Extremamente interessante paraanlises de dados qualitativos.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 15

    MEDIDAS DE TENDNCIA CENTRAL - LocalizaoMdiaMedianaModa

    Mdia Amostral - a soma detodos os valores de uma amostradividida pelo n de elementos daamostra (dimenso).

    aplicada em variveis quantitativas.

    Amdia amostral acontrapartida emprica doValorMdio da Populao ou daVarivel, m.

    1

    1 ni

    i

    X X n

    1 2 ( . .) - , , , namostra aleatoria aa X X X

    1 2 - , , , namostra observada x x x

    1

    1 ni

    i

    x xn

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 16

    Mediana Amostral - o valor daamostra que ocupa a posio central,quando todos os valores estoordenados em ordem crescente oudecrescente.

    Se n for mpar, a mediana (Med )ser o valor que ocupa a posiocentral na amostra ordenada. Estaposio pode ser calculada por(n+1)/2.

    Se n for par, aMed ser calculadapela mdia aritmtica dos dois valorescentrais na amostra ordenada daamostra. A posio de cada um dessesdois valores centrais pode sercalculada por n/2 e n/2+1.

    AMediana muito utilizada nosclculosno-paramtricos.

    MEDIDAS DE TENDNCIA CENTRAL - Localizao

    1:

    2

    : 1:2 2

    12

    nn

    n nn n

    x n impar

    Med x x n par

    1: 2: :

    ordenada -

    n n n n

    amostra observada

    x x x

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 17

    MEDIDAS DE TENDNCIA CENTRAL - LocalizaoModa - o valor davarivel quecorresponde frequncia mxima.

    A moda pode ter umou mais valores,unimodal, bimodal,...,multimodal, conformeexistam uma, duas, oumais frequncias iguais,dos valores da varivel.

    Dados:

    25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51(n=13)

    mdia

    mediana

    moda

    53.9 x

    1 2

    -

    ( , , , )

    (25, 22, 28, 32, 35, 55, 83, 83, 98, 99, 43, 46, 51 )n

    amostra observada

    x x x

    1: 2: :

    ordenada -

    (22, 25, 28, 32, 35, 43, 46, 51, 55, 83, 83, 98, 99)n n n n

    amost ra observada

    x x x

    46 Med

    83 MoIsabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 18

    Localizao: Mediana vs. MdiaRazes para usar amediana : menos influenciada por valores extremos Se as distribuies so simtricas, a mdia e a

    mediana populacional coincidem

    Mdiavs. Mediana 5 6 6 7 7 8 10

    Mdia = 7 Med = 7 5 6 6 7 7 8 50

    Mdia = 8.43 Med = 7

  • 7/21/2019 Importante Testes

    4/22

    4

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 19

    Distinguir Metodologias Paramtricas& Metodologias No-Paramtricas

    Explicar uma Variedade de Testes No-Paramtricos

    Resolver Problemas de Testes de Hipteses usando Testes No-

    Paramtricos

    Objectivos do Curso

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 20

    Quadro GeralAt este ponto, todos os testes que tm utilizado estosujeitos a suposies sobre a distribuio subjacente aos

    dados. Especificamente, assumido que os dados sonormaispara usar oteste-t, por exemplo.

    Poder-se-ia usar a teoria de grandes amostras e oTeoremado Limite Central , mas isso ainda apenas se verifica

    Assintoticamente

    O que que acontece se no estamos dispostos ou no sensatofazer as suposies de normalidade sobre a distribuio subjacentee temos uma amostra de dimenso pequena ?

    n

    TESTE DE HIPTESES

    Trata-se de uma tcnica para sefazer a inferncia estatstica sobreuma populao a partir de uma

    amostra

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 22

    E muitos mais!

    Testes de Hipteses - MetodologiasTeste de

    Hipteses -metodologias

    No-ParamtricasParamtricas

    Teste - z

    TesteKruskal-Wallis

    TesteWilcoxon

    Teste - t ANOVA

    etc

    etc

    Amostra emparelhada

    Teste-temparelhado

    Testes de Hipteses - Metodologias

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 24

    Estatstica No-Paramtrica

    Muitos dos testes estatsticosno-paramtricosrespondem mesma srie de questes tal como ostestes paramtricos.

    Comtestes no-paramtricos as hipteses podem serflexibilizadasconsideravelmente.

    Por conseguinte, so utilizados mtodosno-paramtricos para situaes que violem os pressupostos de procedimentos paramtricos.

  • 7/21/2019 Importante Testes

    5/22

    5

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 25

    Testes Paramtricos

    Testes Paramtricos Incidem explicitamente sobre um ou mais parmetros de uma

    ou mais populaes; A distribuio de probabilidades da estatstica de teste pressupe

    uma forma particular das distribuies populacionais; As varincias so homogneas; Os erros ou resduos so aleatrios e independentes e tm

    distribuio normal com varincia finita e constante.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 26

    Testes No-ParamtricosTestes No Paramtricos Requerem menos pressupostos em relao

    populao; No exigem normalidade; No se baseiam em parmetros da distribuio (logo, no

    necessitamvarincias homogneas); Ligeiramente menos eficientes que os testes

    paramtricos; Baseiam-se nas estatsticas ordinais (e no nos

    valores das observaes); Mais fceis de aplicar.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 27

    Testes No-Paramtricos

    Poucos Pressupostos Relativos PopulaoFacilidade de implementaoMaior PerceptibilidadeAplicvel em Situaes No Abrangidas Pela NormalMais Eficientes quandoas Populaes no tm Distribuio NormalOs resultados podem ser to exactos como nos procedimentos paramtricos

    Vantagens

    As hipteses testadas por testes no-paramtricos tendem a sermenos especficas;

    No tm Parmetros, Dificultando Comparaes Quantitativasentre Populaes

    Escasso Aproveitamento de Informao da AmostraPode ser de Difcil Clculo mo para Grandes AmostrasTabelas no amplamente disponveis

    Desvantagens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 28

    No incorpora as suposies restritivas, caractersticas dostestes paramtricos.

    Os dados no precisam estar normalmente distribudos(Distribution-Free). necessrio, apenas, que eles sejamordenveis.

    Muitas vezes, so baseados nasordens das observaes enonos seus valores, como no caso paramtrico.

    Podem ser aplicados para variveis quantitativas e qualitativas.

    Menos sensveis aos erros de medida e rpidos para pequenasamostras.

    Estatstica No-Paramtrica - Distribuio Livre

    TESTE DE HIPTESES

    Trata-se de uma tcnica para sefazer a inferncia estatstica sobre

    uma populao a partir de umaamostra

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 30

    PRINCIPAIS CONCEITOS

    HIPTESE ESTATSTICA Trata-se de umasuposio quanto ao valor de um parmetro

    populacional, ou quanto natureza da distribuio deprobabilidade de uma varivel populacional.

    TESTE DE HIPTESES uma regra de deciso pararejeitar ou no rejeitar uma

    hiptese estatstica com base noselementos amostrais

  • 7/21/2019 Importante Testes

    6/22

    6

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 31

    TEORIAPOPPERIANA - Falseabilidade (ou refutabilidade )Science can't proveanything. It can only disprovethings.

    A cincia no pode provar nada. S pode refutar coisas.

    Considere o exemplo do famoso Cisne Negro (black swan ): Um cientista gasta sua vida observando cisnes. Observa que todos

    os cisnes que jamais viu so b rancos. Com base nesta evidnciaemprica, ele postula uma teoria de que todos os cisnes sobrancos.

    Um dia viaja para a Austrlia e v - UPS! - um Cisne Negro. A sua teoria refutada. Mas isso no significa que no era

    cincia quando a estabeleceu. Agora, pode estabelecer uma teorianova: Os cisnes podem ser brancos ou pretos.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 32

    Karl Popper(1902- 1994)- UM FILSOFO INOV DORSir Karl Raimund Popper foi filsofo da cincia austraco naturalizadobritnico e um professor da London School of Economics.Formou-se em matemtica, fsica e filosofia da cincia britnica.Uma das pessoas mais influentes da filosofia da Cincia durante o sculoXX.

    POPPER E AREFUTAO Uma hiptese s cientfica se puder ser colocada em questo

    (refutada). Isto significa que deve ser sempre possvel realizar uma observao

    que prove que a hiptese falsa Uma teoria cientfica no poder em nenhuma circunstncia ser

    declaradaverdadeira A teoria cientfica mais no do que uma hiptese; uma conjectura, que um dia serrefutada e substituda por uma outra.

    What really makes science grow is new ideas, including false ideas. Karl Popper

    S APRENDEMOS QUANDO ERRAMOS.

    OS ESTATSTICOS NO PERGUNTAM QUAL A PROBABILIDADE DE ESTAREM CERTOS,MAS A PROBABILIDADE DE ESTAREMERRADOS.

    Para fazerem isso estabelecem umahiptese nula.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 33

    Data Analysis and Research for Sport and Exercise Science: A Student GuideBy Craig Williams, Chris Wragg, Routledge ed., 2003. pag 6

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 34

    PRINCIPAIS CONCEITOSTIPOS DE HIPTESES H0, hiptese nula, a hiptese estatstica a ser testada H1, hiptese alternativa

    AHIPTESE NULA UMA AFIRMAO DE COMO O MUNDODEVERIA SER, SE NOSSA SUPOSIO ESTIVESSE ERRADA.

    Ex: A hiptese nula expressa uma igualdade, enquanto ahiptese alternativa dada por uma desigualdade.

    0 1: 1.5 . : 1.5 H m vs H mm m

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 35

    Testes de Hipteses ErrosEXISTEM DOIS TIPOS DE ERRO:

    Erro tipo 1 - rejeio de uma hiptese nula verdadeira Erro tipo II no rejeio de uma hiptese nula falsa

    no rejeiao no rejeio

    A probabilidade do erro tipo I denominadanvel de significncia do teste.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 36

    Realidade

    DecisoH0 verdadeira H 0 falsa

    No rejeitarH0

    Deciso

    correctaErro tipo II

    RejeitarH0

    Erro tipo I

    Deciso

    correcta

    = P( erro tipo I ) = P(rejeitar H0| H0 verdadeira) = P(ET RR | H0 verd.)

    nvel de significncia ou tamanho do teste

    = P(erro tipo II)= P(no rejeitar H 0 | H 0 falsa) = P(ET RA | H 0 falsa)

    1- = potncia do teste Probabilidade de no cometermos um erro do tipo II

    Testes de Hipteses ErrosET:= Estatstica de TesteRR:= Regio de RejeioRA:= Regio deNo Rejeio

    REGRA de TESTE:ET RR ento Rejeitar H0

  • 7/21/2019 Importante Testes

    7/22

    7

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 37

    p -ValueO resultado foi significativo?Quo pequeno tem de ser op-value, para se rejeitar ahiptese nula? Sep-value < 5 % estatisticamente significativo. Sep-value < 1 % altamente significativo.

    Os investigadores devem resumir os dados, dizerqual o teste usado e reportar o p-value ( em vez de apenas o comparar com os valores de 1 % ou 5 % )

    No caso de se estabelecer partida onvel de significncia e se oTESTE indicar aaceitao de H0, diz-se que

    Ao nvel de significncia no se pode rejeitar H0 .

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 38

    TIPOS DE TESTEQui-Quadrado

    Teste dos SinaisTeste de WilcoxonTeste de Mann-WhitneyTeste de Kruskal-WallisTeste de Spearman

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 39

    TESTE DO QUI-QUADRADO- Teste de IndependnciaTestes no paramtricos que medem o grau de dependncia entreduas variveis aleatrias.No assumem nenhum tipo de distribuio.Assume observaes de frequncia de variveis categricas. Asvariveis da amostra esto divididas em categorias.As observaes das duas variveis so agrupadas em classesindependentes (disjuntas).Tipicamente, os dados do teste esto representados em tabelas decontingncia2 x 2 . No entanto podemos ter mais do que 2dimenses.Testes a estudar Teste do 2 (qui-quadrado) Teste exacto de Fisher

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 40

    TESTE DO QUI-QUADRADO- Teste de IndependnciaDados bivariados(X i , Y i ), i=1, ...,n, tendo (X, Y)f.d. conjuntaF(x,y) com marginaisF 1(x) = F(x,+)e F 2(y)=F(+,y).Pretendemos testar H0: F(x,y)=F 1(x) F 2(y) (x,y) R 2 vs.H1: F(x,y)F 1(x) F 2(y) para

    algum(x,y) R 2

    Isto , face a uma amostra aleatria(X i , Y i ), i=1,...,n,pretendemostestar a independncia do par(X,Y).

    Para obter a estatstica de teste comeamos por dividir osuporte da varivel aleatria X em L classes A1, A2, ..., AL,disjuntas e o suporte da varivel aleatriaY em C classes B1, B2,..., BC, disjuntas.Representemos por

    N ij= # { (X k , Y k ): X k Ai ; Y k B j },i=1,,L; j=1,,C.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 41

    TESTE DO QUI-QUADRADO- Teste de IndependnciaX\Y B1 B2 B j BC

    A1 N11 N12 N1j N1C N1 .

    A2 N21 N22 N22 N2C N2 .

    Ai Ni1 Ni2 Nij NiC Ni .

    AL NL1 NL2 NL2 NLC NL.

    N .1 N . 2 N . j N .C N..=n

    [ ; ]ij i j p P X A Y B

    .

    .

    [ ]

    [ ]i i

    j j

    p X A

    p Y B

    0 . . 1 . .: , ( , ) . : ( , ),ij i j ij i j H p p p i j vs H i j p p p

    1

    L

    j iji

    N N 1

    C

    i ij j

    N N

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 42

    TESTE DO QUI-QUADRADO- Teste de Independncia

    Com as frequncias esperadaseij desconhecidas, utiliza-se

    Estatstica de Teste (ET):

    Regra de Deciso:

    Aonvel , Rejeitar a hiptese nula de Independncia se o valor da

    ET (quantil da qui-quadrado com (L-1) x (C-1) graus de liberdade)

    22

    0 ( 1)1 1

    ( ), tem uma distribuio assinttica de um .

    L C ij ij

    LC i j ij

    N e sob H

    e

    [ ; ]ij i j p P X A Y B . .[ ] [ ]i i j j p X A p Y B

    . .ij ij i je np np p

    . . ... .

    j i jiij ij i j

    N N N N e np np p n

    n n n

    22 2

    0 ( 1)( 1)1 1

    ( ), tem uma distribuio assinttica de um .

    L C ij ij

    L C i j ij

    N e X sob H

    e

    1

    2 ( 1)( 1) L C

  • 7/21/2019 Importante Testes

    8/22

    8

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 43

    TESTE DO QUI-QUADRADO- Teste de IndependnciaRegra prtica:

    Como a distribuio da estatstica de teste assinttica,convm que as clulas no tenham valores esperadosmuito pequenos.Como regra prtica, utiliza-se a seguinte:

    No mximo, 20% das clulas podem ter frequncia esperada 3.84 o que o caso.

    Concluso: H evidncia de uma associao entre tipo de TB e sexo.Observao: p-value < 0.00001.

    Exemplo com tabela de contingncia 2 x 2

    Homens Mulheres TotalTB no SR 3534 1319 4853Outras TB 270 252 522

    Total 3804 1571 5375

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 47

    Correco de Yates para tabelas 2x2No caso especfico de tabelas2 x 2 devemos usar aCorreco de Yatespara continuidade.

    Para o problema anterior,Yates 2 = 100.39.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 48

    No R, temos:x

  • 7/21/2019 Importante Testes

    9/22

    9

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 49

    Teste Exacto de Fisher O teste ideal para aplicar com tabelas de contingnciade dados pequenos esparsos e no balanceados.Embora seja aplicvel noutras situaes, vamos sempreusar em tabelas2 x 2 . um teste exacto, portanto um p-value exacto.A ideia geral considerando a tabela de observaes,gerar as tabelas com as mesmas margens, que somais extremas que a observada,na mesma direco danossa observao ie, que a proporo TB do tipo SRnas mulheres menor que proporo TB tipo SR noshomens.

    Teste Exato de Fisher Caracterstica(sim)

    Caracterstica(no)

    Total

    Population 1 a A-a A

    Population 2 b B-b Ba+b A+B-a-b

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 50

    H0: a proporo com a caracterstica de interesse a mesma nas duaspopulaes

    BilateralH1: a proporo com a caracterstica de interesse no a mesma nas duaspopulaes (no R:fisher.test(x) )

    UnilateralH1: a proporo com a caracterstica de interesse na populao 1 menor quena populao 2 (no R:fisher.test(x,alternative =less) )H1: a proporo com a caracterstica de interesse na populao 1 maior quena populao 2 (no R: fisher.test(x,alternative =greater) )

    Teste Exacto de Fisher (cont.)

    Para o exemplo anterior temos no R:

    x

  • 7/21/2019 Importante Testes

    10/22

    10

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 55

    Exemplo - Cancro pancreticoQuando os pacientes tm Cancro pancretico, muitas vezes acirurgia necessria para remover a parte do pncreas que tem ocancro. Quando estas cirurgias so concludas, o cirurgio tem aopo de fazer uma cirurgia mais complexa para preservar o bao(preservao bao) ou para remover o bao como parte decirurgia (Esplenectomia).

    Um estudo foi feito para comparar as duas opes cirrgicas emtermos de resultados de sade, nus de custo e tempo na equipacirrgica.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 56

    QuestoUma pergunta para cada tcnica determinar o efeito da cirurgiasobre a contagem de plaquetas em pacientes. As plaquetas estoenvolvidas na coagulao dos pacientes; por vezes, aos pacientesem cirurgia so dados medicamentos para limitar a quantidade decoagulao durante a cirurgia.Uma grande mudana no nmero de plaquetas pode ser um sinalde que a cirurgia foi particularmente difcil.

    Para cada tcnica, os cirurgies pretendiam determinar se h umadiferena significativa na pre e post contagem deplaquetas decirurgia.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 57

    Exemplo - Cancro pancretico(cont.)Em primeiro lugar, vamos ver ogrupo de preservao bao

    Observe que temosobservaes emparelhadasparacada um dos pacientes

    Estamos interessados nadiferena entre duas medies

    Ser que efectivamente h umadiferena?

    Paciente Pre Post Dif

    1 260 223 37

    2 216 149 67

    3 427 224 203

    4 217 181 36

    5 613 708 -95

    6 245 197 48

    7 371 303 68

    8 236 168 689 421 312 109

    10 677 521 156

    11 363 202 161

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 58

    HistogramaUma vez que temosdadosemparelhados , poderamosutilizar oteste-t emparelhado .

    O que se pode dizer sobre adistribuio das diferenas?

    A suposio de normalidadedo t-teste emparelhadoparece adequada?

    A diferena na contagem deplaquetas pode ser varivel econter outliers

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 59

    Ahiptese nula para a nossa investigao queno hnenhuma diferena na contagem de plaquetas, antes e aps acirurgia.

    Para ot-teste de duas amostras, isto seria escrito comoH0: diferena mdia (pre-post) igual a zero(d = 0 )

    Neste caso, temosoutliers, portanto,a mdia no uma boamedida de tendncia central .

    Que medida se deve usar alternativamente?

    Como podemos estabelecer e testar ahiptese nulaadequada?

    Exemplo - Cancro pancretico(cont.)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 60

    Teste dos SinaisO teste no-paramtrico mais simples o

    Teste dos Sinais

    H0: mediana de diferenas (pre-post) = 0H1: mediana de diferenas (pre-post) 0

    Sob ahiptese nula , seria de esperar omesmo nmero de sinaispositivos e negativos.

    Se a maioria ou todas as diferenas so positivas, haveria algumas provascontra a hiptese nula . At que ponto podem ser significativas?

    0: ; , 0 0 1/ 2;i i i i i D X Y sobH P D P D

    0: =# : 0 ; , ( , 1/ 2),

    com :i i M D D sob H M Binomial n p

    p P X Y

  • 7/21/2019 Importante Testes

    11/22

    11

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 61

    Teste dos SinaisAgora inclumos a colunados SINAISSeno houve realmentenenhum efeito da terapia,seria de esperar que iriahaver umnmero igual desinais (+ , - )

    O que se pode ver sobreos sinais das diferenas?

    H uma diferenasignificativa entre os doisgrupos?Como se pode calcular o p-value?

    Paciente Pre Post Dif SINAL1 260 223 37 +2 216 149 67 +3 427 224 203 +4 217 181 36 +5 613 708 -95 -6 245 197 48 +7 371 303 68 +8 236 168 68 +9 421 312 109 +10 677 521 156 +11 363 202 161 +

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 62

    Teste dos SinaisO p-value a probabilidade de se obter o valor observado ou algo maisextremosob a hiptese nula (p = 1/2).

    Para oTeste dos Sinais, esta a probabilidade do nmero observado desinais positivos ou mais. Para fazer oteste bilateral, devemos ter emconta tambm os valores extremos do outro lado.

    Hiptese nula e alternativa:

    p-value:

    0 1: 1/ 2 . : 1/ 2 H p vs H p

    2 ( ,1/2) , 11, 10 P Binomial n p valu ne m m

    > 2*pbinom(q=10, size=11, prob=.5, lower.tail = F)[1] 0.0009765625

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 63

    Exemplo - Cancro pancretico(concluso)Teste dos Sinais

    Dados Emparelhados , = 5%Hipteses

    H0: mediana das diferenas = 0 (p = 1/2) H1: mediana das diferenas 0 ( p 1/2)

    M teve o valor observado dem = 10 (# sinais +) p-value = 0.001

    Rejeitar a hiptese nula

    Concluso:H umadiferena significativa entre os valores de plaquetas pr eps-cirurgiapara pacientes que tinham a cirurgia depreservao bao.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 64

    Teste dos Sinais Grandes amostras

    n grande , ie, n +

    Nas aplicaes, paran 25

    / 2(0,1)

    (1 ) 1/ 2d M np M n

    np p n

    N

    / 2(0,1)

    1/ 2 M n

    Z n

    N

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 65

    Teste dos Sinais Grandes amostrasHiptese nula e alternativabilateral:

    p-value:

    Regio de Rejeio, ao nvelde significncia :

    0 1: 1/ 2 . : 1/ 2 H p vs H p

    /2 /2 /22 2 2{1 ( )},

    1/2 1/2 1/2

    /2 /22 2 2 ( ).

    1/2 1/2

    M n n n P P Z z z z

    n n n

    M n nou P

    m m p value

    m P Z z z

    n n

    1/2 /2 /2, : (1 / 2), quantil da Normal(0,1) Z z ou Z z z

    /2 /2

    /2 z /2 z

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 66

    Teste dos Sinais Grandes amostrasHiptese nula e alternativaunilateral :

    p-value:

    Regio de Rejeio, ao nvel de significncia :

    0 1: 1/ 2 . : 1/ 2 H p vs H p

    /2 /2 /21 ( ), .1/2 1/2 1/2

    m m p

    M n n n P P Z z z z

    n n nvalue

    1 / 2, : (1 ), quantil da Normal(0,1), : 1/ 2

    M n Z z z Z n

    z

  • 7/21/2019 Importante Testes

    12/22

    12

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 67

    Teste dos Sinais Grandes amostrasHiptese nula e alternativaunilateral :

    p-value:

    Regio de Rejeio, ao nvel de significncia :

    0 1: 1/ 2 . : 1/ 2 H p vs H p

    / 2 / 2 / 2( ), .1/ 2 1/ 2 1/ 2

    m m p

    M n n n P P Z z z z

    nvalue

    n n

    1 / 2, : (1 ), quantil da Normal(0,1), :1/ 2

    M n Z z z Z

    n

    z

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 68

    Teste dos Sinais Grandes amostrasEXEMPLO -Sessenta alunos matricularam-se num curso de ingls. Na primeira aula aplica-se um

    teste que mede o conhecimento da lngua. Aps seis meses, aplica-se um segundo teste. Osresultados mostram que 35 alunos apresentaram melhora (35 +), 20 se conduziram melhor noprimeiro teste (20 -) e 5 no apresentaram modificaes (50). Ser que o curso melhorou oconhecimento de ingls?

    H0:O curso noalterou o conhecimentode inglsH1:O curso melhorouo conhecimento de ingls

    = 5%

    Clculo da varivelm - nmero de sinais positivos (35);n tamanhoda amostra descontado os empates(60-5=55)

    Z1-0.05= Z0.95= 1.64,logo se rejeita Ho, ie, o curso no melhorou o conhecimento de ingls

    No R: > qnorm(0.95)

    / 2

    1/ 2

    M n Z

    n

    / 2 35 55 / 22.02

    1/ 2 1/ 2 55

    n z

    m

    n

    Teste de Wilcoxon

    Contrapartida no-paramtrica paraTeste-t para amostras

    emparelhadas

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 70

    Amostras Emparelhadas - O Teste de Wilcoxon(pequenas amostras)

    Populao X PopulaoY

    O Teste de Wilcoxon umaextenso do Teste de Sinais . mais interessantepois leva em consideraoa magnitude da diferena para cada par .O teste de sinal analisa apenas o sinal das diferenas, maso Teste de Wilcoxonusa o sinal e ordena as diferenas.

    1 1 2 2( , ), ( , ), , ( , )n n X Y X Y X Y

    0 1:distribuiao de distribuiao de . :localizaao de localizaao de (Teste Bilateral)

    H X Y vs H X Y

    ( > ) ou ( < ) (Teste Uni late ral)

    : ; : ;i i i Diferenas D X Y D X Y

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 71

    Teste de Wilcoxon (Pequenas Amostras Emparelhadas)1. Obter as diferenas, Di = X i - Y i 2. Obter os Valores Absolutos das diferenas,|Di |3. Desprezaras diferenas deValor 0 (empates )

    diminuindo do mesmo nmero de unidades, adimenso da amostra.

    4. AtribuirOrdens, onde a Menor =15. AtribuirOrdens para diferenas - e +6. Somaras Ordens +(T+) & Ordens -(T-)

    Estatstica de Teste T- ou T+ (Teste Unilateral)

    Estatstica de Teste T:=min(T- , T+) (Teste Bilateral)Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 72

    Teste de Wilcoxon (Pequenas Amostras Emparelhadas)Motivao para aRegio de Rejeio:

    Sob avalidade de H0, de esperar que a soma das ordens positivas (T+) no

    difira grandemente da soma das ordens negativas (T-).

    Uma soma grande para as ordens positivas ( T+)relativamente a soma das ordens negativas (T-),implica que a Mediana das Diferenas, Med(D), tenhauma pequena probabilidade de ser igual a zero.

  • 7/21/2019 Importante Testes

    13/22

    13

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 73

    Teste de Wilcoxon (Pequenas Amostras Emparelhadas)

    Rejeitar H o se T T 0 (Tabela 9) , comT:=min(T - , T + )

    H o : Med(D) =0 (As dis tr ibu ies d e X e de Y so i dnti cas )

    Teste Bilateral

    H 1: Med(D) 0 (As distribuies de X e de Y diferem na localizao)

    No R:wilcox.test(x,y,alternative = c("two.sided"),paired =T)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 74

    Teste de Wilcoxon (Pequenas Amostras Emparelhadas)

    Rejeitar H 0 se T - T 0

    H o : Med(D) = 0 (As dis tr ibu ies d e X e de Y s o i dnti cas )

    Teste Unilateral H 1: Med(D) > 0

    (A distribuio de X temlocalizao direita dalocalizaode Y)

    H 1: Med(D) < 0(A distribuio de Y temlocalizao direita dalocalizaode X)

    Rejeitar H 0 se T + T 0

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 75

    Teste de Wilcoxon (Grandes Amostras Emparelhadas)n grande , ie, n +

    Nas aplicaes, paran 25

    ( 1) / 4(0,1)

    ( 1)(2 1) / 24d T n n

    n n n

    N

    ( 1) / 4(0,1)

    ( 1)(2 1) / 24T n n

    Z n n n

    N

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 76

    Teste de Wilcoxon (Grandes Amostras Emparelhadas)

    1/ 2 / 2 / 2, : (1 / 2), z ou z z Z Z quantil da N(0,1)

    ie, Rejeitar H o se | Z | > z /2

    Teste Bilateral

    H o : Med(D) = 0 (As dis tri bu ies d e X e de Y so i dnt icas )

    H 1: Med(D) 0 (As distribuies de X e de Y diferem na localizao)

    ( 1) / 4: ( 1)(2 1) / 24

    n nn n n

    + T Z

    p-value:Regio de Rejeio, ao nvel de significncia :

    2 2{1 ( )}. P Z z z /2 /2

    /2 z /2 z

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 77

    Teste de Wilcoxon (Grandes Amostras Emparelhadas)

    1

    , : (1 ) z z Z

    Teste Unilateral

    H o : Med(D) = 0 (As di str ib uies d e X e de Y so i dnt icas )

    H 1: Med(D)> 0(localizao de X direitada localizao de Y)

    p-value:Regio de Rejeio, ao nvel de significncia :

    1 ( ). P z z Z

    H 1: Med(D)< 0 (localizaode X esquerda dalocalizao de Y)

    1

    , : (1 ) z z

    Z

    ( ). P z z Z p-value:

    z

    z

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 78

    Exemplo - Cancro pancreticoAgora, podemos analisar ogrupoque teve intervenocirrgica comEsplenectomia

    Novamente, temosobservaes emparelhadassobre cada um dospacientes, e estamosinteressados nadiferenaentre duas medies deplaquetas .

    Ser que h uma diferenasignificativa?

    Patient Pre Post1 492 3752 297 3823 272 3254 367 5855 206 1816 284 2377 338 2738 212 2439 161 14710 384 32611 224 21412 251 29213 224 263

  • 7/21/2019 Importante Testes

    14/22

    14

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 79

    Exemplo - Cancro pancretico -Teste de WilcoxonAhiptese nula para a nossainvestigao queno h nenhumadiferena na contagem de plaquetas, antes eaps a cirurgia com Esplenectomia . H0: Med(D) = 0 H1: Med(D) 0

    Rejeitar Ho se T T 0 (Tabela 9),comT:=min(T- , T+)

    Valor observado de T = 44T 0 (Tabela 9): n=13 Two-sided p=0.10

    T 0=21 Ento: T >T 0,

    no se rejeita H0.

    Concluso:No h nenhuma evidncia deuma diferena entre o pr e ps contagemplaquetas para os pacientes que tinhamumaEsplenectomia durante sua cirurgia.

    Paciente

    Pre Post Di |Di| Ordem T+ T-

    1 492 375 117 117 12 12

    2 297 382 -85 85 11 113 272 325 -53 53 8 84 367 585 -218 218 13 135 206 181 25 25 3 36 284 237 47 47 7 77 338 273 65 65 10 108 212 243 -31 31 4 4

    9 161 147 14 14 2 210 384 326 58 58 9 911 224 214 10 10 1 112 251 292 -41 41 6 613 224 263 -39 39 5 5

    44 47

    No R:x=c(492,297,272,367,206,284,338,212,161,384,224,251,224)y=c(375,382,325,585,181,237,273,243,147,326,214,292,263)wilcox.test(x, y ,alternative = c("two.sided"),paired =T)

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 80

    ConclusesOs nossos testes de hipteses mostram que: os doentes a partir dogrupo de preservao baotinham uma

    mudana significativa na sua contagem de plaquetas aps cirurgia (rej H0)

    e os pacientes dogrupo Esplenectomiano tm uma mudanasignificativana sua contagem de plaquetas aps cirurgia (no rej H0).

    Estes resultados podem mostrar que a cirurgia depreservao bao difcil para o paciente e outrasmedidas devem ser investigadas para garantir que estacirurgia no excessivamente agressiva para os depacientes.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 81

    ComentriosQuando ns temos dados emparelhados e os pressupostosde um teste-t emparelhado no forem pressupostos, temosduas maneiras para elaborar o teste de hipteses sobre alocalizao:

    O Teste de Wilcoxon sempre preferido aoTeste dosSinais j que usa mais informao contida nos dados (j que usa asordens).

    O Teste de Wilcoxontem muitomais potnciado que oTeste dos Sinaispara detectar uma diferena significativa. No h uma grande perda de potncia noTeste de Wilcoxon

    comparado a umteste-t quando se mantm a suposio denormalidade.

    Por outro lado, oTeste de Wilcoxon muito mais potentedo queo teste-t quando no vlida a suposio denormalidade.

    Teste Mann-Whitney

    Contrapartida no-paramtrica paraTeste-t para amostras

    independentes

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 83

    Teste Mann-Whitney pequenas amostras independentes

    1. Testes para Duas Populaes, X e Y , Independentes2. Corresponde ao Teste-t para 2 valores mdios

    3. PressupostosAmostras AleatriasIndependentes (dimensesn1 e n2 )PopulaesContnuas

    4. Aproximao Normal se ni 10

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 84

    Teste Mann-Whitney pequenas amostras independentes

    H0: X e Y tm distribuio idnticaH1: As distribuies de X e Y diferem na Localizao

    T 1 = Soma das Ordens das Observaes da amostra 1na amostra conjunta de dimenso n=n1 + n 2

    T 2 = Soma das Ordens das Observaes da amostra 2na amostra conjunta de dimenso n=n1 + n 2

  • 7/21/2019 Importante Testes

    15/22

    15

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 85

    U 1 = n1n2 + - T 1n1(n1 + 1)

    2

    U 2 = n1n2 + - T 2n2(n2 + 1)

    2

    Teste Mann-Whitney pequenas amostras independentes

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 86

    Teste Mann-Whitney procedimento1. Atribuir Ordens para asn=n1 + n 2 Observaes

    Amostrais

    Sen1 n2 , considera-seo ndice1 para a menordimenso (n1) Menor Ordem = 1, Maior Ordem =n Valores Iguais (ligaes) so subsitudos pela

    respectivamdia das ordens .

    2. Somar as Ordens,T i , i=1,2,para cada Amostra

    A distribuio exacta da ET,U , pode ser calculada

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 87

    Teste Bilateral H 1: As duas populaes, X e Y, diferem na localizao

    Rejeitar H 0 ao nvel se o valor observado de U ,u, for tal quep-value = 2 P[ U < u ]

    Teste Mann-Whitney pequenas amostras independentes

    Procedimento: 1. Assumir que n1 n 2 (inverter as amostras se

    necessrio)2. Determinar U 1 e U 23. U := min ( U 1 ,U 2)

    4. Usar os valores da Tabela 8 para testar H 0 vs H 1

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 88

    Procedimento:1. Assumir que n1 n 2 (inverter as amostras se

    necessrio)2. Determinar U 1 e U 23. Usar os valores da Tabela 8 para testar H 0 vs H 1

    Teste Unilateral H 1: A populao 1 (X) est

    localizada direita da populao 2 (Y)

    Rejeitar H 0 ao nvel se o valorobservado de U1 , u1 , for talque

    p-value= P[U < u 1 ] , comU = U 1

    Teste Unilateral

    H 1: A populao 1 (X) estlocalizada esquerda da

    populao 2 (Y)Rejeitar H 0 ao nvel se o valor

    observado de U2 , u 2 , for talque

    p-value= P[U < u 2 ] , comU = U 2

    Teste Mann-Whitney pequenas amostras independentes

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 89

    Z :=U 2 - U

    U

    2

    2

    Teste Mann-Whitney grandes amostras independentes

    Aproximao Normal

    n1n22U =2

    n1n2(n1 + n2 + 1)12U

    =2

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 90

    Teste Mann-Whitney grandes amostras independentes

    Rejeitar H o se | Z | > Z /2

    H1: As distribuies de X e Y diferem na Localizao

    Teste Bilateral

    H0: X e Y tm distribuio idntica

    Determine U 2 = n1n2 + - T 2n2(n2 + 1)

    2

    Z /2 :=-1(1- /2), (.) f.d. da N(0,1)

    /2 /2

    /2 z /2 z

  • 7/21/2019 Importante Testes

    16/22

    16

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 91

    Teste Mann-Whitney grandes amostras independentes

    H0: X e Y tm distribuio idntica

    Determinar U 2 = n1n2 + - T 2n2(n2 + 1)

    2

    Teste Unilateral H 1: A populao 1 (X) est

    localizada direita da populao 2 (Y)

    Rejeitar H 0 se Z > z

    Teste Unilateral H 1: A populao 1 (X) est

    localizada esquerdada populao 2 (Y)

    Rejeitar H 0 se Z < -z

    z

    z

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 92

    Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, astaxas (% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as

    taxas so85, 82, 94, 97. Tero as taxas de produo das 2 fbricas amesmadistribuo de probabilidade ao nvel de.10 ?

    H0:Distribuio IdnticaHa:Localizao Diferente

    = .10n1 = 4 n2 = 5Pontos crticos:

    Estatstica de Teste :

    Deciso:

    Concluso:

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 93

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 8582 8277 9492 9788 ... ...

    Somadas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 94

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 8582 8277 9492 9788 ... ...

    Somadas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 95

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 8582 8277 2 9492 9788 ... ...

    Somadas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 96

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 8582 3 82 477 2 9492 9788 ... ...

    Somadas Ordens

  • 7/21/2019 Importante Testes

    17/22

    17

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 97

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 8582 3 3.5 82 4 3.577 2 9492 9788 ... ...

    SomaDas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 98

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 9492 9788 ... ...

    SomaDas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 99

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 9492 9788 6 ... ...

    SomaDas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 100

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 9492 7 9788 6 ... ...

    SomaDas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 101

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 9788 6 ... ...

    Somadas Ordens

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 102

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 97 988 6 ... ...

    SomaDas Ordens

  • 7/21/2019 Importante Testes

    18/22

    18

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 103

    Teste Mann-Whitney Exemplo

    Fbrica 1 Fbrica 2Taxa Ordem Taxa Ordem

    71 1 85 582 3 3.5 82 4 3.577 2 94 892 7 97 988 6 ... ...

    SomaDas Ordens

    19.5 25.5

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 104

    Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, as taxas(% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as taxas so

    85, 82, 94, 97. Tero as taxas de produo das 2 fbricas a mesmadistribuo de probabilidade ao nvel de.10 ?

    H0:Distribuio IdnticaHa:Localizao Diferente

    = .10n1 = 4 n2 = 5

    Estatstica de Teste :T1 = 5 + 3.5 + 8+ 9 = 25.5(Amostra de dimenso mais pequena )

    p-value= 2P[ U 1< 4 5 ] >2P[ U 1< 4] =2x 0.0952Deciso:No Rejeitar ao nvel de = 10%

    Concluso:No existe evidncia estatstica que nos permita duvidar que as 2Fbricas tm Taxas de Produo Idnticas, ao nvel de 10%.

    1 11 1 2 1

    ( 1) 4 54 5 25.5 4.5

    2 2n n

    U n n T

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 105

    Teste Mann-Whitney ExemploSuponha que um gestor de produo e est interessado em investigarse as taxas de produo de 2 fbricas so iguais. Para a fbrica 1, as taxas(% de capacidade) so71, 82, 77, 92, 88. Para a fbrica 2, as taxas so85, 82, 94, 97. Tero as taxas de produo das 2 fbricas a mesmadistribuo de probabilidade ao nvel de.10 ?

    H0:Distribuio IdnticaHa:Localizao Diferente

    = .10 n1 = 4 n2 = 5

    No R:x

  • 7/21/2019 Importante Testes

    19/22

    19

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 109

    Teste Kruskal-WallisEstatstica de Teste:

    Sem empates

    Com empates ( Siegel & Castellan 88, pg.210)g := n de grupos de empates distintos

    t j := n de valores empatados no grupo j de

    empates , j=1,,g

    2* 2

    1 1

    12 123( 1) ( ) ,

    ( 1) ( 1)

    / e ( 1) / 2

    k k i

    i ii ii

    i i i

    R H H n n R R

    n n n n n

    R R n R n

    *

    3

    13

    ( )1

    g

    j j j

    H H

    t t

    n n

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 110

    Teste Kruskal-Wallis Grandes AmostrasSob a hiptese nula,Estatstica de Teste H segue aproximadamente umQui-Quadrado com g.l.= k-1

    Deciso: Rejeitar Ho se o valor da ET de K-W grande

    Rejeitarhiptese nula Ho se H > 2 k-1, 1-

    2 k-1, 1- Deve-se usar apenas quando a mais pequena dasdimensesn i 5.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 111

    Teste Kruskal-Wallis Pequenas AmostrasQuandok = 3 e n i 5, sem empates:

    os Quantisw , = 0.90, 0.95, 0.99 dadistribuio exacta da ET K-W estotabelados na

    Tabela A8 (Conover 80)

    Deciso: (ao nvel )

    Rejeitar hiptese nula Hose H > w 1- Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 112

    Teste de Kruskal-WallisPrimeiramente, os dados so convertidos em ordens.Considere os 4Tratamentos seguintes,A, B, C, D,cadaum com cinco rplicas.

    Podemos dizer que esses valores so provenientes damesma distribuio?Ou seja, no existe uma diferena significativa entre osTratamentos?

    Tratamentos A B C D27 48 11 4414 18 0 72

    8 32 3 8118 51 15 557 22 8 39

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 113

    Teste de Kruskal-WallisOrdenao

    Nota: As diferenas nos pontos mdios (R i /n i ) indicam diferenas nos grupos.

    i

    i

    i i

    i i

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 114

    Teste de Kruskal-WallisAhiptese nula que todos os grupos vem damesma populao.Sejan = 20, o tamanho daamostra total .AEstatstica de Teste

    Para nosso exemplo

    2*

    1

    123( 1)

    ( 1)

    k i

    i i

    R H n

    n n n

    * 12 259.2 884.45 92.45 1479.2 3 (21) 14.620 21

    H

  • 7/21/2019 Importante Testes

    20/22

    20

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 115

    Teste de Kruskal-WallisFactor de Correco :Com g = 2 (valores 8 e 18), t 1 = t 2 = 2 (dois valores 8 e dois valores 18),AEstatstica de Testecorrigida

    Para nosso exemplo

    14.614.622

    0.9985 H

    *

    23

    13

    ( )1

    j j j

    H H

    t t

    n n

    23

    31

    3 3

    ( )2(2 2) 12

    1 1 1 0.998520 20 7980

    j j j

    t t

    n n

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 116

    Teste de Kruskal-Wallis

    DECISO:Logo, a hiptese nula deve ser rejeitada , ou seja,as amostras no pertencem a mesma populao .

    Comparao deste valor com o quantil2 com (k -1=3)graus de liberdade.Da tabela do 2 com 3 graus de liberdade temos 23, 0.95 =7.81 para 95%. ComoH = 14.622

    2 3

    7.81 14.5 23, 0.95

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 117

    Teste de Kruskal-Wallis

    No R:aa

  • 7/21/2019 Importante Testes

    21/22

    21

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 121

    Teste do Coef de correlao ordinal de SpearmanO coeficiente de correlao ordinal deSpearman Rs a contrapartida no-paramtrica docoeficiente de correlao amostral de Pearson,em queos Xi s eos Yi ssao substitudos pelas suasordens.

    Para obterr(Xi)=ordem de Xie r(Yi)= ordem de Yi,ordenam-se as amostrasdos Xis eosYisseparadamente.

    Observao:Num modelo paramtrico e Normal , X e Y so independentes sse ocoeficiente de correlo =corr(X,Y)=0,ie, testar Ho equivalente a testar Ho: =0, pelo que e natural usar o coeficiente

    de correlacao amostral.

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 122

    Teste do Coef de correlao ordinal de SpearmanCoeficiente de correlao ordinal de Spearman Rs:

    Observao: Se o n de empates for pequeno relativamente aon de pares (Xi,Yi) o erro resultante desta ltima expresso pequeno.

    2

    12

    naSe houver ,

    61 ,

    ( 1)com ( )

    o

    ( ).

    n

    i i

    i i i

    S

    d

    n nd r x r

    empat

    y

    es

    R

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 123

    Teste do Coef de correlao ordinal de SpearmanRegio de Rejeio( Pequenas Amostras ):

    p-value=2 min[P(RSr S), P(RSr S)] (Teste Bilateral)

    = P(RS r S)

    = P(RS r S) (Testes Unilaterais)Observao: Se o n de empates for pequeno relativamente ao nde pares (Xi,Yi) o erro resultante desta ltima expresso pequeno.

    Grandes Amostras:para umn de pares (Xi,Yi) elevado, pode ser aproximada pela (0,1).n-1 S R

    0

    0 0 0 0

    0 0

    Tabela 11,

    Teste Bilateral

    Com escolhido criteriosamente na

    Rejeitar H , se { } | |

    } { Testes Unilater { } a siS S S

    S S

    r

    r ou r r

    r ou r

    R R R

    R R

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 124

    Teste de Spearman - ExemploCinco professores de Cincias doensino bsico foram classificadospor um jri de acordo com suacapacidade pedaggica.Esses mesmos professoresrealizaram um "exame nacionalpara professores".Existe acordo entre a classificaodo jri e a classificao no exame?

    Se a Ordenao do Jri baixa(melhor professor), seria deesperar aClassificao elevadano exame para professores;pelo que colocamos na hiptesealternativa uma associao inversaentre as variveisOrdenao do Jrie Classificao no Exame.

    Professor 1 2 3 4 5

    Ordenaodo Jri

    4 2 3 1 5

    Classificaono Exame

    72 69 82 93 80

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 125

    Professor 1 2 3 4 5Ordenao do Jri 4 2 3 1 5Classificao no Exame72 69 82 93 80R(xi) 4 2 3 1 5R(yi) 2 1 4 5 3di 2 1 -1 -4 2

    Teste de Spearman - Exemplo

    Ordenar os Resultados dos Exames (a 1 variavel j est naforma ordenada ). No h empates .

    0

    1

    ) entre e

    . entre e

    No exis

    te associaao

    existe asso

    ci

    aao inversa

    (Teste Unilateral)

    :

    :

    H

    H

    X Y

    vs

    X Y

    Isabel Fraga Alves FCUL/ DEIO - Estatstica Aplicada: Mtodos No-Paramtricos 1Ano/2Sem (2009/2010) 126

    Teste de Spearman - Exemplo

    Com nvel de significncia=0.05, n=5Rejeita-se H0 se Rs

  • 7/21/2019 Importante Testes

    22/22

    Teste de Spearman - Exemplo

    No R:a