17
1 Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Estatística Métodos Estatísticos Avançados em Epidemiologia Aula 3 Testes Não-Paramétricos: Wilcoxon Mann-Whitney Kruskal-Wallis Spearman Por que testes não-paramétricos ? A construção dos testes t-student para a comparação de médias (uma ou duas populações) partem da suposição de que as populações de onde vieram as amostras seguem a distribuição Gaussiana (Normal). Dizemso que os testes t-student são parametrizados pela distribuição Gaussiana.

Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

Embed Size (px)

Citation preview

Page 1: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

1

Universidade Federal de Minas GeraisInstituto de Ciências ExatasDepartamento de Estatística

Métodos Estatísticos Avançados em Epidemiologia

Aula 3

Testes Não-Paramétricos:

WilcoxonMann-Whitney Kruskal-Wallis

Spearman

Por que testes não-paramétricos ?

A construção dos testes t-student para a comparação demédias (uma ou duas populações) partem da suposiçãode que as populações de onde vieram as amostrasseguem a distribuição Gaussiana (Normal).

Dizemso que os testes t-student são parametrizados pela distribuição Gaussiana.

Page 2: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

2

Quando as amostras têm tamanho grande, o Teorema Centraldo Limite garante que as médias amostrais seguemaproximadamente a distribuição Gaussiana.

Neste caso, os testes t-student podem ser utilizados, mesmoque as populações originais não sejam Normais.

Mas o que fazer quando as amostras são pequenas enão podemos assumir que as populações são Normais ?

Usar testes que não necessitem de suposições para adistribuição de probabilidades da população dos dados.

Estes testes são chamados

testes não-paramétricos ou

testes livres de distribuição

Como funcionam os Testes Não-Paramétricos ?

Trabalham com a ordenação das observações.

As observações são ordenadas em ordem crescentesegundo seu valor, gerando postos (posições) dentro doconjunto de dados:

1o 2o 3o 4o 5o … no.

Sendo assim, testam-se medianas ou diferenças entremedianas e não entre médias.

Desvantagem: perde-se a natureza quantitativa dos dados.

Page 3: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

3

É alternativa não-paramétrica ao teste t-student paramédias em amostras pareadas.

Hipótese Nula: a mediana das diferenças é igual a zero.

As diferenças entre as medidas dos pares são ordenadas e a elas são atribuídos postos.

As diferenças negativas têm seus postos sinalizados.

Teste dos Postos Sinalizados de Wilcoxon

Redução na CVF (ml)

Individuo Medicamento Placebo

1 224 213

2 80 95

3 75 33

4 541 440

5 74 -32

6 293 445

7 -23 -178

8 -38 140

9 508 323

10 255 10

11 525 65

12 1023 343

Exemplo: Efeito de uma Medicamento na Capacidade Vital Força da.São iguais (H 0) ou diferentes (H 1)?

Page 4: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

4

Redução na CVF (ml)

Individuo Medicamento Placebo Diferença

1 224 213 11

2 80 95 -15

3 75 33 42

4 541 440 101

5 74 -32 106

6 293 445 -152

7 -23 -178 155

8 -38 140 -178

9 508 323 185

10 255 10 245

11 525 65 460

12 1023 343 680

Calcule: diferença = medicamento - placebo

Redução na CVF (ml)

Individuo Medicamento Placebo Diferença Posto

1 224 213 11 1

2 80 95 -15 2

3 75 33 42 3

4 541 440 101 4

5 74 -32 106 5

6 293 445 -152 6

7 -23 -178 155 7

8 -38 140 -178 8

9 508 323 185 9

10 255 10 245 10

11 525 65 460 11

12 1023 343 680 12

Diferença = 0 não recebe posto

Calcule os postos das diferenças, ignorando o sinal negativo.

Page 5: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

5

Redução na CVF (ml)

Individuo Medicamento Placebo

1 224 213

2 80 95

3 75 33

4 541 440

5 74 -32

6 293 445

7 -23 -178

8 -38 140

9 508 323

10 255 10

11 525 65

12 1023 343

Indi- Redução na CVF (ml) Posto Sinalizado

víduo Medicamento Placebo Diferença Posto Positivos Negativos

1 224 213 11 1 1

2 80 95 -15 2 2

3 75 33 42 3 3

4 541 440 101 4 4

5 74 -32 106 5 5

6 293 445 -152 6 6

7 -23 -178 155 7 7

8 -38 140 -178 8 8

9 508 323 185 9 9

10 255 10 245 10 10

11 525 65 460 11 11

12 1023 343 680 12 12

Soma dos postos (ignorando sinais) 62 16

Coloque sinal negativo nos postos cujas diferenças < 0.

menor

Sob H0: a mediana das diferenças é igual a zero ,

soma dos postos negativos ≈ soma dos postos positivos.

Avaliamos esta hipótese com a estatística de teste

S: a menor das duas somas dos postos

• Se n ≤ 30, existe uma tabela de valores críticos Scritico .

No exemplo do CVF, n=12 e o teste é bilateral. Para α=0.05, como S = 16 > Scritico (=14), não se rejeita H0.

Assim, rejeita-se H0 se S ≤ Scritico para o α escolhido.

• Se n > 30, use a tabela Normal Padrão para valores críticosda estatística de teste ( 1) / 4

( 1)(2 1) / 24

S n nW

n n n

− +=+ +

rejeitando-se H0 se W for extremo para o α escolhido.

Page 6: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

6

Tabela de Valores Críticos para o Teste dos Postos Sinalizados de Wilcoxon

Por exemplo:

se duas diferenças estiverem empatadas no 5º posto,use a média entre 5 e 6, que é 5.5, para cada uma.

se três diferenças estiverem empatadas no 5º posto,use a média entre 5, 6 e 7, ou seja, 6, para cada uma.

Importante:

• Não atribua um posto quando a diferença for zero.

n é igual ao número de diferenças não nulas.

• No caso de empate entre diferenças, use a médiados postos correspondentes.

Page 7: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

7

Teste de Mann-Whitney(ou Soma dos Postos de Wilcoxon)

É alternativa não-paramétrica ao teste t-studentpara duas médias em amostras independentes.

As duas amostras são ordenadas conjuntamente,mas os postos são somados separadamente.

Compara as medianas de duas populações.Assume que as distribuições têm a mesma forma geral.

Denote: n1 = tamanho da amostra menor.n2 = tamanho da amostra maior.

Procedimentos:

Junte as duas amostras e atribua os postos de 1 a n1+n2.

Denote: w1: soma dos postos da amostra menorw2: soma dos postos da amostra maior

Calcule:2

)1( 1111

+−= nnwu

2)1( 22

22+−= nn

wue

),min( 21 uuu=

Page 8: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

8

Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)

(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)

Page 9: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

9

(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)

(Continuação)Tabela de Valores Críticos para o Teste de Mann-Whi tney (continua)

Page 10: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

10

Exemplo: Comparação da Ingestão Calórica.

n1 = 8 e n2 = 9

w1 = 103.5 e w2 = 50.5

5.672

)18(85.1031

=

+−=

u5.5

2)19(9

5.502

u

=

+−= 5.5=u

Para α=0.05 no teste bilateral, rejeita-se H0 se u < 15 (tabela).

Como 5.5 < 15, rejeita-se H0 ao nível de significância de 5%.

O consumo calórico mediano é diferente entre mulheresbulímicas e saudáveis.

Page 11: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

11

Teste de Kruskal-Wallis

É alternativa não-paramétrica à Análise de Variância(comparação de médias para dois ou mais grupos).

Testa a hipótese nula de que as populações de ondevieram as amostras são idênticas.

Pode ser feito com dados em nível ordinal (postos).

Notação:

k = número de amostras (grupos comparados)N = número total de observações (soma das k amostras) Nk = número de observações na k-ésima amostraRk = soma de postos na k-ésima amostra

Procedimento:

Ordenar todos as amostras (grupos) conjuntamente, mas anotar os postos separados (como no teste de Mann-Whitney)

Page 12: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

12

Estatística de Teste:

)1(3...)1(

122

2

22

1

21 +−

+++= N

NR

NR

NR

NNH

kk

H é uma medida da variância das somas dos postos R1, R2, .. ,Rk. Se as populações são idênticas, H é um valor pequeno.Caso contrário, H tende a assumir valores grandes.

Distribuição de Referência sob H0: Qui-Quadrado com (k-1) gl.

Valor-p = P[χ2(k-1) > H]

Rejeita-se H0 se o valor-p for menor do que α .

Intervalos de tempo (minutos) entre Erupções do Gei ser Old Faithful

Ano 1951 Ano 1985 Ano 1995 Ano 1996

74 (21) 89 (40) 86 (34,5) 88 (37,5)

60 (8) 90 (42) 86 (34,5) 86 (34,5)

74 (21) 60 (8) 62 (12) 85 (30,5)

42 (1) 65 (15,5) 104 (48) 89 (40)

74 (21) 82 (26) 62 (12) 83 (27)

52 (2) 84 (28) 95 (47) 85 (30,5)

65 (15,5) 54 (3) 79 (24) 91 (43,5)

68 (18,5) 85 (30,5) 62 (12) 68 (18,5)

62 (12) 58 (6) 94 (45,5) 91 (43,5)

66 (17) 79 (24) 79 (24) 56 (4)

62 (12) 57 (5) 86 (34,5) 89 (40)

60 (8) 88 (37,5) 85 (30,5) 94 (45,5)

N1=12 N2=12 N3=12 N4=12

R1=157 R2=265,5 R3=385,5 R4=395

Page 13: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

13

Estatística de Teste: H = 14,431

Ou, de forma equivalente,Valor P = P[χ2

(3) > H] = P[χ2(3) > 14,431] < 0.005.

Conclusão : ao nível de 5% de significância, há evidênciasestatísticas suficientes para rejeitar a hipótese de que osintervalos entre as erupções do “Velho Fiel” tenhadistribuição idênticas nos anos considerados.

Para descobrir entre quais anos está a diferença, use o testede Mann-Whitney entre todos os pares de anos.

g.l. = 4 -1 = 3

Com α=0,05, o valor crítico é 7,815.Ou seja, para α=0,05, rejeita-se H0 se H>7,815.Como 14,431>7,815, rejeita-se H0 ao n.s. de 5%.

Suposições:

As populações de onde vieram as amostras têmvariâncias iguais.

Cada amostra tem ao menos 5 observações, para seusar a Qui-Quadrado como distribuição de referênciada estatística de teste).

No caso de menos de 5 observações, existem tabelaspróprias com valores críticos.

Page 14: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

14

Coeficiente de Correlaçãodos Postos de Spearman

O coeficiente de correlação linear de Pearsonpode ser calculado apenas com variáveis contínuas(e normais).

Além disso, ele é muito sensível a valores atípicos.

Alternativa não-paramétrica: coeficiente de Spearman.

Desvantagem: menor eficiência com dados normais.

nn

d

r

n

ii

s)1(

6

121

2

−−=∑=

Se não houver empate de postos emnenhuma das variáveis, esta fórmulade reduz a

Para calcular o coeficiente de correlação dos postos deSpearman, basta calcular os postos das variáveis X e Yseparadamente e aplicar na fórmula do coeficiente decorrelação de Pearson (no lugar de xi e yi, respectivamente):

na qual di = diferença entre os postos de xi e yi, em módulo.

( )( ) ∑∑

==

=

−−

−−

=n

ii

n

ii

n

iii

XY

yyxx

yyxxr

11

1

22

A interpretação será a mesma.

Page 15: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

15

36.0)112(12

)390(61

)1(

61

22

2−=

−−=

−−= ∑

nn

d rs

Exemplo: Colégios com mensalidades mais caras são o s melhores no ENEM?

Correlação linear negativa fraca.

Veja planilha Excel Spearman-exemplo.xls

Testando a Significância da Correlação

• Se n ≤ 30, rejeite H0 se |rs| > valor crítico (na tabela a seguir).

• Se n > 30, rejeite H0 se |ts| > t[n-2;α/2],

no qual:

t[n-2;α/2] é o valor na tabela t-student com n-1 graus de liberdadeque deixa acima dele uma probabilidade igual a α/2.

212s

ssr

nr t−−=

H0 : a correlação é nula (não-significante)

H1 : a correlação é não-nula (significante)

Para n=12 e α=0.05, o valor crítico é 0.587. Como |rs| = 0.36 < 0.587, a correlação não é significante a 5%.

Page 16: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

16

Então por que não substituimos logo os testes paramétricos pelos não-paramétricos ?

Porque os testes não-paramétricos são menos poderososdo que os testes paramétricos.

O poder de um teste é medido pela probabilidade do testerejeitar H0 quando ela é falsa.

Assim, os testes não-paramétricos precisam de umaevidência amostral maior contra a hipótese nula paraconseguir rejeitá-la.

Page 17: Por que testes não-paramétricosest.ufmg.br/~edna/mae/MAE-Aula03.pdf · intervalos entre as erupções do “Velho Fiel” tenha distribuição idênticas nos anos considerados

17

Onde encontrar mais informações:

Hollander, Myles; Wolfe, Douglas A.

Nonparametric Statistical Methods.

New York: J. Wiley, 1973.

Noether, Gottfried E.

Introdução à Estatística: Uma Abordagem Não-Paramétrica.

2.ed. Rio de Janeiro: 1983.

Pinheiro, Aluísio De Souza; Pinheiro, Hildete Prisco;

Métodos Estatísticos Não-Paramétricos e Suas Aplicações.

Colóquio Brasileiro de Matemática: Rio de Janeiro: IMPA, 2007.

Teste dos Sinais

É alternativa não-paramétrica ao teste t-student para a média.

Testa a mediana de uma população: H0: mediana = m 0

Para cada observação xi no conjunto de dados (i = 1, 2, … n), calcula-se a diferença:

di = xi – m0

A estatística de teste é R+: número de di´s positivos.

Se a H0 é verdadeira, R+ tem distribuição de probabilidade binomial com probabilidade igual a ½.