2 Reg Multipla 2008 xerox.ppt

Regressão Linear MúltiplaRegressão Linear Múltipla

Rejane Sobrino Pinheiro

Tânia Guillén de Torres

Regressão linear múltiplaRegressão linear múltipla

Introdução

Pode ser vista como uma extensão da regressão simples Mais de uma variável independente é considerada. Lidar com mais de uma variável é mais difícil, pois:

É mais difícil escolher o melhor modelo, uma vez que diversas variáveis candidatas podem existir

É mais difícil visualizar a aparência do modelo ajustado, mais difícil a representação gráfica em mais de 3 dimensões

Às vezes, é difícil interpretar o modelo ajustado

Cálculos difíceis de serem executados sem auxílio de computador

Exemplo: Supondo dados de peso, altura e idade de 12 crianças:

A regressão múltipla pode ser usada para estudar o peso e sua variação em função da altura e idade das crianças.

Criança 1 2 3 4 5 6 7 8 9 10 11 12

Peso (Y) 64 71 53 67 55 58 77 57 56 51 76 68

Altura (X1) 57 59 49 62 51 50 55 48 42 42 61 57

Idade (X2) 8 10 6 11 8 7 10 9 10 6 12 9

ModeloModelo

O modelo de Regressão Linear Múltipla é representado pela equação:

As constantes: 0, 1, 2, ...,k, são os parâmetros populacionais.

Os estimadores são representadas por:

Um exemplo de regressão linear múltipla pode ser dado a partir da inclusão de um termo de ordem mais elevada, como X2.

Embora seja a mesma variável (X), esta pode ser interpretada como uma segunda variável (X2).

XXXY kk...22110

^^

2

^

1

^

0 ,...,,, k

2210 XXY XXY 22110

Usos da Regressão MúltiplaUsos da Regressão Múltipla

Ajustar dados: estudar o efeito de uma variável X, ajustando ou levando em conta outras variáveis independentes.

Obter uma equação para predizer valores de Y a partir dos valores de várias variáveis X1, X2, ...,Xk .

Explorar as relações entre múltiplas variáveis ( X1, X2, ..., Xk ) para determinar que variáveis influenciam Y.

A solução dos mínimos quadrados é a que minimiza a soma dos quadrados dos desvios entre os valores observados e a superfície de regressão ajustada.

n

ikikiii XXXYYY

n

Iii

1

2^

2

^

2

^

11

^

0 )...(()(1

2^

)...(^

2

^

211

^^ ^^

0XXXYYY kikiiiiii

Pressupostos da Regressão Linear MúltiplaPressupostos da Regressão Linear Múltipla

Os pressupostos da regressão linear simples podem ser estendidos para a regressão linear múltipla

1. Existência: Para uma combinação específica das variáveis independentes X1, X2, ...,Xk, Y é uma variável aleatória com uma certa distribuição de probabilidade, com média e variância finitas.

2. Independência: As observações de Y são estatisticamente independentes umas das outras. Este pressuposto é violado quando mais de uma observação é feita de um mesmo indivíduo.

Pressupostos da Regressão Linear Múltipla Pressupostos da Regressão Linear Múltipla (cont...)(cont...)

3.Linearidade: O valor médio de Y para cada combinação específica de X1, X2, ...,Xk é uma função linear de X1, X2, ...,Xk.

Ou

componente de erro do modelo, refletindo a diferença entre o valor observado para um indivíduo e a verdadeira resposta média

para o conjunto de indivíduos de mesmas características.

A relação entre Y e Xi é linear ou é bem aproximada por uma função linear.

XXXXXXYE kkkY XXX k

...)/( 2211021| 21

kk XXXY ...22110

XXX kY 21|

Pressupostos da Regressão Múltipla Pressupostos da Regressão Múltipla (cont...)(cont...)

4. Homocedasticidade: A variância de Y é a mesma para qualquer combinação fixa de X1, X2, ...,Xk.

Este pressuposto pode parecer muito restritivo. Heterocedasticidade deve ser considerada somente quando os dados apresentarem óbvia e significante não homogeneidade das variâncias.

Em geral, não considerar a homocedasticidade não acarreta efeitos adversos nos resultados.

5. Amostra aleatória ou representativa da população.

221

2/ )/(

21 XXXYVar kY XXX k

Pressupostos da Regressão Múltipla Pressupostos da Regressão Múltipla (cont...)(cont...)

6. Normalidade: para uma combinação fixa de X1, X2, ..., Xk, a variável Y tem distribuição normal.

Y ~ N ( , 2)

Ou de modo equivalente

~N (0, 2)

XXX kY 21|

Pressupostos da Regressão MúltiplaPressupostos da Regressão Múltipla7. Normalidade de Y

Este pressuposto não é necessário para o ajuste do modelo usando os mínimos quadrados, mas é importante para a realização da inferência.

Os testes de hipóteses paramétricos usuais e os cálculos dos intervalos de confiança utilizados nas análises de regressão são bastante robustos, de modo que somente em casos em que a distribuição de Y se afaste muito da distribuição normal os resultados gerados serão inadequados.

No caso de não normalidade, transformações matemáticas de Y podem gerar conjunto de dados com distribuição aproximadamente normal (Log Y, Y); no caso de variável Y categórica nominal ou ordinal, métodos de regressão alternativos são necessários (logística - dados binários, Poisson - dados discretos)

A Homocedasticidade e a Normalidade se aplicam à distribuição condicional de Y | X1, X2, ...,Xk

),(~/ 2..., ,/21 XX k21

XYk NXXXY

Determinando a melhor estimativa para o modelo de regressão Determinando a melhor estimativa para o modelo de regressão múltiplamúltipla

A abordagem dos mínimos quadrados

Minimiza a soma dos quadrados dos erros ou as distâncias entre os valores observados (Yi) e os valores preditos pelo modelo ajustado.

n

Ipipiii

n

Iii XXXYYY

1

222110

1

2 ))(()( ˆˆˆˆˆ

XXX ppY ˆˆˆˆ

22110

ˆ

Y iˆ

)ˆˆˆˆ()ˆ( 22110XXXYYY pipiii iii

A solução de mínimos quadrados consiste nos valores de (chamados de estimadores de mínimos quadrados) para os quais a soma da equação anterior é mínima.

Cada um dos estimadores é uma função linear dos valores de Y.

Se os valores de Y são normalmente distribuídos e são independentes entre si, os estimadores terão distribuição normal, com desvios padrões facilmente computáveis.

ˆˆˆˆ ,...,,,210 k

ˆˆˆˆ ,...,,,210 k

Exemplo:

Supondo dados de peso, altura e idade de 12 crianças:

Criança 1 2 3 4 5 6 7 8 9 10 11 12

Peso (Y) 64 71 53 67 55 58 77 57 56 51 76 68

Altura (X1) 57 59 49 62 51 50 55 48 42 42 61 57

Idade (X2) 8 10 6 11 8 7 10 9 10 6 12 9

2

3210 )(IDADEIDADEALTURAPESO

2^

)(042.0777.2724.0438.3 IDADEIDADEALTURAPESO

438.30

^

777.22

^

724.01

^

042.03

^

A velocidade do efeito da idade diminui com o passar da idade

Apresentar o efeito da idade para determinadas faixas:

Peso1 para crianças de X anos

Peso2 para crianças de Z anos X – Z Peso1 - Peso2

Interpretação dos coeficientesInterpretação dos coeficientes

O coeficiente apresentado na tabela refere-se ao coeficiente parcial da regressão e difere do da regressão simples considerando a relação de cada variável independente em separado.

O coeficiente expressa o aumento médio em Y dado um aumento de 1 unidade de X, sem considerar o efeito de qualquer outra variável independente (mantendo todos os outros fatores constantes).

Para um aumento de 1 unidade na altura, há um aumento médio de 0.724 no peso, para crianças de mesma idade.

O coeficiente da regressão padronizadoO coeficiente da regressão padronizado Interesse em ordenar os coeficientes por grau de importância na

predição de Y.

Difícil comparar os coeficientes da regressão para saber qual variável independente possui maior associação com a variável dependente Y, pois cada variável está em uma unidade diferente.

O coeficiente padronizado permite comparação da importância de cada variável para a predição de Y.

Se X aumenta em 1 desvio padrão (Sx), indo para x + Sx, então Y aumentaria .Sx unidades. Caso seja desejado que o aumento em Y seja dado em desvios padrões de Y, podemos dividir a expressão por SY, para saber quantos desvios padrões possui o termo .Sx

.Sx/Sy

O coeficiente padronizado da regressão (standard estimates) representa o aumento médio em Y (expresso em unidades de desvio padrão de Y) por um aumento de 1 desvio padrão em X, depois de ajustado por todas as outras variáveis do modelo

Y

X

X

X

X

X

S

SYY

SYY

XSXYY

XXXSXYY

XSXY

XXY

1

1

1

1

1

112

112

11112

221102211012

221102

221101

)(

)()(

)(

padronizado

Se fizermos gráficos separados entre as diversas variáveis, poderemos ter uma visão de pedaços ou projeções da superfície ajustada. Suponhamos que a superfície seja um plano (relação linear entre todos os fatores).

A tabela ANOVA da Regressão MúltiplaA tabela ANOVA da Regressão Múltipla

Como no modelo de Regressão Simples:

SSY= SSR + SSE

R2 = (SSY-SSE)/SSY

R2 sempre cresce à medida que mais variáveis são incluídas no modelo.

Um acréscimo muito pequeno em R2 pode não apresentar importância prática ou importância estatística.

n

iii

n

ii

n

ii YYYYYY

1

2^

1

2_^

1

2_

)()()(

Variação total não explicada =

Variação devida à regressão + variação residual não explicada

2^

)(042.0777.2724.0438.3 IDADEIDADEALTURAPESO

Fonte

de variação

g.l. SS

soma dos quadrados

MS

quadrados médios

F R2

Regressão k=3 SSY-SSE=693.06 231.02 9.47 0.7802

Resíduo n-k-1=8 SSE=195.19 24.40

Total n-1=11 SSY=888.25

SSY

SSRR 2

)1(

knSSE

kSSR

MSE

MSRF

Fcrítico = Fk,n-k-1,1-

P = 0.0052

REGREESSION OF PAS (Y) ON IDADE (X)Analysis of VarianceSum of Mean

Source DF Squares Square F Value Prob > FModel 1 6394.02269 6394.02269 21.330 0.0001Error 28 8393.44398 299.76586C Total1 29 14787.46667

SSY-SSE

SSESSY

2_^

2_^^n

1i

2_

i

^

])([][)YY(SSESSY XXYX ii

2^_^_

2^^

1

2^

)]([)]([)( iiii

n

iii XXYYXYYYSSE

^^

β e α gl 2n

^

β gl 1

n

1i

2_

i )YY(SSY

Aqui, trabalha-se com os dados originais

_

Y gl 1n

ii XY^^^

_^^_

XY _^_^

XY

Modelo 1: PESO = 0 + 1 ALTURA +

Analysis of Variance

Sum ofSource DF Squares F Value Prob > FModel 1 588.9225231 19.67 0.0013Error 10 299.3274768C Total 11 888.2500000

Dep Mean C.V. R-square62.750000 8.718857 0.663014

Parameter Estimates

Variable ParameterEstimate

T for H0:Parameter=0

Prob >|T|

StandardError OSEstimate

INTERCEPT 6.189848707 0.48 0.6404 12.84874620ALTURA 1.072230356 4.44 0.0013 0.24173098

estatística F para o testeglobal

SSR=SSY-SSE

SSE

SSY

R2

^

0

^1

Modelo 1: PESOi = 6.1898 + 1.0722 ALTURA + i

Modelo 2: PESO = 0 + 1 IDADE +




Parameter Estimates



Prob >|T|


INTERCEPT 30.57142857 3.55 0.0053 8.61370526IDADE 3.64285714 3.81 0.0034 0.95511512

Modelo 3: PESO = 0 + 1 ALTURA + 2IDADE +




Parameter Estimates



Prob >|T|


INTERCEPT 6.553048251 0.60 0.5641 10.94482708ALTURA 0.722037958 2.77 0.0218 0.26080506IDADE 2.050126352 2.19 0.0565 0.93722561

O modelo 3 possui melhor ajuste dos 3 modelos apresentados (maior R2).

Modelo 4: PESO = 0 + 1 ALTURA + 2IDADE + 3(IDADE)2 +

R2 modelo 3 = 0.780 e R2 modelo 4 = 0.7803 ==> 0.7803 0.780?Modelo 3 mais parcimonioso.

Analysis of Variance Sum of Source DF Squares F Value Prob > F Model 3 693.06046340 9.47 0.0052 Error 8 195.18953660 C Total 11 888.25000000 Dep Mean C.V. R-square 62.75000000 7.871718 0.780254 Parameter Estimates Variable Parameter

Estimate T for H0:

Parameter=0 Prob > |T|

Standard Error OS Estimate

INTERCEPT 3.438426001 0.10 0.9210 33.61081984 ALTURA 0.723690241 2.61 0.0310 0.27696316 IDADE 2.776874563 0.37 0.7182 7.42727877 (IDADE)2 -0.041706699 -0.10 0.9238 0.42240715

Efito da colinearidade – fx pequena de idade; e a relação deve ser uma reta

Teste de hipótese em Regressão MúltiplaTeste de hipótese em Regressão Múltipla Uma vez que o modelo está ajustado, algumas questões com respeito ao

ajuste e sobre a contribuição de cada variável independente para a predição de Y são importantes.

São 3 questões básicas a serem respondidas:

1. Teste sobre a contribuição global de todas as variáveis tratadas coletivamente, o conjunto completo das variáveis (ou, equivalentemente, o modelo ajustado propriamente dito) contribui significativamente para a predição de Y?

2. Teste da adição de uma variável a adição de uma variável independente em particular melhora significativamente a predição de Y (a predição que foi alcançada pelas variáveis já existentes no modelo)?

3. Teste sobre a inclusão de um grupo de variáveis a adição de um conjunto de variáveis independentes melhora significativamente a predição de Y obtida pelas outras variáveis já previamente incluídas no modelo?

Estas perguntas são tipicamente respondidas com a realização de testes de hipóteses.

Os testes podem ser expressos via o teste F. Em alguns casos, este teste pode ser equivalentemente realizado usando-se o teste t.

Todo teste F em regressão envolve uma razão de variâncias estimadas

2

^2

0

0 :

H

MS = SS/graus de liberdade

Fcrítico=Fnumerador, denominador, 1-nível de significância do teste

1. Teste para o modelo global Um modelo contendo k variáveis independentes como a

seguir:

kk XXXY ...22110

A hipótese nula para este teste: "Todas as k variáveis independentes consideradas conjuntamente não explicam significativa quantidade de variação de Y“

H0: 1 = 2 = ... = k = 0

H1: ao menos 1 0 (pelo menos 1 variável contribui significativamente para a predição de Y)

Sob a hipótese H0, o modelo completo pode ser resumido ao intercepto 0

Se uma variável auxiliar na predição (determinado 0), H0 é rejeitada mesmo que os outros 's sejam = 0.

)1/(

/)(

Resíduo MS

Regressão MS

knSSE

kSSESSYF

n

ii YYSSY

1

2_

)(

n

iii YYSSÊ

1

2^

)(

Fontes de variação

Soma dos quadrados

SS

Graus de liberdade

Q uadrados médios

M S

Estatística F V alor p

Regressão

k

P

Resíduo

n - k - 1

Total

n - 1

n

ii YYSSR

1

2_^

)(k

SSRMSR

MSE

MSRF

n

iii YYSSE

1

2^

)(1

kn

SSEMSE

n

ii YYSSY

1

2_

)(

Para realização do teste, usam-se os termos médios quadráticos do modelo e do resíduo, como na regressão simples, para cálculo da estatística F:

O teste F calculado pode ser comparado com o ponto crítico da dstribuição F Fk,n-k-1,1-

nível de significância. H0 é rejeitada se o valor calculado exceder o valor crítico.

F pode ser escrito em função de R2.

)1()1( 2

2

knR

kR

F

)1 () 1(

)1 (.

.

)1 (

) (

2

2

2

2

k nR

kR

k nSSY R SSY

kSSY R

k nSSE

kSSE SSY

MSE

MSRF

SSY

SSESSYR

2

)1 (

) (

k nSSE

kSSE SSY

MSE

MSRF

Se os erros têm distribuição normal e se H0 é verdadeira, a estatística F tem distribuição F com k e n-k-1 graus de liberdade.

Para um nível de significância , temos que:

F crítico: Fk,n-k-1,1- rejeita H0 para F calculado maior que F crítico.

Interpretação de H0 rejeitada a amostra sugere que as variáveis independentes consideradas cojuntamente ajudam na predição da variável dependente Y.

Não significa que todas as variáveios sejam necessárias para a predição de Y.

Modelo mais parcimonioso pode ser adotado?

• 2. O teste F parcial A partir da tabela ANOVA, informação adicional pode ser obtida

com respeito ao ganho na predição pela inclusão de variáveis independentes.

X1 = ALTURA , X2 = IDADE , X3 = (IDADE)2

1. X1 = ALTURA sozinha prediz Y?

2. A inclusão de X2 = IDADE contribui significativamente para a predição de Y, após considerar (ou controlar por) X1?

3. A inclusão de X3 - (IDADE)2 - contribui significativamente para a predição de Y, após controlar por X1 e X2?

SS(X1) soma dos quadrados explicada por somente X1 para predição de Y.

SS(X2|X1) soma dos quadrados explicada extra pela inclusão de X2 em adição à X1 para predição de Y.

SS(X3|X1,X2) soma dos quadrados explicada extra pela inclusão de X3 em adição à X1 e X2 para predição de Y

Para responder à pergunta 1, basta ajustar um modelo linear simples (X1 = ALTURA).

SSY = SSR + SSE

FIXO

SSR1,2

Y

X

x1

Y

SSR2

SSY

SSE2

XXY 2

^

2

^

11

^

0

^

^

11

^

0

^

XY

SSR1

SSE1

Y

F = MSR extra MSE completo

Fonte X1 X1 e X2 X1, X2 e X3

SSR 588.92 692.82 693.06

SSE 299.33 195.43 195.19

SSY 888.25 888.25 888.25

Source d.f. SS MS F R2

1 588.92 588.92 19.67 0.7802

Regressão

1 103.90 103.90 4.78(0.05<P<0.10)

1 0.24 0.24 0.01

Resíduo 8 195.19 24.40

Total 11 888.25

SS(X1) = 588.92

SS(X2|X1) = SSR (X2|X1) = 692.82 - 588.92 = 103.90 --- SSE (X2|X1) = 299.33-195.43 = 103.43

SS(X3|X1,X2) = SSR (X3|X1,X2) = 693.06 - 692.82 = 0.24 --- SSE (X3|X1,X2) = 195.43-195.19 = 0.24

588.92 SSR do modelo linear simples e SSE = 299.33 (103.90+0.24+195.19) 10 (8+1+1) g.l.

103.90+0.24+195.19 = 299.33

588/(299.33/10)

X1

X2|X1

X3|X1,X2

F=103.9/1 / (195.19+0.24)/9

12-k-1

299.33 n-k-1


SSR 588.92 692.82 693.06

SSE 299.33 195.43 195.19

SSY 888.25 888.25 888.25


1 588.92 588.92 19.67 0.7802

Regressão

1 103.90 103.90 4.78(0.05<P<0.10)

1 0.24 0.24 0.01

Resíduo 8 195.19 24.40

Total 11 888.25

588/(299.33/10)

X1

X2|X1

X3|X1,X2

n-k-1

67.1910/33.2991

92.588F


SSR 588.92 692.82 693.06

SSE 299.33 195.43 195.19

SSY 888.25 888.25 888.25


1 588.92 588.92 19.67 0.7802

Regressão

1 103.90 103.90 4.78 (0.05<P<0.10)

1 0.24 0.24 0.01

Resíduo 8 195.19 24.40

Total 11 888.25

X1

X2|X1

X3|X1,X2

195.43

78.471.21

90.103

943.19590.103

)2112()24.019.195(90.103

2)-p-(nSSE

1S

)|((completo)

)()(

12

reduzidocopleto SSRSR

XXF

9 g.l.

F=103.9/1 / (195.19+0.24)/9

12-k-1

Y = 0 + 1X1 + 2X2 +...+ pXp + *X* +

n-(p+1)-1 n- k-1 = p+1


SSR 588.92 692.82 693.06

SSE 299.33 195.43 195.19

SSY 888.25 888.25 888.25


1 588.92 588.92 19.67 0.7802

Regressão

1 103.90 103.90 4.78 (0.05<P<0.10)

1 0.24 0.24 0.01

Resíduo 8 195.19 24.40

Total 11 888.25

X1

X2|X1

X3|X1,X2

195.198 g.l.

0098.040.24

24.0

)2212(19.195

24.0

2)-p-(nSSE

1S

),|((completo)

)()(

213


XXXF

n-k-1 p+1

SS(X3|X1,X2) = SSR (X3|X1,X2) = 693.06 - 692.82 = 0.24 --- SSE (X3|X1,X2) = 195.43-195.19 = 0.24

O teste F para testar se existe uma regressão linear significante quando usa-se apenas X1 = ALTURA para predição de Y é dada por:

Para responder às perguntas 2 e 3, devemos usar o teste F parcial. Este teste avalia se a inclusão de uma variável independente

específica, mantendo as já existentes no modelo, contribui significativamente para a predição de Y.

O teste auxilia na exclusão de variáveis que não auxiliam na modelagem, mantendo o modelo mais parcimonioso preditores "importantes".

67.1910/33.2991

92.588F

*,,...,, variáveisas todascom modelo o para resíduos dos médio Quadrado

,...,, dados*, de adição pela Extra quadrados dos Soma),...,,|*(

21

21

21 XXXX

XXXXXXXXF

p

p

p

A hipótese nula - Teste parcial Incluir X* melhora significativamente a predição de Y (outros X's

já estão no modelo)? H0: "X* NÃO melhora significativamente a predição de Y, dados

X1, X2,...,Xp existentes no modelo”

H0: * = 0 no modelo Y = 0 + 1X1 + 2X2 +...+ pXp + *X* +

O teste essencialmente compara 2 modelos: o completo e o reduzido

O objetivo é determinar qual modelo é mais apropriado, baseado na informação adicional que X* fornece para Y, além da já fornecida por X1, X2,...,Xp

O procedimento do teste

Para realizar o teste F parcial, deve-se computar a soma dos quadrados extra pela adiçao de X*, que aparece na tabela ANOVA como SSR X*| X1, X2,...,Xp

Ou mais compactadamente:

Como SSY = SSR + SSE, podemos também fazer:

Soma dos quadrados Extra

pela inclusão de X*, dados

X1, X2,...,Xp

Soma dos quadrados da Regressão

pela inclusão de X*, dados

X1, X2,...,Xp

Soma dos quadrados da Regressão

dadosX1, X2,...,Xp

= -

SS (X*| X1, X2,...,Xp) = SS Resíduo (X1, X2,...,Xp) - SS Resíduo (X1, X2,...,Xp, X*)

SS (X*| X1, X2,...,Xp) = SS Regressão (X1, X2,...,Xp, X*) - SS Regressão (X1, X2,...,Xp)

completo reduzido

Comparação de 2 modelos: completo e o reduzido Modelo completo: Y = 0 + 1X1 + 2X2 +...+ pXp + *X* + Modelo reduzido: Y = 0 + 1X1 + 2X2 +...+ pXp + H0: * = 0

*,,...,, variáveisas todascom modelo o para resíduos dos médio Quadrado

,...,, dados*, de adição pela Extra quadrados dos Soma),...,,|*(

21

21

21 XXXX

XXXXXXXXF

p

p

p

*),,...,, MSE(

),...,, |*(S),...,,|*(

21

21

21 XXXX

XXXXSXXXXF

p

p

p

2)-p-(nSSE

1S

*),,...,, MSE(

S),...,,|*(

(completo)

)()(

21

)()(

21

reduzidocopleto

p

reduzidocopleto

p

SSRSR

XXXX

SSRSRXXXXF

n-k-1

Comparação de 2 modelos: completo e o reduzido H0: * = 0

2)-p-(nSSE

1S

*),,...,, MSE(

S),...,,|*(

(completo)

)()(

21

)()(

21

reduzidocopleto

p

reduzidocopleto

p

SSRSR

XXXX

SSRSRXXXXF

SS(X2|X1) = SSR(X1,X2) - SSR (X1) = 692.82-588.92 = 103.90

SS(X3|X1, X2) = SSR(X1,X2, X3) - SSR (X1, X2) = 693,06-692.82 = 0.24

SSE(completo) = 195.19

78.471.21

90.103

943.19590.103

)2112()24.019.195(90.103

2)-p-(nSSE

1S

)|((completo)

)()(

12


XXF

0098.040.24

24.0

)2212(19.195

24.0

2)-p-(nSSE

1S

),|((completo)

)()(

213


XXXF

Fcrítico=F1,n-p-2,1- = F1,9,0.95 = 5.12 não rejeita H0

F1,9,0.90 = 3.36 rejeita H0 a um nível de 0.10

3. Teste F parcial múltiplo3. Teste F parcial múltiplo

Testa a contribuição adicional de um conjunto de variáveis independentes na predição de Y.

Testa a inclusão simultânea de 2 ou mais variáveis.

Por exemplo, variáveis que tenham características em comum, e que seja importante testá-las em conjunto, como as variáveis de ordem superior a 1:

(IDADE)2, ALTURA X IDADE, (ALTURA)2

Ou variáveis de termo de ordem superior, que correspondam ao produto de variáveis de 1a. ordem, como os termos de interação X1X2, X1,X3, X2X3.

Muitas vezes é de interesse conhecer o efeito das interações em conjunto, antes de considerar cada termo individualmente.

Este procedimento pode reduzir o trabalho de testes individuais, uma vez que variáveis podem ser retiradas do modelo em conjunto.

Hipótese nula

Modelo completo: Y = 0 + 1X1 + 2X2 +...+ pXp + *1X*1 + *2X*2 +...+ *kX*k +

Modelo reduzido: Y = 0 + 1X1 + 2X2 +...+ pXp +

H0: "X*1 , X*2 , ..., X*k NÃO melhoram significativamente a predição de Y.”

H0: *1 = *2 = ... = *k = 0

O procedimento

Necessitamos calcular a soma dos quadrados EXTRA devida à inclusão dos X*i do modelo completo.

SS(X*1, X*2, ..., X*k|X1, X2, ..., Xp) =

SS Regressão (X1, X2, ..., Xp, X*1, X*2, ..., X*k) -

SS Regressão (X1, X2, ..., Xp)

=

SS Resíduo (X1, X2, ..., Xp) -

SS Resíduo (X1, X2, ..., Xp, X*1, X*2, ..., X*k)

p k parâmetros

A estatística F:

),...,, ,,...,,( Resíduo MS

)/k,...,,|,...,,(),...,,|,...,,(

**

2

*

121

21

**

2

*

1

21

**

2

*

1

kp

pk

pk XXXXXX

XXXXXXSSXXXXXXF

(completo) Resíduo MS

]/kResíduo SS-Resíduo SS[),...,,|,...,,( (completo)(reduzido)

21

**

2

*

1 pk XXXXXXF

1)-k-p-nompleto)/(( Resíduo SS

]/kRegressão SS-Regressão SS[),...,,|,...,,( (reduzido)(completo)

21

**

2

*

1 cXXXXXXF pk

A estatística F:

)IDADE IDADE, (ALTUR, Resíduo MS

k(ALTURA)]/ Regressão SS)IDADE IDADE, (ALTURA, Regressão SS[)|IDADE IDADE,(

2

22 ALTURAF

13.224.40

]/292.588)24.090.10392.588[()|IDADE IDADE,( 2

ALTURAF

Exemplo:

Inclusão de idade no modelo que já tem ALTURA IDADE e IDADE2.

1)-k-p-nompleto)/(( Resíduo SS

]/kRegressão SS-Regressão SS[),...,,|,...,,( (reduzido)(completo)

21

**

2

*

1 cXXXXXXF pk

Fcrítico= Fk,(n-p-k-1),1- = F2,12-1-2-1),0.95 = F2,8,0.90 = 4.46

F calculado menor que o Fcrítico não rejeita H0

Testando a significância estatística do coeficiente parcial teste F parcial

H0: rYX|Z1,...,Zp = 0

Exemplo: Para testar se rPESO,(IDADE)

2|ALTURA, IDADE = 0,

encontra-se F[(IDADE)2|ALTURA, IDADE] e compara-se com F1,12-2-2,0.90 = F1,8,0.90=3.46

MSE = SSE(X3|X1,X2)/df = 195.19/(11-2-1) = 195.19/8=24.399

F calculado < F crítico --> NÃO rejeita H0 --> (IDADE)2 não contribui para a predição de PESO.

X3)X2,MSE(X1,

X3)X2,SSR(X1, - X2)SSR(X1, IDADE] ALTURA,|F[(IDADE)2

010.024.399

195.19-195.43

Modelo A: PESO = 0 + 1 ALTURA + Analysis of Variance

Sum of MeanSource DF Squares Square F Value Prob > FModel 1 588.9225231 588.9225231Error 10 299.3274768 29.93274768C Total 11 888.2500000R2 0.663014

Modelo B: PESO = 0 + 1 ALTURA + 2IDADE + Analysis of Variance

Sum of MeanSource DF Squares Square F Value Prob > FModel 2 692.82260654 346.4113Error 9 195.42739346 21.714154C Total 11 888.25000000R2 0.77999

347.03275.299

4274.1953275.299

)(

),()(

1

2112

|, 21

XSSE

XXSSEXSSEr XXY

S im p le s M ú lt ip la P a r c ia l P a r c ia l m ú lt ip laY = 0 + 1 X 1 +

H 0 : 1 = 0H 1 : 1 0

F k ,n -2 ,1 -

Y = 0 + 1 X 1 + . ..+

kX k +

Y =

0 +

H 0 : 1 = 2 = . .. = k = 0H 1 : p e lo m en o s 1 0

F k ,n -k -1 ,1 -

M o d e l o c o m p le to :

Y = 0 +

1 X 1 + . ..+ kX k +

* X * +

M o d e l o r e d u z id o :

Y = 0 + 1 X 1 + ...+

kX k +

H 0 : * = 0

H 1 : * 0

F k ,(n -k -2 ) ,1 -

M o d e l o c o m p le to :

Y = 0 + 1 X 1 + .. .+ kX k +

* 1 X * 1 +. ..+

* p X * p +

M o d e l o r e d u z id o :

Y = 0 + 1 X 1 + .. .+

kX k +

H 0 : * 1 = * 2 = * p = 0

H 1 : p e lo m en o s 1 * 0

F k ,(n -p -k -1 ) ,1 -

)1(MSE

MSR

knSSE

kSSR

F

2)-k-(nSSE

1S

(completo)

)()( reduzidocopleto SSRSR

F

1)-k-p-(nSSE

k]SSR-SSR[

ompleto)(

(reduzido)(completo)

c

F )2(

1MSE

MSR

nSSE

SSRF

Documents

2 Reg Multipla 2008 xerox.ppt