04/09/2010

1

Análise da Regressão múltipla: InferênciaRevisão da graduaçãoAula 2 de setembro – Parte II

Hipóteses do modelo linear clássico (CLM)

Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE.

Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese.

Vamos supor que u é independente dex1, x2,…, xke queu e normalmente distribuído com média zero e variânciaσ 2: u ~ Normal(0,σ 2).

Hipóteses do CLM (cont.)

Sob CLM, MQO é não apenas BLUE, mas também o estimador não-viesado de variância mínima.Podemos resumir as hipóteses do CLM como:y|x ~ Normal(β0 + β1x1 +…+ βkxk, σ 2)Embora assumamos normalidade, nem sempre ela se verifica.Em grandes amostras, a hipótese de normalidade não é necessária.

..

x1 x2

Uma distribuição normal homocedástica comuma única variável explicativa

E(y|x) = β0 + β1x

y

f(y|x)

Distribuições normais

04/09/2010

2

Distribuição normal amostral

( )[ ]( )

( ) ( )

(normais). erros doslinear combinação

uma é porque normal ãodistribuiç temˆ

0,1Normal ~ ˆ

ˆ

implica que o ,ˆ,Normal ~ˆ

tesindependen variáveisdas amostrais valores

nos ndocondiciona CLM, do hipóteses as Sob

jββββ

ββββββββββββ

ββββββββββββ

j

jj

jjj

sd

Var

−

O teste t

( )( )

1

.ˆ

.ˆˆ

1

−−

−−−

kn:liberdade de graus nos Repare

por estimamos porque

normal) a não (e t a é ãodistribuiç a agora que Observe

t~ se

CLM do hipóteses as Sob

22

knj

jj

σσ

βββ

O testet (cont.)

O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula.Por exemplo, H0: βj=0Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outrosx’s, não tem efeito em y.

O testet (cont.)

( )

.H nula, hipótese a aceitamos

se determinar para rejeição de regra

alguma e t aestatístic ausar então Vamos

.ˆ

ˆ : ˆ para aestatístic

aobter precisamos Primeiro

0

ˆjj

j

sett

j ββββββββββββ ββββ ≡

04/09/2010

3

Testet: caso unicaudal

Além de nossa, H0, precisamos de uma hipótese alternativa, H1, e um nível de significância.

H1 pode ser unicaudal ou bicaudal.

H1: βj > 0 e H1: βj < 0 são unicaudais.

H1: βj ≠ 0 é bicaudal.

Se queremos apenas 5% de probabilidade de rejeitar H0 caso ela seja, então dizemos que nosso nível de significância é de 5%.

Alternativa unicaudal (cont.)

Escolhido um nível de significância, α, olhamos no (1 –α)-ésimo percentil na distribuiçãot comn – k– 1 df e chamamos esse valor,c, de valor crítico.Rejeitamos a hipótese nula se a estatísticaté maior que o valor crítico.Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.

yi = β0 + β1xi1 + … + βkxik + ui

H0: βj = 0 H1: βj > 0

c0

α(1 − α)

Alternativa unicaudal (cont.)

Não rejeitamosRejeitamos

Uni vs bicaudal

Como a distribuição t é simétrica, testar H1: βj < 0 é direto. O valor crítico é simplesmente o negativo do anterior.

Rejeitamos a nula se t < –c; se t > –c, então não rejeitamos a nula.

Para um teste bicaudal, escolhemos um valor crítico baseado em α/2 e rejeitamos H1: βj ≠ 0 se o valor absolutoda estatística t for > c.

04/09/2010

4

yi = β0 + β1Xi1 + … + βkXik + ui

H0: βj = 0 H1: βj ≠ 0

c0

α/2(1 − α)

-c

α/2

Alternativa bicaudal

Rejeitamos Rejeitamos

Não rejeitamos

Resumo de H0: βj = 0

A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal.

Se rejeitamos a nula, dizemos que “xj é estatisticamente significante ao nível de α%”

Se não rejeitamos a nula, dizemos “xj é estatisticamente não significativo ao nível deα %”

Testando outras hipóteses

Podemos generalizar a estatísticattestando H0: βj = aj .

Neste caso, a estatísticat é dada por

( )( )usual. teste no a

onde se

at

j

j

jj

0

,ˆˆ

=

−=β

β

Intervalos de confiança

Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 -α) % é definido por:

( ). ãodistribuiç na

percentil 2

-1 o é c onde ,ˆˆ

1−−

•±

kn

jj

t

secααααββββββββ

04/09/2010

5

Calculando o p-valor do testet

Uma alternativa ao procedimento clássico de teste é perguntar: “qual é o menor nível de significância ao qual a nula seria rejeitada?”

Calcule a estatísticat, e olhe em que percentil ela está na distribuição t apropriada – este é op-valor.

O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.

P-valores, testes t´s etc.

A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal.

Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.

Testando uma combinação linear

Ao invés de testar se β1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : β1 = β2.Use o mesmo procedimento para calcular a estatística t

( )21

21ˆˆ

ˆˆ

ββββββββββββββββ

−−=

set

Testando uma combinação linear (cont.)

( ) ( )( ) ( ) ( ) ( )

( ) ( )[ ] ( )[ ]{ }( ).ˆ,ˆ

2ˆˆˆˆ

ˆ,ˆ2ˆˆˆˆ

ˆˆˆˆ

2112

21

12

2

2

2

121

212121

2121

ββ

ββββ

ββββββ

ββββ

Cov de estimador um é s onde

ssesese

CovVarVarVar

então ,Varse

Como

−+=−

−+=−

−=−

04/09/2010

6

Testando uma combinação linear (cont.)

Então, precisamos de s12.

Muitos pacotes, como o Eviews, fornecem essa estatística.

Mas o Eviews tem uma opção que permite fazer o teste automaticamente.

O teste pode ser reescrito, conforme mostrado a seguir.

Exemplo:

Suponha que você esteja interessado nos efeitos dos gastos de campanha no resultado das eleições. O modelo évotoA= β0 + β1log(gastoA) + β2log(gastoB) + β3prtystrA+ uH0: β1 = - β2, ou H0: θ1 = β1 + β2 = 0β1 = θ1 – β2; substituindo e rearranjando ⇒votoA= β0 + θ1log(gastoA) + β2log(gastoB -gastoA) + β3prtystrA+ u

Exemplo (cont.):

É o mesmo modelo, mas agora você tem um erro padrão paraβ1 – β2 = θ1 diretamente da regressão.

Qualquer combinação linear de parâmetros pode ser testada de forma similar.

Outros exemplos de testes de hipóteses sobre uma única combinação linear de parâmetros:

� β1 = 1 + β2 ; β1 = 5β2 ; β1 = -1/2β2; etc

Múltiplas restrições lineares

Os exemplos anteriores eram de uma única restrição linear (p.e. β1 = 0 or β1 = β2 )Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros.Um exemplo é do “restrição de exclusão” –queremos testar se um grupo de parâmetros é igual a zero.

04/09/2010

7

Teste de restrição de exclusão

Agora, a hipótese nula é algo do tipo H0: βk-q+1 = 0, ... , βk = 0A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos β´s é diferente de zero.Não podemos apenas fazer cada teste tisoladamente, porque queremos saber se os qparâmetros são conjuntamentesignificativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.

Teste de restrição de exclusão (cont.)

O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito”com todos os x’s.Intuitivamente, queremos saber se xk-q+1,, …, xkcausam uma variação suficientemente grande na SSR

( )( )

.irrestritour e restrito ér

onde ,1−−

−≡knSSR

qSSRSSRF

ur

urr

A estatísticaF

A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito.A estatísticaF statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.q = número de restrições, ou dfr – dfur

n – k– 1 = dfur

A estatísticaF (cont.)

Para decidir se o aumento na SSR é “grade o suficientes” para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F.

Não é de se surpreender queF ~ Fq,n-k-1, ondeq é o número de graus de liberdade do numerador en – k –1 é o número de graus de liberdade do denominador.

04/09/2010

8

0 c

α(1 − α)

f(F)

F

A estatísticaF (cont.)

Rejeita

Não rejeita

Rejeita H0 ao nível de significânciaα seF > c

A estatística F em função doR2

Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 – R2) e substituir na fórmula:

( )( ) ( )

.irrestrito éur e restrito ér

onde ,11 2

22

−−−−≡

knR

qRRF

ur

rur

Significância da regressão

Um caso especial é o teste H0: β1 = β2 =…= βk = 0.

Como o R2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente:

( ) ( )11 2

2

−−−=

knR

kRF

Restrições lineares gerais

A forma básica da estatística F é válida para qualquer restrição linear.

Primeiro estime os modelos irrestrito e restrito.

Em cada caso, anote a SSR e substitua na fórmula.

04/09/2010

9

Exemplo:

O modelo is votoA= β0 + β1log(gastoA) + β2log(gastoB) + β3prtystrA+ u.

Agora a nula é H0: β1 = 1, β3 = 0.

Substituindo a restrição:votoA= β0 + log(gastoA) + β2log(gastoB) + u.

AgoravotoA -log(gastoA) = β0 + β2log(gastoB) + u é o modelo restrito.

EstatísticaF: Resumo

Da mesma forma que no teste t, o p-valorpode ser calculado olhando no percentil da distribuição F apropriada.

Se apenas uma exclusão está sendo testada, então F = t2 e o p-valor será o mesmo.