04/09/2010
1
Análise da Regressão múltipla: InferênciaRevisão da graduaçãoAula 2 de setembro – Parte II
Hipóteses do modelo linear clássico (CLM)
Sabemos que, dadas as hipóteses de Gauss-Markov, MQO é BLUE.
Para realizarmos os testes de hipóteses clássicos, precisamos acrescentar mais uma hipótese.
Vamos supor que u é independente dex1, x2,…, xke queu e normalmente distribuído com média zero e variânciaσ 2: u ~ Normal(0,σ 2).
Hipóteses do CLM (cont.)
Sob CLM, MQO é não apenas BLUE, mas também o estimador não-viesado de variância mínima.Podemos resumir as hipóteses do CLM como:y|x ~ Normal(β0 + β1x1 +…+ βkxk, σ 2)Embora assumamos normalidade, nem sempre ela se verifica.Em grandes amostras, a hipótese de normalidade não é necessária.
..
x1 x2
Uma distribuição normal homocedástica comuma única variável explicativa
E(y|x) = β0 + β1x
y
f(y|x)
Distribuições normais
04/09/2010
2
Distribuição normal amostral
( )[ ]( )
( ) ( )
(normais). erros doslinear combinação
uma é porque normal ãodistribuiç temˆ
0,1Normal ~ ˆ
ˆ
implica que o ,ˆ,Normal ~ˆ
tesindependen variáveisdas amostrais valores
nos ndocondiciona CLM, do hipóteses as Sob
jββββ
ββββββββββββ
ββββββββββββ
j
jj
jjj
sd
Var
−
O teste t
( )( )
1
.ˆ
.ˆˆ
1
−−
−−−
kn:liberdade de graus nos Repare
por estimamos porque
normal) a não (e t a é ãodistribuiç a agora que Observe
t~ se
CLM do hipóteses as Sob
22
knj
jj
σσ
βββ
O testet (cont.)
O conhecimento da distribuição amostral dos estimadores nos permite fazer testes de hipóteses. Comece com a hipótese nula.Por exemplo, H0: βj=0Se aceitamos a nula, aceitamos que xj, após controlarmos pelos outrosx’s, não tem efeito em y.
O testet (cont.)
( )
.H nula, hipótese a aceitamos
se determinar para rejeição de regra
alguma e t aestatístic ausar então Vamos
.ˆ
ˆ : ˆ para aestatístic
aobter precisamos Primeiro
0
ˆjj
j
sett
j ββββββββββββ ββββ ≡
04/09/2010
3
Testet: caso unicaudal
Além de nossa, H0, precisamos de uma hipótese alternativa, H1, e um nível de significância.
H1 pode ser unicaudal ou bicaudal.
H1: βj > 0 e H1: βj < 0 são unicaudais.
H1: βj ≠ 0 é bicaudal.
Se queremos apenas 5% de probabilidade de rejeitar H0 caso ela seja, então dizemos que nosso nível de significância é de 5%.
Alternativa unicaudal (cont.)
Escolhido um nível de significância, α, olhamos no (1 –α)-ésimo percentil na distribuiçãot comn – k– 1 df e chamamos esse valor,c, de valor crítico.Rejeitamos a hipótese nula se a estatísticaté maior que o valor crítico.Se a estatística t for menor que o valor crítico, então não rejeitamos a nula.
yi = β0 + β1xi1 + … + βkxik + ui
H0: βj = 0 H1: βj > 0
c0
α(1 − α)
Alternativa unicaudal (cont.)
Não rejeitamosRejeitamos
Uni vs bicaudal
Como a distribuição t é simétrica, testar H1: βj < 0 é direto. O valor crítico é simplesmente o negativo do anterior.
Rejeitamos a nula se t < –c; se t > –c, então não rejeitamos a nula.
Para um teste bicaudal, escolhemos um valor crítico baseado em α/2 e rejeitamos H1: βj ≠ 0 se o valor absolutoda estatística t for > c.
04/09/2010
4
yi = β0 + β1Xi1 + … + βkXik + ui
H0: βj = 0 H1: βj ≠ 0
c0
α/2(1 − α)
-c
α/2
Alternativa bicaudal
Rejeitamos Rejeitamos
Não rejeitamos
Resumo de H0: βj = 0
A menos que seja explicitado ao contrário, estaremos considerando a alternativa bicaudal.
Se rejeitamos a nula, dizemos que “xj é estatisticamente significante ao nível de α%”
Se não rejeitamos a nula, dizemos “xj é estatisticamente não significativo ao nível deα %”
Testando outras hipóteses
Podemos generalizar a estatísticattestando H0: βj = aj .
Neste caso, a estatísticat é dada por
( )( )usual. teste no a
onde se
at
j
j
jj
0
,ˆˆ
=
−=β
β
Intervalos de confiança
Outra forma de usar os procedimentos clássicos de teste de hipóteses é construindo um intervalo de confiança utilizando o mesmo valor crítico do teste bicaudal. Um intervalo de confiança de (1 -α) % é definido por:
( ). ãodistribuiç na
percentil 2
-1 o é c onde ,ˆˆ
1−−
•±
kn
jj
t
secααααββββββββ
04/09/2010
5
Calculando o p-valor do testet
Uma alternativa ao procedimento clássico de teste é perguntar: “qual é o menor nível de significância ao qual a nula seria rejeitada?”
Calcule a estatísticat, e olhe em que percentil ela está na distribuição t apropriada – este é op-valor.
O p-valor é a probabilidade de observarmos valores iguais ou maiores (em valor absoluto) à estatística t obtida se a nula for verdadeira.
P-valores, testes t´s etc.
A maioria dos pacotes calcula o p-valor, assumindo um teste bicaudal.
Se se estiver interessado na alternativa unicaudal, basta dividir o p-valor reportado por 2.
Testando uma combinação linear
Ao invés de testar se β1 é igual a uma constante, podemos testar que ele é igual a outro parâmetro, ou seja, H0 : β1 = β2.Use o mesmo procedimento para calcular a estatística t
( )21
21ˆˆ
ˆˆ
ββββββββββββββββ
−−=
set
Testando uma combinação linear (cont.)
( ) ( )( ) ( ) ( ) ( )
( ) ( )[ ] ( )[ ]{ }( ).ˆ,ˆ
2ˆˆˆˆ
ˆ,ˆ2ˆˆˆˆ
ˆˆˆˆ
2112
21
12
2
2
2
121
212121
2121
ββ
ββββ
ββββββ
ββββ
Cov de estimador um é s onde
ssesese
CovVarVarVar
então ,Varse
Como
−+=−
−+=−
−=−
04/09/2010
6
Testando uma combinação linear (cont.)
Então, precisamos de s12.
Muitos pacotes, como o Eviews, fornecem essa estatística.
Mas o Eviews tem uma opção que permite fazer o teste automaticamente.
O teste pode ser reescrito, conforme mostrado a seguir.
Exemplo:
Suponha que você esteja interessado nos efeitos dos gastos de campanha no resultado das eleições. O modelo évotoA= β0 + β1log(gastoA) + β2log(gastoB) + β3prtystrA+ uH0: β1 = - β2, ou H0: θ1 = β1 + β2 = 0β1 = θ1 – β2; substituindo e rearranjando ⇒votoA= β0 + θ1log(gastoA) + β2log(gastoB -gastoA) + β3prtystrA+ u
Exemplo (cont.):
É o mesmo modelo, mas agora você tem um erro padrão paraβ1 – β2 = θ1 diretamente da regressão.
Qualquer combinação linear de parâmetros pode ser testada de forma similar.
Outros exemplos de testes de hipóteses sobre uma única combinação linear de parâmetros:
� β1 = 1 + β2 ; β1 = 5β2 ; β1 = -1/2β2; etc
Múltiplas restrições lineares
Os exemplos anteriores eram de uma única restrição linear (p.e. β1 = 0 or β1 = β2 )Mas também podemos testar conjuntamente múltiplas hipóteses sobre os parâmetros.Um exemplo é do “restrição de exclusão” –queremos testar se um grupo de parâmetros é igual a zero.
04/09/2010
7
Teste de restrição de exclusão
Agora, a hipótese nula é algo do tipo H0: βk-q+1 = 0, ... , βk = 0A alternativa é H1: H0 é falsa, ou seja, pelo menos um dos β´s é diferente de zero.Não podemos apenas fazer cada teste tisoladamente, porque queremos saber se os qparâmetros são conjuntamentesignificativos a um certo nível – é possível que nenhum seja individualmente significante a este nível.
Teste de restrição de exclusão (cont.)
O teste é feito estimando o “modelo restrito” sem xk-q+1,, …, xk, assim como o “modelo irrestrito”com todos os x’s.Intuitivamente, queremos saber se xk-q+1,, …, xkcausam uma variação suficientemente grande na SSR
( )( )
.irrestritour e restrito ér
onde ,1−−
−≡knSSR
qSSRSSRF
ur
urr
A estatísticaF
A estatística F é sempre positiva, uma vez que a SSR do modelo restrito não pode ser menor que a do modelo irrestrito.A estatísticaF statistic mede o crescimento relativo na SSR quando se passa do modelo irrestrito para o modelo restrito.q = número de restrições, ou dfr – dfur
n – k– 1 = dfur
A estatísticaF (cont.)
Para decidir se o aumento na SSR é “grade o suficientes” para rejeitar as exclusões, precisamos conhecer a distribuição amostral de nossa estatística F.
Não é de se surpreender queF ~ Fq,n-k-1, ondeq é o número de graus de liberdade do numerador en – k –1 é o número de graus de liberdade do denominador.
04/09/2010
8
0 c
α(1 − α)
f(F)
F
A estatísticaF (cont.)
Rejeita
Não rejeita
Rejeita H0 ao nível de significânciaα seF > c
A estatística F em função doR2
Podemos usar o fato de que, em qualquer regressão, SSR = SST(1 – R2) e substituir na fórmula:
( )( ) ( )
.irrestrito éur e restrito ér
onde ,11 2
22
−−−−≡
knR
qRRF
ur
rur
Significância da regressão
Um caso especial é o teste H0: β1 = β2 =…= βk = 0.
Como o R2 do modelo com apenas o intercepto será zero, a estatística F será simplesmente:
( ) ( )11 2
2
−−−=
knR
kRF
Restrições lineares gerais
A forma básica da estatística F é válida para qualquer restrição linear.
Primeiro estime os modelos irrestrito e restrito.
Em cada caso, anote a SSR e substitua na fórmula.
04/09/2010
9
Exemplo:
O modelo is votoA= β0 + β1log(gastoA) + β2log(gastoB) + β3prtystrA+ u.
Agora a nula é H0: β1 = 1, β3 = 0.
Substituindo a restrição:votoA= β0 + log(gastoA) + β2log(gastoB) + u.
AgoravotoA -log(gastoA) = β0 + β2log(gastoB) + u é o modelo restrito.
EstatísticaF: Resumo
Da mesma forma que no teste t, o p-valorpode ser calculado olhando no percentil da distribuição F apropriada.
Se apenas uma exclusão está sendo testada, então F = t2 e o p-valor será o mesmo.