Modelo de Regressªo Linear - fe.uc.pt · ECONOMETRIA INTERMÉDIA Vítor Castro [email protected] FEUC - 1o Sem. 2010/2011 Vítor Castro ([email protected]) Modelo de Regressªo Linear

Modelo de Regressão LinearECONOMETRIA INTERMÉDIA

Vítor Castro

[email protected]

FEUC - 1o Sem. 2010/2011

Vítor Castro ([email protected]) Modelo de Regressão Linear FEUC - 1o Sem. 2010/2011 1 / 40

Objectivos

Recordar as hipóteses do modelo clássico de regressão linear;

Deduzir o estimador OLS e suas propriedades;

Efectuar testes de hipóteses;

Avaliar as consequências da má especicação do modelo;

Apresentar estimadores para o modelo generalizado;

Implementar testes para detectar heterocedasticidade.

Bibliograa:

Greene (2008), Cap. 1-8.

Wooldridge (2009), Cap. 1-12.Vítor Castro ([email protected]) Modelo de Regressão Linear FEUC - 1o Sem. 2010/2011 2 / 40

Modelo clássico de regressão linear

Usado para estudar a relação entre uma variável dependente e umaou mais variáveis independentes:

y = x1β1 + x2β2 + ...+ xK βK + ε

ε é um termo de erro aleatório:

captura efeitos de factores omitidos ou não captados pelo modelo;

captura erros de medição;

captura efeitos de factores não observáveis.

Objectivos:

estimar os parâmetros (β) desconhecidos do modelo;

usar os resultados para validar pressupostos teóricos;

e, eventualmente, usar o modelo para prever y .


Pressupostos do modelo

1 Linearidade: yi = xi1β1 + xi2β2 + ...+ xiK βK + εi .

2 Full rank: variáveis explicativas linearmente independentes (ausênciade multicolinearidade perfeita).

3 Exogeneidade: E [εi jxj1, xj2, ..., xjK ] = 0, 8i , j .

4 Erros homocedásticos e não autocorrelacionados:

E [ε2i jxj1, xj2, ..., xjK ] = σ2, 8i e E [εi εj jxj1, xj2, ..., xjK ] = 0, 8i 6= j

5 Valores de xj1, xj2, ..., xjK xos ou aleatórios, mas respeitando ashipóteses 3 e 4.

6 Normalidade: εi jxj1, xj2, ..., xjK N(0, σ2)


Modelo em notação matricial

X =

2664x11 x12 ... x1Kx21 x22 ... x2K... ... ... ...xn1 xn2 ... xnK

3775 = x.1 x.2 ... x.K=

2664x01x02...x0n

3775

y =

2664y1y2...yn

3775 , β =

2664β1β2...βK

3775 , ε =

2664ε1ε2...εK

3775y = Xβ+ ε

y = x.1β1 + x.2β2 + ...+ x.K βK+ε

yi = x0iβ+εi


Pressupostos do modelo em notação matricial

1 Linearidade: y = Xβ+ ε.

2 Full rank: variáveis explicativas linearmente independentes (ausênciade multicolinearidade perfeita).

3 Exogeneidade: E [εjX] = 0. [implica ainda que E [ε] = 0. Porquê?]

4 Erros homocedásticos e não autocorrelacionados: E [εε0jX] = σ2I

5 Valores de X xos ou aleatórios, mas respeitando as hipóteses 3 e 4.

6 Normalidade: εjX N(0, σ2I)


Método dos mínimos quadrados

Modelo clássico de regressão linear: yi = x0iβ+εi

Regressão populacional: E [yi jxi ] = E [x0iβ+εi jxi ] = x0iβ

Estimativa de E [yi jxi ], para uma dada amostra e b: byi = x0ibResíduo: ei = yi x0ib

Destas denições resulta que: yi = x0iβ+εi = x0ib+ei

Possível estimador de β: OLS

Escolher b que minimiza a soma dos quadrados dos resíduos

n∑i=1

e2i = e0e =

n∑i=1

yi x0ib

2= (yXb)0 (yXb)

b = (X0X)1X0y


Propriedades algébricas

X0yX0Xb = X0(yXb) = X0e = 0

ou seja: x0.K e =n∑i=1xikei = 0

Se o modelo incluir constante, então acresce que:n∑i=1

ei = 0) e = 0

y = x0b =byVariação total: SST =

n∑i=1(yi y)2

Regressão com constante ) SST = SSR + SSE

Variação explicada pela regressão: SSR =n∑i=1(byi y)2

Variação atribuída aos erros: SSE =n∑i=1e2i = e

0eVítor Castro ([email protected]) Modelo de Regressão Linear FEUC - 1o Sem. 2010/2011 8 / 40

Coeciente de determinação

SST = SSR + SSE , 1 = SSRSST +

SSESST

Medida da qualidade do ajustamento:

Coeciente de determinação: R2 = SSRSST = 1

SSESST

Modelo sem constante ) R2 não centrado =

n∑i=1by 2i

n∑i=1y 2i

O R2 nunca diminui quando se adiciona uma variável ) Alternativas:

R2 ajustado: R2 = 1 n1nK (1 R2)

minimizar Amemiyas prediction criterion: PC = e0enK (1+

Kn )

minimizar Akaike information criterion: AIC = lne0en

+ 2K

n

minimizar Schwarz information criterion: BIC = lne0en

+ K ln(n)

n


Propriedades estatísticas dos estimadores OLS

Há vários estimadores possíveis; OLS é um deles.

A escolha do estimador depende das propriedades estatísticas dosvários candidatos em face do modelo a estimar.

Propriedades em amostras nitas:

centricidade, e¢ ciência e precisão.

No modelo clássico o estimador OLS de β é linear e cêntrico:

b = (X0X)1X0y = (X0X)1X0 (Xβ+ ε) = β+ (X0X)1X0ε

E [bjX] = β ) b é cêntrico (note ainda que E [b] = β. Porquê?)



Variância do estimador OLS de β (fundamental para testes e IC):

Condicional (regressores xos):

V [bjX] = E [(b β)(b β)0jX]= E [(X0X)1X0εε0X(X0X)1jX]= (X0X)1X0E [εε0jX]X(X0X)1

= (X0X)1X0(σ2I)X(X0X)1

= σ2(X0X)1 (onde σ2 é a variância do termo de erro ε)

Incondicional (regressores estocásticos):

V [b] = EX [V [bjX]] +VX [E [bjX]] (decomposição da variância)

= EX [σ2(X0X)1] + VX [β]

= σ2EX [(X0X)1]



Teorema de Gauss-Markov:

No modelo clássico de regressão linear, o estimador OLS de β,isto é b, é o estimador com menor variância na classe dosestimadores lineares e cêntricos, quer X seja estocástico ou não,mas desde que as hipóteses do modelo se veriquem.

Greene (2008, pp. 49-50): Teoremas 4.2 e 4.3.

"The OLS estimator b is the Best Linear Unbiased Estimator(BLUE) under the assumptions of the classical linear regressionmodel."



Para se formular testes de hipóteses e IC sobre β:

é necessário estimar V [bjX] = σ2(X0X)1

para tal é necessário estimar σ2

possiveis estimadores de σ2:

bσ2 = ∑ni=1 e

2i

n = e0en (enviesado em amostras nitas)

s2 = ∑ni=1 e

2i

nK = e0enK (cêntrico em amostras nitas)

s corresponde ao erro-padrão da regressão (s.e.r.)

Assim, o estimador do erro-padrão (s.e.) de bk , vem:

se(bk ) =nhs2(X0X)

1ikk

o1/2


Testes de hipóteses e intervalos de conança

Com a hipótese da normalidade:

bjX Nh

β, σ2(X0X)1i

bk jX Nh

βk , σ2(X0X)1kk

i tk =

bkβkqs2(X0X)

1kk

t(nK )

Testar H0 : βk = 0 contra H1 : βk 6= 0.

tk =bk

se(bk ) t(nK )

rejeitar se jtk j > tα/2

tα/2 é o percentil 100(1 α/2) da distribuição t(nK )

ou rejeitar se p-value < α


Testes de hipóteses e intervalos de conança

Intervalo de conança para βk , a um grau de conança de 1 α:

[bk tα/2se(bk ), bk + tα/2se(bk )]

Estatística t ! testar um só coeciente (teste individual)

Testar a signicância global da regressão ! teste F

Testar todos os coecientes, excepto a constante β1:

H0 : β2 = β3 = ... = βK = 0 contra H1 : 9βj 6= 0, j = 2, ..,K

F = R 21R 2

nKK1 F(K1, nK )

rejeitar se F > Fα

Fα é o percentil 100(1 α) da distribuição F(K1, nK )



Propriedades Assintóticas

Comportamento dos dados em grandes amostras:

plimn!∞

X0Xn

= Q (matriz denida positiva e q admite inversa)

plimn!∞

X0en

= 0

Estimador OLS: b = β+X0Xn

1 X0εn

Logo: plim

n!∞(b) = β+Q1.0 = β (estimador consistente)

Atendendo ao teorema do limite central:

pn (b β)

d! N0, σ2Q1


Propriedades Assintóticas

pn (b β)

d! N0, σ2Q1

Distribuição assintótica: b a N

β, σ2

n Q1

Distribuição usada como aproximação em amostras nitas

σ2 desconhecido ! usar s2

Q desconhecido ! usar X0Xn

Assim, σ2

n Q1 estimado por s2 (X0X)1

s2 (X0X)1 ! estimador apropriado da matriz de Var-Cov assintótica de b


Propriedades assintóticas

Distribuição assintótica de uma função c(b) continuamente derivável,com G = ∂c(β)

∂β0

Método Delta - expansão em série de Taylor em torno de β:

c(b) = c(β) +G.(b β) + δ

onde δ corresponde aos termos de ordem superior

δ ! 0, em amostras grandes, se plim (b) = β

Método Delta ) c(b) a Nhc(β), G

σ2

n Q1G0i

Assim, G

σ2

n Q1G0 estimado por

∂c(b)

∂b0

hs2 (X0X)1

i ∂c(b)

∂b0

0

∂c(b)∂b0

hs2 (X0X)1

i ∂c(b)

∂b0

0! estimador da matriz de Var-Cov

assintótica de c(b)


Propriedades assintóticas

Normalidade dos erros ) OLS assintoticamente eciente

Denição de eciência assintótica

Um estimador é assintoticamente eciente se:

é convergente/consistente

tem distribuição assintoticamente normal

tem uma matriz de variâncias-covariâncias assintóticanão superior à de qualquer outro estimador convergentee assintoticamente normal


Inferência estatística - Testes

y = Xβ+ ε

Teste de restrições lineares supondo normalidade dos erros

Impor J restrições lineares: Rβ = q

R (J K ) e q (J 1)

Modelos encaixados (nested)

H0 : Rβ = q

teste F : F =(Rβq)0fR[s2(X0X)1]R0g1(Rβq)

J F(J , nK ) rejeitar se F > Fα

Fα é o percentil 100(1 α) da distribuição F(J , nK )




Fórmulas alternativas:

F = e0ee0ee0e

nKJ F(J , nK )

F = R 2R 21R 2

nKJ F(J , nK )

nesta 2a fórmula, cuidado com transformações da variável dependente

nesse caso (transformações em y), usar a 1a (i.e., com resíduos)

e - resíduos do modelo restrito (com as restrições impostas)

R2 - coeciente de determinação do modelo restrito



Aplicação: teste de Chow

Modelo restrito: y = Xβ+ ε (n observações:)

primeiras n1 observações: y1 = X1β1+ε1

últimas n2 observações: y2 = X2β2+ε2

H0 : β1 = β2 (estrutura mantém-se), K restrições

F = e0e(e01e1+e

02e2)

e01e1+e02e2

(n1+n2)2KK F(K , n1+n22K )



Teste de restrições lineares sem supor normalidade dos erros

Testes t e F poderão ser usados, mas vistos como aproximações

Testes t e F melhoram à medida que o tamanho da amostra (n)aumenta

Assumindo que o dados são "bem comportados", vimos atrás que:

b a N

β, σ2

n Q1, onde σ2

n Q1 é estimado por s2 (X0X)1

Grande amostras ! estatística de Wald:

Testar J restrições lineares ) H0 : Rβ = q

W = (Rβ q)0nRhs2 (X0X)1

iR0o1

(Rβ q) = JF a χ2(J)



Teste de restrições não lineares

Uma restrição: H0 : c(β) = q

z = c (b)qr∂c (b)

∂b00[s2(X0X)1]

∂c (b)

∂b0 a N(0, 1)

tem distribuição assintótica normal

Várias (J) restrições: H0 : c(β) = q

W = (c(b)-q)0

∂c(b)∂b0

0 hs2 (X0X)1

i ∂c(b)

∂b0

1(c(b)-q) a χ2(J)

tem distribuição assintótica χ2(J)


Teste à normalidade

Teste Jarque-Bera:

H0 : z tem distribuição normal

JB = n6A

2 + n24 (B 3)2 χ2(2)

Assimetria (skewness): A =1n ∑n

i=1(ziz )3bσ3 Achatamento (kurtosis): B =

1n ∑n

i=1(ziz )4bσ4 bσ2 = 1

n ∑ni=1(zi z)2

Versão corrigida: JB = nr6 A

2 + nr24 (B 3)2 χ2(2)

r representa o número de parâmetros estimados

Teste à normalidade dos termos de erro: z = e (notar que e = 0)

Alternativa: teste Doornik-Hansen (tem propriedades ligeiramentesuperiores em amostras pequenas)


Previsão

Para determinado vector x0, prever y0: y0 = x00β+ ε0

Dada a estimativa b ) previsão para y0: by0 = x00bErro de previsão:

e0 = y0 by0 = x00(β b) + ε0

Variância do erro de previsão:

V [e0jX, x0] = σ2 +V [x00(β b)jX, x0] = σ2 + x00hσ2 (X0X)1

ix0

Intervalo de previsão:

[by0 tα/2se(e0), by0 + tα/2se(e0)]


Omissão de variáveis relevantes e inclusão de irrelevantes

Modelo correcto: y = X1β1+X2β2+ε

mas estimou-se: y = X1β1+ν

então: b1= (X01X1)

1X01y = β1+(X01X1)

1X01X2β2 + (X01X1)

1X01ε

E [b1jX] = β1+ (X01X1)

1X01X2| z β2 ) enviesamento por omissão de

X2 = X1δ+ε ) bδ variáveis relevantes

Modelo correcto: y = X1β1+ν

mas estimou-se: y = X1β1+X2β2+ε

E [b1jX] = β1 ) Cêntrico, apesar da inclusão de variáveis irrelevantes

Mas, redução na precisão das estimativas, em particular se X2 estáfortemente correlacionado com X1 ) maior variância do estimador


Modelo de regressão generalizado

y = Xβ+ ε

E [εjX] = 0E [εε0jX] = Σ = σ2Ω

No modelo clássico: Ω = I (erros homocedásticos e sem autocorrelação)

Com Ω = I, o estimador OLS é:

o mais eciente estimador linear e cêntrico (BLUE)

Consistente e com distrib. assintótica normal (CAN)

Assintoticamente eciente (AE), se εjX N(0, σ2I)

Mas se Ω 6= I, o estimador OLS:

é cêntrico, consistente, com distrib. assintótica normal

mas deixa de ser eciente ) a inferência usual não é apropriada



E [εε0jX] =

2664E [ε1ε1jX] E [ε1ε2jX] ... E [ε1εn jX]E [ε2ε1jX] E [ε2ε2jX] ... E [ε2εn jX]

... ... ... ...E [εnε1jX] E [εnε2jX] ... E [εnεn jX]

3775

E [εε0jX] =

2664σ11 σ12 ... σ1nσ21 σ22 ... σ2n... ... ... ...

σn1 σn2 ... σnn

3775



Teorema 8.1 (Greene, 2008, p. 150) - Propriedades em amostrasnitas do estimador OLS no modelo generalizado

Se E [εjX] = 0, então: o estimador OLS é cêntrico

V [bjX] = E [(b β)(b β)0jX]= E [(X0X)1X0εε0X(X0X)1jX]= (X0X)1X0(σ2Ω)X(X0X)1

= σ2(X0X)1(X0ΩX)(X0X)1

se εjX N(0, σ2Ω), então:

bjX Nh

β, σ2(X0X)1(X0ΩX)(X0X)1i

logo o estimador habitual para a variância s2(X0X)1 é inadequado



Teorema 8.2 (Greene, 2008, p. 151) - Consistência (ouconvergência) do estimador OLS no modelo generalizado

Se Q = plimX0Xn

for for nita e denida positiva

e se plimX0εn

= 0, então:

plim (b) = β (o estimador OLS é consistente)

Teorema 8.3 (Greene, 2008, p. 153) - Normalidade assintótica doestimador OLS no modelo generalizado

Se X e Ω forem "bem comportados":

e se os elementos fora da diagonal de Ω decrescem rápido, então:

b a Nh

β, σ2

n Q1plim

X0ΩXn

(X0X)1Q1

iVítor Castro ([email protected]) Modelo de Regressão Linear FEUC - 1o Sem. 2010/2011 31 / 40


estimador habitual para a variância: s2(X0X)1

VCV no modelo generalizado: σ2(X0X)1(X0ΩX)(X0X)1

Procedimentos para uma estimação eciente:

1. Se Ω for conhecida ) usar GLS

2. Se a estrutura de Ω for conhecida ) usar FGLS

3. Heterocedasticidade com estrutura de Ω desconhecida ) usarWhite heteroscedasticity consistent estimator (HCCME)

4. Heterocedasticidade e autocorrelação com estrutura de Ωdesconhecida ) usar Newey-West heteroscedasticity andautocorrelation consistent estimator (HAC)



1. Ω conhecida, simétrica e denida positiva ) usar GLS

existe decomposição: Ω1 = P0P tal que PΩP0 = I

Py = PXβ+Pε , y = Xβ+ ε

E [εε0jX] = E [Pεε0P0jX] = Pσ2ΩP0 = σ2I

Aplicar OLS sobre o modelo transformado: y = Xβ+ ε

bβ = (X0X)1X0y = (X0P0PX)1X0P0Py = (X0Ω1X)1X0Ω1y

estimador GLS ou de Aitken: minimiza (yXβ)0 Ω1 (yXβ)



Teorema 8.4 (Greene, 2008, p. 155) - Propriedades do estimador GLS

Se E [εjX] = 0, então:

E [bβjX] = E h(X0X)1X0yjXi= β+E

h(X0X)

1X0εjXi= β (cêntrico)

Se plimX0Xn

é nita e denida positiva

e se plimX0εn

= 0, então plim

bβ = β (consistência)

V [bβjX] = σ2(X0X)1 = σ2(X0Ω1X)

Demonstra-se que: bβ a Nh

β, σ2(X0Ω1X)i

bβ é BLUE no modelo de regressão generalizadoVítor Castro ([email protected]) Modelo de Regressão Linear FEUC - 1o Sem. 2010/2011 34 / 40


2. Estrutura de Ω conhecida: Ω = Ω(θ) ) usar FGLS

Sendo bθ estimador consistente de θ, usar bΩ = Ω(bθ)Com plimbθ = θ, usar bΩ é assintoticamente equivalente a usar Ω

bbβ = (X0 bΩ1X)1X0 bΩ1y (estimador FGLS)

Teorema 8.5 (Greene, 2008, p. 158) - Eciência do estimador FGLS:

Para que o estimador FGLS seja assintoticamente eciente, bθnão tem que ser eciente, apenas terá que ser convergente

Então, estimador FGLS terá as mesmas propriedades assintóticas q GLS



3. Heterocedasticidade com estrutura de Ω desconhecida ) usarWhite heteroscedasticity consistent estimator (HCCME)

Usar OLS para estimar β, mas s2(X0X)1 inadequado

Alternativa: (X0X)1∑ni=1 e

2i xix

0i

(X0X)1

4. Heterocedasticidade e autocorrelação com estrutura de Ωdesconhecida ) usar Newey-West HAC

Usar OLS para estimar β, mas s2(X0X)1 inadequado

Alternativa: n(X0X)1 bΦ(X0X)1 bΦ = bΓ0 +∑n

υ=1

1 υ

q+1

bΓυ + bΓ0υ bΓυ =

1n ∑n

i=υ+1

xieieiυx0iυ

[Gretl: q = 3

4n13 ou q = 4

n100

29 ]


Testes à heterocedasticidade

Teste de White

H0 : σ2i = σ2, 8i (homocedasticidade)

H0 : σ2i 6= σ2 (heterocedasticidade)

Estimar: yi = β1 + xi2β2 + ...+ xiK βK + εi e guardar ei

Estimar: e2i = γ1 +∑Kj=2 xijγj +∑K

j=2 ∑Kl=j xijxil δjl + υi

Obter o R2 desta regressão auxiliar: R2e2

Estatística do teste: nR2e2a χ2(P)

P é o número de regressores na regressão auxiliar excluindo a contante.

nR2e2 > χ2α(P)) Rejeitar H0: homocedasticidade, a α%



Teste de Breush-Pagan


H0 : σ2i = σ2f (γ0 + γ0zi ) (heterocedasticidade)

onde z é um vector de variáveis independentes

o modelo é homocedástico se γ = 0

Estimar: yi = β1 + xi2β2 + ...+ xiK βK + εi e guardar ei e bσ2Estimar: e2ibσ2 = γ0 +∑P

j=1 zijγj + υi

Obter a soma dos quadrados desta regressão auxiliar: SSRe2

Estatística do teste: 12SSRe2

a χ2(P)

12SSRe2 > χ2α(P)) Rejeitar H0: homocedasticidade, a α%



Teste de Koenker

O teste de Breush-Pagan é sensível ao pressuposto da normalidade Koenker sugere um teste baseado num estimador mais robusto de ε2i


H0 : σ2i = σ2f (γ0 + γ0zi ) (heterocedasticidade)

Estimar: yi = β1 + xi2β2 + ...+ xiK βK + εi e guardar ei e bσ2Calcular: V = 1

n ∑ni=1

e2i bσ22

Estimar: e2ip0.5V

= γ0 +∑Pj=1 zijγj + υi e obter SSRe2

Estatística do teste: 12SSRe2

a χ2(P)

12SSRe2 > χ2α(P)) Rejeitar H0: homocedasticidade, a α%


Corrigir a heterocedasticidade

Se a sua forma (Ω) é conhecida:

usar GLS (neste caso também chamado de WLS)

Se a sua forma (Ω) é desconhecida:

usar White HCCME (erros-padrão robustos) ) conviver c/ problema

usar FGLS (estimar Ω : bΩ = Ω(bθ)) ou Máxima Verosimilhança (método de estimação alternativo)

FGLS também usado na correcção da autocorrelação:

Cochrane-Orcutt, Prais-Winsten, Hildreth-Lu


Documents

Modelo de Regressªo Linear - fe.uc.pt · ECONOMETRIA INTERMÉDIA Vítor Castro [email protected] FEUC - 1o Sem. 2010/2011 Vítor Castro ([email protected]) Modelo de Regressªo Linear