Seleção e comparação de modelos - ime.unicamp.brcnaber/aula_Sel_Comp_Mod_IML.pdf · 0 5 10 15 20 25-2 0 2 4 6 Indice Resíduo Studentizado l l l l l l Sele˘c~ao e compara˘c~ao

Selecao e comparacao de modelos

Prof. Caio Azevedo

(grande parte do material apresentado foi extraıdo do livro Modelos

de regressao com apoio computacional do Prof. Gilberto A. Paula)

http : //www .ime.usp.br/∼giapaula/texto 2013.pdf

Prof. Caio Azevedo (grande parte do material apresentado foi extraıdo do livro Modelos de regressao com apoio computacional do Prof. Gilberto A. Paula) http : //www.ime.usp.br/∼giapaula/texto 2013.pdf


Introducao

Vimos como verificar se um determinado modelo (normal-

linear-homocedastico) se ajusta adequadamente aos dados.

Uma outra questao de interesse surge quando se dispoe de diversos

modelos (que se ajustam adequadamente aos dados) e respondem as

perguntas de interesse, e queremos escolher um como o “mais

apropriado”.

Ha diversas tecnicas disponıveis para este fim.

Veremos tecnicas baseadas em testes de hipotese e comparacao de

estatısticas de ajuste.



Teste da razao de verossimilhancas

Sejam M1 e M2 dois modelos, em que M1 esta encaixado em M2, ou

seja, o modelo M1 e um caso particular de M2.

Por exemplo, M1 e um modelo linear e M2 e um modelo quadratico.

Neste caso temos que

H0 : o modelo M1 e preferıvel ao modelo M2.

Denote por Li (θ) e li (θ) o maximo da verossimilhanca e da

log-verossimilhanca do modelo i , respectivamente.

θ corresponde a estimativa de maxima verossimilhanca obtida sob o

modelo i .



Teste da razao de verossimilhancas (cont.)

A estatıstica do TRV e dada por ∆ = L1(θ)

L2(θ).

Rejeita-se H0 se ∆ < δc , em que δc e um valor critico adequado.

Alternativamente, rejeitamos H0 se

Λ = −2ln(∆) = −2(l1(θ)− l2(θ)

)> λc ,

em que P(Q > λc) = α, Q ∼ χ2(γ) e

γ = numero de parametros do modelo M2 - numero de parametros

do modelo M2.

p-valor P(Q > λ), em que λ e o valor observado da estatıstica Λ.



Estatısticas de comparacao de modelos

O TRV e apropriado na comparacao de modelos encaixados.

Alem disso, ele nao leva em consideracao (diretamente) o numero de

parametros do modelo (somente na distribuicao da estatıstica).

Existem varias alternativas, em termos de estatıstica para comparar

modelos, que “penalizam” a verossimilhanca em relacao ao numero

de parametros, tamanho da amostra entre outros fatores.

Veremos o AIC e o BIC.



Estatısticas de comparacao de modelos (cont.)

O AIC e BIC sao dados, respectivamente, por:

AIC = −2li (θ) + 2k

BIC = −2li (θ) + 2k ln(n)

que li (θ) denota a log-verossimilhanca do i-esimo modelo avaliada

em alguma estimativa, k e o numero de parametros e n e o numero

de observacoes.

Portanto, o modelo que apresentar os menores valores, sera o

modelo “melhor ajustado” aos dados.



Metodo de selecao “dinamico”

Existem metodos que selecionam modelos, fixados alguns criterios,

de modo “dinamico”.

Veremos os metodos “forward”, “backward” e “stepwise”.

Tais metodos sao particularmente uteis quanto se dispoes de muitas

covariaveis e/ou muitos fatores.

Vamos considerar, como exemplo, um modelo de regressao, ou seja

Yi = β0 +

p−1∑j=1

βjxij + ξi , ξii.i.d.∼ N(0, σ2)

e defina µij = β0 +∑p−1

j=1 βjxij



Metodo “forward”

Primeiramente, ajustamos um modelo com somente o intercepto, ou

seja µij = β0. Ajustamos entao, para cada variavel explicativa, um

modelo

µij = β0 + βjxij , j = 1, 2, ..., p − 1

Testa-se H0 : βj = 0 vs H1 : βj 6= 0, j=1,2,...,p-1 (usando-se algum

teste como o TRV, teste Cβ, ou alguma estatıstica de comparacao

de modelos). Seja P o menor nıvel descritivo entre os p − 1 testes.

Se P ≤ PE a variavel correspondente entra no modelo (caso

contrario, o processo e interrompido).



Metodos “forward” (cont.)

Vamor supor que a variavel X1 foi escolhida. Entao, no passo

seguinte, ajustamos os modelos

µij = β0 + β1x1j + βjxij , j = 2, ..., p − 1

Testa-se H0 : βj = 0 vs H1 : βj 6= 0, j=2,...,p-1 (usando-se algum

teste como TRV, teste Cβ, ou alguma estatıstica de comparacao de

modelos). Seja P o menor nıvel descritivo entre os p − 2 testes. Se

P ≤ PE a variavel correspondente entra no modelo. Repetimos o

procedimento ate que ocorra P > PE .



Metodo “backward”

Primeiramente, ajustamos o seguinte modelo:

µij = β0 +

p−1∑j=1

βjxij

Testa-se H0 : βj = 0 vs H1 : βj 6= 0, j=1,2,...,p-1 (usando-se algum

teste como o TRV, teste Cβ, ou alguma estatıstica de comparacao

de modelos). Seja P o maior nıvel descritivo entre os p − 1 testes.

Se P > PS a variavel correspondente sai do modelo (caso contrario,

o processo e interrompido).



Metodo “backward” (cont.)

Vamos supor que X1 tenha saıdo do modelo. Entao ajustamos o

seguinte modelo

µij = β0 +

p−1∑j=2

βjxij

Testa-se H0 : βj = 0 vs H1 : βj 6= 0, j=2,...,p-1 (usando-se algum

teste como TRV, teste Cβ, ou alguma estatıstica de comparacao de

modelos). Seja P o maior nıvel descritivo entre os p − 2 testes. Se

P > PS a variavel correspondente sai do modelo. Repetimos o

procedimento ate que ocorra P ≤ PS .



Metodo “stepwise”

E uma mistura dos dois procedimentos anteriores.

Iniciamos o processo com o modelo µij = β0. Apos duas variaveis

terem sido incluıdas no modelo, verificamos se a primeira nao sai do

modelo.

O processo continua ate que nenhuma variavel seja incluıda ou seja

retirada do modelo.

Geralmente adotamos 0, 15 ≤ PE ,PS ≤ 0, 25. Outra possibilidade e

usar PE = PS = 0, 20.



Metodos anteriores usando AIC/BIC

Para qualquer um dos metodos anteriores, se usarmos alguma

estatıstica de comparacao de modelos (como AIC,BIC), procedemos

da seguinte forma

Sempre escolhemos o modelo (retirar/incluir a variavel) que

apresentar o menor valor da estatıstica.

O processo e interrompido como as estatısticas para todos os

modelos possıveis aumenta em relacao ao modelo corrente.



Exemplo 1

O conjunto de dados em questao foi extraıdo do censo do IBGE de

2000 e apresenta para cada unidade da federacao o numero medio

de anos de estudo e a renda media mensal (em reais) do chefe ou

chefes do domicılio.

Um dos objetivos e estudar o relacionamento da renda media mensal

em funcao do numero medio de anos de estudo.



Dispersao entre anos de escolaridade e renda

● ●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●●

● ●●●

●

●

●

4 5 6 7 8

40

06

00

80

01

00

01

20

01

40

0

número médio de anos de estudo

ren

da

mé

dia

RR AP

AC

RO

PA

AM

TO

PB

MA

RNSE

PI

BA

PE

AL CE

SP

RJ

ESMG

SC RSPRMT

GOMS

DF



Cont.

Modelo 1: Yj = β0 + β1xj + ξj

Modelo 2: Yj = β0 + β1xj + β2x2j + ξj

em que

ξjind.∼ N(0, σ2)



Modelo 1

●

●

●

●

●

●

●●

● ● ●

●

●

●

●

●

●

●●

●

●●

●

●

● ●

●

0 5 10 15 20 25

−2

02

46

Indice

Re

síd

uo

Stu

de

ntiza

do

●

●

●

●

●

●

●●

● ●●

●

●

●

●

●

●

●●

●

●●

●

●

● ●

●

400 600 800 1000 1200

−2

02

46

Valores Ajustados

Re

sid

uo

Stu

de

ntiza

do

●

●

−2

02

4

Re

sid

uo

stu

de

ntiza

do

●

●

●

●

●

●

●●

●●●

●

●

●

●

●

●

●●

●

●●

●

●

● ●

●

−2 −1 0 1 2

−2

02

4

Percentis da N(0,1)

Re

sid

uo

Stu

de

ntiza

do



Modelo 2

●

●

●

●

●

●

●

●

●

●

● ●

● ●

●

●

●

●

●●

●

●

●

●

● ●

●

0 5 10 15 20 25

−3

−1

01

23

Indice

Re

síd

uo

Stu

de

ntiza

do

●

●

●

●

●

●

●

●

●

●

●●

● ●

●

●

●

●

●●

●

●

●

●

● ●

●

400 600 800 1000 1200 1400

−3

−1

01

23

Valores Ajustados

Re

sid

uo

Stu

de

ntiza

do

●

●●

●

●

●

−2

−1

01

2

Re

sid

uo

stu

de

ntiza

do

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●

●●

●

●

●

●

● ●

●

−2 −1 0 1 2

−3

−1

01

23

Percentis da N(0,1)

Re

sid

uo

Stu

de

ntiza

do



Cont.

Modelo 1

Parametro Estimativa EP Estat. t p-valor

β0 -381,28 69,40 -5,49 <0,0001

β1 199,83 13,03 15,34 <0,0001

Modelo 2


β0 546,98 196,80 2,78 0,0104

β1 -152,62 72,86 -2,09 0,0469

β2 31,92 6,54 4,88 0,0001



Cont.

Estatısticas de comparacao dos modelos

Estatıstica Modelo 1 Modelo 2

AIC 315,26 298,66

BIC 319,15 303,85

log-verossim. -154,63 -145,33

TRV, estatısticas e pvalor entre parenteses: 18,80 (< 0,0001).



Modelos ajustados

● ●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●●

● ●●●

●

●

●

4 5 6 7 8

40

06

00

80

01

00

01

20

01

40

0


ren

da

mé

dia

RR AP

AC

RO

PA

AM

TO

PB

MA

RNSE

PI

BA

PE

AL CE

SP

RJ

ESMG

SC RSPRMT

GOMS

DF

linear

quadrático



Exemplo 2

Vamos considerar o mesmo conjunto de dados.

Alem do modelo quadratico (anteriormente apresentado), vamos

considerar o seguinte modelo (doravante, Modelo 3)

Yiind∼ Gama(µi , φ)

E (Yi ) = µi = eβ0+β1xij

V (Yi ) = µ2i φ

−1

Note que nao existe estrutura hierarquica entre os modelos.

Portanto, o TRV nao pode ser utilizado.



Cont.

Resumo do ajuste


β0 4,98 0,07 73,36 <0,0001

β1 0,28 0,01 21,89 <0,0001

Estatısticas de comparacao dos modelos

Estatıstica Modelo 2 Modelo 3

AIC 298,66 288,13

BIC 303,85 292,02

log-verossim. -145,33 -141,07



Modelos ajustados

● ●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●●

● ●●●

●

●

●

4 5 6 7 8

40

06

00

80

01

00

01

20

01

40

0


ren

da

mé

dia

RR AP

AC

RO

PA

AM

TO

PB

MA

RNSE

PI

BA

PE

AL CE

SP

RJ

ESMG

SC RSPRMT

GOMS

DF

norma−quadrático

gama−exponencial



Exemplo 3

O conjunto de dados se referem a informacoes dos 48 estados

estadunidenses contıguos juntamente com as seguintes variaveis:

taxa (taxa do combustıvel no estado em USD), licenca (proporcao

de motoristas licenciados), renda (renda percapita em USD),

estradas (ajuda federal para as estradas em mil USD) e consumo

(consumo de combustıvel por habitante).

O interesse nesse estudo e tentar explicar o consumo de combustıvel

pelas variaveis taxa, licenca, renda e estradas.



Dispersao entre o consumo e as varaveis explicativas

●●●

● ●●

●

●●●

●

●

●●

●

●●

●

●

●●

●

●

●

●

●●

●

●●

●●●

●

●

●●

●

●

●

●

●

●●

●

●

●

●

5 6 7 8 9 10

40

06

00

80

0

taxa do combustível no estado (USD)co

nsu

mo

de

co

mbu

stí

ve

l p

or

ha

bita

nte

● ●●

● ●●

●

●●●

●

●

●●

●

●●

●

●

●●

●

●

●

●

●●

●

●●

●●●

●

●

●●

●

●

●

●

●

●●

●

●

●

●

0.45 0.50 0.55 0.60 0.65 0.70

40

06

00

80

0

proporção de motoristas licenciadosco

nsu

mo

de

co

mbu

stí

ve

l p

or

ha

bita

nte

● ●●

●●●

●

●●●

●

●

●●

●

●●

●

●

● ●

●

●

●

●

●●

●

●●

●●●

●

●

● ●

●

●

●

●

●

●●

●

●

●

●

3000 3500 4000 4500 5000

40

06

00

80

0

renda percapita em USDco

nsu

mo

de

co

mbu

stí

ve

l p

or

ha

bita

nte

●●●

●●●

●

● ●●

●

●

●●

●

●●

●

●

● ●

●

●

●

●

● ●

●

●●

●●●

●

●

● ●

●

●

●

●

●

●●

●

●

●

●

0 5000 10000 15000

40

06

00

80

0

ajuda federal para as estradas em mil USDco

nsu

mo

de

co

mbu

stí

ve

l p

or

ha

bita

nte



Continuacao

O modelo proposto e:

Yi = β0 + β1taxai + β2licencai + β3rendai + β4estradasi + ξi

ξiind.∼ N(0, σ2)



Ajuste do modelo


β0 377,29 185,54 2,03 0,0482

β1 -34,79 12,97 -2,68 0,0103

β2 1336,45 192,30 6,95 <0,0001

β3 -0,07 0,02 -3,87 0,0004

β4 -0,01 <0,01 -0,72 0,4780



Analise residual

●

● ●

●

●

● ●

● ●●

●

●

●●

●

●●

●●

● ●●

●

●

●

●

●● ●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

0 10 20 30 40

−2

02

4

Indice

Re

síd

uo

Stu

de

ntiza

do

●

● ●

●

●

●●

●●●

●

●

●●

●

●●

●●

● ●●

●

●

●

●

●●●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

400 500 600 700

−2

02

4

Valores Ajustados

Re

sid

uo

Stu

de

ntiza

do

●

−2

01

23

4

Re

sid

uo

stu

de

ntiza

do

●

● ●

●

●

●●

●●●

●

●

●●

●

●●

●●

●●●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

−2 −1 0 1 2

−2

02

4

Percentis da N(0,1)

Re

sid

uo

Stu

de

ntiza

do



Selecao de covariaveis

Usando-se os metodos: “backward”, “forward” e “stepwise”, via

AIC e BIC, eliminou-se apenas a variavel “estradas”.

Ajuste do modelo reduzido (sem a variavel “estradas”).


β0 307,33 156,83 1,96 0,0564

β1 -29,48 10,58 -2,79 0,0078

β2 1374,77 183,67 7,49 <0,0001

β3 -0,07 0,02 -4,00 0,0002



Analise residual: modelo reduzido

●

● ●

●

●

● ●●

●●

●

●

●●

●

●●

●●

● ●●

●●

●

●

●● ●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

0 10 20 30 40

−2

02

4

Indice

Re

síd

uo

Stu

de

ntiza

do

●

● ●

●

●

●●●

●●

●

●

●●

●

●●

●●

● ●●

●●

●

●

●●●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

400 500 600 700

−2

02

4

Valores Ajustados

Re

sid

uo

Stu

de

ntiza

do

●

−1

01

23

4

Re

sid

uo

stu

de

ntiza

do

●

● ●

●

●

●●

●●

●

●

●

●●

●

●●

●

●

● ●

●

●

●

●

●

●● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

−2 −1 0 1 2

−2

02

4

Percentis da N(0,1)

Re

sid

uo

Stu

de

ntiza

do



Comentarios

Quando as variaveis explicativas sao fatores (modelo ANOVA), e

tem-se um numero elevado deles, os metodos de selecao dinamicas

podem ser uteis.



Comentarios

Um procedimento de selecao de modelos e:

Utiliza-se um dos procedimentos para selecionar os fatores principais.

Ou seja, considera-se somente a possibilidade de inclusao ou nao dos

fatores principais.

Considerando-se os fatores principais selecionados, seleciona-se as

interacoes de primeira ordem (dos fatores selecionados).

Considerando-se os fatores principais e as interacoes de primeira

ordem, seleciona-se as interacoes de segunda ordem (relativas as

interacoes de primeira ordem selecionadas).

Repete-se o processo ate chegar-se ao modelo de maior nıvel de

hierarquia.



Exemplo 4

O espinhel de fundo e definido como um metodo de pesca passivo,

sendo utilizado em todo o mundo em operacoes de pesca de

diferentes magnitudes, da pesca artesanal a modernas pescarias

mecanizadas.

E adequado para capturar peixes com distribuicao dispersa ou com

baixa densidade, alem de ser possıvel utiliza-lo em areas irregulares

ou em grandes profundidades.

E um dos metodos que mais satisfazem as premissas da pesca

responsavel, com alta seletividade de especies e comprimentos, alta

qualidade do pescado, consumo de energia baixo e pouco impacto

sobre o fundo oceanico.Prof. Caio Azevedo (grande parte do material apresentado foi extraıdo do livro Modelos de regressao com apoio computacional do Prof. Gilberto A. Paula) http : //www.ime.usp.br/∼giapaula/texto 2013.pdf


Cont.

O conjunto de dados e relativo a parte dos dados de um estudo

sobre a atividade das frotas pesqueiras de espinhel de fundo

baseadas em Santos e Ubatuba no litoral paulista.

A especie de peixe considerada e o peixe-batata pela sua

importancia comercial e ampla distribuicao espacial.

Uma amostra de n = 156 embarcacoes foi analisada no perıodo de

1995 a 1999 sendo 39 da frota de Ubatuba e 117 da frota de Santos.

Consideraremos as variaveis: frota (Santos ou Ubatuba), ano (95 a

99), trimestre (1 ao 4) e cpue (captura por unidade de esforco,

kg/dias de pesca).



Cont.

Utilizando tal abordagem, o modelo selecionado contemplaria

apenas o fator “frotaf” (veja o programa).



Documents

Seleção e comparação de modelos - ime.unicamp.brcnaber/aula_Sel_Comp_Mod_IML.pdf · 0 5 10 15 20 25-2 0 2 4 6 Indice Resíduo Studentizado l l l l l l Sele˘c~ao e compara˘c~ao