29
Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade ([email protected] ) Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP: Piracicaba, 8-9/03/12

Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade ([email protected])[email protected] Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Embed Size (px)

Citation preview

Page 1: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Modelos Mistos Lineares e Não-Lineares

Dalton Francisco de Andrade([email protected])

Prof. Voluntário PPGEP/UFSC

LCE/ESALQ/USP: Piracicaba, 8-9/03/12

Page 2: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Modelos Mistos Lineares e Não-Lineares

Objetivo: Ensinar técnicas de análise de dados, usando modelos mistos.

Programa: Introdução aos modelos mistos: idéias básicas e exemplos em diferentes áreas. Os modelos mistos lineares: formulação, métodos de estimação/predição, testes de hipóteses e de ajuste dos modelos. Aplicações a dados reais contínuos e discretos. O enfoque dos modelos lineares hierárquicos(multiniveis). As diferentes estruturas de covariância induzidas por estes modelos. Os modelos mistos não lineares: formulação, métodos de estimação/predição, testes de hipóteses e de ajuste dos modelos. Aplicações a dados reais. Dados longitudinais e modelos da teoria da resposta ao item.Recursos computacionais: R, SPSS, SAS, HLM

Page 3: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução

Exemplo 1: SARESP – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (http://saresp.fde.sp.gov.br/2011) Dados: Exemplos1e4.xls

Yij : proficiência do aluno i do 5º ano da escola j em Língua Portuguesa

Yij = μ + εij , com εij ~ NID(0,σ2)

Variáveis de aluno: Sexo, Idade, NSE etc ...

Variáveis de escola: Dependência administrativa(pública,privada), Localização(urbana, rural), Área(Região da Capital,Interior), Capacitação da equipe pedagógica, Infraestrutura etc ...

Independência entre proficiências de alunos de uma mesma escola

Mesma variância dentro de escola

Page 4: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Inclusão de variáveis/efeitos de aluno:

Efeito fixo

Yij = β0 + β1NSEij + β2Sexoij + εij , com εij ~ NID(0,σ2)

Interpretação dos parâmetros/efeitos

Y: escala (250,50), escala SAEBSexo: 1=Feminino, 0=MasculinoNSE: variável continua (0,1)Métodos de estimação: Mínimos quadrados (MQ) Máxima verossimilhança(MV) Outros

Page 5: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Métodos de estimação: Mínimos quadrados (MQ)

Encontrar os valores dos parâmetros β’s que minimizam

Os parâmetros de dispersão são estimados a parte.Na forma matricial: Y = X β + ε (n x 1) (n x p) (p x 1) (n x 1)

Page 6: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Métodos de estimação: Máxima verossimilhança(MV)

Encontrar os valores dos parâmetros β’s e σ que maximizam

Mesmo dos MQ com n-p substituído por n no estimador da variância, fornecendo um estimador viciado.Resultados iniciais:

Page 7: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Inclusão de variáveis/efeitos de escola:

Efeito fixoYij = β0 + β1NSEij + β2Sexoij + β3

t ESC + εij , com εij ~ NID(0,σ2)

ESC : matriz C x (C-1), sendo C o número de escolas, cujas colunas são variáveis indicadoras das escolas.O modelo induz um intercepto para cada escola,

Yij = β0j + β1NSEij + β2Sexoij + εij , com εij ~ NID(0,σ2) e

β0j = β0 + β3j , β3C = 0

Obs: poderíamos incluir interações entre variáveis de alunos e entre variáveis de alunos e escolas, e também as variáveis específicas de escola

Page 8: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Inclusão de variáveis/efeitos de escola:

C em geral é muito grande. O interesse não seria em cada escola e sim na “variabilidade” entre escolas!!??

Efeito fixo e efeito aleatório (modelo misto)

Yij = β0 + β1NSEij + β2Sexoij + escj + εij , com εij ~ NID(0,σ2),

escj ~ NID(0,σ2esc) e independentes entre si.

Logo, Yij = β0j + β1NSEij + β2Sexoij + εij , com β0j = β0 + escj ,

Yij| escj ~ Normal (distribuição condicional)

Yij ~ Distribuição marginal

Page 9: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 1: (cont.)

Inclusão de variáveis/efeitos de escola:

Var(Yij) = σ2 + σ2esc , Cov(Yij, Yi’j) = σ2

esc e Cov(Yij, Yi’j’) = 0, estrutura uniforme dentro de escola e independencia entre escolas.

A quantidade σ2esc / (σ2 + σ2

esc) é a correlação intra-classe.

Mais resultados:

Voltaremos ao exemplo mais tarde!

Page 10: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Modelos Mistos Lineares e Não-Lineares: Introdução

Exemplo 2: Trinta e dois frangos de corte da linhagem Hubbard (13 fêmeas e 19 machos) foram alojados em dois boxes, separados por sexo e alimentados com a mesma ração comercial. As aves foram identificadas por um anel de alumínio numerado colocado em sua asa direita. Cada ave foi pesada semanalmente, durante um período de sete semanas, sendo as avaliações feitas sempre nos mesmos horários e dias da semana. O objetivo da pesquisa foi comparar os perfis médios de peso dos dois grupos.Fonte: Lima, C.G. Análise de curvas de crescimento de aves - um enfoque multivariado. Piracicaba, [Dissertação de mestrado] 1988. Dados: Exemplo2.xls

Page 11: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução – Exemplo 2: (cont.)

Modelagem inicial:Yikt: peso do frango i do sexo k=1(F) e 2(M) na semana t=1,2,...,7

Distribuição: Normal

E(Yikt) = μkt , Var(Yikt) = σ2kt e Cov(Yikt , Yikt’) = σtt’

1. Um modelo linear de efeito fixo para cada sexo

Fêmea: yiFt = β0F + β1FSit + εiFt , com εiFt ~ NID(0, σF2)

Macho: yiMt = β0M + β1MSit + εiMt , com εiMt ~ NID(0, σM2)

μkt = β0k + β1kSit, σ2

kt = σk2 e σtt’ = 0

Page 12: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução – Exemplo 2: (cont.)

Modelagem inicial:

2. Um único modelo linear de efeito fixo para ambos os sexos

Modelo anterior com σ2kt = σ2.

3. Comentários/Discussão sobre os modelos propostos

Resultados: Exemplo2.xls

Independência ??? Medida repetida ao longo das semanas !!!

Page 13: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 2: (cont.)

Modelagem inicial:

com

Diferentes estruturas podem ser assumidas/utilizadas para esta matriz. A mais simples, e utilizada na análise anterior, σ2 diag(1,1,...,1)

Page 14: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 2: (cont.)

Modelagem inicial:

Estimativas das correlações e das variâncias e covariâncias S1 S2 S3 S4 S5 S6 S7

S1 Pearson Correlation 1 0,828 0,419 0,373 0,163 0,066 0,013Covariance 102,06 189,62 234,86 267,65 88,14 50,25 10,83

S2 Pearson Correlation 1 0,675 0,647 0,552 0,443 0,267Covariance 513,59 848,95 1041,78 670,73 756,75 500,00

S3 Pearson Correlation 1 0,822 0,516 0,419 0,181Covariance 3077,58 3238,88 1536,90 1748,67 830,83

S4 Pearson Correlation 1 0,739 0,514 0,178Covariance 5040,44 2813,67 2746,83 1044,17

S5 Pearson Correlation 1 0,783 0,511Covariance 2879,47 3163,75 2268,33

S6 Pearson Correlation 1 0,876Covariance 5670,0 5460,0

S7 Pearson Correlation 1Covariance 6850,00

Fêmea

Page 15: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 2: (cont.)

Modelagem inicial:

Estimativas das correlações e das variâncias e covariâncias S1 S2 S3 S4 S5 S6 S7

S1 Pearson Correlation 1 ,872 ,770 ,668 ,484 ,367 ,406Covariance 222,37 359,74 472,39 654,04 851,40 731,35 992,57

S2 Pearson Correlation 1 ,882 ,681 ,441 ,359 ,367Covariance 765,09 1003,11 1237,27 1437,62 1326,81 1666,29

S3 Pearson Correlation 1 ,813 ,618 ,578 ,523Covariance 1690,84 2194,93 2995,74 3175,77 3528,30

S4 Pearson Correlation 1 ,797 ,748 ,681Covariance 4309,81 6168,96 6559,96 7334,50

S5 Pearson Correlation 1 ,923 ,875Covariance 13916,92 14555,32 16928,27

S6 Pearson Correlation 1 ,950Covariance 17867,93 20816,87

S7 Pearson Correlation 1Covariance 26876,02

Macho

Page 16: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 2: (cont.)

Modelagem inicial:

Ao não considerarmos dependência e/ou heterocedasticidade, podemos:1 ter problemas nas estimativas dos parâmetros e, em particular, nas

estimativas dos seus erros padrões;2. ter problemas nas comparações/testes de hipóteses. Por exemplo,

O ajuste de modelos introduzindo “diretamente” diferentes estruturas para a matriz de covariância pode exigir mais recursos/conhecimentos

Page 17: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 2: (cont.)

Modelagem inicial:

Modelos Fixo e Misto

Fixo: yikt = β0k + β1kTikt + β2kT2ikt + εikt , com εikt ~ NID(0, σ2)

Misto: yikt = β0ik + β1kTikt + β2kT2ikt + εikt , com εikt ~ NID(0, σ2) e

β0ik = β0k + u0k , com u0k ~ NID(0, σ20) e independente de εikt ,

induzindo uma medida de dependência entre as observações de um mesmo frango ao longo do tempo.

Voltaremos ao exemplo mais tarde!

Page 18: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Modelos Mistos Lineares e Não-Lineares: Introdução

Exemplo 3: Estudo para avaliar o crescimento de árvores de eucalipto, medido pelo volume sólido com casca(m3/ha). As medidas de volume foram feitas aos 3, 4, 5 e 9 anos de idade das árvores. O estudo foi planejado segundo um experimento em quatro blocos completos com quatro tratamentos (duas espécies e dois espaçamentos). Fonte: Ogliari, P. J. and Andrade, D. F. (2001). Analysing longitudinal data via nonlinear models in randomized block designs. Computational Statistics & Data Analysis 36, 319- 332.

Dados: Exemplo3.xls

Page 19: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução – Exemplo 3: (cont.)

Modelagem inicial:Yikjt: volume(m3/ha) da unidade experimental i do tratamento k no bloco j no tempo t

Yikjt = f(tratamento, tempo, bloco) + εikjt , com εikt ~ NID(0, σ2)

Uma única curva de crescimento Gompertz sem efeito de bloco,

Inclusão do efeito de blocos: fixo/aleatório, aditivo/multiplicativoDependência entre observações ao longo do tempo

Alguns resultados

Voltaremos ao exemplo mais tarde!

Page 20: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução

Exemplo 4: SARESP – Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (http://saresp.fde.sp.gov.br/2011) Dados: Exemplos1e4.xls

Yij : Nível de proficiência do aluno i do 5º ano da escola j em Língua Portuguesa

Yij = 1 se proficij ≥ 200 0 se proficij < 200

Yij ~ Bernoulli(πij)

E(Yij) = πij e Var(Yij) = πij (1 - πij)

Page 21: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 4: (cont.)

Na prática são considerados até quatro níveis:

Abaixo do básico: Profic < 150Básico: 150 ≤ Profic < 200Adequado: 200 ≤ Profic < 250Superior: Profic ≥ 250

Como modelar ??

Yij = β0 + β1NSEij + β2Sexoij + εij , com εij ~ NID(0,σ2)

Logito: Função de ligação

Page 22: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 4: (cont.)

Logito: Função de ligaçãoFazendo com que

Interpretação dos parâmetros

Page 23: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 4: (cont.)

Inclusão de variáveis/efeitos de escola:

Efeito fixo e efeito aleatório (modelo misto)

com uj ~ NID(0 , σ2esc), fazendo com que

Yij | πij ~ Bernoulli(πij)

E(Yij | πij) = πij e Var(Yij | πij ) = πij (1 - πij)

Logito(πij) ~ Normal e πij ~ logistica-normal

Alguns resultados

Voltaremos ao exemplo mais tarde!

Page 24: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução

Exemplo 5: Estudo, em condições de laboratório, do efeito do milho transgênico MON810 nos parasitóides Trichogramma pretiosum Riley, 1879 e T. galloi Zucchi, 1988 em ovos de S. frugiperda provenientes de insetos sobreviventes das plantas modificadas.O interesse principal é determinar se existe diferença entre os parasitóides Trichogramma pretiosum, quando a praga Spodopera frugiperda foi alimentada com o milho convencional, milho transgênico e com os dois tipos de milho conjuntamente, em relação a porcentagem de ovos parasitados, porcentagem de ovos que apresentaram sinais de emergência, número de parasitóides adultos, a proporção de fêmeas dos parasitóides adultos e a longevidade.

Page 25: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 5: (cont.)

O estudo realizado é proveniente do delineamento inteiramente casualizado, sendo que cada tipo de milho (tratamento) tem 40 repetições, em cada repetição contém 40 ovos da praga Spodopera frugiperda. No primeiro projeto foram realizados 5 bioensaios, o primeiro contendo apenas dois tratamentos (milho transgênico e milho convencional) e os demais bioensaios contendo três tratamentos (milho transgênico, milho convencional e a mistura entre os dois milhos); no segundo projeto os ovos da praga Spodopera frugiperda foram submetidos aos tratamentos (milho transgênico, convencional e a mistura entre os dois tipos de milho) e analisados no quinto bioensaio.Fonte: Borgatto, A. F. Relatório de Análise Estatística. UFSC.

Page 26: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 5: (cont.)

Dados: Exemplo5.xls

Yikj : Número de ovos com sinal de emergência na repetição i, tratamento k e bioensaio j

Yikj ~ Bin(πikj)

E(Yikj) = n ikj π ikj e Var(Yij) = n ikj π ikj (1 - π ikj )

Alguns resultados

Voltaremos ao exemplo mais tarde!

Page 27: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução

Exemplo 6: Estudo em blocos casualizados com quatro blocos, realizado no periodo de julho de 1997 a outubro de 1998 no Departamento de Fitotecnia da Esalq. O objetivo foi o de avaliar substratos que pudessem ser utilizados na substituição de xaxim no cultivo de bromélias (aechma fasciata) em vaso. Uma variável avaliada foi o número de folhas de oito plantas de Bromélias, em seis instantes no tempo que correspondem a 5, 173, 229, 285, 341 e 435 dias após o plantio. Os 15 substratos usados eram combinações de algum material, sempre na companhia de turfa e perlita, em diferentes proporções. Nesta análise serão considerados somente cinco substratos, a saber:

Page 28: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 6: (cont.)

Trat1: Substrato 1 – Casca de Pinus + turfa + perlita

Trat2: Substrato 2 – Casca de Eucaliptos + turfa + perlita

Trat3: Substrato 3 – Coxim + turfa + perlita

Trat4: Substrato 4 – Fibra de coco + turfa + perlita

Trat5: Substrato 5 – Xaxim + turfa + perlita

Fonte: Araujo, A. M. S. (2006). Modelos não lineares para dados de contagem longitudinais. Tese de Doutorado. ESALQ/USP.

Page 29: Modelos Mistos Lineares e Não-Lineares Dalton Francisco de Andrade (dandrade@inf.ufsc.br)dandrade@inf.ufsc.br Prof. Voluntário PPGEP/UFSC LCE/ESALQ/USP:

Introdução - Exemplo 6: (cont.)

Dados: Exemplo6.xls

Yikjt : número de folhas de oito plantas de Bromélias no vaso i, tratamento k, bloco j e tempo t.

Yikjt ~ Poisson(λkjt)

E(Yikjt ) = Var(Yikjt ) = λkjt

Voltaremos ao exemplo mais tarde!