Geometria dos mínimos Geometria dos mínimos quadradosquadrados

Renato Assunção

DCC-UFMG

Produção numa unidade da ItambéProdução numa unidade da Itambé

Y = óleo consumido no mesX1 = qte de acido graxo consumidoX2 = glicerina fabricadaX3 = numero de dias do mêsX4 = numero de dias operacionais X5 = Dias abaixo de 32 grausX6 = temperatura media do mes

Usando apenas Y=oleo e x=tempUsando apenas Y=oleo e x=temp

Gráfico de óleo x temperaturaGráfico de óleo x temperatura

Y = Óleo consumido

X = temperatura

Clara relação linear

Dados americanos aqui

Modelo de regressãoModelo de regressão

Cada valor Yi de oleo consumido e’ igual `a soma de dois componentes:– Um componente que e’ uma reta

desconhecida– Um erro (desconhecido) em relacao a esta

reta

Yi = β0 + β1 xi + εi

Onde xi e’ a temperatura no dia i

εi e’ o erro no dia i

Dos pontos para um sistema linearDos pontos para um sistema linear

DefiniçõesDefinições

Y e’ vetor em R25

X e’ matriz 25 x 2

Queremos Y ≈ Xβ

Ou então

Y = Xβ + ε onde ε e’ pequenoMas o que significa ter ε pequeno: e’ um vetor...

Operações matriciaisOperações matriciais

Operações matriciaisOperações matriciais

Em geral, temos:

OBS: SEMPRE INVERSIVEL SE OS x’s não forem todos iguais

Mais uma operaçãoMais uma operação

Retas demais, infinitas retasRetas demais, infinitas retas

Queremos uma reta que fique bem proxima de todos os pontos.

Uma reta que fica proxima de UM ÚNICO PONTO (digamos o i-esimo ponto) e’ uma reta em que

εi = Yi – ( β0 + β1 xi ) ≈ 0

Mas queremos que isto seja verdade para TODOS OS PONTOS.

Caminhando...Caminhando...Isto e’, queremos que εi = Yi – ( β0 + β1 xi ) ≈ 0 para todo i

Podemos então pedir que a soma de todos os | εi | ≈ 0.

Isto e’, pedir que Σi | εi | ≈ 0 (e’ sempre > 0).Uma solução: achar a reta que minimiza

Mínimos quadradosMínimos quadrados

Na verdade preferimos trabalhar com a soma dos QUADRADOS e não com a soma dos VALORES ABSLOUTOS

Encontre β0 e β1 que minimizem

A razão e’ que a função quadrática e’ derivável no seu ponto de mínimo

Quadrado ou valor absoluto?Quadrado ou valor absoluto?

Media amostral de vetor e’ o valor

A media amostral de x e’ o numero μ que minimiza

Quadrado ou valor absoluto?Quadrado ou valor absoluto?

Mediana amostral de vetor– Ordene os numeros.– Se n for impar, pegue o valor do meio.– Se n for par, pegue a media dos dois

centraisA mediana amostral de x e’ o numero

μ que minimiza

De equações para matrizDe equações para matriz

Pode-se mostrar que a solução de mínimos quadrados

Pode ser escrita de forma matricial como o vetor β = (XtX)-1 XtY

Esta forma pode ser generalizada e gera interpretação geométrica

Sejam eObserve que

E’ uma combinação linear das duas colunas x e 1 da matriz X

Matriz = maiúsculo e coluna =minúsculo

Procurando por ...Procurando por ...

Nosso problema então e’ encontrar a combinação linear das duas colunas da matriz X que minimiza a distancia entre os vetores Y e Xβ

E isto vale sempre, mesmo que tenhamos varios fatores preditivos!!

Vamos ver nosso exemplo com mais variáveis

Regressão múltiplaRegressão múltipla

Xb e’ uma combinação linear das colunas de X

Queremos minimizarQueremos minimizar

Espaço vetorial das colunas de X

O que queremos?O que queremos?

Queremos o vetor do espaco C(X) das colunas de X que seja o mais proximo de Y

Distancia = distancia euclidiana|Y – Xb|2 deve ser minimoEste vetor Xb que minimiza e’ a

projecao ortogonal de Y em C(X)E’ o único vetor Xb tal que Y-Xb e’

ortogonal a Xb

Espaço C(X) das colunas de X

Ddddddddddddddddddddd kkkkkkkkkkk

Equações normaisEquações normais

Assim, temos = 0 e portanto

E’ a solução.

β = (XtX)-1 XtY