View
228
Download
0
Category
Preview:
Citation preview
Método dos Mínimos Quadrados
com ênfase em variâncias e com recursos matriciais
(13/2/2014)
Otaviano Helene Curso de extensão universitária, IFUSP, fevereiro/2014
Baseado no livro Método dos Mínimos Quadrados com Formalismo Matricial, LF Editorial, 2ª. edição, 2013
http://livrommq.blogspot.com.br/
Problema sem solução
m0 60 kg m0+f0 65 kg f0 4 kg
m=60 m+f=65 SISTEMA INCONSISTENTE f=4
Quanto pesam criança e mãe?
2 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
I – Solução do MMQ
• Procurar valores de m e f que minimizem
222 )4()65()60(),( ffmmfmQ
3 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Valores de Q para diferentes valores de m e f
222 )4()65()60(),( ffmmfmQ
4 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Mãe, m (kg)
Filho,
f (kg)
58 59 60 61 62
3,5 16,5 7,5 2,5 1,5 4,5
4,0 13,0 5,0 1,0 1,0 5,0
4,5 10,5 3,5 0,5 1,5 6,5
5,0 9,0 3,0 1,0 3,0 9,0
5,5 8,5 3,5 2,5 5,5 12,5
Outro exemplo medidas de um quadrado
• Lado do quadrado: l=10 cm
• Área do quadrado: a=120 cm2
• Perímetro: p=35 cm
Evidentemente, inconsistentes
2222 )354()120()10()( llllQ
5 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
O “melhor” valor para l é 10,9 cm
0100200300400500600700800900
1000
9 10 11 12 13
l (cm)
Q(l)
6 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Solução analítica
• Quando os dados dependem linearmente dos parâmetros a serem ajustados, há uma solução analítica para os valores que minimizam Q. Exemplo
• m 60
• m+f 65
• f 4
222 )4()65()60(),( ffmmfmQ
7 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
222 )4()65()60(),( ffmmfmQ
0
0
~,~
~,~
fm
fm
f
Q
m
Q
0)4~
(2)65~(2
0)65~~(2)60~(2
ffm
fmm
Os valores ajustados têm um til
8 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
692~125
~~2
fm
fm
69
125~
~
21
12
f
m
Escrevendo na forma de matrizes
3,4
3,60
69
125
21
12~
~ 1
f
m
9
A menos de arredondamento, são os mesmo valores obtidos numericamente acima
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Vamos nos restringir ao caso linear.
• O caso não linear é uma aproximação, e algumas propriedades ótimas do MMQ não são válidas. Deixaremos isso para o fim.
10 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Sobre o MMQ
• 1) O MMQ é mais geral do que se pensa. Ele não serve apenas para “ajustar funções”, os dados não precisam obedecer a distribuições normais e pode haver dependência entre eles. (A Wikipédia em português está errada!)
• 2) O MMQ tem limitações que nem sempre são consideradas (p. ex., nos casos em que há erro na “variável dependente” ou a relação entre dados e parâmetros não é linear).
11 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
II – O desvio padrão e alguns exemplos de ajustes de parâmetros
• Há caso em que alguns dados são mais precisos do que outros.
• Exemplos: como combinar medidas com instrumentos diferentes (paquímetro e régua); medidas de uma mesma grandeza com técnicas diferentes (aceleração da gravidade por queda livre ou por oscilação de pêndulos); medidas feitas por pessoas com habilidades diferentes (estudantes e pesquisadores experientes) ...
12 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Aprendendo o que fazer com medidas equivalentes
• x1, x2 e x3 três medidas equivalentes (mesmos procedimentos, equipamentos, experimentadores, condições externas ...). O melhor resultado (veremos em breve o que “melhor” quer dizer) é uma média simples:
3
321 xxxx
13 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
• Suponha, agora, que x2 e x3 tenham sido combinados,
14
2
323,2
xxx
e não saibamos mais seus valores, apenas o valor médio x2,3. Como combiná-lo com x1? Como x2,3 foi calculado usando dois dados, é razoável que ele tenha peso 2. Portanto, a média deve ser
xxxxxx
x33
23213,21
3,2;1
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
O peso deve refletir a precisão de um dado. Esse dado pode ser o resultado de várias medições, uma média, o resultado
de um ajuste ...
• O peso é proporcional ao inverso da variância: 1/σ2.
• σ2 é a variância e σ é o desvio padrão.
• σ é uma medida de quanto um valor flutua em torno do valor verdadeiro da grandeza medida.
• Exemplo: σrégua≈0,3 mm; σpaquímetro≈0,05 mm
15 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Como saber o valor de σ?
• O fabricante de um equipamento pode informar
• Fazendo várias medidas de uma mesma grandeza
• Estudando as propriedades físicas do processo
• Conhecimento anterior
• σ é o d.p.; σ2 é a variância
16 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Estimando o d.p. I - Muitas vezes, precisamos estimar o d.p. a partir de medidas independentes de uma mesma grandeza, p. ex., x1, x2, x3 ... xn. Neste caso, o desvio padrão de cada dado é estimado por
17
n
ii xx
n 1
22
1
1
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
II – O desvio padrão da média de n dados independentes é
III – Eventos contáveis, como o número de decaimentos de uma fonte radioativa (distribuição de Poisson). Se N eventos forem observados, σ2≈N.
IV – Por experimentos anteriores, conhecemos muito bem o d.p.
18
nmédia2
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
No que segue:
• Vamos nos restringir ao caso em que os parâmetros a serem ajustados dependem linearmente do dados.
• Vamos supor conhecidos os desvios padrões.
• Abrir mão dessas limitações têm consequências que veremos mais adiante.
19 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Dois exemplos
• 1 – Consumo de combustível: gc e ge (litros/km)
20
distância percorrida (km)
consumo (l)
cidade estrada 100 200 28 300 100 43 400 0 49
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
a equação do MMQ
21
22
2
)49400()43100300(
)28200100(),(
cec
ecec
ggg
ggggQ
Derivando em relação a gc e ge, igualando a zero
99~500~500
353~500~2600
ec
ec
gg
gg
Solução:
kmlg
kmlg
e
c
/ 077,0~
/ 12,0~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• 2 – Ajuste dos parâmetros da função y=a·x2+b·x3 aos dados abaixo
22
x y -1 3,9 0 -1,6 1 1,4 3 -15
232),( iii bxaxybaQ
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Derivando em relação a a e b ...
23
iiiiii
iiiiii
yxxxbxxa
yxxxbxxa
33323
23222
~~
~~
4,1~
6,2~
b
a
Solução
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
24 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
• Essa forma estranha de escrever é pelo seguinte
25
A função é y=a·x2+b·x3
iiiiii
iiiiii
yxxxbxxa
yxxxbxxa
33323
23222
~~
~~
iiiiii
iiiiii
yxxxbxxa
yxxxbxxa
33323
23222
~~
~~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Isso facilita as coisas
y=a0 f+b0 g+c0 h+..., f, g, h... são valores conhecidos e a0, b0, c0 ... parâmetros a serem ajustados.
26
n
i i
iiii chbgafycbaQ
12
2...
,...),,(
c
b
a
hhghf
hgggf
hfgff
yh
yg
yf
i
i
i
ii
i
ii
i
ii
i
i
i
ii
i
ii
i
ii
i
i
i
ii
i
ii
i
ii
~
~
~
2
2
22
22
2
2
222
2
2
2
2
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Suponha que o tempo verdadeiro a ser medido seja de 2s
• Suponha que haja um medidor de tempo não tendencioso que meça os valores abaixo com as probabilidades indicadas:
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
27
Pequena digressão sobre tendenciosidade Primeiro exemplo
resultado probabilidade 1,8 s 25% 2,0 s 50% 2,2 s 25%
• Um dado obtido pode ser 1,8s, 2,0s ou 2,2s. • Ex. de alguns dados possíveis: 1,8, 2,2, 2,2, 2,0. A
média – que será adotada como resultado, pois o experimentador não sabe que as probabilidades são aquelas – será (1,8+2,2+2,2+2,0)/4=20,5s. Fazer isso garante a não tendenciosidade das medidas de tempo.
• Não tendenciosidade significa que se essa medida for repetida indefinidamente, a média será 1,8×0,25+2,0×0,50+2,2×0,25=2,0, que é o valor verdadeiro.
• Conclusão: o tempo é medido de forma não tendenciosa
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
28
• Mas...
Suponha que alguém meça a aceleração da gravidade por queda livre, de um altura de 20m e, para simplificar, suponha que o valor verdadeiro seja g=10m/s2, a velocidade inicial seja nula e a posição inicial, idem. Ou seja,
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
29
2
2 2ou
2
1
t
sgtgs
• Suponha, agora, que aquele mesmo processo seja usado para medir o tempo:
• Os resultados de g serão estes, com as probabilidade indicadas:
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
30
resultado probabilidade g (m/s2)
1,8 s 25% 12,35
2,0 s 50% 10,00
2,2s 25% 8,26
• Essa é uma medida tendenciosa de g, pois 12,35×0,25+10,00×0,50+8,26×0,25=10,15m/s2. Origem da tendenciosidade: relação não linear entre o dado e o parâmetro
• Dez medidas não tendenciosas das massas do líquido no recipiente e do recipiente vazio.
• As diferenças são os dados correspondentes ao líquido apenas
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
31
Dados (g) Dados (g) Diferenças (g)
2,56 1,41 1,15
1,22 2,96 -1,74
3,51 1,91 1,60
3,9 1,74 2,16
4,09 1,84 2,25
2,38 1,84 0,54
2,27 0,67 1,60
3,78 2,25 1,53
2,58 3,05 -0,47
3,99 0,76 3,23
• Segundo exemplo – medida da massa de um liquido em um recipiente
• Se as medidas de massa são não tendenciosas, então as diferenças também não o são.
• A média das diferenças também não é tendenciosa. Essa média é 1,19 g.
• Entretanto, se os dados “não físicos” (massas negativas) forem descartados, a média, que será 1,76 g, será tendenciosa. A tendenciosidade surge por causa de um procedimento inadequado do experimentador: os valores negativos são não físicos, mas estatisticamente necessários!
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
32
III – Variâncias • Função densidade de probabilidade (fdp)
33
0
0,025
0,05
0,075
0,1
0 5 10 15 20
x - variável Fun
ção
den
sid
ade
de
pro
bab
ilid
ade
intervalo)( dxxfP
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
34
dxxfxxxxx )()()( 20
20
2
dxxfxxx )(0
sendo
A variância mede a dispersão da grandeza e pode ter significado físico ou informação
estatisticamente relevante
Muitas vezes, a fdp é conhecida. Ex: Maxwell; lorentziana; uniforme...
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Ex. Sabemos que a fdp é gaussiana, ou lorentziana etc., mas não conhecemos algum parâmetros
• Gaussiana: Conhecemos σ e desconhecemos x0.
35
Outras vezes conhecemos a forma e algum parâmetro da fdp e desconhecemos outro(s)
220 2/)(
)(xx
eAxf
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Podemos conhecer (ou estimar muito bem) a variância a partir de experimentos anteriores e, no experimento em questão, só precisamos estimar x0
36 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Covariâncias
37
2121022011
02201121
),(
),cov(
dxdxxxfxxxx
xxxxxx
x1
x2
f(x1,x2)
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Representando variâncias e covariâncias
38
2
21
2
2
221
121
2
1
)cov()cov(
)cov()cov(
)cov()cov(
nnn
n
n
yyyy
yyyy
yyyy
YV
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Propagação de variâncias – uma função de uma variável
• z é uma função que depende de y, z(y). Se expandirmos z até primeira ordem em torno de y0
39
)()()( 00
0
yydy
dzyzyz
y
)()()()( 0000
0
yzyydy
dzyzyzz
y
então
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
pois <y>=y0
• A variância de z pode ser calculada assim:
40 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Propagação de matrizes de covariância
• Repetindo o procedimento com mais funções e mais variáveis
z1(y1,y2,...yn), z2(y1,y2,...yn), ... zm(y1,y2,...yn),
são m funções de n variáveis:
41 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
42
tDVDV YZ
n
mmm
n
n
y
z
y
z
y
z
y
z
y
z
y
z
y
z
y
z
y
z
00201
0
2
02
2
01
2
0
1
02
1
01
1
D
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 1
• Lados de um retângulo: y1=105 (4), y2=48 (3)
43
90
016V
• Variância do perímetro, z=2(y1+y2)
2221 yzyzD
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
fazendo as contas ..
44
)100(2
2
90
01622zV
o desvio padrão do perímetro é
10100z
Perímetro é 306 (10) ou 306±10
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 2 • Variância da área z=y1×y2. Neste caso não
linear, a variância é aproximada
45
105481221 yyyzyzD
área = 5040 (368)
)136089(105
48
90
01610548zV
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 3
• Perímetro e área, z1=2(y1+y2), z2=y1·y2. Variância e covariância
46
10548
22
2212
2111
yzyz
yzyzD
1360893426
3426100
1052
482
90
016
10548
22V
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• As variâncias do perímetro e da área aparecem na diagonal e a covariância entre ambas, fora da diagonal
47
Perímetro = 306±10 Área = 5040±368 Covariância = 3426
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 4
48
Ajuste dos parâmetros de uma reta y=a+bx (mais adiante, veremos como estimar a matriz de covariância dos parâmetros ajustados).
x y
-2 2,9
-1 0,2
0 0,6
1 -0,7
2 -3,6
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
0,20 0
0 0,10
49
Matriz de covariância dos parâmetros ajustados
Variâncias em interpolações yint=aaj+bajx
)10,020,0(1
10,00
020,01)( 22 x
xxy
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
50
Incertezas nas interpolações e extrapolações
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Covariâncias entre valores interpolados ou extrapolados:
51
t
b
a
b
a
yyx
x
x
x
ba 1
1
10,00
020,0
1
1V
2
2
10,020,010,020,0
10,020,010,020,0
bba
baayy
xxx
xxxba
V
Valores interpolados ou extrapolados são cavariantes; são correlacionados uns com os outros. Isso é importante.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
52
Exemplo da relevância da correlação entre valores interpolados: cálculo da incerteza de Δy=ya-yb
]10,02)(10,0[
1
1
10,020,010,020,0
10,020,010,020,011)(
22
2
22
baba
bba
baay
xxxx
xxx
xxx
Se xa=xb, evidentemente a incerteza em Δy será nula, como esperado.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Fontes de covariância
• Cálculos a partir de valores ajustados
• Medidas com um mesmo equipamento (a incerteza do equipamento afetará todos os dados igualmente), Ex: régua, aceleradores
Não confundir covariância com erro sistemático
Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014 53
IV a – Equações do MMQ com matrizes
• As equações do MMQ escritas de forma matricial são mais simples do que na forma tradicional. Como isso só ficará totalmente claro daqui a pouco, peço alguma paciência.
54 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Peso mãe e criança
m0 60 kg m0+f0 65 kg f0 4 kg
m=60
m+f=65 SISTEMA INCONSISTENTE, POIS HÁ ERROS
f=4
55
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
m0, f0 valores verdadeiros (e desconhecidos) das massas
e1 etc. erros de medida. Essas equações podem ser escritas como
56
30
200
10
4
65
60
efkg
efmkg
emkg
3
2
1
0
0
10
11
01
4
65
60
e
e
e
f
m
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Atenção: erro= diferença entre valor verdadeiro e valor experimental.
• Não confundir erro com desvio padrão
• Erro é desconhecido (desvio padrão é conhecido)
57 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Parâmetros de uma reta
x1 y1
x2 y2
x3 y3
58
xbay 00
33003
22002
11001
exbay
exbay
exbay
3
2
1
0
0
3
2
1
3
2
1
1
1
1
e
e
e
b
a
x
x
x
y
y
y
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
59
y a x a x a x e
y a x a x a x e
y a x a x a x e
m m
m m
n n n m nm n
1 01 11 02 12 0 1 1
2 01 21 02 22 0 2 2
01 1 02 2 0
...
...
...
nmnmnn
m
m
n e
e
e
a
a
a
xxx
xxx
xxx
y
y
y
2
1
0
02
01
21
22221
11211
2
1
Notem: as equações são lineares nos parâmetros (m0, f0, a0, b0).
Caso geral,
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
60
nmnmnn
m
m
n e
e
e
a
a
a
xxx
xxx
xxx
y
y
y
2
1
0
02
01
21
22221
11211
2
1
eAXY 0
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Escr
eve
nd
o o
pro
ble
ma
61
eAXY 0
O que precisamos minimizar:
V é a matriz de covariância dos dados Quando não há covariância entre os dados, essa expressão se reduz à
n
i i
iiii chbgafycbaQ
12
2...
,...),,(
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
A)X(YVA)X(YAt 1)(Q
• Derivando Q(A) em relação a cada um dos parâmetros e igualando a zero obtemos o valor ajustado,
62
YVXX)V(XA1t11t~
Estimativa dos parâmetros pelo MMQ
Vamos chamar o valor ajustado de Ã. Ele é dado por
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
, ...m , ja
Q
j
21 , 0
Exemplo 1: pesos, mãe e filho
• Vamos supor que todos os desvios padrões sejam iguais a 1 (V=matriz identidade de ordem n=3) e não haja covariância entre os dados
63
3
2
1
0
0
10
11
01
4
65
60
e
e
e
f
m
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
64
10
11
01
X
YVXX)V(XA1t11t~
3
2
1
0
0
10
11
01
4
65
60
e
e
e
f
m
3,4
3,60~A
Evidentemente, o mesmo resultado que havíamos
obtido usando o procedimento tradicional
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
4
65
60
Y
100
010
001
V
y1=a0+box1+e1
y2=a0+box2+e2
y3=a0+box3+e3
y4=a0+box4+e4
y5=a0+box5+e5
65
Exemplo 2: parâmetros de uma reta
x y
-2 1,8
-1 0,4
0 -4,2
2 -7,5
5 -10,8
y=a0+box
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
51
21
01
11
21
X
8,10
5,7
2,4
4,0
8,1
Y
10000
01000
00100
00010
00001
V
66
YVXX)V(XA1t11t~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
85,1
57,2Ã
a) y1 e y2 com mesmos desvios padrões σ:
• y1= yo+ e1
• y2= yo+ e2
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
67
Exemplo 3: média de dois dados
1
1X
YVXX)V(XA1t11t~
2
2
0
0V
2
1
y
yY oy0A
eAXY 0
2
~ 21 yyy
b) y1 e y2 com desvios padrões diferentes:
• y1= yo+ e1
• y2= yo+ e2
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
68
1
1X
YVXX)V(XA1t11t~
2
1
y
yY oy0A
eAXY 0
22
21
222
211
11
~ yyy
69
IV b – Variâncias e covariâncias dos parâmetros ajustados
YVXX)V(XA1t11t~
Como à depende de Y, sua matriz de covariância depende da matriz de
covariância de Y. Vamos calcular isso por propagação.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Portanto,
70
YVXX)V(XA1t11t~
1t11t
AVXX)V(XD
n
mmm
n
n
y
A
y
A
y
A
y
A
y
A
y
A
y
A
y
A
y
A
21
2
2
2
1
2
1
2
1
1
1
~
11t
AAAX)V(XDVDV
t~~~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
71
11t
AX)V(XV~
YVXX)V(XA1t11t~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
72
tDVDV YZ
11t
AX)V(XV~
YVXX)V(XA1t11t~
eAXY 0
Quatro equações básicas
Exemplo 1: pesos, mãe e filho
Vamos supor que todos os desvios padrões sejam iguais a 1 e não haja covariância entre os dados
73
3
2
1
0
0
10
11
01
4
65
60
e
e
e
f
m
1
V
100
010
001
10
11
01
X
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
74
11t
AX)V(XV~
67,033,0
33,067,0~A
V3,4
3,60~A
m 60,3±0,8 kg f 4,3±0,8 kg Covariância (m,f)= - 0,33
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 2: Consumo de combustível: gc e ge (litros/km)
75
distância percorrida (km)
consumo (l)
cidade estrada 100 200 28 300 100 43 400 0 49
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Vamos supor que V seja
uma matriz identidade,
76
ee
c
g
g
0400
100300
200100
49
43
28
1
V
100
010
001
YVXX)V(XA1t11t~
4~ 10
248,0048,0
048,0048,0
077,0
12,0~
AV
A
11t
AX)V(XV~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Consumo em quilômetros/litro?
yc=1/gc=8,27km/l , ye=1/ge=13,0km/l
77
ty DVDV
2
2
10
01
e
c
e
e
c
e
e
c
c
c
g
g
g
y
g
y
g
y
g
y
D
0.703 0.055-
0.055- 0.022yV
yc=(8,27±0,15) km/l ye=(13,0±0,15) km/l
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Vale a pena insistir: resumo
Em nenhum momento foi feita qualquer hipótese quanto a forma da função densidade de probabilidade
dos dados. 78
YVXX)V(XA1t11t~ 11t
AX)V(XV~
eAXY 0
Relação linear entre dados e parâmetros
A matriz de covariância dos dados deve ser conhecida (os erros são desconhecidos)
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
V – Teste de qui-quadrado (χ2)
• O teste de qui-quadrado é muito utilizado em ciências experimentais. Mas ele nada tem a ver com o Método dos Mínimos Quadrados.
• Para que o teste de χ2 seja utilizado (na forma que segue) é necessário que os dados obedeçam distribuições gaussianas (o que o MMQ não exige) e que conheçamos seus desvios padrões.
• Risco de confusão do teste com o MMQ.
79 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Definição 1 – Comparação com valor verdadeiro
80
n
i y
ii
i
yy
12
2
02
onde yi representa os dados experimentais, y0i os valores que se pretende testar, σyi os desvios padrões dos dados e não haja covariâncias entre diferentes dados.
No que segue vamos supor que os dados experimentais obedeçam a f.d.p.s gaussianas, centradas nos valores verdadeiros
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Valor esperado: <χ2>=n e seu desvio
padrão é igual a
81
y. de variânciaa
e medida grandeza da dadeiro valor vero realmente
for se a ligua é de esperado valor o fato, De
. de ordem da é Portanto,
. de ordem da é de absoluto valor O
2
02
12
2
02
0
i
i
i
y
i
n
i y
ii
yii
yn
nyy
yy
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 1
Algumas meias-vidas e valores previstos por uma teoria (ou hipótese, ou modelo...) aparecem abaixo. Vamos testar a teoria
82
Valor experimental
Previsto pela teoria
(yi-y0i)2/σi
2
222±18 235 0,5
211±17 233 1,7
837±47 780 1,4
123±12 108 1,6
182±12 170 1,0
χ2=6,2. Como o valor esperado é 5, desvio padrão 3,2, os valores previstos pela teoria não discordam dos experimentos. Não devemos rejeitar a hipótese que a teoria esteja correta
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo 2 – Teste de um produto Outra teoria/modelo/hipótese –
83
“Peso” esperado “peso” medido
(d.p.) diferença/dp Res.
quad.
100 g 98,2 (1,0) g 1,8 3,2
200 g 197,7 (1,5) g 1,6 2,6
500 g 497,0 (2,0) g 1,7 3
1,00 kg 0,980 (0,012) kg 1,7 2,7
2,00 kg 1,980 (0,012) kg 1,7 2,8
3,00 kg 2,975 (0,015) kg 2,1 4,3
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Χ2=18,6 . Valor esperado: 6,0; σχ2=3,6.
• O que concluir? O produto está falsificado?
• P(Χ2>18,6)=0,5%.
84
0
0,02
0,04
0,06
0,08
0,1
0,12
0,14
0,16
0 5 10 15 20
Função densidade de probabilidade de qui-quadrado com 6 graus de liberdade
P
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Definição 2 – Comparação com valores ajustados
85
n
i y
ii
i
yy
12
22
~
n
i y
ii
i
parâmetrosyyparâmetrosQ
12
2)(
)(
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
86
Valor esperado: <χ2>=n-m, m parâmetros.
Desvio padrão igual a
Exemplo: ajuste de parâmetros de uma reta y(x)
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
n
i i
ii xbay
12
2
2
~~
87 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
88 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
89 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Exemplo com os ajustes acima
Dados experimentais: n=11; Parâmetros (y é uma parábola): m=3. Portanto, <χ2>=n-m=8 com desvio padrão
Se tudo estiver bem, esperamos que o qui-quadrado observado não seja muito diferente de 8, sendo a diferença não muito maior do que 4.
90
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
4)(2 mn
91
qui-quadrado
observado
P(χ2>valor
observado)
6,6 – próximo ao
esperado
58%
0,7 – muito menor
que o esperado
99,95%
130 – muito maior
que o esperado
zero
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
92
Diagnósticos 58% - Não podemos rejeitar a hipótese que tudo esteja em ordem 99,95% - Desvios padrões dos dados superestimados ou há covariâncias entre os dados não consideradas 0% - Os desvios padrões dos dados estão errados (subestimados ou há covariâncias); ou a função modelo está errada; ou houve problemas durante os experimentos.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Definição geral incluindo covariâncias
• Não confundir com a Q do MMQ
• Teste de qui-quadrado: dados precisam ser gaussianos
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
93
)AX(YV)AX(Yt ~~ 12
VI – Estimando as variâncias um breve capítulo
1) Se os dados são independentes, todos têm o mesmo desvio padrão e xi, i=1, 2, ...n, são n dados correspondentes a medidas de uma mesma grandeza,
94
n
ii xx
n 1
22
1
1
é uma estimativa não tendenciosa da variância de cada dado. Lembrete:
nmédia
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
2) Muitas vezes conhecemos a variância de um conjunto de dados a partir de experiências anteriores, ou de informações do fabricante de um equipamento.
3) Há casos nos quais o desvio padrão pode ser estimado com base em razões físicas ou estatísticas. Por exemplo, eventos que obedecem a uma distribuição de Poisson com média a têm desvio padrão,
95
aMétodo dos Mínimos Quadrados, IFUSP,
fevereiro/2014
4) Como <χ2>=n-m, se todos os dados de um experimento têm o mesmo desvio padrão e são estatisticamente independentes, a variância de cada dado por ser estimada por
96
mn
observado2
2
onde o valor de qui-quadrado é o resultado observado correspondente ao ajuste de m parâmetros e considerando σ=1. (O item (1) acima é um caso particular deste.)
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
5) Se houver dois conjuntos de dados de medidas de duas grandezas diferentes, digamos n dados x1, x2, ... xn e m dados y1, y2, ... ym, com desvios padrões iguais e σx e σy forem estimativas desses desvios padrões, então
97
é uma estimativa (melhor) da variância dos dados.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
2
)1()1( 22
2
mn
mn yx
VII – Algumas propriedades do MMQ e o TCL
(a) Não tendenciosidade
• O que se espera em ciências experimentais é que se y é uma medida de uma grandeza (um dado, uma média, o resultado de um ajuste...), seu valor esperado seja igual ao valor verdadeiro da grandeza,
98
0yy
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• O MMQ é não tendencioso quando os dados também são não tendenciosos
Se yi representa os dados e <yi>=y0i, como yi=y0i+ei , onde ei é o erro, então <ei>=0.
Vamos ver como fica o valor esperado de parâmetros ajustados pelo MMQ:
99
YVXX)V(XA1t11t~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
O valor esperado de à é
100
eAXY 0
YVXX)V(XA1t11t~
Como os dados se relacionam com os parâmetros na forma
00 AXeAXY
então
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
portanto,
101
01t11t
1t11t
AXVXX)V(X
YVXX)V(XA~
0AA~
Conclusão: se os dados não são tendenciosos, os parâmetros ajustados pelo MMQ também
não serão tendenciosos
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
(b) Mínima variância
• Entre todas as estimativas de parâmetros que dependem linearmente dos dados e que não sejam tendenciosas, o MMQ fornece aquelas com menor variância
• Exemplo: dois dados com mesmo desvio padrão σ e não covariantes. O resultado do MMQ é
102
2
21 xxx 2/22
x
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Outra estimativa geral, linear nos dados e não tendenciosa:
103
21 )1( xaaxx
Qual valor de a leva à menor variância dessa estimativa?
x a a2 2 2 21( ( ) )
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Derivando em relação à a e igualando a zero, obtemos:
104
2
21 xxx
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
que é o resultado do MMQ:
(c) O Teorema Central do Limite
• Exemplo: médias de dados uniformemente distribuídos entre zero e um.
Um só dado
105
0
2
4
6
8
10
a
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• Média de dois, quatro e oito dados
106
0
2
4
6
8
10
12
b
0
5
10
15
20
d
0
5
10
15
c
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
• O TCL garante que
107
xx x xn n
n
1 12
2 22 2
12
22 21 1 1
tende uma gaussiana com desvio padrão igual a 1, quaisquer que sejam as f.d.p.s dos dados
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
O TCL no contexto do MMQ
à é uma média dos vários dados experimentais yi, com pesos inversamente às respectivas
variâncias
108
YVXX)V(XA1t11t~
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Exemplo
y=a+bx, onde os diferentes valores yi obedecem a diferentes f.d.p.s
109
x y d.p. Tipo
-3 5,0 1,0 gaussiana
-2 3,5 0,3 uniforme
-1 2,3 0,7 tipo qui2
0 1,1 1,0 gaussiana
1 -0,6 0,5 binomial
2 -0,2 0,4 duas uniformes
3 -2,8 0,5 binomial
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
Parâmetros a e b ajustados: 1,20(18); -1,14(9) devem obedecer a uma f,d,p, gaussiana ou bem perto disso,
Seria exatamente gaussiana se a quantidade de dados fosse infinita
110 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
Ilustração com muitas simulações Valores ajustados de a e b
111 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
• Medida de uma grandeza altera valores de outras
• Vínculos entre parâmetros
• Funções não lineares nos parâmetros
• Incertezas nas variáveis dependentes
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
112
VIII – Outros desenvolvimentos
• Exemplo: a e b foram medidos, obtendo-se os valores 10,0 e 20,0, com matriz de covariância
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
113
a) Medida de uma grandeza altera outras
108
810V
Uma medida independente de b forneceu o valor 25,0 com variância igual a 10. Vamos ao MMQ.
• Evidentemente, valor adotado para b foi alterado; seu d. p., idem.
• Menos evidente: o valor adotado para a é alterado e seu d.p., idem.
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
114
1000
0108
0810
V
25
20
10
Y
3
2
1
0
0
10
10
01
25
20
10
e
e
e
b
a
5,22
0,12 YVX'X)V(X'Ã
111
0,50,4
0,48,6V
b) Vínculos entre parâmetros
• Exemplo: mede-se os três ângulos internos de um triângulo, digamos, 1, 2, e 3, sendo os resultados y1,σ1; y2, σ2; y3, σ3. Mas queremos impor a condição .
• Um procedimento geral é ajustar valores para os parâmetros, 1, 2 e 3, impondo o vínculo.
115 Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014
o180~~~
321
• Uma forma geral de escrever vínculo lineares:
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
116
g a rij j
j
m
i
1
onde aj são os parâmetros a serem ajustados e gij e ri são valores conhecidos. No caso do triangulo só há um vínculo (r=180o) e todos os gs são iguais a 1.
A equações de vínculo podem ser escritas como
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
117
GA R
Solução do MMQ:
~~A V X V Y BC RA
t 1 1
V H BC BA~
1 1 t
B H G1 t C GH G
1 tH X V X
t 1
Exemplo
Ângulos de um triângulo: 48o, 41o, 94º (soma=183o) todos com σ=1 e não covariantes. G=[1 1 1] e R=[180].
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
118
1 0 0
0 1 0
0 0 1
V
94
41
48
Y
Resultado: Valores ajustados: 47o, 40o, 93o , cuja soma é 180o: obedece ao vínculo. As variâncias diminuem
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
119
1 0 0
0 1 0
0 0 1
V
0,67 0,33- 0,33-
0,33- 0,67 0,33-
0,33- 0,33- 0,67
V
Vela a pena impor vínculos? Depende. P. ex., se o que queremos é apenas um dos ângulos, sim.
c)Funções não lineares nos parâmetros
• O MMQ é não tendencioso no caso linear. Mas quando os dados não dependem linearmente dos parâmetros, tudo muda,
• Exemplo: Ajustar λ da expressão
y(t)=100·exp(-λ·t) considerando os dados (t, y):
(1, 55) e (3; -10), ambos com desvio padrão igual a 10.
Resultado do ajuste: ã=0,82
Método dos Mínimos Quadrados, IFUSP,
fevereiro/2014 120
Problema: o valor estimado é superestimado. Por simulação, foi possível estimar a superestimação em 4,2%.
Corrigindo a superestimação, o valor a se adotar é 0,79
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
121
d) Erros em várias variáveis
• Exemplo: Ajuste dos parâmetros da função y=a+bx, com incertezas em x e y,
• a) Ajusta-se os parâmetros considerando apenas as incertezas em y
• b) “Propaga-se” as incertezas de x para y, considerando-se dy/dx=bajustado
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
122
2222)( xajustadoyynovo b
c) Faz-se novamente o ajuste com os novos d.p.s.
• Perigo: se as incertezas de x não forem muito menores do que a dispersão dos valores xi, o ajuste é tendencioso
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
123
Exemplo com uma simulação:
Y=2+2·x, com distribuições normais para y e x, com desvios padrões iguais a 1
O valor ajustado de b flutua em torno de 1,7
Portanto, há uma tendência para subestimar b
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
124
Breve resumo
• O MMQ deve ser usado: – Sempre que as incertezas dos dados sejam
conhecidas (ou todas sejam iguais)
–Há uma relação linear entre os dados e os parâmetros a serem ajustados
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
125
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
126
• O ajuste é não tendencioso • Os dados não precisam obedecer a nenhum
f.d.p. particular • Se há uma quantidade grande de dados, as
f.d.p.s dos parâmetros ajustados tende a uma gaussiana
• Não precisa haver uma relação funcional do tipo y=y(x)
• As covariâncias são tão importantes quanto as variâncias
• Cuidados ou limitações
– Repetindo: atenção às covariâncias
– Caso não linear: problema
– Idem, quando há erros nos termos que multiplicam os parâmetros a serem ajustados
Método dos Mínimos Quadrados, IFUSP, fevereiro/2014
127
Recommended