Download pdf - Luiz Affonso Guedes - DCA

Transcript
Page 1: Luiz Affonso Guedes - DCA

Processos Estocásticos

Luiz Affonso Guedes

Page 2: Luiz Affonso Guedes - DCA

Sumário• Probabilidade• Variáveis Aleatórias• Funções de Uma Variável Aleatória• Funções de Várias Variáveis Aleatórias• Momentos e Estatística Condicional• Teorema do Limite Central• Processos Estocásticos• Análise Espectral• Filtragem e Predição Estocástica• Processos Markovianos

Page 3: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Uma V.A. X para o caso contínuo, é uma variável (domínio da função) pertencente aos reais.

• V.A. mapeia R1 em R1.S

e

X(e)X(e)

P(X)

Page 4: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Para o caso multidimensional, temos que n V.A. (contínuas), são o domínio da função distribuição de probabilidade pertencente aos reais.

• V.A. multidimensional mapeia Rn em R1.

e

X(e)

X(e)P(X,Y)S

Y(e)

Y(e)

Page 5: Luiz Affonso Guedes - DCA

• Estatística Conjunta de V.A.:– Interesse de se estudar simultaneamente várias

características num determinado experimento.– Interesse de estudo da inter-relação dessas

variáveis.• Definição:

– Sejam X1, X2, ..., Xn v.a. definidas em S, um ponto nesse conjunto n-dimensional mapeia um único ponto no espaço unidimensional.

• 0≤ P(x1,x2, ..., xn) = k ≤ 1

Variáveis Aleatórias Multidimensionais

Page 6: Luiz Affonso Guedes - DCA

• Estatística Conjunta de V.A.:– Exemplos:

• Numa pesquisa de opinião de votos, coleta-se além da intenção de voto, idade, sexo e renda: tridimensional f(Idade, Sexo, Renda).

• Experimento de se lançar uma moeda (X) e um dado (Y) simultaneamente: bidimensional f(X,Y)

– Deseja-se basicamente obter-se as inter-relações ou independências entre as diversas v.a. envolvidas no experimento.

Variáveis Aleatórias Multidimensionais

Page 7: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Para o caso de V.A. discretas, temos uma tabela de n+1 colunas.

............

k2b2a2

k1b1a1

P(X1=x1, X2=x2, ...)...X2X1

Page 8: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Para o caso de V.A. bidimensional:– X Fx(x) = P(X≤x)– Y Fy(y) = P(Y ≤ y)– Fx,y(X,Y) = P(X≤x; Y ≤ y) Probabilidade conjunta de

X e Y.– P(x1 ≤ X≤x2; y1 ≤ Y ≤ y2) = ?

Y

X

y1

y2

x2x1

Y

X

y1

y2

x2x1

Volume cuja baseé dada pelos limites

em X e Y.

Page 9: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Para o caso de V.A. bidimensional:– Caso Discreto:

• Fx,y(x,y) = P(X≤x; Y ≤ y) = ΣiΣj P(X=xi, Y=yj)– Caso Contínuo:

• Fx,y(x,y) = P(X≤x; Y ≤ y) = ∫-∞,y ∫-∞,x f(x,y) dx dy

Page 10: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Marginais:– Caso bidimensional:

• Dada F(x,y), calcular a distribuição de X, independentemente do valor de Y Distribuição Marginal de X.

• Fx(x) = Fxy(x,+∞) ; {y<+ ∞}• FY(y) = Fxy(y,+∞) ; {x<+ ∞}• Caso discreto: P(Y=yj) = Σi P(X=xi, Y=yj)• Caso contínuo: fx(x) = ∫-∞,+∞ f(x,y) dy

P[(X,Y)∋D] = ∫ ∫D f(x,y) dxdy

Page 11: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Marginais:– Caso n-dimensional:

• Dada F(x1,x2,...,xn) calcular a distribuição marginal de X1.• Caso discreto: P(X1 = x1) = Σx2...Σxn P(X1=x1, ..., Xn=xn)• Caso contínuo: fx1(x1) = ∫x2... ∫xn f(x1,...,xn) dx2...dxn

– E[X + Y] = E[X] + E[Y]

Page 12: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Marginais:– Propriedades:

• Fxy(x,-∞) = 0;• Fxy(-∞,y) = 0;• Fxy(+∞,+∞) = 1• P(x1 ≤ X≤x2; Y ≤ y) = Fxy(x2,y) - Fxy(x1,y) • P(X≤x; y1≤Y ≤ y2 ) = Fxy(x,y2) - Fxy(x,y1)• P(x1 ≤ X≤x2; y1≤Y ≤ y2 ) = Fxy(x2,y2) - Fxy(x2,y1) -Fxy(x1,y2)

+ Fxy(x1,y1)• fx(x) = ∫-∞,+ ∞fx,y(x,y)dy

Page 13: Luiz Affonso Guedes - DCA

• Distribuições Marginais:– Exemplo: Determine as distribuições marginais

de X e Y.

Variáveis Aleatórias Multidimensionais

1P(Y)0,000,040,200,1030,190,100,050,0820,070,020,050,101

P(X)4321X \ Y

Page 14: Luiz Affonso Guedes - DCA

• Distribuições Marginais:– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja

densidade de probabilidade é dada por: • f(x,y) = (3/80) (x2+xy), 0<x<2 e 0<y<4• f(x,y) = 0, para as outras regiões• Determine as densidades marginais de X e Y.• Calcular a probabilidade de P[X+Y<3]. Resp.=21/80• Determinar F(x,y).

Variáveis Aleatórias Multidimensionais

Y

X

4

2 3

3

Page 15: Luiz Affonso Guedes - DCA

• Distribuições Marginais:– Exemplo: sejam (X,Y) uma v.a. bidimensional cuja

densidade de probabilidade é dada por: • f(x,y) = 8xy, 0<x<y<1• f(x,y) = 0, para as outras regiões• Determine as densidades marginais de X e Y.• Calcular a probabilidade de P[0<X<0,5; 0<Y<0,5].

Resp.=0,0625

Variáveis Aleatórias Multidimensionais

Y

X

1

0,5 1

0,5

Page 16: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Função Densidade de Probabilidade Conjunta– fxy (x,y) = ∂ 2 Fx,y(x,y)/∂dx ∂dy

– ∂ Fx,y(x,y)/∂dx = ∫-∞,yfx,y(x,v)dv

– fx1, ...,xn (x1,..., xn) = ∂ n Fx1 ...,xn (x1,..., xn)/∂dx1... ∂dxn

Page 17: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• V.A. Independentes:As v.a. X1, ..., Xn são ditas independentes

se para todos os seus valores tivermos:

– P[X1=x1, ..., Xn=xn] = P[X1=x1] ... P[Xn=xn]

– Se as v.a. são independentes, então a distribuição conjunta é dada pelo produto das distribuições marginais.

Page 18: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• V.A. Independentes:Conseqüências:• Fx,y(x,y) = Fx(x) . Fy(y)• fx,y(x,y) = fx(x) . fy(y)• E[XY] = E[X] E[Y]• Var(X+Y) = Var(X-Y) = Var(X) + Var(Y)

Page 19: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Covariância– Sejam as v.a. X e Y. As suas variâncias fornecem

uma medida de dispersão em relação às suas médias.

– A covariância fornece uma medida de dispersão de uma v.a. bidimensional em relação ao ponto (E[X], E[Y]).

– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }

Page 20: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Covariância– Cov(X,Y) = E{ (X-E[X]) (Y-E[Y]) }– Cov(X,Y) = ΣiΣj (xi-mx) (yi-my) P(X=xi, Y=yj)– Cov(X,Y) = ∫y∫x (xi-mx) (yi-my) f(x,y) dx dy– Cov(X,Y) = E[XY] – E[X] E[Y]– Cx,y = Rx,y - mx.my ;– Rx,y = ∫y∫x xi yi f(x,y) dx dy Correlação

Page 21: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Covariância– Conseqüências:

• Var(X+Y) = Var(X) + Var(Y) +2Cov(X,Y)• Se X e Y são independente Cov(X,Y) = 0• Se X e Y tendem a variar no mesmo sentido, a

Cov(X,Y) será positiva.• Se X e Y tendem a variar em sentidos opostos, a

Cov(X,Y) será negativa.

Page 22: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Covariância e Coeficiente de Correlação– Sejam duas V.A. X e Y. Se X’= aX e Y’= bY:

• Cov(X’,Y’) = ab Cov(X,Y)

– Cov(X,Y) = E[XY] – E[x] E[Y]

• Então, a covariância depende das escalas das v.a.

• Seria interessante se trabalhar com uma medida de dispersão independente de escala!

Page 23: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Coeficiente de Correlação – ρ(X,Y) = Cov(X,Y)/ ( σ(X) σ(X) )– | ρ(X,Y) | ≤ 1 normalização da covariância

– Se X’= aX e Y’= bY:• Cov(X’,Y’) = ab Cov(X,Y)• ρ(X’,Y’) = ab Cov(X,Y)/ ( a σ(X) bσ(X) )

= ρ(X,Y)

– Se Y = aX + b ρ(X,Y) = signal(a) . 1

Page 24: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Descorrelação – Cov(X,Y) = Cx,y = 0 ρ(X,Y) = 0;– E[XY] = E[X] E[Y]

• Ortogonalidade:– E[XY] = 0 X e Y são ortogonais.

Page 25: Luiz Affonso Guedes - DCA

• X = [X1,X2,...,Xn]• Rn = R11 ... R1n Matriz de Correlação

... Rn1 ... Rnn

• Cn= C11 ... C1n Matriz de Covariância...

Cn1 ... Vnn• Cn=Rn – ΝxΝx

t ; Nxt = [ηx1 ηx2 ... ηxn]

Variáveis Aleatórias Multidimensionais

Page 26: Luiz Affonso Guedes - DCA

• Distribuição n-dimensional conjutamente normal:• f(x1, ...,xn) = (2π)-n/2 |[Cx]-1|1/2 exp{-0.5 [x-X]t [Cx]-1[x-X]}

• Exemplo para o caso bidimensional.• f(x,y) = (2π)-1 (σxσy)-1 (1-r2)-1/2 .

exp{-0.5 (1-r2)-1/2 [(x-ηx)2 /σx2 +(y-ηy)2 /σy

2 +- 2r(x-ηx)(y-ηy)/ σx σy] }

Variáveis Aleatórias Multidimensionais

Page 27: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.

– Sejam X e Y com distribuição conjunta dada por F(x,y) e densidade de probabilidade f(x,y).

• F(x,y) f(x,y) ?

– Outra questão importante:• Dado f(x,y) e se Z= g(X,Y) f(z)?• G(Z) = P[Z ≤ z] = P[(X,Y) ∋ Dz];

– Dz = {(x,y):g(x,y) ≤ z}

Page 28: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições de Funções de V. A.– Caso 1: Z=X+Y

• Dz = {(x,y): x+y ≤ z}• Gz(Z) = ∫∫Dzf(x,y)dxdy

= ∫-∞, ∞ {∫- ∞,z-x f(x,y)dy}dx• Fz(Z) = ∫-∞, ∞ {∫- ∞,z f(x,u-x)du}dx

– u=x+y y = u - y

• Fz(Z) = ∫- ∞,z {∫-∞, ∞ f(x,u-x)dx}du integrando não negativo

• fz(z) = {∫-∞, ∞ f(x,z-x)dx}• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)

– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução

X

Y

z=x+y

Page 29: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.

– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)

– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.

• Exemplo 1: fz(z) = fx(x) ⊗ fy(y)

a X

f(x)

a Y

f(y)a Z

f(z)1/a

2a

Page 30: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.

– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)

– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.

• Exemplo 2: fz(z) = fx(x) ⊗ fy(y)

b X

f(x)

c Y

f(y)a+c Z

f(z)

b+d

a

d

Page 31: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais• Distribuições de Funções de V. A.

– Caso 1: Z=X+Y• Se X e Y forem independentes: fz(z) = fx(x) . fy(y)

– fz(z) = ∫-∞, ∞ fx(x) fy(z-x)dx Integral de Convolução.

• Exemplo 3: fz(z) = fx(x) ⊗ fy(y)

a X

f(x)

a Z

f(z)

2a

a Y

f(y)1/a

2a

3a

Page 32: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Condicionais– Caso Bidimensional: Sejam X e Y v.a. conjuntas.– P[Y=y|X=x] = P[X=x,Y=y] / P[X=x]– P[Y≤y|x<X ≤ x+∆x] =

P[x<X ≤ x +∆x,Y=y] / P[x<X ≤ x+∆x]

– f(y/x) = f(x,y) / f(x) f(x,y) = f(y/x) . f(x) – Exemplo: f(x,y) = 21x2.y3 para 0<x<y<1 e 0 para outros valores.

Determine f(x), f(y), f(x|y) e f(y|x).

Page 33: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Condicionais– Caso Bidimensional: Esperança condicional

• E[Y|X=x] = ∑y y. P[Y=y|X=x] para cada x há uma esperança correspondente.

• E[Y|X=x] = ∫-∝,+∝ y. f(y|x)dy• Exemplo: Obter E[Y|X=x] pra a exemplo anterior.

– f(y|x) = 4y3 / (1-x4) ; para 0<x<y<1.– E[Y|X=x] = ?

Page 34: Luiz Affonso Guedes - DCA

Variáveis Aleatórias Multidimensionais

• Distribuições Condicionais– Caso N-dimensional:– f(xn|xn-1,...,x1) = f(xn,xn-1,...,x1) / fxn-1,...,x1 (xn-1,...,x1)– f(xn,xn-1 |xn-2,...,x1)= f(xn,xn-1,...,x1) / fxn-2,...,x1(xn-2,...,x1)

– E[Xn|Xn-1=xn-1..., X1=x1] = ∫-∝,+∝ xn . f(xn|xn-1,...,x1)dxn

Page 35: Luiz Affonso Guedes - DCA

Teorema do Limite Central

• Se as v.a. Xi são independentes, então sob condições gerais, a densidade f(x) da sua soma (x = x1+x2+ ...+xn) normalizada apropriadamente, tende para a curva normal quando n tende a infinito.

• Se n é suficientemente grande:f(x) ≈ (1/σ√2π) . exp{-(x-η)2/2σ2}

Page 36: Luiz Affonso Guedes - DCA

Teorema do Limite Central

• Se as v.a. forem independentes:– Se x = x1 + x2 +... +xn

– Então, f(x) = f1(x1) ⊗ f2(x2) ⊗ ... fn(xn)– Para n suficientemente grande, f(x) tende a uma

distribuição normal.– Se xi’s têm média η e desvio padrão σ:

• E[x] = n. η• Var[x] = n. σ

Page 37: Luiz Affonso Guedes - DCA

Teorema do Limite Central• Exemplo:

– Um dado é lançado 2.500 vezes. Calcular a probabilidade de que a soma dos pontos obtidos seja menor que 8.850.

• Como n = 2.500 é muito grande aproximação normal.• X = X1+X2+ ...+ X2500

• P(Xj=i) = 1/6 ; i é a número da face no j-ésimo lançamento.• E[Xj] = 1/6=3,5 ; Var[Xj] = 2,92 σ(Xj) = 1,71• E[X] = 2.500 * 3,5 = 8.750; Var[X] = 2.500 * 2,92 =7.310 σ(X) = 85,5

• P[X<8.850] = P[Z< (8.850-8.750)/85,5] = P[Z<1,17] = 0,879

Z = (X –médiax)/ σ normalização para N(0,1).

Page 38: Luiz Affonso Guedes - DCA

Teorema do Limite Central• Exemplo:

– X = X1 + X2 +... +Xn

– Xi’s são independentes entre si.– Xi’s têm distribuição uniforme entre 0 e T.

• E[Xi] = η = T/2 • σ2[Xi] = E[(Xi- η)] = T2/12 σ[Xi] = T/ (12)1/2

• E[X] = n. E[Xi] = n . η = n . T/2• σ2[X] = n . E[(Xi- η)] = n . T2/12• Para o caso de T = 1 e n = 12

– E[X] = 6 e σ2[X] = 1.