PROBABILIDADE & PROCESSOS ESTOCSTICOS

H. Magalhes de Oliveira, docteur

Programa de ps-graduao em Engenharia Eltrica

DINTER UEA-UFPE

E-mail hmo@ufpe.br URL http://www2.ee.ufpe.br/codec/deOliveira.html

SUMRIO DA PARTE I

Conceitos de Probabilidade

limsup e liminf, classes monotonicas lgebra e -lgebra

Continuidade Independncia e probabilidade condicional

Funes mensurveis e variveis aleatrias Bernoulli, Binomial, geomtrica, Poisson, uniforme, exponencial, gama, beta, normal, chi2, Weilbull... Variveis conjuntas Transformao de variveis aleatrias .................................. Vetores aleatrios: Jacobiano Desigualdades: .................................. Jensen, Minkowski, Liapunov, Cr Funo caracterstica e suas propriedades .................................. Geradora de momentos

Cotas sobre probabilidades .................................. Chebyshev .................................. Markov .................................. Chernoff Seqncias de variveis aleatrias Critrios de convergncia .................................. em mdia quadrtica .................................. em probabilidade .................................. com probabilidade 1 .................................. em distribuio

Lei dos grandes nmeros .................................. Teorema de Bernoulli .................................. Teorema da Kolmogorov .................................. Teorema de Borel Teorema central do limite .................................. (Lindenberg-Lvy, Lyapunov, etc.) [Mdias estatsticas e momentos .................................. Correlaes, propriedades...] Estimao e predio: Amostragem

SUMRIO DA PARTE II

Processos Estocsticos (contnuos e discretos) Definies e classificao Estacionaridade (sentido amplo e restrito) Passeio aleatrio Processo de Wiener-Lvy (movimento Browniano) Onda telegrfica aleatria

Densidade espectral, teorema de Wiener-Kinchine Ergodicidade Processos estocsticos atravs de Sistemas Lineares .................................. Anlise espectral Preditores lineares: Filtragem tima de Wiener Processos Estocsticos Gaussianos .................................. Normal e log-normal .................................. Vetores gaussianos .................................. Processo banda-estreita

Processo de Poisson .................................. Processo de contagem .................................. Tempo entre chegadas .................................. Tempo de espera .................................. Processo filtrado Cadeias de Markov .................................. Equaes de Chapman-Komogorov .................................. Classificao de estados .................................. Probabilidades limites .................................. Teoria das filas .................................. M/G/1, G/M/1, M/M/k ...

REFERNCIAS RECOMENDADAS Probability, Random Variables ans Stochastic Processes, A. Papoulis, McGraw-Hill, 1965. Probabilidade, Variveis Aleatrias e Processos Estocsticos, J. Albuquerque, J.P. Fortes, W. Finamore, Interciencia, 2008.

Introduction to Probability Models, 9th ed. S.M. Ross, Academic Press, 2007. A First Course in Stochastic Processes, S. Karlin & H. Taylor, Academic Press, 1975.

Random Processes: An Introduction for Applied Scientists and Engineers, Davenport Jr, W.B., McGraw-Hill, 1970. Sistemas Probabilisticos, F.M. Campello de Souza, Vade Mecum, Recife, 2006. An introduction to the Theory of Random Signals and Noise, Davenport Jr, W.B. and Root, W.L, McGraw-Hill, 1958.

Probability Theory, M. Love, Van Nostrand, 1963.

Dennis Poisson. Assim um evento ter, pela sua prpria natureza, uma chance, maior ou menor, conhecida ou desconhecida, e sua probabilidade ser relativa aos nossos conhecimentos naquilo que lhe diz respeito. Poisson, 1837. (Sceaux, Frana)

Probabilitas

PROBABILIDADES ALEATRIAS

Modelam o acaso em fenmenos empricos

PROBABILIDADES ESPISTMICAS

Descrevem graus de crena parcial lgicos de pessoa/sistema intencional

Matemtica determinismo Aleatrio: Taboo Teorema de Gdel e o fim da certeza matemtica

AXIOMAS 2 (lgica) = Resultados (Proposies) Mundo real Explicar resposta ao POR QU?

TELEOLGICA (finalista) ESTATSTICA (probabilstica) GENTICA (histrica) NOMOLGICA (dedudiva) ** cientfica

Deus ex-machina, anjos,...

???? Qual a finalidade? Tudo tem uma razo. Qual a utilidade? Por que fazer? Viso pessoal: (interrogaes postas no inicio das questes, discordante).

BREVE HISTRICO

1654 Pascal-Fermat (Paris-Toulouse)

1812 Laplace - escola deterministica (o demnio laplaciano)

Russos : Markov, Chebyshev, Liapunov, Kinchine, Kolmogoroff..

TEORIAS

i) Definio a priori como razo entre casos favorveis para

total de casos possveis.

ii) Freqncia relativa (Von Mises)

iii) Axiomtica

iv) Medida de crena

TRATAMENTO AXIOMTICO

URL: http://www2.ufpe.br/codec/deOliveira.html

Exerccio.

Se A e B so eventos certos, i.e., P(A)=P(B)=1, avaliar, usando

apenas os axiomas de Kolmogorov:

P(AB) e P(AB).

Dicas: problemas 5 e 6.

UNIES FINITAS DISJUNTAS

Dados eventos A1, A2, A3..., An todos disjuntos par-a-par, ento:

==

=n

k

k

n

k

k APAP11

)()(U .

Por induo finita:

P2. P(A1A2)=P(A1)+P(A2) (verdade via AX4)

Pn. Admita verdadeira Pn. ===

n

k

k

n

k

k APAP11

)()(U .

Mostrar que Pn Pn+1

)()( 11

1

1+

=

+

=

= nn

k

k

n

k

k AAPAP UU T2 )()()( 11

1

1+

=

+

=

+= nn

k

k

n

k

k APAPAP UU

(via Pn) +

=

+

=

=1

1

1

1

)()(n

k

k

n

k

k APAP U i.e. Pn+1 verdadeira! Q.E.D.

APLICAES RECENTES DA TEORIA

Inteligncia artificial Mecnica Quntica Algoritmos probabilsticos (e algoritmos genticos) Lgica nebulosa Teoria de informao Controle estocstico Redes neuronais Teoria da evoluo e seleo natural Gentica Otimizao Predio, teoria da deciso, teoria dos jogos

Etc. etc.

TEORIA DOS CONJUNTOS

Coleo arbitrria de elementos

Conjunto vazio por abuso, aquele que no contm elementos.

CLASSE: conjuntos cujos elementos so conjuntos.

CONJUNTO DE INDICES = T

{At, t T}.

Conjunto das partes ( uma classe)

A={w1, w2}

(A)={ {w1}, {w2}, A, }

2n

Conjunto finito=

tem um nmero finito de elementos.

Conjunto enumervel =

se finito ou

pode ser posto em correspondncia biunvoca com .

CARDINALIDADE

|| ||= || ||=0

cardinalidade 2c (do continuum)

||A||=2c se e s se f:A biunvoca.

1,2,3,..., 0 (?) 2c

Paul Cohen (1934-2007), Medalha Fields

No pode ser deduzido da teoria de conjuntos. ?=sim ou no.

Considere uma rede com diferentes caminhos entre os ns 1,2,3,4.

Os caminhos so indicados por letras. Escreva o evento K13, h

uma ligao (caminho fechado) entre o n 1 e 3, em termos dos

caminhos A, B, C, D, E.

Aplique leis distributivas para mostrar que

K13={A [B C (CE)]} {D [E (B C)]}.

DEFINIO. Dada uma classe {At}tT

UTt

tt AA

Tt

=

sup

ITt

tt AA

Tt

=

inf

LEIS DE DE MORGAN

=

c

Tt

tAU

I

Tt

c

tA

=

c

Tt

tAI

U

Tt

c

tA

Conseqncia

=

c

tA

Tt

sup ctA

Tt

inf

=

c

tA

Tt

inf ctA

Tt

sup

CAMPO (ALGEBRA)

uma classe fechada quando efetuamos um nmero finito

(arbitrrio) de operaes entre seus elementos.

i) A,B AB

ii) A,B AB

iii) A Ac

A,B Ac,Bc AcBc [AcBc]c AB

Exerccio.

Determinar uma lgebra em contendo A,B.

Use apenas e (.)c

Mostremos que

={,A, B, Ac, Bc, AB, (AB)c, AB, (AB)c, (B-A), (B-A)c,

(A-B), (A-B)c, AB, (AB)c}

DEF. LIMITE INFERIOR

O conjunto de pontos que pertencem a quase todos os elementos Ak

de uma classe (exceto possivelment em um nmero finito delas)

chamado de LIMITE INFERIOR de {At}tT

UI

=

=

=1

:inflimn nk

kk AA

montar tais unies e interpretar...

DEF. LIMITE SUPERIOR

O conjunto de pontos que pertencem a um nmero infinito de

elementos Ak de uma classe chamado de LIMITE SUPERIOR de

{At}tT

IU

=

=

=1

:suplimn nk

kk AA

montar as unies e interpretar...

Obs-

kAinflim kAsuplim

Exemplo (trivia).

Seja wAk se k mpar

wAk se k par.

w kAinflim e w kAsuplim

CONVERGNCIA EM CLASSES

Seja {Ak}k=1 uma classe de cardinalidade enumervel.

Dizemos que {Ak} uma seqncia convergente e que existe um

limite na classe quando

kAinflim AAk == suplim

Escreve-se AAk =lim .

CLASSES MONOTNICAS

Classe no-decrescente: A1 A2 A3 A4 ...

notao An

Classe no-crescente: A1 A2 A3 A4 ...

notao An

Classes monotnicas so convergentes! Vejamos.

An U

=

==1

suplimlimn

nkn AAA

An I

=

==1

inflimlimn

nkn AAA

Se { }nB uma seqncia qualquer, ento:

I

= =

nk

k

k

B

nkB

inf

faa diagramas de Venn...

k

nk

k

B

nkB

==

=

supU

faa diagramas de Venn...

Verificao:

I

+=+ =

11

nk

kn BD, I 1+= nnn DBD 1+ nn DD

U

+=+ =

11

nk

kn BE, U 1+= nnn EBE 1+ nn EE .

Examinar o tipo e a convergncia nas seguintes classes: =[0,1]

xffxf

TEOREMA.

Se f convexa em (a,b), ento f contnua em (a,b).

Exemplo de funo convexa: f(x)=ex.

TEOREMA DE JENSEN

Seja uma medida em uma lgebra A definida no espao tal que

()=1. Se g uma funo real em L1(), com a

PROVA.

Seja = gdt : a

Da ( ) ( ) 0+ ttdgdfdgf o donde

( ) ( ) 0 dgdfdgf o , concluindo a demonstrao.

CONSEQUNCIAS

1) Se g(x)=x, obtemos a desigualdade:

{ }( ) { })(xfEXEf

2) Se f(x)=ex { } degd gexp .

Suponha agora que ={p1,p2,...,pn} e que (pi)=1/n (equiprovveis) e

tome g(pi)=xi . Ento:

( ) ( )nxxxxn eeeen

xxxn

+++

+++ ...

1...

1exp 32121

Fazendo yi=exp(xi), obtm-se

( ) ( )nn

n yyyn

yyy +++ ...1

..... 21/1

21 importante!

mdia geomtrica mdia aritmtica.

3) { } hdhdlogexp (tomando g=log h) mdia geomtrica mdia aritmtica

Se 0:)( >= iip , =i

i 1 (distribuio discreta arbitrria)

Chega-se a

nnn yyyyyyn +++ ........ 221121

21

Generalizao da relao entre mdias harmnica & geomtrica.

3) Sejam p e q expoentes conjugados, i.e,

111

=+qp ; 1

(i) Desigualdade de Hlder Otto Hlder

{ } { } Xq

X

qp

X

pdgdfgdf

/1/1

..

(ii) Desigualdade de Minkowsky Hermann Minkowski

{ } { } { } pX

pp

X

pp

X

p dgdfdgf/1/1/1

)( ++ .

Hlder (PROVA)

{ } { } Xq

X

qp

X

pdgdfgdf

/1/1

..

:=A :=B

(p e q so expoentes conjugados, f0, g0 mensurveis)

Sejam Af

F =: e Bg

G =: funes

(casos A=0 ou B=0; A=+ ou B=+ Triviais)

Vejamos que

{ } 1=X pdF e { } 1=X qdG .

{substituindo,

11

==

X

p

X

p

X

p

pX p

p

df

dfdf

Ad

A

f

;

11

==

X

q

X

q

X

q

qX q

q

dg

dgdg

Bd

B

g

}.

Dado x, s, t | psexF /)( = e qtexG /)( = .

tsqtps eqepe 11// + +

{eg convexa, qt

p

s+ =p-1s+q-1t uma combinao convexa}

ts eqepxGxF 11)()( +

Da segue-se:

)()()()( 11 xGqxFpxGxF ts + ,

pois sp exF =)( e tq exG =)( .

Integrando ambos os membros, deduz-se a desigualdade

+

X

q

X

p

XdGqdFpdxGxF 11)()(

Pela normalizao, o 2 membro torna-se p-1+q-1. Como os expoentes

so conjugados (por escolha inicial), chega-se a

1)()( X dxGxF .

Substituindo as expresses de F e G em termos de f e g,

1)()(

X dBxg

A

xf BAdxgxfX .)().(

e a demonstrao concluda! Q.E.D.

Para p=q=2, a desigualdade reduz-se conhecida

DESIGUALDADE DE SCHWARTZ (Hlder p=q=2)

. { } { }{ } + XXX dgdfdgf 22

22 .)(

Aplicao direta para variveis aleatrias:

HLDER PARA V.A.s

Sejam f:=|X| e g:=|Y|

{ } { } { }qqpp YEXEXYE ||.|||| /1/1 .

Minkowsky (PROVA)

{ } { } { } pX

pp

X

pp

X

pdgdfdgf

/1/1/1

)( ++

Pode ser reescrita de modo compacto como ppp gfgf |||||||||||| ++

Partindo de

(f+g)p=f(f+g)p-1+g(f+g)p-1 [**]

Aplicando Hlder a cada das funes do 2 membro:

{ } { } qX

qpp

X

p

X

p dgfdfdgff/1)1(/11 )(.)(

++ (1 funo)

{ } { } qX

qpp

X

p

X

p dgfdgdgfg/1)1(/11 )(.)(

++ (2 funo)

Somando agora as desigualdades membro a membro, usando [**] no

1 membro, tem-se

[ ] [ ]{ } qqpqX

p

X

pp

X

p

X

p dgfdgdfdgf/1/1/1

)(.)(

+++

.

Dividindo adequadamente, chega-se a

[ ] [ ]{ }pX

pp

X

p

qp

X

X

p

dgdf

dgf

dgf /1/1/1

)(

)(

+

+

+

e a prova conclui. Q.E.D.

Casos particulares da desigualdade de Minkowsky:

{ } { } { } 2/122/122/12)( ++ XXX dgdfdgf

DESIGUALDADE Cr

Estabelece que { } { } { }rrrrr YECXECYXE |||||| ++ em que

=

1

1

1

2:

1

r

rC

r

r

Prova.

Considere f()=r+(1-)r.

Um esboo de f

Segue a cota:

1

1

1

2)(

1

r

r

se

sef

r

.

Concluso: 1)( fCr , r. (1)

Tome agora ||||||

YX

X

+= e da ||||

||1

YX

Y

+=

Substituindo em (1), obtemos:

( ) ( )1

||||

||

||||

||

++

+ rr

rr

r

rYX

YC

YX

XC .

( )rrrrr YXYCXC |||||||| ++ .

Tomando o valor esperado:

{ } { } ( )rrrrr YXEYECXEC |||||||| ++

Usando finalmente a desigualdade triangular, chega-se a:

{ } { } ( )rrrrr YXEYECXEC |||||| ++ , Completando a prova. Q.E.D.

DESIGUALDADE DE LYAPUNOV

Teorema. Vale a desigualdade { } { }rrss XEXE |||| /1/1 para rs>0. Isto significa que LrLs.

PROVA.

Defina a funo { }tUEtf ||log:)( = , t0, funo convexa.

Seja 2||:ht

UX

+

= e 2||:ht

UY

= , (h).

Da desigualdade de Cauchy-Schwartz, tem-se:

{ } 222 ||.|||| YEXEXYE

Substituindo as variveis X e Y em termos de U,

{ } hthtt UEUEUE + ||.||||2

Tomando log(.) em ambos os membros, chega-se a

)(2

1)(

2

1)( htfhtftf ++ h.

Observao. Se f contnua e a desigualdade anterior se verifica, ento f

convexa.

f(0)=0

t

tf )( declividade, montona crescente. (antilog=exp)

De ttf )(

, antilog ttf )(

=antilog { } { }tt

t

UEt

UE||

||log /1=

Da relao { }tt UE ||/1 segue a prova. Q.E.D.

SIMULAO MONTE CARLO

Estimativa de algibeira para o nmero de simulaes necessrias

para estimar a freqncia relativa de evento de probabilidade p

(p desconhecida).

Suponha que voc deseja simular um sistema e avaliar uma taxa de erros

ou taxa de acertos (e.g. de peas em uma linha de montagem, de uma

transmisso digital, taxa de coliso de partculas etc.).

A cada simulao, efetuam-se n repeties do evento e obtendo um

resultado diferente cada vez que a simulao for realizada. O valor

mdio um estimador da probabilidade p (vide anexo).

Embora p

EXEMPLO. Ao estimar em computador a probabilidade de um evento

que voc desconfia em uma estimativa grosseira ter probabilidade da

ordem de 10-4, (querendo simular para encontrar uma estimativa

probabilisticamente confivel), use:

N.B. Se o valor da estimativa for , por exemplo, bem inferior

a sua estimativa inicial, refaa as contas sobre n e refaa a simulao...

O mtodo clssico de simulao, chamado MONTE CARLO,

certamente no indicado para avaliar a taxa de eventos com

probabilidades muito pequenas, e.g., 10-9. (see importance sampling)

ANEXO. Para um experimento de Bernoulli, k sendo o nmero de sucessos e n o nmero de repeties do experimento, k uma varivel aleatria com distribuio binomial.

E(k)=np e var(k)=2(k)=np(1-p).

Seja a estimativa de freqncia relativa para a probabilidade p do evento estudado (e repetido): . Como

k uma varivel aleatria, tambm o .

1. , o estimador no enviezado.

(o valor mdio das diversas simulaes tende a fornecer o valor de p)

2. de modo que o espalhamento relativo mdia vale .

(p pequeno)

Integrao Monte Carlo Hit or miss technique

0g(x)c em axb. Deseja-se avaliar =b

adxxgS )(:

Seja o espao amostral }0,),{(: cybxayx =

E uma distribuio 2D-uniforme contrrioyx

caso

seabcyxf YX

=),(

0)(

1:),(,

)(:

=

area

Sp N realizaes aleatria.

estimador de freqncia relativa Nn

p hits=:

Convergncias pp = plim e pp = l.i.m. (ver-se- aps). ALGORITMO.

1. Gere 2N nmeros aleatrias uniformes {Uj} 2. Arrange-os em N pares (U1,U1), ..., (UN,UN)

3. Calcule )( abUaX ii += e )( iXg i=1,2,...,N. 4. Conte o nmero de casos n hits para os quais g(Xi)>cUi

5. Estime a integral por N

abcppzpabc

)()1.()(

J. Von Neumann (EUA, imigrante Hngaro)

A Funo Caracterstica de uma varivel aleatria Def. Dada uma v.a. de distribuio FX(.), define-se:

+

+

== dxxfexdFejM X

xj

X

xj

X )()(:)( .

Notaes usuais: MX(.) ou (.)X

Isto corresponde a transformada inversa de Fourier da densidade de

probabilidade da varivel aleatria: )()( xfjM XX .

Nota: MX poderia ter sido mais naturalmente definida como a TF da

densidade de probabilidade fX da v.a. X

Exemplo.

1) Varivel uniforme X~ UUUU(a,b).

[ ]ajbjba

xj

X

xj

X eeabj

dxab

edxxfejM

=

==

+

)(

11)()( .

A funo caracterstica [ ]ajbjX ee

abjjM

=

)(

1)(

2) Varivel exponencial . X~EEEE(),

+

==

0)()( dxeedxxfejM xjxX

xj

X

.

j

jM X =)( .

Exemplo: O caso Gaussiano.

1) Para uma v.a. de distribuio Gaussiana normalizada, X~NNNN(0,1)

2/2

2

1)( xX exf

= . Tem-se imediatamente

2/2)( = ejM X .

2) Uma varivel gaussiana sob transformao afim,

22 2/)(

2

1)(

= xX exf resulta em

2/22)( = eejM jX .

3) varivel de Poisson

+

=

= dxixi

eejM

i

ixj

X

0

)(!

)(

( )

=

=0 !i

ij

i

ee

)1()(

je

X ejM= .

Propriedades da funo caracterstica. (10 propriedades)

i) Para todo )0(1|)(| XX MjM = .

Claro que

+

= )()0( xdFM XX e

+

+

== 1)(|||)(||)(| dxxfexdFejM X

xj

X

xj

X

.

ii) = )( jM X )(* jM X bvio.

iii) MX uniformemente contnua em .

+

+

+ =+ )()()()(| )( xdFexdFejMhjM Xxj

X

xhj

XX

Mas [ ] +

++

+

+ = )()()( )()( xdFeexdFexdFe Xxjxhj

X

xj

X

xhj

e

[ ] [ ]+

+

=+ )(1)(1)()(| xdFeexdFeejMhjM X

jhxxj

X

jhxxj

XX

de onde:

0)(1)(1|||)()(| =+ +

+

xdFexdFeejMhjM X

jhx

X

jhxxj

XX

se h0.

Assim, + |)()(| jMhjM XX h

{ }||||

XE

< .

iv) Transformao afim

= )( jM X )(* jM X e =+ )( jM baX

bj

X ejaM ).(

v) Geradora de momentos:

{ }0

)()(=

=

jMjXE Xn

nnn

vi) Frmula de inverso:

+

=

djMexf Xxj

X )(2

1)(

vii) De )()()Pr( + == xFxFxX XX ,

==n

nX

xj djMen

xX

)(2

1

0

lim)Pr( .

viii) MX(.) semidefinida positiva:

[ ]

Svu

X uhvhuvjM,

0)(*)()( , S , finito, h: qualquer.

ix) { }iX v.a.s independentes, e =i

iXY : e a varivel soma, ento

=i

XY jMjM i )()( .

x) Sequncias de funes (Gnedenko 1962):

Se { }=1)( nX jM n uma sequncia de funes caractersticas, ento:

= 1|0 nn n

Xn jM n )(. tambm uma funo caracterstica.

Teorema da unicidade. Se duas funes distribuio de probabilidade tm

a mesma funo caracterstica, ento elas so iguais. {decorre de Fourier}

(as funes caractersticas so especialmente teis nos teoremas limites).

Teorema (convergncia de seqncias de distribuies).

(a) Seja { }nF uma sequncia de funes distribuio com funes

caractersticas respectivas { }nM . Se Fn F, ento Mn M, sendo a convergncia uniforme com respeito a x em qualquer intervalo finito

a

(b) Suponhamos que

i) Mn converge em e define a funo limite M;

ii) M contnua na origem. Ento:

Fn F, em que F uma funo distribuio de probabilidade

M a funo caracterstica da varivel de distribuio F.

Srie de Taylor para a funo caracterstica de uma v.a.

Suponha que a expanso em srie de Taylor da funo caracterstica existe

em algum intervalo que contenha a origem. Ento

[ ]+

=

=0 !

)()(

k

kk

Xk

jXEjM

.

A funo caracterstica fornece TODOS os momentos da varivel aleatria.

Assim, conhecer momentos conhecer distribuio.

Calcular os momentos (no-centrais) de uma distribuio gaussiana de mdia

nula e varincia 2.

X~ NNNN(0,2).

Fazendo

...!2

1)1(...

8

1

2

11)( 2244222/

22

++++== lll

l

Xl

ejM

Chega-se a

{ }par

mpar

n

n

n

nXEn

n

=)!2/(2

!0

2/ .

avaliar: dxexx 4/10 2+

, use 2=2 n=10.

No caso de funes caractersticas conjuntas, seja o caso simples de apenas

duas variveis X1, X2, com distribuio FX1,X2.

Mostra-se que

[ ]0,0

21,21

21

21

21),()(

==

++

=

jjMjXXE XXmn

mnmnmn

generaliza-se facilmente ...

Funo caracterstica de vetor aleatrio

X vetor n-dimensional: [ ]XjX TeEjMrr

rr =:)(

As propriedades so semelhantes, e.g., BXAY +=rr

. , A e B matrizes:

)(.)( TXbj

YjAMejM

Tr

rr

= .

Aplicao. Seja X um vetor aleatrio bidimensional com funo caracterstica:

( )212221 .2221 )),(()(

++== ejMjMXXrr

r.

Deseja-se o vetor mdia mX e a matriz de covarincia KX.

1) { })0,0(1

1

=

=

r

XMjXE ... calculando-se:

{ } [ ] 04)()0,0(211

===

rr

jMjXE X .

Idem para E{X2}.

Resultado:

=

0

0X

m r .

2) { } [ ] 11)4).(4().()( 1221)0,0(21

22

21 =++=

=

=

rr

r

jMM

jXXEX

X

e { } { } 12112 == XXEXXE .

{ } 4)()0,0(

21

222

1 =

=

= r

XMjXE e { } { } 42122 == XEXE ,

Resultando em

=

41

14XK .

A VARIVEL SOMA

Considere uma v.a. X definida pela soma de N variveis aleatrias

independentes, { }N

nnX 1= .

=

=N

n

nXX1

: .

A funo caracterstica para X

=

=

N

n

nX XjEjM1

exp)( .

Logo, ( )

=

=n

N

n

X XjEjM exp)(1

. Desde que as v.a.s so

independentes, o clculo da esperana desacoplado:

( )[ ] ==

==N

n

X

N

n

nX jMXjEjM n11

)(exp)( .

=

=N

n

XX jMjM n1

)()(

A funo caracterstica da varivel aleatria soma de

variveis independentes o produto das funes

caractersticas das variveis individuais.

TRIVIA:

Z:=X+Y X e Y independentes.

)().()( jMjMjM YXZ = e usando a transformada de Fourier:

)(*)()( zfzfzf YXZ = .

Convoluo!

Caso particular Soma de duas v.a.s i.i.d. uniformes:

Z:=X+Y )(*)()( zfzfzf YXZ = = =)(*)( zz )(z .

VARIVEL aleatria CAUCHY

)1(

11)(

2xxfX +

= e

||)( = ejM X

Sejam { }N

nnX 1= i.i.d. Cauchy, e

=

=N

n

nXX1

: .

Qual a funo caracterstica de X?

VARIVEL chi-quadrada (qui-quadrada)

)()2/(2

)(2/

2/2/)2(

xun

exxf

n

xn

X =

e 2/)21(1

)(nX j

jM

=

Sejam { }N

nnX 1= i.i.d. Cauchy, e

=

=N

n

nXX1

: .

Qual a funo caracterstica de X?

COTAS SOBRE PROBABILIDADES

Desigualdade de Chebyshev (Pafnutti Tchebyscheff).

Dado >0 (arbitrariamente pequeno), X varivel aleatria de

Mdia mX

Varincia X2

{ }2

2

||Pr

XmX > .

Teorema. Se fa>0 em I , ento

{ } { }a

XfEIX

)(Pr .

Vejamos: { } )()()( xdFxfXfE X+

= .

{ } )()()()()( xdFxfxdFxfXfE XI

XI

C += { } )()()( xdFxfXfE XI

0

Enfraquecendo a desigualdade: { } }Pr{)()( IXaxdFaXfE XI

=

Q.E.D.

Aplicao. v.a. X, com mdia nula E{X}=0 e E{X2}=2

Seja

22

:)(

+=

axxf

.

Para xa>0, (intervalo I), 0)(2222

+

+=

aa

axxf

.

Esboo:

{ } { }2

2

2

)(Pr

+

aa

xfEaX

ou seja, { } { }

2

2

2

2422 //}{2Pr

+

++

aa

aaXEXEaX

Logo

{ }22

2

2

2

2

242 /Pr

+

+

+

a

aa

aaX

ou { } 222

Pr

+

a

aX . (cota).

COTA INFERIOR E SUPERIOR

Teorema. X uma varivel aleatria e g0, g Borel mensurvel

(toda imagem inversa um conjunto na -lgebra de Borel)

Se g par e no-decrescente em [0,).

Ento a0, tem-se

{ } { } { })(

)(||Pr

)(sup..

)()(

ag

XgEaX

xgsa

agXgE

Calculando E{g(X)}:

{ } += A XA XA X xdFxgxdFxgxdFxgXgE c )()()()()()()( , pois o 2 termo positivo.

{ } { }aXagxdFagxdFxgXgEA

XA

X = ||Pr)()()()()()( .

Por outro lado, )()( sup xgxg ou )()( sup.. xgxgsa a.e.

{ }aXxgxdFxgxdFxgA

XA

X = ||Pr).( sup)()(sup)()( (I)

{ } )(||Pr).( )()()()( agaXagxdFagxdFxgcc A

XA

X = (II)

Somando termo a termo,

{ } )(||Pr).( sup)()( agaXxgxdFxg X ++

E finalmente

{ } { }aXxgagXgE ||Pr).(sup)()( Q.E.D.

Corolrio.

Desigualdade Generalizada de Chebyshev. Dado >0 arbitrrio, to

pequeno quanto se queira, g0,par no-decrescente em [0,).

{ } { })(

)(||Pr

g

XgEX .

Com g(x)=x2 { }{ }

2

2

||Pr

XE

X .

Para X-mx X Varivel aleatria central

{ } { }2

var||Pr

XmX X desigualdade de Chebyshev

DESIGUALDADE DE MARKOV

Tomemos g(x)=|x|r

{ }{ }

r

rXE

X

||Pr .

Observao.

Convergncia em r-sima mdia Xn X se e s se { } .0 rn XXE

XXsimar

n

{ } .0 rn XXE

Exemplo.

Uma visita verso fraca da LEI DOS GRANDES NMEROS

Uma sequncia infinita de variveis aleatrias{ }

=1niY , estatisticamente

independentes (e possivelmente identicamente distribuidas)

Definamos ( )

=

=n

i

iin YEYn

X1

)(1

: n=1,2,3,...

Essa nova seqncia de v.a.s tem

E{Xn}=0

Var(Xn)= niY

n

22

=

Um esboo da verso fraca da Lei dos grandes nmeros:

{ } { }2

var||Pr

XmX X

{ } 22

||Pr

nX n 0 quando n.

{ } 0||Pr0

lim=

nX

n

O estimador de frequncia relativa um estimador consistente (quando ele

converge em Probabilidade). Os conceitos de convergncia de sequncias de

variveis aleatrias so requeridos.

COTA (EXPONENCIAL) DE CHERNOFF

Uma cota apertada (tigth upper bound).

Usando a funo caracterstica. +

= ).(:)( xdFejM X

xj

X

Passando ao plano real:

js

Seja +

= )()( xdFesM X

sx

X , s Real.

(chamemo-la funo geradora de momentos, sentido estrito)

{ }sXX eEsM =)(

Seja { }sXX eEsMs ln)(ln:)( == .

+

= )(ln:)( xdFes X

sx pela desigualdade de Jensen

{ }XEsexdFes xxdFsXsxX

.ln)(ln:)()(

==+

+

.

Dado >0, Avaliemos agora { }XPr :

{ } { } +

===

)(),[),[)(Pr xdFIIExdFX XX

{ } { } { } ssssX eEeIeEexdFIX1

),[.1

)(),[Pr ==

Em termos de (s), s0

{ } sss

see

eX = )()(

1Pr

.

Resolvendo agora o problema de programao matemtica (minimizao)

ss

s

tsMin

)(

0

.. [ ] 0)( =

ss

s ou seja,

=

s

s)( o que atingido em um

s=s0 particular.

A cota (exponencial) desejada

{ } 00 )(Pr sseX

Vejamos agora um caso de interesse.

Seja =

=N

i

iXX1

: , com Xi i.i.d. e avaliemos { }NX Pr .

Isto equivale a considerar

=

N

i

iXN 1

1Pr .

Da cota de Chernoff bsica, 00 )(

1

1Pr Nss

N

i

iXeX

N

=

.

Mas { } ( )( ) ( ))(ln)(ln)(lnlnlnln)(11

1 sMNsMeEeEeEeEs XiN

Xi

N

i

sxN

i

sxxs

sx

Xii

N

i

i

==

==

==

==

=

A cota de Chernoff no caso de varivel soma i.i.d. torna-se:

( ))()(

1

00001PrssNNssN

N

i

iiXiX eeX

N

=

=

.

A cota (exponencial) de CHERNOFF desejada

( ) ,1

01

Pr sNEN

i

i eXN

=

Esta cota decresce exponencialmente com N, enquanto que a lei fraca dos

grandes nmeros (com base na cota de Chebyshev) decresce apenas com

1/N.

UMA COTA EXPONENCIALMENTE APERTADA!

Pode ser demonstrado que o expoente E(s0,) o maior possvel, i.e., inexiste

uma cota exponencial da forma

'

1

1Pr NE

N

i

i eXN

=

Com E independente de N e tal que E> E(s0,).

Por esta razo a cota de Chernoff dita ser exponencialmente apertada

(tight bound).

APLICAO

Cota para uma varivel Gaussiana. 2/2

2

1)( xX exf

=

2/2)( = ejM X .

2/2/)/( 22)( sjsX eesM ==

2)(

2ss = .

impondo

=

s

s)(, tem-se =0s .

Assim, Pr{X} pode ser exponencialmente cotada por

{ } 2/2 22

2

Pr

= eeX

EXEMPLO DOIS.ZERO. (h carro 2.0!)

A cota para a varivel =

N

i

iXN 1

1 com Xi variveis de Bernoulli.

p-1 prob. com

p prob. com

0

1

=iX

)1()( ppesM sX i += ( ))1(ln)( ppes s += .

De

=+

=

ss

epppes

s..

)1(

1)( obtm-se

=p

ps

).1(

)1.(ln0

( ) )1ln()1(ln.)1ln()1(ln.)( ..00 += ppss iX

Definindo:

)1ln()1(ln:)( ppTp = e

)1ln()1(ln:)( =H

Mostra-se que:

( ))()(

1

1Pr HTN

N

i

ipeX

N

=

, 1< p .

Ou

( ))()(

1

1Pr HTN

N

i

ipeX

N

=

, p

CONVERGNCIA DE SEQUNCIAS DE VARIVEIS ALEATRIAS

Sequncias de nmeros reais:

{ }=1nnr rn r (rn converge para r) se e somente se >0 N | rn - r | N

Varivel aleatria X: Funo real de varivel real.

Conjunto de funes de valores reais:

{ }=1nnf fn f (fn converge para f ponto a ponto) Se e somente se >0 N,x | fn (x)- f(x) | N,x x.

{ }nf f

)()( xfxfn x.

Seq. de nmeros reais.

Convergncia uniforme (j estudada em MMAT):

Usar N em lugar de N,x

Exemplo 1.

]1,0[x nx

n xenxf= 2:)( claro que

0)(lim =

xf

n

n

.

0= ffn . A convergncia uniforme?

Critrio.

Fn converge uniformemente

0)()(

]1,0[

suplim =

xfxf

xn

n

.

Temos:

nx

n xen

x

xfxf

x

=

2

]1,0[

sup)()(

]1,0[

sup.

Verificando o mximo: 0232 =+= nxnxnx enxenxen

dx

d

[1-n.x]=0 i.e., o ponto de mximo ocorre em nx

1= .

e

nxen

x

nx=

2

]1,0[

sup

+=

nxxen

xn

2

]1,0[

suplim e a convergncia no uniforme.

Graficamente:

Ver Animao.

Exemplo 2.

Xn() X()=0 (mas no uniformemente).

Dado 0 N n>N 2/n< 0

+=

=

n

n

X

n

n lim|)(|

]1,0[

suplim

.

Exemplo 3. n

n eX/:)( = , com ].1,0[

Xn() X()=1 (converge uniformemente).

?)()(

]1,0[

suplim =

XX

n

n

nn ee // 1

]1,0[

sup1

]1,0[

sup

= . Mas em ]1,0[ , 1

//1 nn ee e

portanto, 0|1|lim)()(

]1,0[

suplim /1 =

=

nn e

n

XX

n

.

CONVERGNCIA COM PROBABILIDADE 1

Def. { }

=1nnX diz-se que Xn X c.p.1 (p.s. = a.s.) se e s se

1)()(lim

Pr =

=

XX

nw

n

. Denota-se tambm XXsa

n

..

.

Conseqencia. 0)()(lim

Pr =

XXn

wn

.

So equivalentes as seguintes proposies.

Xn X c.p.1 se e s se >0, >0 N,

{ }

>

1|)()(|Pr,

XXw nNn

I (conjuntos bons)

{ }

=

)1(1|)()(|Pr,

XXw nNn

U (conjuntos ruins)

>

1

|)()(|supPr

,

XX

Nnw

n

.

CONDIES

I) Necessria

Pr(Bn)0 quando n

>>

Nn

n

Nn

n BPBP 0)(U

Obs. Suponha que nnBP 21

)( = . Pr(Bn)0 quando n

mas

>U

Nn

nBP pode no ser menor que um >0 arbitrrio

Exemplo- bolo francesa .1=

>U

Nn

nBP

II) Suficincia para convergncia cp 1

U

Nn

nBP Bn = bad sets

Bn i.e. { }nB seja sequncia monotnica no crescente

Neste caso, Un

Nk

nk BB>

= 0)( =

>n

n

Nk

k BPBP U

.

III) outra condio e suficincia com probabilidade 1 (conv. certa)

)( nn BPBP U e Pr(Bn)0 quando n.

Suponha que

=1

)(n

nBP seja convergente (cond.)

Ento >

Nn

nBPNnN )( e, portanto,

> Nn

n

Nn

k BPBP )(U .

Convergncia em mdia r-sima

Definio.

{ }0

lim

r

n XXE

n r>0 .

O espao Lr fechado em relao convergncia em mdia r-sima

Notao para r=2: XX

n

mil n =

...

Proposio:

se XXr

n ento { } { }rrn XEXE

n

=

lim

i) para 01 Usar a desigualdade de Minkowsky

Convergncia em Probabilidade

Definio. Seja { }

=1nnX uma sequncia de variveis aleatrias. Diz-se que

Xn converge para X em probabilidade se e s se

{ }( ) 0|)()(|Prlim =

wXwXw

n

n

Notamos por XXP

n i.e., para convergncia em probabillidade exigimos

que

( ) nBP para todo n>N,.

ou seja,

( ) 0Prlim =

nB

n

Bn so conjuntos ruins:

{ }= |)()(|: wXwXwB nn .

Notao: XX

n

p n =

lim

Proposio. XXr

n XXP

n

Prova. Pela cota de Markov, ( ){ }

r

r

n

n

XXEXX

Pr0

Mas XXr

n

{ } 0lim =

r

n XXE

n

( ) 0Prlim =

XXn

n

e logo XXP

n .

Claro que a inversa no verdadeira em geral. Mas, sob certas condies,

XXP

n XXr

n . Vejamos:

Proposio.

Se 0

1lim =

+

r

n

r

n

XX

XXE

n (implica { }

0lim

r

n XXE

n ), ento

XXP

n XXr

n .

Prova.

Seja X uma v.a. arbitrria e g em uma funo de Borel no-negativa. Se g

par e no-decrescente em [0,), vale a>0

{ } { } { })(

)(||Pr

)(..

)()(

ag

XgEaX

xSupgsa

agXgE

Para este caso, tome rr

X

Xxg

||1

||)(

+= . Chega-se a (a.s. sup g(x)=1):

{ }

++

+

+ rr

r

r

r

r

r

r

X

XE

a

aaX

a

a

X

XE

||1

||1||Pr

1||1

||

Substitua X por Xn-X; a por , logo

{ }

+

+

+

+

r

n

r

n

r

r

nr

r

r

n

r

n

XX

XXEXX

XX

XXE

||1

||1||Pr

1||1

||

01

lim =

+

r

n

r

n

XX

XXE

n bad sets de prob. Nula ou XXP

n .

DISTNCIA entre variveis aleatrias

+

=

YX

YXEYXd

1:),( uma distncia, exceto que d(X,Y)=0 X=Y p.p.

Teremos um espao completo de classes equivalentesde variveis

aleatrias.

Proposio: XXsa

n

..

c.p. 1 XXP

n

(convergncia forte implica em convergncia fraca)

Prova.

Se h c.p.1 ento

>U

,Nn

kBP .

,Nn > , U ,Nn

nn BB>

>U

,

)(Nn

nn BPBP .

Conclui-se ento que )( nBP ,Nn >

o que significa que 0)Pr(lim =

nB

n XXP

n Q.E.D.

Convergncia em Distribuio

Definio. Seja { }

=1nnX uma sequncia de variveis aleatrias. Diz-se que

Xn converge para X em distribuio se e s se

)()(lim xFxF

n

XX n=

nos pontos de continuidade de FX.

Notamos isto por XXd

n .

Teorema. XXP

n XXd

n .

Prova.

(X

donde

)(inflim)'( xFxFnXX

, xx.

Coletando os resultados, segue-se

)''()(suplim)(inflim)'( xFxFxFxF XXXX nn para x

LEIS DOS GRANDES NMEROS

Desejamos examinar a convergncia de uma soma de variveis aleatrias

quando a soma normalizada subtraindo-se o seu valor esperado e dividindo-

se o resultado pelo nmero de termos da soma.

Considere a sequncia { }1iX e defina =

=N

i

iN XS1

: . Queremos examinar a

convergncia da sequencia de variveis { } 1NS , aonde

[ ]}{1: NNN SESN

S = .

Tem-se

[ ]===

=

=

N

i

iii

N

i

N

i

iN XEXN

XEXN

S111

}{1

}{1

: .

Em particular, temos interesse nas condies exigidas que asseguram que

{ } 1NS converge para zero de alguma maneira.

Se a sequncia de variveis aleatrias { }iX , verificando E{Xi}

a) 0..sa

NS

ento dizemos que a sequncia dos { }iX obedece Lei

forte dos grandes nmeros.

b) 0P

NS

ento dizemos que a sequncia dos { }iX obedece Lei

fraca dos grandes nmeros.

c) 0r

NS

ento dizemos que a sequncia dos { }iX obedece Lei

mdia r-sima dos grandes nmeros.

Convergncias possveis para a mdia amostral.

Efeitos da normalizao.

Consider o caso em que os { }iX so v.a.s i.i.d. com segundos momentos

finitos. Neste caso, definindo NN SN

S1

:=

=

==N

i

iN XEXEN

SE1

}{}{1

}{ e 01 2

1

22

2 == = NN

XN

i

XS iN

VERSES FRACAS Weak law of large numbers

Teorema. Para que a sequncia de variveis aleatrias { }iX , possivelmente

dependentes seja tal que 0P

NS

, necessrio e suficiente que

0}]{[

}]{[lim

1

2

1

=

+

=

=r

N

i

ii

rN

i

ii

XEXN

XEX

E

N para algum r>0.

Prova.

Sabemos que YYP

N se e somente se 01lim

=

+

r

n

r

n

YY

YYE

N .

Ento substituindo nN YS

e Y0 , vem

0P

NS

01lim

=

+

r

N

r

N

S

SE

N

( )

( )0

}{1

1

}{1

lim

1

1

=

+

=

=

rN

i

ii

rN

i

ii

XEXN

XEXN

E

N e o resultado segue.

Gostaramos de condies estipuladas em termos das variveis Xi.

Teorema de Markov (condio de suficincia).

Se as variveis aleatrias { }iX so tais que 0var

1lim1

2=

N

iXN

N , ento

0P

NS

.

Prova.

r

Nr

N

r

NS

S

S

+1

{ }rNrN

r

NSE

S

SE

+

10

.

Ento { } 0 rNSE (cond. Suf.?) 01

+

r

N

r

N

S

SE

(cond. nec. e suf.?)

{ } ( ) ==

=N

i

r

iir

rN

i

ii

r

N XEXEN

XEXN

ESE11

}{1

}{1

a

Fazendo r=2, ... =

N

i

ii XEXEN 1

2

2 }{1

0}{

1lim1

2

2 =

=

N

i

ii XEXEN

N

0}){}).({(

1lim1 1

2 =

= =jj

N

i

ii

N

j

XEXXEXEN

N , ou seja,

0var1lim

12

=

N

iXN

N Q.E.D.

Observaes: casos particulares de interesse.

1) { }iX i.i.d.

01lim1var

1lim 21

22

12 =

==

X

N

X

N

iN

NN

XN

Ni

(esta uma verso Chebyshev da Lei fraca dos grandes nmeros).

2) Caso srio

{ }iX independentes com mdias finitas

0}{

1lim1

1

1 =

=

+

+

N

i

ii XEXEN

N

0P

NS

Organizando o resultado para enunciado formal:

Teorema de Chebyshev (condio suficiente).

Se { }iX uma sequncia de variveis aleatrias no-correlacionadas (ou independentes) par-a-par, com varincias finitas

pZN

N >0.

Em notao simplificada: pZ

N

p N =

lim

Teorema de Poisson. Se em uma sequncia de realizaes de um

experimento, a probabilidade de ocorrncia de um evento na i-sima

realizao pi, ento se

N

KZ N =: , >0, 1|

1|Pr

lim

1

=

Lei Forte dos Grandes Nmeros (Strong Law of large numbers)

RESUMO.

FREQUNCIA RELATIVA.

Teorema de Borel. Seja K o nmero de vezes que um evento A ocorreu em N realizaes independentes de um experimento de Bernoulli, sendo a probabilidade de ocorrncia em cada realizao igual a p. Defina

realizao sima-i naocorreu Se

realizao sima-i naocorreu Se

0

1Ci A

AX

=

Ento

=

=N

i

iXNN

K

1

1, e ( ) 0

1:

1

..

=

=N

i

sa

iN pXN

S .

[a demonstrao usa a desigualdade de Makov com r=4]

mile Borel

Teorema de Kolmogorov. Se a seqncia de variveis aleatrias

mutuamente independentes { }iX satisfaz condio

0.

Ento SSd

n *

, i.e., ( )

+++

= sn

nmXXXS nn

...21* tende para )(sPS

Teorema de Lindenberg: Se os termos em { }iX so

i) no identicamente distribudas

ii) independentes

iii) mi0.

Ento SSd

n *

.

Teorema do erro 1.

Se )( 33 XEm = existe e v

X jM )( , para algum v1 integrvel, ento

)(* spnS existe para nv e alm disso

+=

nspss

n

mspsp SSSn

1)()3(

6)()( 3

33

* .

Teorema do erro 2.

Se 03=m e )(4

4 XEm = existe e v

X jM )( , para algum v1 integrvel,

ento )(* sp nS existe para nv e alm disso

++

=n

spssn

mspsp SSSn

1)()36(

24

3)()( 244

44

*

.

Teorema de Berry-Esseen.

Se E{X}=0 e E{X3}:=3 existe, ento

nsPsP sSn 3

3

4

33)()(*

VISES MODERNAS

O TEOREMA CENTRAL DO LIMITE:

Uma abordagem via Teoria da Informao

Uma abordagem atipica, porm atrativa e interessante, considera o uso de

ferramentas da Teoria de Shannon para estabelecer teste de hipteses,

teorema central do limite etc.

Considere a breve reviso dos conceitos de

ENTROPIA e ENTROPIA DIFERENCIAL

ENTROPIA

Distribuio {pk} =k

kk ppH 2log:)(p

Distribuio {p(x)} +

= dxxpxpxpH )(log)(:))(( 2

Desigualdade de potncias-entropicas

Sejam X e Y independentes, contnuas e de varincia finita. Ento a entropia

diferencial diferencial satisfaz

)(2)(2)(2 YHXHYXH eee ++ . (prova p.287, R.Blahut, principles and practice of Information Theory, Addison-Wesley)

Digresso: Discriminante de Kulback

Dadas duas distribuies p0 e p1, o discriminante de Kulback definido pela

relao:

=

=1 1

0010 ln:);(

k kp

kk

p

ppL pp caso discreto

+

= dx

xp

xpxpppL

)(

)(ln)(:);(

1

0010 caso contnuo

O discriminante invariante a troca de coordenadas, tais como mudanas de

escala ou rotao dos eixos.

Teorema. (gaussianidade).

Se p1* tem distribuio gaussiana e p0 arbitrria, ento L(p0; p1

*) atinge o

mnimo quando p0 tambm gaussiana.

Teorema. (medida de distncia para distribuies de probabilidade).

O discriminante no-negativo, ou nulo somente quando seus argumentos

so idnticos.

Prova.

Segue da desigualdade fundamental da teoria da Informao x

x1

1ln .

011ln:);(

00|1

11 0

10

1 1

0010

=

===pkk

k

k

k kp

k

k

k kp

k

k pp

pp

p

ppL pp

.

Teorema (convexidade do discriminante).

O discriminante convexo em cada dos seus argumentos, i.e., dado um

escalar ]1,0[ , ento:

);()1();();)1(( 1010100 pqpppqp LLL ++

);()1();();)1(;( 1110110 qpppqpp LLL ++ .

Definio: o discriminante binrio definido pela relao

+=

1

1ln)1(ln:),(L . (convexo e igual a zero sse =)

Discriminante: Define uma Distncia entre duas distribuies

Dada uma sequncia de variveis aleatrias i.i.d. { }=1llX , Xl~(m,

2), e a

varivel soma normalizada

=

=n

l

ln Xn

Y1

1:

{ }=1nnY no so identicamente distribuidas, mas sua densidade converge para uma gaussiana: especificamente, se Z~ N(0,2), ento

0);( ZYL n quando n.

Teorema central do limite (segue como corolrio).

Teorema 2

|)()(|log2

1

)(

)(ln)(

+

+

dxxqxp

edx

xq

xpxp .

Prova.

Passo1 ]1,0[p , pq , tem-se 2)(

log2

4

1

1ln)1(ln qp

eq

pp

q

pp

+ .

Considere ento a def. 2)(

log2

4

1

1ln)1(ln:),( qp

eq

pp

q

ppqpf

+= com

f(p,q)=0 q=p.

A derivada 0

Calculando: 0log1

)1()(4

),(

=

eqq

qpqp

q

qpf .pq

dxxqxpqp )()(2

1)()( =

+

, concluindo que 2

)()(log

2);(

+

dxxqxp

eqpL

Q.E.D.

Teorema (LIMITE CENTRAL).

A varivel aleatria soma padronizada =

=n

l

ln Xn

Y1

1:

satisfaz

0);( ZYL n quando n.

Esboo da prova.

Provaremos apenas que );( ZYL n e monotona, decrescendo a um limite.

A desigualdade de entropia para duas variveis X e Y independentes

)(2)(2)(2 YHXHYXH eee ++ (igualdade iff X=Y=Z=gaussiana).

Sejam

XX

YY 1 .

De TI, )ln()()( aXHaXH += .

Ento:

)(2)(2))1((2 ).1(. YHXHYXH eee ++ .

Multiplicando por

+

dxxx )(ln)(2exp , em que ~ N(0,2), e usando o fato que

+

+

= dxxxpdxxx )(ln)()(ln)( quando p(x) tem a mesma varincia que

(x), a desigualdade torna-se:

);(2);(2);)1((2 ).1(. ZYLZXLZYXL eee + +

A cota pode ser enfraquecida via desigualdade de Jensen, resultando em

[ ]);()1();(2);)1((2 ZYLZXLZYXL ee ++

ou finalmente,

);()1();();)1(( ZYLZXLZYXL ++ , Com igualdade se e s se X e Y so gaussianas.

A concluso da demonstrao elaboraa: em linhas gerais

XYn YYm ' mnn

+= e chega-se a

( ) ( )ZYLZYL rr ;; 22 1 + com igualdade se e s se rY2 gaussiana. Isto permite mostrar que:

( )ZYL r ;2 e adicionalmente, sabe-se que ( ) .0;2 ZYL r Nota final.

A concluso da demonstrao requer demonstrar que a sequencia

( ){ }=12

;r

ZYL r no pode se estabilizar (travar, convergir) antes do zero e

continua decrescendo indefinidamente.

Processos Estocsticos: (processos aleatrios)

Coleo indexada de variveis aleatrias: uma verso dinmica.

T=conjunto de indices

{ }TtX t , Teoria no Sculo XX, com base no gigante A. Kolmogorov.

Obs: )(1 janelasX t a

( )iti bXa i Pr

)(Pr iti

i

bXaiU

CLASSIFICAO DE PROCESSOS

1. Processo estocstico de parmetro contnuo ||T||=2c

2. Processo estocstico de parmetro discreto ||T||

Varivel aleatria

w X

x (, ,P) ( , ,P)

Teorema de Kolmogorov MAPEAMENTO

w Xt

(, ,P) ( , ,P)

A )'(1

AXA t=

P(A):=P(A), desde que A

A idia usar ( n, ,) em lugar de ( , ,P)

uma restrio de P' a

EQUIVALENCIA DE P.E.s

Dois processos estocsticos { }TtX t , e { }TtYt , so ditos equivalentes se e s se Xt(w)=Yt(w) c.p.1.

TOPOLOGIA

Intervalos abertos em

Intervalos de Base em n aj

Unies, interseces e outras operaes finitas com intervalos abertos em

formam a lgebra . Tome como a menor -lgebra que contm todos os

intervalos abertos.

Funo amostral ou Realizao de um P.E. (trajetria)

uma generalizao do conceito de varivel aleatria (verso dinmica): a

cada instante, tem-se uma varivel aleatria diferente!

t fixo

X(w1,t)

t

X(w2,t)

Figura. Fixado um instante arbitrrio de tempo, o processo aleatrio torna-se uma simples

varivel aleatria.

Xt1 uma varivel aleatria,

logo tem sentido a distribuio ( )11 11 Pr)( xXxF tX t =

Distribuies marginais:

( )11 11 Pr)( xXxF tX t = ( )22 22 Pr)( xXxF tX t =

...

( )ntnX xXxF ntn = Pr)(

Funes distribuio finito-dimensionais: n, t1,...,tn,

( )ntntttnnXXXX xXxXxXxXxxxxF nntntntt = ,,...,,Pr),,...,,( 121121..., 121,1,2,1

Especificao de ordem m de um P.E.

Um P.E. est especificado at ordem m se todas as funes de distribuio

finito-dimensionais so conhecidas para n=1, 2, ..., m, para instantes de tempo

arbitrrios.

Especificao de um P.E.

Para todo n finito, suponha que conhecemos a funo distribuio de

probabilidades acima: o Processo Estocstico est especificado.

Condies de Kolmogorov. (sobre as distribuies finito-dimensionais)

1. Condio de simetria:

permutao j1,j2,...,jk dos ndices 1,2,..,k,

F(xj1 xj2 ... xjk; tj1 tj2 ... tjk)=F(x1,x2,...;t1,t2...tk).

2. Condio de compatibilidade m

PROCESSO ESTACIONRIO SENTIDO ESTRITO

Definio. Um processo aleatrio dito ser estacionrio no sentido estrito se

e somente se escolhidos quaisquer instantes finitos, as funes de distribuio

finito-dimensional so invariantes a um deslocamento na origem dos tempos.

t1 t2 t3

Figura. Estacionaridade de funes de distribuio finito-dimensionais (N=3).

Adicionando-se o mesmo incremento aos instantes fixados t1, t2, t3, recai-se sobre os

instantes identificados por (). A distribuio conjunta permanece a mesma.

Etimologia - Estacionrio (de comportamento estacionado), simplificando

sobremaneira a especificao e o tratamento do processo.

, k,

Fxt1 xt2 ... xtk(x1,x2,...,xk)= Fxt1+ xt2+ ... xtk+ (x1,x2,...,xk).

CONSEQENCIAS:

Para k=1

Fxt1 (x1)= F

xt1+ (x1), i.e., mesma distribuio mantm-se durante todo o processo.

Por exemplo, para um processo estacionrio Gaussiano

Varivel Gaussiana, Gaussiana, Gaussiana, ....(indefinidamente...)

Em t1: E(Xt1) +

=

1tXxdF ,

Em t2: E(Xt2) +

=

2tXxdF .

Logo E(Xt1)= E(Xt2)= ...= E(Xt)=constante.

O processo estocstico (P.E.) estacionrio tem mdia nica, constante. De

modo geral, todos os momentos so constantes, invariantes origem dos

tempos.

Note que da anlise pela funo caracterstica uma forma alternativa

mais simples de especificar uma varivel aleatria atravs dos seus

momentos.

Ainda assim, o problema demasiadamente complicado...

Por este motivo, usual restringir-se a anlise at a 2 ordem, como ver-

se- na sequncia. Trabalhar com momentos como comer papa quente:

atacar pelas beiradas...

PROCESSO ESTACIONRIO SENTIDO AMPLO

Definio. Um P.E. dito ser estacionrio no sentido amplo se e somente se

1. E{X(t)}= constante.

2. E{X2(t)}

A funo de autocorrelao do processo (ACF) independe

da origem dos tempos.

*Apenas a mdia e varincia permanecem constantes ao longo do tempo.

Estacionaridade: sentido estrito sentido amplo

Alm de ser mais simples de tratar, so mais gerais e com menor regularidade

que os processos estacionrios no sentido estrito. Vale tambm salientar que

tais processos possuem uma descrio espectral (no domnio frequencial).

EXEMPLOS DE Processos Aleatrios

Xt=at+b a,b~N(0,1)

Xt=2.cos(2(100+)t) ~U(-10,10)

Yn = Xn Xn-1 Xn Bernoulli

=

=n

k

kn XY1

Xn Bernoulli

Processo das retas aleatrias

Xt=at+b a,b~N(0,1) a e b independentes.

E{Xt}= mX(t)=E(a)t+E(b)=0. mdia nula.

RX(t1,t2)=E{Xt1 Xt2}=t1t2E(a2)+2E(ab)t1t2+E(b

2).

RX(t1,t2)=t1t2+1 e KX(t1,t2)= t1t2+1.

Rudo discreto Processo estocstico de Bernoulli

{ } 1nnX Xn i.i.d. binria com p)(1 com p com

0

1

=adeprobabilid

adeprobabilidX n .

Caso p=1/2. 2/1}0{ ==nXP e 2/1}1{ ==nXP .

trajetria tpica (realizao)

Anlise dos parmetros:

Mdia E{ Xn }=1/2

Varincia var( Xn )=1/4

Correlao R(Xn,Xn+k)=0,25 k,0

Seqncia estacionria no sentido amplo.

Xt=at+b a,b~N(0,1)

Calculando a ACF, RX(t1,t2)=t1.t2+b2

No estacionrio, nem no sentido amplo nem estrito...

PASSEIO ALEATRIO (passeio causual)

Considere uma seqncia de v.a.s i.i.d. { } 1nnX e suponha que cada Xn possa assumir apenas valores -1 e +1 (passo para tras e

passo para frente, respectivamente), com probabilidades

pXP n =+= }1{ e pqXP n === 1}1{ .

Seja a seqncia

=

=n

k

kn XY1

Se E{ Xn }=m e var( Xn )=v ento fcil verificar que:

E{ Yn }=n.m e var( Xn )=n.v o processo no estacionrio!

Exerccio. Demonstrar que a autocovarincia do processo dada

por:

Cov(Xn,Xn+k)=v.[Min(n,n+k)]

Notado tambm como Cov(Xn1,Xn2)=v.(n1^n2).

Processo de Wiener-Lvy (Movimento Browniano) Botnico Robert Brow 1827

Modelo para o movimento catico exibido por uma partcula (e.g.

plem) imersa em um lquido, visto em microscpio.

Norbert Wiener (1864-1964) {filho de imigrantes russos}

Paul Pierre Lvy (1886-1971) {aluno Hadamard, orientador Mandelbrot}

O processo {X(t), t0} dito ser um processo de Wiener-Lvy se:

i) t>0, X(t)~ N(0,t)

ii) X(0):=0

iii) {X(t), t0} tem incrementos estacionrios e independentes.

Trajetria tpica

Incrementos independentes

Para qualquer escolha de instantes arbitrrios nttt

A mdia do processo

m(t)=m1=0.

A covarincia de processos incrementos-independentes vale

KX(t1,t2)=var{min(t1,t2)}=var{Xt1^t2}.

Prova.

Provemos inicialmente que t1t2, KX(t1,t2)= var{Xt1}.

A ACF do processo RX(t1,t2)=E{Xt1 Xt2}.

Truque: RX(t1,t2)= E{Xt1 (Xt2- Xt1)+X2

t1}

(via incrementos independentes)

RX(t1,t2)=m1(m2-m1)+E{ X2

t1}.

Mas KX(t1,t2)= RX(t1,t2)-m1m2 =E{ X2

t1}-m2

1 =var{Xt1}.

Se t1=t2, o resultado imediato. Generalizando, chega-se a

KX(t1,t2)=var{Xt1^t2}. Q.E.D.

O processo definido por i) a iii) Gaussiano:

=

)()(

)()(

)()(

.

1111

0

0111

0011

0001

)(

)(

)(

1

12

01

2

1

nnn tXtX

tXtX

tXtX

tX

tX

tX

M

L

LOMM

K

K

K

M .

Como { }n

kkktXtX 11)()( = so variveis aleatrias independentes e

gaussianas, o vetor que define o processo corresponde a uma

transformao linear de variveis gaussianas com distribuio n-

variada.