of 321 /321
PROBABILIDADE & PROCESSOS ESTOCÁSTICOS H. Magalhães de Oliveira, docteur Programa de pós-graduação em Engenharia Elétrica DINTER UEA-UFPE E-mail [email protected] URL http://www2.ee.ufpe.br/codec/deOliveira.html

PROBABILIDADE & PROCESSOS ESTOCÁSTICOS · Russos : Markov, Chebyshev, Liapunov, Kinchine, Kolmogoroff.. TEORIAS i) Definição a priori como razão entre casos favoráveis para total

  • Author
    ngothu

  • View
    215

  • Download
    0

Embed Size (px)

Text of PROBABILIDADE & PROCESSOS ESTOCÁSTICOS · Russos : Markov, Chebyshev, Liapunov, Kinchine,...

  • PROBABILIDADE & PROCESSOS ESTOCSTICOS

    H. Magalhes de Oliveira, docteur

    Programa de ps-graduao em Engenharia Eltrica

    DINTER UEA-UFPE

    E-mail [email protected] URL http://www2.ee.ufpe.br/codec/deOliveira.html

  • SUMRIO DA PARTE I

    Conceitos de Probabilidade

    limsup e liminf, classes monotonicas lgebra e -lgebra

    Continuidade Independncia e probabilidade condicional

  • Funes mensurveis e variveis aleatrias Bernoulli, Binomial, geomtrica, Poisson, uniforme, exponencial, gama, beta, normal, chi2, Weilbull... Variveis conjuntas Transformao de variveis aleatrias .................................. Vetores aleatrios: Jacobiano Desigualdades: .................................. Jensen, Minkowski, Liapunov, Cr Funo caracterstica e suas propriedades .................................. Geradora de momentos

  • Cotas sobre probabilidades .................................. Chebyshev .................................. Markov .................................. Chernoff Seqncias de variveis aleatrias Critrios de convergncia .................................. em mdia quadrtica .................................. em probabilidade .................................. com probabilidade 1 .................................. em distribuio

  • Lei dos grandes nmeros .................................. Teorema de Bernoulli .................................. Teorema da Kolmogorov .................................. Teorema de Borel Teorema central do limite .................................. (Lindenberg-Lvy, Lyapunov, etc.) [Mdias estatsticas e momentos .................................. Correlaes, propriedades...] Estimao e predio: Amostragem

  • SUMRIO DA PARTE II

    Processos Estocsticos (contnuos e discretos) Definies e classificao Estacionaridade (sentido amplo e restrito) Passeio aleatrio Processo de Wiener-Lvy (movimento Browniano) Onda telegrfica aleatria

  • Densidade espectral, teorema de Wiener-Kinchine Ergodicidade Processos estocsticos atravs de Sistemas Lineares .................................. Anlise espectral Preditores lineares: Filtragem tima de Wiener Processos Estocsticos Gaussianos .................................. Normal e log-normal .................................. Vetores gaussianos .................................. Processo banda-estreita

  • Processo de Poisson .................................. Processo de contagem .................................. Tempo entre chegadas .................................. Tempo de espera .................................. Processo filtrado Cadeias de Markov .................................. Equaes de Chapman-Komogorov .................................. Classificao de estados .................................. Probabilidades limites .................................. Teoria das filas .................................. M/G/1, G/M/1, M/M/k ...

  • REFERNCIAS RECOMENDADAS Probability, Random Variables ans Stochastic Processes, A. Papoulis, McGraw-Hill, 1965. Probabilidade, Variveis Aleatrias e Processos Estocsticos, J. Albuquerque, J.P. Fortes, W. Finamore, Interciencia, 2008.

    Introduction to Probability Models, 9th ed. S.M. Ross, Academic Press, 2007. A First Course in Stochastic Processes, S. Karlin & H. Taylor, Academic Press, 1975.

  • Random Processes: An Introduction for Applied Scientists and Engineers, Davenport Jr, W.B., McGraw-Hill, 1970. Sistemas Probabilisticos, F.M. Campello de Souza, Vade Mecum, Recife, 2006. An introduction to the Theory of Random Signals and Noise, Davenport Jr, W.B. and Root, W.L, McGraw-Hill, 1958.

    Probability Theory, M. Love, Van Nostrand, 1963.

  • Dennis Poisson. Assim um evento ter, pela sua prpria natureza, uma chance, maior ou menor, conhecida ou desconhecida, e sua probabilidade ser relativa aos nossos conhecimentos naquilo que lhe diz respeito. Poisson, 1837. (Sceaux, Frana)

    Probabilitas

  • PROBABILIDADES ALEATRIAS

    Modelam o acaso em fenmenos empricos

    PROBABILIDADES ESPISTMICAS

    Descrevem graus de crena parcial lgicos de pessoa/sistema intencional

    Matemtica determinismo Aleatrio: Taboo Teorema de Gdel e o fim da certeza matemtica

  • AXIOMAS 2 (lgica) = Resultados (Proposies) Mundo real Explicar resposta ao POR QU?

    TELEOLGICA (finalista) ESTATSTICA (probabilstica) GENTICA (histrica) NOMOLGICA (dedudiva) ** cientfica

    Deus ex-machina, anjos,...

    ???? Qual a finalidade? Tudo tem uma razo. Qual a utilidade? Por que fazer? Viso pessoal: (interrogaes postas no inicio das questes, discordante).

  • BREVE HISTRICO

    1654 Pascal-Fermat (Paris-Toulouse)

  • 1812 Laplace - escola deterministica (o demnio laplaciano)

    Russos : Markov, Chebyshev, Liapunov, Kinchine, Kolmogoroff..

  • TEORIAS

    i) Definio a priori como razo entre casos favorveis para

    total de casos possveis.

    ii) Freqncia relativa (Von Mises)

    iii) Axiomtica

    iv) Medida de crena

  • TRATAMENTO AXIOMTICO

  • URL: http://www2.ufpe.br/codec/deOliveira.html

  • Exerccio.

    Se A e B so eventos certos, i.e., P(A)=P(B)=1, avaliar, usando

    apenas os axiomas de Kolmogorov:

    P(AB) e P(AB).

    Dicas: problemas 5 e 6.

  • UNIES FINITAS DISJUNTAS

    Dados eventos A1, A2, A3..., An todos disjuntos par-a-par, ento:

    ==

    =n

    k

    k

    n

    k

    k APAP11

    )()(U .

    Por induo finita:

    P2. P(A1A2)=P(A1)+P(A2) (verdade via AX4)

    Pn. Admita verdadeira Pn. ===

    n

    k

    k

    n

    k

    k APAP11

    )()(U .

    Mostrar que Pn Pn+1

  • )()( 11

    1

    1+

    =

    +

    =

    = nn

    k

    k

    n

    k

    k AAPAP UU T2 )()()( 11

    1

    1+

    =

    +

    =

    += nn

    k

    k

    n

    k

    k APAPAP UU

    (via Pn) +

    =

    +

    =

    =1

    1

    1

    1

    )()(n

    k

    k

    n

    k

    k APAP U i.e. Pn+1 verdadeira! Q.E.D.

  • APLICAES RECENTES DA TEORIA

    Inteligncia artificial Mecnica Quntica Algoritmos probabilsticos (e algoritmos genticos) Lgica nebulosa Teoria de informao Controle estocstico Redes neuronais Teoria da evoluo e seleo natural Gentica Otimizao Predio, teoria da deciso, teoria dos jogos

    Etc. etc.

  • TEORIA DOS CONJUNTOS

    Coleo arbitrria de elementos

    Conjunto vazio por abuso, aquele que no contm elementos.

    CLASSE: conjuntos cujos elementos so conjuntos.

    CONJUNTO DE INDICES = T

    {At, t T}.

  • Conjunto das partes ( uma classe)

    A={w1, w2}

    (A)={ {w1}, {w2}, A, }

    2n

    Conjunto finito=

    tem um nmero finito de elementos.

    Conjunto enumervel =

    se finito ou

    pode ser posto em correspondncia biunvoca com .

  • CARDINALIDADE

    || ||= || ||=0

    cardinalidade 2c (do continuum)

    ||A||=2c se e s se f:A biunvoca.

    1,2,3,..., 0 (?) 2c

    Paul Cohen (1934-2007), Medalha Fields

    No pode ser deduzido da teoria de conjuntos. ?=sim ou no.

  • Considere uma rede com diferentes caminhos entre os ns 1,2,3,4.

    Os caminhos so indicados por letras. Escreva o evento K13, h

    uma ligao (caminho fechado) entre o n 1 e 3, em termos dos

    caminhos A, B, C, D, E.

    Aplique leis distributivas para mostrar que

    K13={A [B C (CE)]} {D [E (B C)]}.

  • DEFINIO. Dada uma classe {At}tT

    UTt

    tt AA

    Tt

    =

    sup

    ITt

    tt AA

    Tt

    =

    inf

  • LEIS DE DE MORGAN

    =

    c

    Tt

    tAU

    I

    Tt

    c

    tA

    =

    c

    Tt

    tAI

    U

    Tt

    c

    tA

  • Conseqncia

    =

    c

    tA

    Tt

    sup ctA

    Tt

    inf

    =

    c

    tA

    Tt

    inf ctA

    Tt

    sup

  • CAMPO (ALGEBRA)

    uma classe fechada quando efetuamos um nmero finito

    (arbitrrio) de operaes entre seus elementos.

    i) A,B AB

    ii) A,B AB

    iii) A Ac

    A,B Ac,Bc AcBc [AcBc]c AB

  • Exerccio.

    Determinar uma lgebra em contendo A,B.

    Use apenas e (.)c

    Mostremos que

    ={,A, B, Ac, Bc, AB, (AB)c, AB, (AB)c, (B-A), (B-A)c,

    (A-B), (A-B)c, AB, (AB)c}

  • DEF. LIMITE INFERIOR

    O conjunto de pontos que pertencem a quase todos os elementos Ak

    de uma classe (exceto possivelment em um nmero finito delas)

    chamado de LIMITE INFERIOR de {At}tT

    UI

    =

    =

    =1

    :inflimn nk

    kk AA

    montar tais unies e interpretar...

  • DEF. LIMITE SUPERIOR

    O conjunto de pontos que pertencem a um nmero infinito de

    elementos Ak de uma classe chamado de LIMITE SUPERIOR de

    {At}tT

    IU

    =

    =

    =1

    :suplimn nk

    kk AA

    montar as unies e interpretar...

  • Obs-

    kAinflim kAsuplim

    Exemplo (trivia).

    Seja wAk se k mpar

    wAk se k par.

    w kAinflim e w kAsuplim

  • CONVERGNCIA EM CLASSES

    Seja {Ak}k=1 uma classe de cardinalidade enumervel.

    Dizemos que {Ak} uma seqncia convergente e que existe um

    limite na classe quando

    kAinflim AAk == suplim

    Escreve-se AAk =lim .

  • CLASSES MONOTNICAS

    Classe no-decrescente: A1 A2 A3 A4 ...

    notao An

    Classe no-crescente: A1 A2 A3 A4 ...

    notao An

    Classes monotnicas so convergentes! Vejamos.

  • An U

    =

    ==1

    suplimlimn

    nkn AAA

    An I

    =

    ==1

    inflimlimn

    nkn AAA

  • Se { }nB uma seqncia qualquer, ento:

    I

    = =

    nk

    k

    k

    B

    nkB

    inf

    faa diagramas de Venn...

    k

    nk

    k

    B

    nkB

    ==

    =

    supU

    faa diagramas de Venn...

  • Verificao:

    I

    +=+ =

    11

    nk

    kn BD, I 1+= nnn DBD 1+ nn DD

    U

    +=+ =

    11

    nk

    kn BE, U 1+= nnn EBE 1+ nn EE .

  • Examinar o tipo e a convergncia nas seguintes classes: =[0,1]

    xffxf

    TEOREMA.

    Se f convexa em (a,b), ento f contnua em (a,b).

    Exemplo de funo convexa: f(x)=ex.

  • TEOREMA DE JENSEN

    Seja uma medida em uma lgebra A definida no espao tal que

    ()=1. Se g uma funo real em L1(), com a

  • PROVA.

    Seja = gdt : a

  • Da ( ) ( ) 0+ ttdgdfdgf o donde

    ( ) ( ) 0 dgdfdgf o , concluindo a demonstrao.

    CONSEQUNCIAS

    1) Se g(x)=x, obtemos a desigualdade:

    { }( ) { })(xfEXEf

  • 2) Se f(x)=ex { } degd gexp .

    Suponha agora que ={p1,p2,...,pn} e que (pi)=1/n (equiprovveis) e

    tome g(pi)=xi . Ento:

    ( ) ( )nxxxxn eeeen

    xxxn

    +++

    +++ ...

    1...

    1exp 32121

    Fazendo yi=exp(xi), obtm-se

    ( ) ( )nn

    n yyyn

    yyy +++ ...1

    ..... 21/1

    21 importante!

    mdia geomtrica mdia aritmtica.

  • 3) { } hdhdlogexp (tomando g=log h) mdia geomtrica mdia aritmtica

    Se 0:)( >= iip , =i

    i 1 (distribuio discreta arbitrria)

    Chega-se a

    nnn yyyyyyn +++ ........ 221121

    21

    Generalizao da relao entre mdias harmnica & geomtrica.

  • 3) Sejam p e q expoentes conjugados, i.e,

    111

    =+qp ; 1

  • (i) Desigualdade de Hlder Otto Hlder

    { } { } Xq

    X

    qp

    X

    pdgdfgdf

    /1/1

    ..

    (ii) Desigualdade de Minkowsky Hermann Minkowski

    { } { } { } pX

    pp

    X

    pp

    X

    p dgdfdgf/1/1/1

    )( ++ .

  • Hlder (PROVA)

    { } { } Xq

    X

    qp

    X

    pdgdfgdf

    /1/1

    ..

    :=A :=B

    (p e q so expoentes conjugados, f0, g0 mensurveis)

    Sejam Af

    F =: e Bg

    G =: funes

    (casos A=0 ou B=0; A=+ ou B=+ Triviais)

  • Vejamos que

    { } 1=X pdF e { } 1=X qdG .

    {substituindo,

    11

    ==

    X

    p

    X

    p

    X

    p

    pX p

    p

    df

    dfdf

    Ad

    A

    f

    ;

    11

    ==

    X

    q

    X

    q

    X

    q

    qX q

    q

    dg

    dgdg

    Bd

    B

    g

    }.

  • Dado x, s, t | psexF /)( = e qtexG /)( = .

    tsqtps eqepe 11// + +

    {eg convexa, qt

    p

    s+ =p-1s+q-1t uma combinao convexa}

    ts eqepxGxF 11)()( +

    Da segue-se:

    )()()()( 11 xGqxFpxGxF ts + ,

    pois sp exF =)( e tq exG =)( .

  • Integrando ambos os membros, deduz-se a desigualdade

    +

    X

    q

    X

    p

    XdGqdFpdxGxF 11)()(

    Pela normalizao, o 2 membro torna-se p-1+q-1. Como os expoentes

    so conjugados (por escolha inicial), chega-se a

    1)()( X dxGxF .

  • Substituindo as expresses de F e G em termos de f e g,

    1)()(

    X dBxg

    A

    xf BAdxgxfX .)().(

    e a demonstrao concluda! Q.E.D.

    Para p=q=2, a desigualdade reduz-se conhecida

    DESIGUALDADE DE SCHWARTZ (Hlder p=q=2)

    . { } { }{ } + XXX dgdfdgf 22

    22 .)(

  • Aplicao direta para variveis aleatrias:

    HLDER PARA V.A.s

    Sejam f:=|X| e g:=|Y|

    { } { } { }qqpp YEXEXYE ||.|||| /1/1 .

  • Minkowsky (PROVA)

    { } { } { } pX

    pp

    X

    pp

    X

    pdgdfdgf

    /1/1/1

    )( ++

    Pode ser reescrita de modo compacto como ppp gfgf |||||||||||| ++

    Partindo de

    (f+g)p=f(f+g)p-1+g(f+g)p-1 [**]

  • Aplicando Hlder a cada das funes do 2 membro:

    { } { } qX

    qpp

    X

    p

    X

    p dgfdfdgff/1)1(/11 )(.)(

    ++ (1 funo)

    { } { } qX

    qpp

    X

    p

    X

    p dgfdgdgfg/1)1(/11 )(.)(

    ++ (2 funo)

    Somando agora as desigualdades membro a membro, usando [**] no

    1 membro, tem-se

    [ ] [ ]{ } qqpqX

    p

    X

    pp

    X

    p

    X

    p dgfdgdfdgf/1/1/1

    )(.)(

    +++

    .

  • Dividindo adequadamente, chega-se a

    [ ] [ ]{ }pX

    pp

    X

    p

    qp

    X

    X

    p

    dgdf

    dgf

    dgf /1/1/1

    )(

    )(

    +

    +

    +

    e a prova conclui. Q.E.D.

    Casos particulares da desigualdade de Minkowsky:

    { } { } { } 2/122/122/12)( ++ XXX dgdfdgf

  • DESIGUALDADE Cr

    Estabelece que { } { } { }rrrrr YECXECYXE |||||| ++ em que

    =

    1

    1

    1

    2:

    1

    r

    rC

    r

    r

  • Prova.

    Considere f()=r+(1-)r.

    Um esboo de f

  • Segue a cota:

    1

    1

    1

    2)(

    1

    r

    r

    se

    sef

    r

    .

    Concluso: 1)( fCr , r. (1)

    Tome agora ||||||

    YX

    X

    += e da ||||

    ||1

    YX

    Y

    +=

    Substituindo em (1), obtemos:

    ( ) ( )1

    ||||

    ||

    ||||

    ||

    ++

    + rr

    rr

    r

    rYX

    YC

    YX

    XC .

  • ( )rrrrr YXYCXC |||||||| ++ .

    Tomando o valor esperado:

    { } { } ( )rrrrr YXEYECXEC |||||||| ++

    Usando finalmente a desigualdade triangular, chega-se a:

    { } { } ( )rrrrr YXEYECXEC |||||| ++ , Completando a prova. Q.E.D.

  • DESIGUALDADE DE LYAPUNOV

    Teorema. Vale a desigualdade { } { }rrss XEXE |||| /1/1 para rs>0. Isto significa que LrLs.

    PROVA.

    Defina a funo { }tUEtf ||log:)( = , t0, funo convexa.

    Seja 2||:ht

    UX

    +

    = e 2||:ht

    UY

    = , (h).

  • Da desigualdade de Cauchy-Schwartz, tem-se:

    { } 222 ||.|||| YEXEXYE

    Substituindo as variveis X e Y em termos de U,

    { } hthtt UEUEUE + ||.||||2

    Tomando log(.) em ambos os membros, chega-se a

  • )(2

    1)(

    2

    1)( htfhtftf ++ h.

    Observao. Se f contnua e a desigualdade anterior se verifica, ento f

    convexa.

  • f(0)=0

    t

    tf )( declividade, montona crescente. (antilog=exp)

    De ttf )(

    , antilog ttf )(

    =antilog { } { }tt

    t

    UEt

    UE||

    ||log /1=

    Da relao { }tt UE ||/1 segue a prova. Q.E.D.

  • SIMULAO MONTE CARLO

    Estimativa de algibeira para o nmero de simulaes necessrias

    para estimar a freqncia relativa de evento de probabilidade p

    (p desconhecida).

    Suponha que voc deseja simular um sistema e avaliar uma taxa de erros

    ou taxa de acertos (e.g. de peas em uma linha de montagem, de uma

    transmisso digital, taxa de coliso de partculas etc.).

  • A cada simulao, efetuam-se n repeties do evento e obtendo um

    resultado diferente cada vez que a simulao for realizada. O valor

    mdio um estimador da probabilidade p (vide anexo).

    Embora p

  • EXEMPLO. Ao estimar em computador a probabilidade de um evento

    que voc desconfia em uma estimativa grosseira ter probabilidade da

    ordem de 10-4, (querendo simular para encontrar uma estimativa

    probabilisticamente confivel), use:

    N.B. Se o valor da estimativa for , por exemplo, bem inferior

    a sua estimativa inicial, refaa as contas sobre n e refaa a simulao...

  • O mtodo clssico de simulao, chamado MONTE CARLO,

    certamente no indicado para avaliar a taxa de eventos com

    probabilidades muito pequenas, e.g., 10-9. (see importance sampling)

    ANEXO. Para um experimento de Bernoulli, k sendo o nmero de sucessos e n o nmero de repeties do experimento, k uma varivel aleatria com distribuio binomial.

    E(k)=np e var(k)=2(k)=np(1-p).

    Seja a estimativa de freqncia relativa para a probabilidade p do evento estudado (e repetido): . Como

    k uma varivel aleatria, tambm o .

    1. , o estimador no enviezado.

    (o valor mdio das diversas simulaes tende a fornecer o valor de p)

    2. de modo que o espalhamento relativo mdia vale .

    (p pequeno)

  • Integrao Monte Carlo Hit or miss technique

    0g(x)c em axb. Deseja-se avaliar =b

    adxxgS )(:

    Seja o espao amostral }0,),{(: cybxayx =

    E uma distribuio 2D-uniforme contrrioyx

    caso

    seabcyxf YX

    =),(

    0)(

    1:),(,

  • )(:

    =

    area

    Sp N realizaes aleatria.

    estimador de freqncia relativa Nn

    p hits=:

    Convergncias pp = plim e pp = l.i.m. (ver-se- aps). ALGORITMO.

    1. Gere 2N nmeros aleatrias uniformes {Uj} 2. Arrange-os em N pares (U1,U1), ..., (UN,UN)

    3. Calcule )( abUaX ii += e )( iXg i=1,2,...,N. 4. Conte o nmero de casos n hits para os quais g(Xi)>cUi

    5. Estime a integral por N

    abcppzpabc

    )()1.()(

  • J. Von Neumann (EUA, imigrante Hngaro)

  • A Funo Caracterstica de uma varivel aleatria Def. Dada uma v.a. de distribuio FX(.), define-se:

    +

    +

    == dxxfexdFejM X

    xj

    X

    xj

    X )()(:)( .

    Notaes usuais: MX(.) ou (.)X

    Isto corresponde a transformada inversa de Fourier da densidade de

    probabilidade da varivel aleatria: )()( xfjM XX .

  • Nota: MX poderia ter sido mais naturalmente definida como a TF da

    densidade de probabilidade fX da v.a. X

    Exemplo.

    1) Varivel uniforme X~ UUUU(a,b).

    [ ]ajbjba

    xj

    X

    xj

    X eeabj

    dxab

    edxxfejM

    =

    ==

    +

    )(

    11)()( .

    A funo caracterstica [ ]ajbjX ee

    abjjM

    =

    )(

    1)(

  • 2) Varivel exponencial . X~EEEE(),

    +

    ==

    0)()( dxeedxxfejM xjxX

    xj

    X

    .

    j

    jM X =)( .

    Exemplo: O caso Gaussiano.

    1) Para uma v.a. de distribuio Gaussiana normalizada, X~NNNN(0,1)

    2/2

    2

    1)( xX exf

    = . Tem-se imediatamente

    2/2)( = ejM X .

  • 2) Uma varivel gaussiana sob transformao afim,

    22 2/)(

    2

    1)(

    = xX exf resulta em

    2/22)( = eejM jX .

    3) varivel de Poisson

    +

    =

    = dxixi

    eejM

    i

    ixj

    X

    0

    )(!

    )(

    ( )

    =

    =0 !i

    ij

    i

    ee

    )1()(

    je

    X ejM= .

  • Propriedades da funo caracterstica. (10 propriedades)

    i) Para todo )0(1|)(| XX MjM = .

    Claro que

    +

    = )()0( xdFM XX e

    +

    +

    == 1)(|||)(||)(| dxxfexdFejM X

    xj

    X

    xj

    X

    .

    ii) = )( jM X )(* jM X bvio.

    iii) MX uniformemente contnua em .

    +

    +

    + =+ )()()()(| )( xdFexdFejMhjM Xxj

    X

    xhj

    XX

  • Mas [ ] +

    ++

    +

    + = )()()( )()( xdFeexdFexdFe Xxjxhj

    X

    xj

    X

    xhj

    e

    [ ] [ ]+

    +

    =+ )(1)(1)()(| xdFeexdFeejMhjM X

    jhxxj

    X

    jhxxj

    XX

    de onde:

    0)(1)(1|||)()(| =+ +

    +

    xdFexdFeejMhjM X

    jhx

    X

    jhxxj

    XX

    se h0.

    Assim, + |)()(| jMhjM XX h

  • { }||||

    XE

    < .

    iv) Transformao afim

    = )( jM X )(* jM X e =+ )( jM baX

    bj

    X ejaM ).(

    v) Geradora de momentos:

    { }0

    )()(=

    =

    jMjXE Xn

    nnn

  • vi) Frmula de inverso:

    +

    =

    djMexf Xxj

    X )(2

    1)(

    vii) De )()()Pr( + == xFxFxX XX ,

    ==n

    nX

    xj djMen

    xX

    )(2

    1

    0

    lim)Pr( .

    viii) MX(.) semidefinida positiva:

    [ ]

    Svu

    X uhvhuvjM,

    0)(*)()( , S , finito, h: qualquer.

  • ix) { }iX v.a.s independentes, e =i

    iXY : e a varivel soma, ento

    =i

    XY jMjM i )()( .

    x) Sequncias de funes (Gnedenko 1962):

    Se { }=1)( nX jM n uma sequncia de funes caractersticas, ento:

    = 1|0 nn n

    Xn jM n )(. tambm uma funo caracterstica.

  • Teorema da unicidade. Se duas funes distribuio de probabilidade tm

    a mesma funo caracterstica, ento elas so iguais. {decorre de Fourier}

    (as funes caractersticas so especialmente teis nos teoremas limites).

    Teorema (convergncia de seqncias de distribuies).

    (a) Seja { }nF uma sequncia de funes distribuio com funes

    caractersticas respectivas { }nM . Se Fn F, ento Mn M, sendo a convergncia uniforme com respeito a x em qualquer intervalo finito

    a

  • (b) Suponhamos que

    i) Mn converge em e define a funo limite M;

    ii) M contnua na origem. Ento:

    Fn F, em que F uma funo distribuio de probabilidade

    M a funo caracterstica da varivel de distribuio F.

  • Srie de Taylor para a funo caracterstica de uma v.a.

    Suponha que a expanso em srie de Taylor da funo caracterstica existe

    em algum intervalo que contenha a origem. Ento

    [ ]+

    =

    =0 !

    )()(

    k

    kk

    Xk

    jXEjM

    .

    A funo caracterstica fornece TODOS os momentos da varivel aleatria.

    Assim, conhecer momentos conhecer distribuio.

  • Calcular os momentos (no-centrais) de uma distribuio gaussiana de mdia

    nula e varincia 2.

    X~ NNNN(0,2).

    Fazendo

    ...!2

    1)1(...

    8

    1

    2

    11)( 2244222/

    22

    ++++== lll

    l

    Xl

    ejM

    Chega-se a

    { }par

    mpar

    n

    n

    n

    nXEn

    n

    =)!2/(2

    !0

    2/ .

    avaliar: dxexx 4/10 2+

    , use 2=2 n=10.

  • No caso de funes caractersticas conjuntas, seja o caso simples de apenas

    duas variveis X1, X2, com distribuio FX1,X2.

    Mostra-se que

    [ ]0,0

    21,21

    21

    21

    21),()(

    ==

    ++

    =

    jjMjXXE XXmn

    mnmnmn

    generaliza-se facilmente ...

  • Funo caracterstica de vetor aleatrio

    X vetor n-dimensional: [ ]XjX TeEjMrr

    rr =:)(

    As propriedades so semelhantes, e.g., BXAY +=rr

    . , A e B matrizes:

    )(.)( TXbj

    YjAMejM

    Tr

    rr

    = .

    Aplicao. Seja X um vetor aleatrio bidimensional com funo caracterstica:

    ( )212221 .2221 )),(()(

    ++== ejMjMXXrr

    r.

  • Deseja-se o vetor mdia mX e a matriz de covarincia KX.

    1) { })0,0(1

    1

    =

    =

    r

    XMjXE ... calculando-se:

    { } [ ] 04)()0,0(211

    ===

    rr

    jMjXE X .

    Idem para E{X2}.

    Resultado:

    =

    0

    0X

    m r .

    2) { } [ ] 11)4).(4().()( 1221)0,0(21

    22

    21 =++=

    =

    =

    rr

    r

    jMM

    jXXEX

    X

    e { } { } 12112 == XXEXXE .

  • { } 4)()0,0(

    21

    222

    1 =

    =

    = r

    XMjXE e { } { } 42122 == XEXE ,

    Resultando em

    =

    41

    14XK .

  • A VARIVEL SOMA

    Considere uma v.a. X definida pela soma de N variveis aleatrias

    independentes, { }N

    nnX 1= .

    =

    =N

    n

    nXX1

    : .

    A funo caracterstica para X

    =

    =

    N

    n

    nX XjEjM1

    exp)( .

    Logo, ( )

    =

    =n

    N

    n

    X XjEjM exp)(1

    . Desde que as v.a.s so

    independentes, o clculo da esperana desacoplado:

  • ( )[ ] ==

    ==N

    n

    X

    N

    n

    nX jMXjEjM n11

    )(exp)( .

    =

    =N

    n

    XX jMjM n1

    )()(

    A funo caracterstica da varivel aleatria soma de

    variveis independentes o produto das funes

    caractersticas das variveis individuais.

  • TRIVIA:

    Z:=X+Y X e Y independentes.

    )().()( jMjMjM YXZ = e usando a transformada de Fourier:

    )(*)()( zfzfzf YXZ = .

    Convoluo!

    Caso particular Soma de duas v.a.s i.i.d. uniformes:

    Z:=X+Y )(*)()( zfzfzf YXZ = = =)(*)( zz )(z .

  • VARIVEL aleatria CAUCHY

    )1(

    11)(

    2xxfX +

    = e

    ||)( = ejM X

    Sejam { }N

    nnX 1= i.i.d. Cauchy, e

    =

    =N

    n

    nXX1

    : .

    Qual a funo caracterstica de X?

  • VARIVEL chi-quadrada (qui-quadrada)

    )()2/(2

    )(2/

    2/2/)2(

    xun

    exxf

    n

    xn

    X =

    e 2/)21(1

    )(nX j

    jM

    =

    Sejam { }N

    nnX 1= i.i.d. Cauchy, e

    =

    =N

    n

    nXX1

    : .

    Qual a funo caracterstica de X?

  • COTAS SOBRE PROBABILIDADES

    Desigualdade de Chebyshev (Pafnutti Tchebyscheff).

    Dado >0 (arbitrariamente pequeno), X varivel aleatria de

    Mdia mX

    Varincia X2

    { }2

    2

    ||Pr

    XmX > .

  • Teorema. Se fa>0 em I , ento

    { } { }a

    XfEIX

    )(Pr .

  • Vejamos: { } )()()( xdFxfXfE X+

    = .

    { } )()()()()( xdFxfxdFxfXfE XI

    XI

    C += { } )()()( xdFxfXfE XI

    0

    Enfraquecendo a desigualdade: { } }Pr{)()( IXaxdFaXfE XI

    =

    Q.E.D.

    Aplicao. v.a. X, com mdia nula E{X}=0 e E{X2}=2

    Seja

    22

    :)(

    +=

    axxf

    .

    Para xa>0, (intervalo I), 0)(2222

    +

    +=

    aa

    axxf

    .

  • Esboo:

    { } { }2

    2

    2

    )(Pr

    +

    aa

    xfEaX

    ou seja, { } { }

    2

    2

    2

    2422 //}{2Pr

    +

    ++

    aa

    aaXEXEaX

    Logo

    { }22

    2

    2

    2

    2

    242 /Pr

    +

    +

    +

    a

    aa

    aaX

    ou { } 222

    Pr

    +

    a

    aX . (cota).

  • COTA INFERIOR E SUPERIOR

    Teorema. X uma varivel aleatria e g0, g Borel mensurvel

    (toda imagem inversa um conjunto na -lgebra de Borel)

    Se g par e no-decrescente em [0,).

    Ento a0, tem-se

    { } { } { })(

    )(||Pr

    )(sup..

    )()(

    ag

    XgEaX

    xgsa

    agXgE

  • Calculando E{g(X)}:

    { } += A XA XA X xdFxgxdFxgxdFxgXgE c )()()()()()()( , pois o 2 termo positivo.

    { } { }aXagxdFagxdFxgXgEA

    XA

    X = ||Pr)()()()()()( .

  • Por outro lado, )()( sup xgxg ou )()( sup.. xgxgsa a.e.

    { }aXxgxdFxgxdFxgA

    XA

    X = ||Pr).( sup)()(sup)()( (I)

    { } )(||Pr).( )()()()( agaXagxdFagxdFxgcc A

    XA

    X = (II)

    Somando termo a termo,

    { } )(||Pr).( sup)()( agaXxgxdFxg X ++

    E finalmente

    { } { }aXxgagXgE ||Pr).(sup)()( Q.E.D.

  • Corolrio.

    Desigualdade Generalizada de Chebyshev. Dado >0 arbitrrio, to

    pequeno quanto se queira, g0,par no-decrescente em [0,).

    { } { })(

    )(||Pr

    g

    XgEX .

    Com g(x)=x2 { }{ }

    2

    2

    ||Pr

    XE

    X .

    Para X-mx X Varivel aleatria central

    { } { }2

    var||Pr

    XmX X desigualdade de Chebyshev

  • DESIGUALDADE DE MARKOV

    Tomemos g(x)=|x|r

    { }{ }

    r

    rXE

    X

    ||Pr .

    Observao.

    Convergncia em r-sima mdia Xn X se e s se { } .0 rn XXE

    XXsimar

    n

    { } .0 rn XXE

  • Exemplo.

    Uma visita verso fraca da LEI DOS GRANDES NMEROS

    Uma sequncia infinita de variveis aleatrias{ }

    =1niY , estatisticamente

    independentes (e possivelmente identicamente distribuidas)

    Definamos ( )

    =

    =n

    i

    iin YEYn

    X1

    )(1

    : n=1,2,3,...

    Essa nova seqncia de v.a.s tem

    E{Xn}=0

    Var(Xn)= niY

    n

    22

    =

  • Um esboo da verso fraca da Lei dos grandes nmeros:

    { } { }2

    var||Pr

    XmX X

    { } 22

    ||Pr

    nX n 0 quando n.

    { } 0||Pr0

    lim=

    nX

    n

    O estimador de frequncia relativa um estimador consistente (quando ele

    converge em Probabilidade). Os conceitos de convergncia de sequncias de

    variveis aleatrias so requeridos.

  • COTA (EXPONENCIAL) DE CHERNOFF

    Uma cota apertada (tigth upper bound).

    Usando a funo caracterstica. +

    = ).(:)( xdFejM X

    xj

    X

    Passando ao plano real:

    js

    Seja +

    = )()( xdFesM X

    sx

    X , s Real.

    (chamemo-la funo geradora de momentos, sentido estrito)

  • { }sXX eEsM =)(

    Seja { }sXX eEsMs ln)(ln:)( == .

    +

    = )(ln:)( xdFes X

    sx pela desigualdade de Jensen

    { }XEsexdFes xxdFsXsxX

    .ln)(ln:)()(

    ==+

    +

    .

  • Dado >0, Avaliemos agora { }XPr :

    { } { } +

    ===

    )(),[),[)(Pr xdFIIExdFX XX

    { } { } { } ssssX eEeIeEexdFIX1

    ),[.1

    )(),[Pr ==

    Em termos de (s), s0

    { } sss

    see

    eX = )()(

    1Pr

    .

  • Resolvendo agora o problema de programao matemtica (minimizao)

    ss

    s

    tsMin

    )(

    0

    .. [ ] 0)( =

    ss

    s ou seja,

    =

    s

    s)( o que atingido em um

    s=s0 particular.

    A cota (exponencial) desejada

    { } 00 )(Pr sseX

  • Vejamos agora um caso de interesse.

    Seja =

    =N

    i

    iXX1

    : , com Xi i.i.d. e avaliemos { }NX Pr .

    Isto equivale a considerar

    =

    N

    i

    iXN 1

    1Pr .

    Da cota de Chernoff bsica, 00 )(

    1

    1Pr Nss

    N

    i

    iXeX

    N

    =

    .

    Mas { } ( )( ) ( ))(ln)(ln)(lnlnlnln)(11

    1 sMNsMeEeEeEeEs XiN

    Xi

    N

    i

    sxN

    i

    sxxs

    sx

    Xii

    N

    i

    i

    ==

    ==

    ==

    ==

    =

  • A cota de Chernoff no caso de varivel soma i.i.d. torna-se:

    ( ))()(

    1

    00001PrssNNssN

    N

    i

    iiXiX eeX

    N

    =

    =

    .

    A cota (exponencial) de CHERNOFF desejada

    ( ) ,1

    01

    Pr sNEN

    i

    i eXN

    =

    Esta cota decresce exponencialmente com N, enquanto que a lei fraca dos

    grandes nmeros (com base na cota de Chebyshev) decresce apenas com

    1/N.

  • UMA COTA EXPONENCIALMENTE APERTADA!

    Pode ser demonstrado que o expoente E(s0,) o maior possvel, i.e., inexiste

    uma cota exponencial da forma

    '

    1

    1Pr NE

    N

    i

    i eXN

    =

    Com E independente de N e tal que E> E(s0,).

    Por esta razo a cota de Chernoff dita ser exponencialmente apertada

    (tight bound).

  • APLICAO

    Cota para uma varivel Gaussiana. 2/2

    2

    1)( xX exf

    =

    2/2)( = ejM X .

    2/2/)/( 22)( sjsX eesM ==

    2)(

    2ss = .

    impondo

    =

    s

    s)(, tem-se =0s .

    Assim, Pr{X} pode ser exponencialmente cotada por

    { } 2/2 22

    2

    Pr

    = eeX

  • EXEMPLO DOIS.ZERO. (h carro 2.0!)

    A cota para a varivel =

    N

    i

    iXN 1

    1 com Xi variveis de Bernoulli.

    p-1 prob. com

    p prob. com

    0

    1

    =iX

  • )1()( ppesM sX i += ( ))1(ln)( ppes s += .

    De

    =+

    =

    ss

    epppes

    s..

    )1(

    1)( obtm-se

    =p

    ps

    ).1(

    )1.(ln0

    ( ) )1ln()1(ln.)1ln()1(ln.)( ..00 += ppss iX

    Definindo:

    )1ln()1(ln:)( ppTp = e

    )1ln()1(ln:)( =H

  • Mostra-se que:

    ( ))()(

    1

    1Pr HTN

    N

    i

    ipeX

    N

    =

    , 1< p .

    Ou

    ( ))()(

    1

    1Pr HTN

    N

    i

    ipeX

    N

    =

    , p

  • CONVERGNCIA DE SEQUNCIAS DE VARIVEIS ALEATRIAS

    Sequncias de nmeros reais:

    { }=1nnr rn r (rn converge para r) se e somente se >0 N | rn - r | N

    Varivel aleatria X: Funo real de varivel real.

    Conjunto de funes de valores reais:

    { }=1nnf fn f (fn converge para f ponto a ponto) Se e somente se >0 N,x | fn (x)- f(x) | N,x x.

  • { }nf f

    )()( xfxfn x.

    Seq. de nmeros reais.

    Convergncia uniforme (j estudada em MMAT):

    Usar N em lugar de N,x

  • Exemplo 1.

    ]1,0[x nx

    n xenxf= 2:)( claro que

    0)(lim =

    xf

    n

    n

    .

    0= ffn . A convergncia uniforme?

    Critrio.

    Fn converge uniformemente

    0)()(

    ]1,0[

    suplim =

    xfxf

    xn

    n

    .

  • Temos:

    nx

    n xen

    x

    xfxf

    x

    =

    2

    ]1,0[

    sup)()(

    ]1,0[

    sup.

    Verificando o mximo: 0232 =+= nxnxnx enxenxen

    dx

    d

    [1-n.x]=0 i.e., o ponto de mximo ocorre em nx

    1= .

    e

    nxen

    x

    nx=

    2

    ]1,0[

    sup

  • +=

    nxxen

    xn

    2

    ]1,0[

    suplim e a convergncia no uniforme.

    Graficamente:

  • Ver Animao.

    Exemplo 2.

    Xn() X()=0 (mas no uniformemente).

    Dado 0 N n>N 2/n< 0

  • +=

    =

    n

    n

    X

    n

    n lim|)(|

    ]1,0[

    suplim

    .

    Exemplo 3. n

    n eX/:)( = , com ].1,0[

    Xn() X()=1 (converge uniformemente).

    ?)()(

    ]1,0[

    suplim =

    XX

    n

    n

    nn ee // 1

    ]1,0[

    sup1

    ]1,0[

    sup

    = . Mas em ]1,0[ , 1

    //1 nn ee e

    portanto, 0|1|lim)()(

    ]1,0[

    suplim /1 =

    =

    nn e

    n

    XX

    n

    .

  • CONVERGNCIA COM PROBABILIDADE 1

    Def. { }

    =1nnX diz-se que Xn X c.p.1 (p.s. = a.s.) se e s se

    1)()(lim

    Pr =

    =

    XX

    nw

    n

    . Denota-se tambm XXsa

    n

    ..

    .

    Conseqencia. 0)()(lim

    Pr =

    XXn

    wn

    .

    So equivalentes as seguintes proposies.

  • Xn X c.p.1 se e s se >0, >0 N,

    { }

    >

    1|)()(|Pr,

    XXw nNn

    I (conjuntos bons)

    { }

    =

    )1(1|)()(|Pr,

    XXw nNn

    U (conjuntos ruins)

    >

    1

    |)()(|supPr

    ,

    XX

    Nnw

    n

    .

  • CONDIES

    I) Necessria

    Pr(Bn)0 quando n

    >>

    Nn

    n

    Nn

    n BPBP 0)(U

    Obs. Suponha que nnBP 21

    )( = . Pr(Bn)0 quando n

    mas

    >U

    Nn

    nBP pode no ser menor que um >0 arbitrrio

    Exemplo- bolo francesa .1=

    >U

    Nn

    nBP

  • II) Suficincia para convergncia cp 1

    U

    Nn

    nBP Bn = bad sets

    Bn i.e. { }nB seja sequncia monotnica no crescente

  • Neste caso, Un

    Nk

    nk BB>

    = 0)( =

    >n

    n

    Nk

    k BPBP U

    .

    III) outra condio e suficincia com probabilidade 1 (conv. certa)

    )( nn BPBP U e Pr(Bn)0 quando n.

    Suponha que

    =1

    )(n

    nBP seja convergente (cond.)

    Ento >

    Nn

    nBPNnN )( e, portanto,

    > Nn

    n

    Nn

    k BPBP )(U .

  • Convergncia em mdia r-sima

    Definio.

    { }0

    lim

    r

    n XXE

    n r>0 .

    O espao Lr fechado em relao convergncia em mdia r-sima

    Notao para r=2: XX

    n

    mil n =

    ...

    Proposio:

    se XXr

    n ento { } { }rrn XEXE

    n

    =

    lim

  • i) para 01 Usar a desigualdade de Minkowsky

  • Convergncia em Probabilidade

    Definio. Seja { }

    =1nnX uma sequncia de variveis aleatrias. Diz-se que

    Xn converge para X em probabilidade se e s se

    { }( ) 0|)()(|Prlim =

    wXwXw

    n

    n

    Notamos por XXP

    n i.e., para convergncia em probabillidade exigimos

    que

    ( ) nBP para todo n>N,.

  • ou seja,

    ( ) 0Prlim =

    nB

    n

    Bn so conjuntos ruins:

    { }= |)()(|: wXwXwB nn .

    Notao: XX

    n

    p n =

    lim

  • Proposio. XXr

    n XXP

    n

    Prova. Pela cota de Markov, ( ){ }

    r

    r

    n

    n

    XXEXX

    Pr0

    Mas XXr

    n

    { } 0lim =

    r

    n XXE

    n

    ( ) 0Prlim =

    XXn

    n

    e logo XXP

    n .

    Claro que a inversa no verdadeira em geral. Mas, sob certas condies,

    XXP

    n XXr

    n . Vejamos:

  • Proposio.

    Se 0

    1lim =

    +

    r

    n

    r

    n

    XX

    XXE

    n (implica { }

    0lim

    r

    n XXE

    n ), ento

    XXP

    n XXr

    n .

    Prova.

    Seja X uma v.a. arbitrria e g em uma funo de Borel no-negativa. Se g

    par e no-decrescente em [0,), vale a>0

    { } { } { })(

    )(||Pr

    )(..

    )()(

    ag

    XgEaX

    xSupgsa

    agXgE

    Para este caso, tome rr

    X

    Xxg

    ||1

    ||)(

    += . Chega-se a (a.s. sup g(x)=1):

  • { }

    ++

    +

    + rr

    r

    r

    r

    r

    r

    r

    X

    XE

    a

    aaX

    a

    a

    X

    XE

    ||1

    ||1||Pr

    1||1

    ||

    Substitua X por Xn-X; a por , logo

    { }

    +

    +

    +

    +

    r

    n

    r

    n

    r

    r

    nr

    r

    r

    n

    r

    n

    XX

    XXEXX

    XX

    XXE

    ||1

    ||1||Pr

    1||1

    ||

    01

    lim =

    +

    r

    n

    r

    n

    XX

    XXE

    n bad sets de prob. Nula ou XXP

    n .

  • DISTNCIA entre variveis aleatrias

    +

    =

    YX

    YXEYXd

    1:),( uma distncia, exceto que d(X,Y)=0 X=Y p.p.

    Teremos um espao completo de classes equivalentesde variveis

    aleatrias.

    Proposio: XXsa

    n

    ..

    c.p. 1 XXP

    n

    (convergncia forte implica em convergncia fraca)

  • Prova.

    Se h c.p.1 ento

    >U

    ,Nn

    kBP .

    ,Nn > , U ,Nn

    nn BB>

    >U

    ,

    )(Nn

    nn BPBP .

    Conclui-se ento que )( nBP ,Nn >

    o que significa que 0)Pr(lim =

    nB

    n XXP

    n Q.E.D.

  • Convergncia em Distribuio

    Definio. Seja { }

    =1nnX uma sequncia de variveis aleatrias. Diz-se que

    Xn converge para X em distribuio se e s se

    )()(lim xFxF

    n

    XX n=

    nos pontos de continuidade de FX.

    Notamos isto por XXd

    n .

    Teorema. XXP

    n XXd

    n .

  • Prova.

    (X

  • donde

    )(inflim)'( xFxFnXX

    , xx.

    Coletando os resultados, segue-se

    )''()(suplim)(inflim)'( xFxFxFxF XXXX nn para x

  • LEIS DOS GRANDES NMEROS

    Desejamos examinar a convergncia de uma soma de variveis aleatrias

    quando a soma normalizada subtraindo-se o seu valor esperado e dividindo-

    se o resultado pelo nmero de termos da soma.

    Considere a sequncia { }1iX e defina =

    =N

    i

    iN XS1

    : . Queremos examinar a

    convergncia da sequencia de variveis { } 1NS , aonde

  • [ ]}{1: NNN SESN

    S = .

    Tem-se

    [ ]===

    =

    =

    N

    i

    iii

    N

    i

    N

    i

    iN XEXN

    XEXN

    S111

    }{1

    }{1

    : .

    Em particular, temos interesse nas condies exigidas que asseguram que

    { } 1NS converge para zero de alguma maneira.

    Se a sequncia de variveis aleatrias { }iX , verificando E{Xi}

  • a) 0..sa

    NS

    ento dizemos que a sequncia dos { }iX obedece Lei

    forte dos grandes nmeros.

    b) 0P

    NS

    ento dizemos que a sequncia dos { }iX obedece Lei

    fraca dos grandes nmeros.

    c) 0r

    NS

    ento dizemos que a sequncia dos { }iX obedece Lei

    mdia r-sima dos grandes nmeros.

    Convergncias possveis para a mdia amostral.

  • Efeitos da normalizao.

    Consider o caso em que os { }iX so v.a.s i.i.d. com segundos momentos

    finitos. Neste caso, definindo NN SN

    S1

    :=

    =

    ==N

    i

    iN XEXEN

    SE1

    }{}{1

    }{ e 01 2

    1

    22

    2 == = NN

    XN

    i

    XS iN

  • VERSES FRACAS Weak law of large numbers

    Teorema. Para que a sequncia de variveis aleatrias { }iX , possivelmente

    dependentes seja tal que 0P

    NS

    , necessrio e suficiente que

    0}]{[

    }]{[lim

    1

    2

    1

    =

    +

    =

    =r

    N

    i

    ii

    rN

    i

    ii

    XEXN

    XEX

    E

    N para algum r>0.

    Prova.

    Sabemos que YYP

    N se e somente se 01lim

    =

    +

    r

    n

    r

    n

    YY

    YYE

    N .

  • Ento substituindo nN YS

    e Y0 , vem

    0P

    NS

    01lim

    =

    +

    r

    N

    r

    N

    S

    SE

    N

    ( )

    ( )0

    }{1

    1

    }{1

    lim

    1

    1

    =

    +

    =

    =

    rN

    i

    ii

    rN

    i

    ii

    XEXN

    XEXN

    E

    N e o resultado segue.

    Gostaramos de condies estipuladas em termos das variveis Xi.

  • Teorema de Markov (condio de suficincia).

    Se as variveis aleatrias { }iX so tais que 0var

    1lim1

    2=

    N

    iXN

    N , ento

    0P

    NS

    .

    Prova.

    r

    Nr

    N

    r

    NS

    S

    S

    +1

    { }rNrN

    r

    NSE

    S

    SE

    +

    10

    .

  • Ento { } 0 rNSE (cond. Suf.?) 01

    +

    r

    N

    r

    N

    S

    SE

    (cond. nec. e suf.?)

    { } ( ) ==

    =N

    i

    r

    iir

    rN

    i

    ii

    r

    N XEXEN

    XEXN

    ESE11

    }{1

    }{1

    a

    Fazendo r=2, ... =

    N

    i

    ii XEXEN 1

    2

    2 }{1

    0}{

    1lim1

    2

    2 =

    =

    N

    i

    ii XEXEN

    N

  • 0}){}).({(

    1lim1 1

    2 =

    = =jj

    N

    i

    ii

    N

    j

    XEXXEXEN

    N , ou seja,

    0var1lim

    12

    =

    N

    iXN

    N Q.E.D.

  • Observaes: casos particulares de interesse.

    1) { }iX i.i.d.

    01lim1var

    1lim 21

    22

    12 =

    ==

    X

    N

    X

    N

    iN

    NN

    XN

    Ni

    (esta uma verso Chebyshev da Lei fraca dos grandes nmeros).

  • 2) Caso srio

    { }iX independentes com mdias finitas

    0}{

    1lim1

    1

    1 =

    =

    +

    +

    N

    i

    ii XEXEN

    N

    0P

    NS

    Organizando o resultado para enunciado formal:

  • Teorema de Chebyshev (condio suficiente).

    Se { }iX uma sequncia de variveis aleatrias no-correlacionadas (ou independentes) par-a-par, com varincias finitas

    pZN

    N >0.

    Em notao simplificada: pZ

    N

    p N =

    lim

  • Teorema de Poisson. Se em uma sequncia de realizaes de um

    experimento, a probabilidade de ocorrncia de um evento na i-sima

    realizao pi, ento se

    N

    KZ N =: , >0, 1|

    1|Pr

    lim

    1

    =

  • Lei Forte dos Grandes Nmeros (Strong Law of large numbers)

    RESUMO.

    FREQUNCIA RELATIVA.

    Teorema de Borel. Seja K o nmero de vezes que um evento A ocorreu em N realizaes independentes de um experimento de Bernoulli, sendo a probabilidade de ocorrncia em cada realizao igual a p. Defina

    realizao sima-i naocorreu Se

    realizao sima-i naocorreu Se

    0

    1Ci A

    AX

    =

    Ento

    =

    =N

    i

    iXNN

    K

    1

    1, e ( ) 0

    1:

    1

    ..

    =

    =N

    i

    sa

    iN pXN

    S .

  • [a demonstrao usa a desigualdade de Makov com r=4]

    mile Borel

    Teorema de Kolmogorov. Se a seqncia de variveis aleatrias

    mutuamente independentes { }iX satisfaz condio

    0.

  • Ento SSd

    n *

    , i.e., ( )

    +++

    = sn

    nmXXXS nn

    ...21* tende para )(sPS

    Teorema de Lindenberg: Se os termos em { }iX so

    i) no identicamente distribudas

    ii) independentes

    iii) mi0.

  • Ento SSd

    n *

    .

    Teorema do erro 1.

    Se )( 33 XEm = existe e v

    X jM )( , para algum v1 integrvel, ento

    )(* spnS existe para nv e alm disso

    +=

    nspss

    n

    mspsp SSSn

    1)()3(

    6)()( 3

    33

    * .

  • Teorema do erro 2.

    Se 03=m e )(4

    4 XEm = existe e v

    X jM )( , para algum v1 integrvel,

    ento )(* sp nS existe para nv e alm disso

    ++

    =n

    spssn

    mspsp SSSn

    1)()36(

    24

    3)()( 244

    44

    *

    .

    Teorema de Berry-Esseen.

    Se E{X}=0 e E{X3}:=3 existe, ento

    nsPsP sSn 3

    3

    4

    33)()(*

  • VISES MODERNAS

    O TEOREMA CENTRAL DO LIMITE:

    Uma abordagem via Teoria da Informao

    Uma abordagem atipica, porm atrativa e interessante, considera o uso de

    ferramentas da Teoria de Shannon para estabelecer teste de hipteses,

    teorema central do limite etc.

    Considere a breve reviso dos conceitos de

    ENTROPIA e ENTROPIA DIFERENCIAL

  • ENTROPIA

    Distribuio {pk} =k

    kk ppH 2log:)(p

    Distribuio {p(x)} +

    = dxxpxpxpH )(log)(:))(( 2

    Desigualdade de potncias-entropicas

    Sejam X e Y independentes, contnuas e de varincia finita. Ento a entropia

    diferencial diferencial satisfaz

    )(2)(2)(2 YHXHYXH eee ++ . (prova p.287, R.Blahut, principles and practice of Information Theory, Addison-Wesley)

  • Digresso: Discriminante de Kulback

    Dadas duas distribuies p0 e p1, o discriminante de Kulback definido pela

    relao:

    =

    =1 1

    0010 ln:);(

    k kp

    kk

    p

    ppL pp caso discreto

    +

    = dx

    xp

    xpxpppL

    )(

    )(ln)(:);(

    1

    0010 caso contnuo

    O discriminante invariante a troca de coordenadas, tais como mudanas de

    escala ou rotao dos eixos.

  • Teorema. (gaussianidade).

    Se p1* tem distribuio gaussiana e p0 arbitrria, ento L(p0; p1

    *) atinge o

    mnimo quando p0 tambm gaussiana.

    Teorema. (medida de distncia para distribuies de probabilidade).

    O discriminante no-negativo, ou nulo somente quando seus argumentos

    so idnticos.

    Prova.

    Segue da desigualdade fundamental da teoria da Informao x

    x1

    1ln .

  • 011ln:);(

    00|1

    11 0

    10

    1 1

    0010

    =

    ===pkk

    k

    k

    k kp

    k

    k

    k kp

    k

    k pp

    pp

    p

    ppL pp

    .

    Teorema (convexidade do discriminante).

    O discriminante convexo em cada dos seus argumentos, i.e., dado um

    escalar ]1,0[ , ento:

    );()1();();)1(( 1010100 pqpppqp LLL ++

    );()1();();)1(;( 1110110 qpppqpp LLL ++ .

  • Definio: o discriminante binrio definido pela relao

    +=

    1

    1ln)1(ln:),(L . (convexo e igual a zero sse =)

    Discriminante: Define uma Distncia entre duas distribuies

    Dada uma sequncia de variveis aleatrias i.i.d. { }=1llX , Xl~(m,

    2), e a

    varivel soma normalizada

    =

    =n

    l

    ln Xn

    Y1

    1:

  • { }=1nnY no so identicamente distribuidas, mas sua densidade converge para uma gaussiana: especificamente, se Z~ N(0,2), ento

    0);( ZYL n quando n.

    Teorema central do limite (segue como corolrio).

  • Teorema 2

    |)()(|log2

    1

    )(

    )(ln)(

    +

    +

    dxxqxp

    edx

    xq

    xpxp .

    Prova.

    Passo1 ]1,0[p , pq , tem-se 2)(

    log2

    4

    1

    1ln)1(ln qp

    eq

    pp

    q

    pp

    + .

    Considere ento a def. 2)(

    log2

    4

    1

    1ln)1(ln:),( qp

    eq

    pp

    q

    ppqpf

    += com

    f(p,q)=0 q=p.

    A derivada 0

  • Calculando: 0log1

    )1()(4

    ),(

    =

    eqq

    qpqp

    q

    qpf .pq

  • dxxqxpqp )()(2

    1)()( =

    +

    , concluindo que 2

    )()(log

    2);(

    +

    dxxqxp

    eqpL

    Q.E.D.

    Teorema (LIMITE CENTRAL).

    A varivel aleatria soma padronizada =

    =n

    l

    ln Xn

    Y1

    1:

    satisfaz

    0);( ZYL n quando n.

    Esboo da prova.

    Provaremos apenas que );( ZYL n e monotona, decrescendo a um limite.

    A desigualdade de entropia para duas variveis X e Y independentes

  • )(2)(2)(2 YHXHYXH eee ++ (igualdade iff X=Y=Z=gaussiana).

    Sejam

    XX

    YY 1 .

    De TI, )ln()()( aXHaXH += .

    Ento:

    )(2)(2))1((2 ).1(. YHXHYXH eee ++ .

    Multiplicando por

    +

    dxxx )(ln)(2exp , em que ~ N(0,2), e usando o fato que

  • +

    +

    = dxxxpdxxx )(ln)()(ln)( quando p(x) tem a mesma varincia que

    (x), a desigualdade torna-se:

    );(2);(2);)1((2 ).1(. ZYLZXLZYXL eee + +

    A cota pode ser enfraquecida via desigualdade de Jensen, resultando em

    [ ]);()1();(2);)1((2 ZYLZXLZYXL ee ++

    ou finalmente,

    );()1();();)1(( ZYLZXLZYXL ++ , Com igualdade se e s se X e Y so gaussianas.

  • A concluso da demonstrao elaboraa: em linhas gerais

    XYn YYm ' mnn

    += e chega-se a

    ( ) ( )ZYLZYL rr ;; 22 1 + com igualdade se e s se rY2 gaussiana. Isto permite mostrar que:

    ( )ZYL r ;2 e adicionalmente, sabe-se que ( ) .0;2 ZYL r Nota final.

    A concluso da demonstrao requer demonstrar que a sequencia

    ( ){ }=12

    ;r

    ZYL r no pode se estabilizar (travar, convergir) antes do zero e

    continua decrescendo indefinidamente.

  • Processos Estocsticos: (processos aleatrios)

    Coleo indexada de variveis aleatrias: uma verso dinmica.

    T=conjunto de indices

    { }TtX t , Teoria no Sculo XX, com base no gigante A. Kolmogorov.

    Obs: )(1 janelasX t a

    ( )iti bXa i Pr

    )(Pr iti

    i

    bXaiU

  • CLASSIFICAO DE PROCESSOS

    1. Processo estocstico de parmetro contnuo ||T||=2c

    2. Processo estocstico de parmetro discreto ||T||

  • Varivel aleatria

    w X

    x (, ,P) ( , ,P)

    Teorema de Kolmogorov MAPEAMENTO

    w Xt

    (, ,P) ( , ,P)

  • A )'(1

    AXA t=

    P(A):=P(A), desde que A

    A idia usar ( n, ,) em lugar de ( , ,P)

    uma restrio de P' a

    EQUIVALENCIA DE P.E.s

    Dois processos estocsticos { }TtX t , e { }TtYt , so ditos equivalentes se e s se Xt(w)=Yt(w) c.p.1.

  • TOPOLOGIA

    Intervalos abertos em

    Intervalos de Base em n aj

  • Unies, interseces e outras operaes finitas com intervalos abertos em

    formam a lgebra . Tome como a menor -lgebra que contm todos os

    intervalos abertos.

  • Funo amostral ou Realizao de um P.E. (trajetria)

    uma generalizao do conceito de varivel aleatria (verso dinmica): a

    cada instante, tem-se uma varivel aleatria diferente!

    t fixo

    X(w1,t)

    t

    X(w2,t)

    Figura. Fixado um instante arbitrrio de tempo, o processo aleatrio torna-se uma simples

    varivel aleatria.

  • Xt1 uma varivel aleatria,

    logo tem sentido a distribuio ( )11 11 Pr)( xXxF tX t =

    Distribuies marginais:

    ( )11 11 Pr)( xXxF tX t = ( )22 22 Pr)( xXxF tX t =

    ...

    ( )ntnX xXxF ntn = Pr)(

  • Funes distribuio finito-dimensionais: n, t1,...,tn,

    ( )ntntttnnXXXX xXxXxXxXxxxxF nntntntt = ,,...,,Pr),,...,,( 121121..., 121,1,2,1

    Especificao de ordem m de um P.E.

    Um P.E. est especificado at ordem m se todas as funes de distribuio

    finito-dimensionais so conhecidas para n=1, 2, ..., m, para instantes de tempo

    arbitrrios.

  • Especificao de um P.E.

    Para todo n finito, suponha que conhecemos a funo distribuio de

    probabilidades acima: o Processo Estocstico est especificado.

    Condies de Kolmogorov. (sobre as distribuies finito-dimensionais)

    1. Condio de simetria:

    permutao j1,j2,...,jk dos ndices 1,2,..,k,

    F(xj1 xj2 ... xjk; tj1 tj2 ... tjk)=F(x1,x2,...;t1,t2...tk).

  • 2. Condio de compatibilidade m

  • PROCESSO ESTACIONRIO SENTIDO ESTRITO

    Definio. Um processo aleatrio dito ser estacionrio no sentido estrito se

    e somente se escolhidos quaisquer instantes finitos, as funes de distribuio

    finito-dimensional so invariantes a um deslocamento na origem dos tempos.

    t1 t2 t3

  • Figura. Estacionaridade de funes de distribuio finito-dimensionais (N=3).

    Adicionando-se o mesmo incremento aos instantes fixados t1, t2, t3, recai-se sobre os

    instantes identificados por (). A distribuio conjunta permanece a mesma.

    Etimologia - Estacionrio (de comportamento estacionado), simplificando

    sobremaneira a especificao e o tratamento do processo.

  • , k,

    Fxt1 xt2 ... xtk(x1,x2,...,xk)= Fxt1+ xt2+ ... xtk+ (x1,x2,...,xk).

    CONSEQENCIAS:

    Para k=1

    Fxt1 (x1)= F

    xt1+ (x1), i.e., mesma distribuio mantm-se durante todo o processo.

    Por exemplo, para um processo estacionrio Gaussiano

    Varivel Gaussiana, Gaussiana, Gaussiana, ....(indefinidamente...)

    Em t1: E(Xt1) +

    =

    1tXxdF ,

    Em t2: E(Xt2) +

    =

    2tXxdF .

  • Logo E(Xt1)= E(Xt2)= ...= E(Xt)=constante.

    O processo estocstico (P.E.) estacionrio tem mdia nica, constante. De

    modo geral, todos os momentos so constantes, invariantes origem dos

    tempos.

    Note que da anlise pela funo caracterstica uma forma alternativa

    mais simples de especificar uma varivel aleatria atravs dos seus

    momentos.

    Ainda assim, o problema demasiadamente complicado...

  • Por este motivo, usual restringir-se a anlise at a 2 ordem, como ver-

    se- na sequncia. Trabalhar com momentos como comer papa quente:

    atacar pelas beiradas...

    PROCESSO ESTACIONRIO SENTIDO AMPLO

    Definio. Um P.E. dito ser estacionrio no sentido amplo se e somente se

    1. E{X(t)}= constante.

    2. E{X2(t)}

  • A funo de autocorrelao do processo (ACF) independe

    da origem dos tempos.

    *Apenas a mdia e varincia permanecem constantes ao longo do tempo.

    Estacionaridade: sentido estrito sentido amplo

    Alm de ser mais simples de tratar, so mais gerais e com menor regularidade

    que os processos estacionrios no sentido estrito. Vale tambm salientar que

    tais processos possuem uma descrio espectral (no domnio frequencial).

  • EXEMPLOS DE Processos Aleatrios

    Xt=at+b a,b~N(0,1)

    Xt=2.cos(2(100+)t) ~U(-10,10)

    Yn = Xn Xn-1 Xn Bernoulli

    =

    =n

    k

    kn XY1

    Xn Bernoulli

  • Processo das retas aleatrias

    Xt=at+b a,b~N(0,1) a e b independentes.

    E{Xt}= mX(t)=E(a)t+E(b)=0. mdia nula.

    RX(t1,t2)=E{Xt1 Xt2}=t1t2E(a2)+2E(ab)t1t2+E(b

    2).

    RX(t1,t2)=t1t2+1 e KX(t1,t2)= t1t2+1.

  • Rudo discreto Processo estocstico de Bernoulli

    { } 1nnX Xn i.i.d. binria com p)(1 com p com

    0

    1

    =adeprobabilid

    adeprobabilidX n .

    Caso p=1/2. 2/1}0{ ==nXP e 2/1}1{ ==nXP .

    trajetria tpica (realizao)

  • Anlise dos parmetros:

    Mdia E{ Xn }=1/2

    Varincia var( Xn )=1/4

    Correlao R(Xn,Xn+k)=0,25 k,0

    Seqncia estacionria no sentido amplo.

    Xt=at+b a,b~N(0,1)

    Calculando a ACF, RX(t1,t2)=t1.t2+b2

    No estacionrio, nem no sentido amplo nem estrito...

  • PASSEIO ALEATRIO (passeio causual)

    Considere uma seqncia de v.a.s i.i.d. { } 1nnX e suponha que cada Xn possa assumir apenas valores -1 e +1 (passo para tras e

    passo para frente, respectivamente), com probabilidades

    pXP n =+= }1{ e pqXP n === 1}1{ .

    Seja a seqncia

    =

    =n

    k

    kn XY1

  • Se E{ Xn }=m e var( Xn )=v ento fcil verificar que:

    E{ Yn }=n.m e var( Xn )=n.v o processo no estacionrio!

    Exerccio. Demonstrar que a autocovarincia do processo dada

    por:

    Cov(Xn,Xn+k)=v.[Min(n,n+k)]

    Notado tambm como Cov(Xn1,Xn2)=v.(n1^n2).

  • Processo de Wiener-Lvy (Movimento Browniano) Botnico Robert Brow 1827

    Modelo para o movimento catico exibido por uma partcula (e.g.

    plem) imersa em um lquido, visto em microscpio.

    Norbert Wiener (1864-1964) {filho de imigrantes russos}

    Paul Pierre Lvy (1886-1971) {aluno Hadamard, orientador Mandelbrot}

  • O processo {X(t), t0} dito ser um processo de Wiener-Lvy se:

    i) t>0, X(t)~ N(0,t)

    ii) X(0):=0

    iii) {X(t), t0} tem incrementos estacionrios e independentes.

    Trajetria tpica

  • Incrementos independentes

    Para qualquer escolha de instantes arbitrrios nttt

  • A mdia do processo

    m(t)=m1=0.

    A covarincia de processos incrementos-independentes vale

    KX(t1,t2)=var{min(t1,t2)}=var{Xt1^t2}.

    Prova.

    Provemos inicialmente que t1t2, KX(t1,t2)= var{Xt1}.

    A ACF do processo RX(t1,t2)=E{Xt1 Xt2}.

  • Truque: RX(t1,t2)= E{Xt1 (Xt2- Xt1)+X2

    t1}

    (via incrementos independentes)

    RX(t1,t2)=m1(m2-m1)+E{ X2

    t1}.

    Mas KX(t1,t2)= RX(t1,t2)-m1m2 =E{ X2

    t1}-m2

    1 =var{Xt1}.

    Se t1=t2, o resultado imediato. Generalizando, chega-se a

    KX(t1,t2)=var{Xt1^t2}. Q.E.D.

  • O processo definido por i) a iii) Gaussiano:

    =

    )()(

    )()(

    )()(

    .

    1111

    0

    0111

    0011

    0001

    )(

    )(

    )(

    1

    12

    01

    2

    1

    nnn tXtX

    tXtX

    tXtX

    tX

    tX

    tX

    M

    L

    LOMM

    K

    K

    K

    M .

    Como { }n

    kkktXtX 11)()( = so variveis aleatrias independentes e

    gaussianas, o vetor que define o processo corresponde a uma

    transformao linear de variveis gaussianas com distribuio n-

    variada.