Cálculo de Probabilidades II - Hugo T. Carvalho...O aluno pode faltara somente uma avalia˘c~ao, e far a a PF para substitu -la. Se necess ario, far a a P2Ch como prova nal Caso o

Calculo de Probabilidades II

para Estatıstica, Ciencias Atuariais e Matematica Aplicada

Codigo: MAD352

Oferecido pelo:

Departamento de metodos estatısticos - DME

Instituto de Matematica - UFRJ

Introducao a disciplina

Professor: Hugo T. de Carvalho

E-mail: [email protected]

Site do curso im.ufrj.br/∼ hugocarvalho (todas as informacoessobre a disciplina)

Bibliografia:

Marcos N. Magalhaes - Probabilidade e Variaveis Aleatorias. Edusp,2006Barry R. James - Probabilidade: um curso em nıvel intermediario.IMPA, 2015Henk Tijms - Probability: A Lively Introduction, CambridgeUniversity Press, 2017

DME - IM - UFRJ Prob II Informes iniciais 1

[email protected]

Ementa do Curso

Unidade I: Espacos de probabilidade

Unidade II: Variaveis aleatorias e vetores aleatorios

Unidade III: Funcoes univariadas das componentes de um vetoraleatorio

Unidade IV: Distribuicao conjunta de funcoes de variaveisaleatorias

Unidade V: Distribuicoes Especiais

Unidade VI: Esperanca

Unidade VII: Lei dos Grandes Numeros

Unidade VIII: Funcoes caracterısticas, convergencia emdistribuicao


Metodo de avaliacao

Tres provas:P1: 12/04 P2: 22/05 P3: 24/06PF: 03/07P2Ch: 08/07

Tres testes antes de cada prova, valendo 15% da nota de cadaprova. Ao final do semestre, o menor teste sera descartado.

Teste de revisao de Prob I: 15/03 (Nao vale nota!)Testes da P1: 22/03, 29/03 e 05/04Testes da P2: 26/04, 03/05 e 10/05Testes da P3: 31/05, 07/06 e 14/06

Os testes serao feitos no AVA UFRJ (Ambiente Virtual deAprendizado), terao inıcio as 17h da sexta-feira e termino as 13hda segunda-feira seguinte

Listas de exercıcios postadas periodicamente na pagina oficial docurso

Pelo menos uma aula de revisao antes de cada prova


Metodo de avaliacao

P1 + P2 + P3

3≥ 7⇒ aprovado

P1 + P2 + P3

3< 3⇒ reprovado

3 ≤ P1 + P2 + P3

3< 7⇒ PF(

P1 + P2 + P3

3+ PF

)/2 ≥ 5⇒ aprovado(

P1 + P2 + P3

3+ PF

)/2 < 5⇒ reprovado

O aluno pode faltara somente uma avaliacao, e fara a PF parasubstituı-la. Se necessario, fara a P2Ch como prova final

Caso o aluno falte a PF, a P2Ch a substituira


Monitoria

Monitor: Helder Jorge

Horario: Segunda e quarta 15h30 – 17h00Obs.: A monitoria de quarta esta condicionada na nao ocorrenciade Seminarios da Pos-Graduacao em Estatıstica. Sera informadopor e-mail aos estudantes quando nao havera monitoria.

Local: Laboratorio de Sistemas Estocasticos (LSE): I-044b


Historia

Por seculos, acreditou-se que deuses regiam eventos incertos, queestavam alem da compreensao humana

Gerolamo Cardano (1501–1575), fısico e viciado em apostasitaliano: primeiro estudo sistematico de probabilidades, inspiradopor jogos de azar

Definiu probabilidade como “eventos favoraveis”/“eventos totais”,obvio hoje em dia porem um grande avanco na sua epoca

1654, inıcio do estudo de Probabilidade, segundo historiadores:correspondencias entre Pierre de Fermat (1601–1665) e BlaisePascal (1623–1662). Abordagem mais sistematica, ainda inspiradaem jogos de azar!

DME - IM - UFRJ Prob II Aula 1 1

Historia

1657, astronomo holandes Christiaan Huygens (1629–1695) tomouciencia dessas correspondencias, introduziu o conceito de valoresperado e aprimorou a abordagem deles

1713, matematico suıco Jakob Bernoulli (1654–1705) publica ArsConjecturandi, primeira teoria geral para calculo de probabilidades

1812, matematico frances Pierre Simon Laplace (1749–1827)publica Theorie Analytique des Probabilites. Aplica ideias deprobabilidade a problemas praticos. Grande avanco naProbabilidade e Estatıstica.

Porem, ate entao sabia-se calcular probabilidades, e nao o que eprobabilidade!

Definicao aceitavel de Probabilidade, 1933 com o matematicorusso Andrey Nikolaevich Kolmogorov (1903–1987). Seus axiomasserao o ponto de partida para nosso curso!


Aplicacoes

Mercado de acoes (o maior cassino do mundo)

Call centers e companhias aereas, previsao de demanda

Engenharia, construcao de estruturas

Ate juızes e medicos podem se valer de Probabilidade para tomarmelhores decisoes!

C. Colmez, L. Schneps - A matematica nos tribunais: Uso e abusodos numeros em julgamentosS. Senn - Dicing with Death: Chance, Risk And Health


Porque “eventos favoraveis”/“eventos totais” naofunciona?

Paradoxo de Bertrand: Considere um triangulo equilateroinscrito em um cırculo. Suponha que uma corda e escolhida aoacaso. Qual e a probabilidade de que a corda escolhida seja maiorque o lado do triangulo?

A resposta e... depende!

Importancia filosofica em Probabilidade

Logo, a nocao de “eventos favoraveis”/“eventos totais”, seaplicada ingenuamente, leva a interpretacoes dubias, inaceitavelem Matematica!

Veja a pagina na Wikipedia sobre o assunto!


https://en.wikipedia.org/wiki/Bertrand_paradox_(probability)

Conceitos basicos

Experimento: Qualquer processo, real ou hipotetico, no qual osresultados podem ser identificados ao longo do tempo

Espaco amostral: E a colecao de todos os possıveis resultados deum experimento. Usualmente denotado pela letra Ω. Elementosdo espaco amostral sao usualmente denotados pela letra ω.

Eventos: Sao sub-conjuntos do espaco amostral

ATENCAO! Em Prob I qualquer sub-conjunto do espaco amostral eraconsiderado um evento. Essa mentira aqui sera desfeita!


Conceitos basicos

Exemplo: Uma rede de computadores esta em operacao contınua, maspode sofrer avaria a qualquer momento. Na ocorrencia de falha, otempo de colocar a rede novamente em operacao depende de variosfatores envolvendo a extensao e a causa da falha, entre outras.

Experimento: Observar numero de falhas em um dia

Espaco amostral: Ω = 0, 1, 2, 3, . . .

Experimento: Observar a hora do dia na qual a primeira falhaocorre

Espaco amostral: Ω = w ∈ R | 0 ≤ w ≤ 24


Teoria de conjuntos

Objetos que importam: Espaco amostral Ω e certos sub-conjuntosA,B,C, · · · ⊂ Ω

∅, conjunto vazio

Ac, complementar

A1 ∪ . . . ∪An =

n⋃i=1

Ai, uniao

A1 ∩ . . . ∩An = A1A2 . . . An =

n⋂i=1

Ai, intersecao

A−B = A ∩Bc, diferenca

A∆B = (A ∩Bc) ∪ (Ac ∩B), diferenca simetrica


Teoria de conjuntos

A e B sao disjuntos se A ∩B = ∅A1, . . . , An formam uma particao de Ω se sao disjuntos e sua uniao

e Ω, ou seja, Ai ∩Aj = ∅, se i 6= j, e

n⋃i=1

Ai = Ω

O conjunto de todos os sub-conjuntos de Ω e chamado de conjuntodas partes e e denotado por 2Ω. Porque?!

Observacao: No Magalhaes, o conjunto das partes de Ω edenotado por Ωp.


Teoria de conjuntos - Leis de de Morgan

Seja A1, A2, . . . uma famılia de sub-conjuntos de Ω. Entao vale que

i

( ∞⋃i=1

Ai

)c=

∞⋂i=1

Aci

ii

( ∞⋂i=1

Ai

)c=

∞⋃i=1

Aci


Porque nem todos os subconjuntos de Ω podem sereventos? - Motivo 1

Lancamento de uma moeda

Espaco amostral Ω = K,CSe a moeda e honesta, sabemos calcular todas essasprobabilidades:

P(∅) = 0P(K) = P(C) = 1

2P(K,C) = 1

Ou seja, sabemos calcular P(A), para todo A ⊂ 2Ω.

Porem, se nao sabemos se a moeda e honesta, nao sabemoscalcular P(K) nem P(C)!Nesse cenario, so sabemos calcular P(∅) = 0 e P(Ω) = 1.



Questionario para saber idade de indivıduos

Espaco amostral Ω = [0,∞)

Resposta da forma: “entre 0 e 18 anos”, “entre 18 e 25 anos”,“entre 25 e 34 anos”, etc...

Matematicamente, [0, 18), [18, 25), [25, 34), etc...

Nos permite inferir informacoes sobre intervalos da forma [18, 25),[0, 18) ∪ [25, 34), etc...

Porem, nada podemos dizer sobre o intervalo [20, 30), por exemplo!

⇒ Sub-conjuntos de 2Ω que sao considerados eventos devem codificarinformacoes conhecidas sobre o experimento em questao.



Razao bastante tecnica...

Nem todos os sub-conjuntos de Rn tem “volume” bem definido!

Paradoxo (Teorema) de Banach-Tarski: Dada uma bolasolida de raio 1 em R3, existe uma decomposicao dela em umnumero finito de conjuntos disjuntos que, se adequadamentereordenados, geram duas bolas solidas de raio 1!

https://en.wikipedia.org/wiki/Banach-Tarski paradox para maisdetalhes.

Veja tambem o vıdeo sobre isso no canal Vsauce do YouTube.

⇒ Sub-conjuntos de 2Ω que sao considerados eventos devem serminimamente razoaveis!


https://en.wikipedia.org/wiki/Banach-Tarski_paradox

https://www.youtube.com/watch?v=s86-Z-CbaHA

σ-algebra (sigma algebra) - motivacao

Experimento: Lancar um dado honesto

Espaco amostral: Ω = 1, 2, 3, 4, 5, 6Obviamente sabemos calcular P(∅) = 0 e P(Ω) = 1

Se sabemos que P(1, 2) = 2/6, entao obviamenteP(1, 2c) = P(3, 4, 5, 6) = 1− 2/6 = 4/6

Finalmente, se sabemos que P(1) = 1/6 e P(2) = 1/6, devemossaber que P(1 ∪ 2) = P(1, 2) = 2/6


σ-algebra - definicao

Seja Ω o espaco amostral de um determinado experimento. Umacolecao F de sub-conjuntos de Ω e dita uma σ-algebra se satisfaz asseguintes propriedades:

Ω ∈ FSe A ∈ F entao Ac ∈ F

Se Ai ∈ F , para i = 1, 2, 3, . . . , entao

∞⋃i=1

Ai ∈ F

Dado um espaco amostral Ω de um determinado experimento, umaσ-algebra contera os conjuntos aos quais saberemos associar umaprobabilidade. Chamaremos tais conjuntos, elementos de umaσ-algebra, de eventos.

A motivacao anterior nos mostra que tais propriedades sao razoaveis dese esperar!


σ-algebra - exemplos

1 Considere Ω = 1, 2, 3 e as colecoes de sub-conjuntos abaixo:

F1 = ∅,Ω, 1, 2, 3F2 = ∅,Ω, 1, 2, 1, 3, 2, 3.

Ambas sao σ-algebras?

2 Para qualquer conjunto Ω, 2Ω e sempre uma σ-algebra.

3 Seja A ⊂ Ω. Quem e uma σ-algebra que contenha o conjunto A?

4 Considere o experimento “escolher um numero real ao acaso,segundo uma distribuicao normal de media 0 e variancia 1”. Queme uma σ-algebra razoavel?


σ-algebra - propriedades

Teorema: Seja Ω um espaco amostral e F uma σ-algebra de eventos.Sejam tambem A1, A2, A3, . . . eventos em F . Entao:

1 ∅ ∈ F

2

∞⋂i=1

Ai ∈ F

3 lim supAn :=∞⋂n=1

∞⋃k=n

Ak ∈ F

4 lim inf An :=

∞⋃n=1

∞⋂k=n

Ak ∈ F

Observacao: A1, A2, A3, . . . e dita uma sequencia de eventos em F , etambem a denotaremos por (An)n∈N.


Mais um pouco de teoria de conjuntos

O que significa os conjuntos lim supAn e lim inf An definidosacima?

Tais conjuntos serao de extrema importancia ao longo do curso!

Teorema: Seja Ω um espaco amostral e F uma σ-algebra de eventos.Sejam tambem A1, A2, A3, . . . eventos em F Entao:

1 O evento lim supAn :=

∞⋂n=1

∞⋃k=n

Ak representa “ocorrencia de

infinitos dos eventos An”

2 O evento lim inf An :=∞⋃n=1

∞⋂k=n

Ak representa que “todos os eventos

An ocorrem, para n suficientemente grande”.



Seja (An)n∈N uma sequencia de eventos em F .

Dizemos que seu limite existe se os limites superior e inferiorcoincidem. Nesse caso, denotamos

lim inf An = lim supAn = limAn.

Se An ⊂ An+1, entao dizemos que a sequencia e monotonanao-decrescente, e denotamos esse fato por An ↑.Se An ⊃ An+1, entao dizemos que a sequencia e monotonanao-crescente, e denotamos esse fato por An ↓.



Exercıcio: Prove que:

Se An ↑, entao limAn =

∞⋃n=1

An

Se An ↓, entao limAn =

∞⋂n=1

An

Exercıcio: Considere Ω = [0, 1]. Encontre uma sequencia (An)n∈N talque lim inf An 6= lim supAn.


Nocoes primitivas de probabilidade

Ω finito com elementos equiprovaveis (e.g., lancamento de dadohonesto), A ⊂ Ω evento ⇒

P(A) =numero de elementos em A

numero de elementos em Ω=

“eventos favoraveis”

“eventos totais”

Tecnicas de combinatoria e contagem

Ω intervalo de R, distribuicao uniforme, A ⊂ Ω intervalo ⇒

P(A) =comprimento de A

comprimento de Ω

Seja nA numero de ocorrencia de A em n repeticoes independentesdo experimento em questao ⇒

P(A) = limn→∞

nAn

Apesar de intuitivas, essas definicoes nos dizem como calcularprobabilidades, nao o que e probabilidade!


Probabilidade - axiomas de Kolmogorov

Seja Ω um espaco amostral, munido de uma σ-algebra F . Umaprobabilidade e uma funcao P : F → R satisfazendo:

1) P(Ω) = 1

2) Para todo evento A ∈ F , P(A) ≥ 0

3) Para toda sequencia A1, A2, · · · ∈ F de eventos disjuntos temos

P

( ∞⋃i=1

Ai

)=

∞∑i=1

P(Ai)

A trinca (Ω,F ,P) e dita um espaco de probabilidade.

P tambem e chamada de medida de probabilidade.


Um exemplo simples

Um dado honesto e lancado duas vezes. Considere os eventos:

A = “a soma dos resultados e ımpar”B = “o resultado do primeiro lancamento e ımpar”C = “o produto dos resultados e ımpar”.

Construa um espaco de probabilidade adequado para esse problema ecalcule as probabilidades dos eventos acima.


O obvio acontece!

Teorema: Se Ω e finito, munido da σ-algebra das partes, entao

P(A) =quantidade de elementos em A

quantidade de elementos em Ω, para A ⊂ Ω e uma medida de

probabilidade.

Teorema: Se Ω = [a, b] ⊂ R, munido da σ-algebra dos borelianos

B([a, b]), entao P(A) =“tamanho” de A

b− a, para A ∈ B([a, b]) e uma

medida de probabilidade.


Exemplo: O problema dos aniversarios

Num grupo de r pessoas, qual e a probabilidade de que pelo menosduas delas facam aniversario no mesmo dia?

Para resolver esse problema iremos utilizar alguns conceitos vistosanteriormente em Calculo das Probabilidades I, que serao provadosmais adiante.A tabela abaixo mostra alguns valores em funcao de r:

r P(E)

10 0,116920 0,411430 0,706340 0,891250 0,970460 0,9941


Exemplo: O Paradoxo de Bertrand revisitado

Considere um triangulo equilatero inscrito em um cırculo (supostounitario, para simplificar). Suponha que uma corda e escolhida aoacaso. Qual e a probabilidade de que a corda escolhida seja maior queo lado do triangulo (

√3)?

Para cada solucao apresentada, temos um espaco amostral Ωdiferente

Consequentemente, temos σ-algebras diferentes para cadaresolucao

Nao ha paradoxo algum! A nocao de “escolhida ao acaso”, por siso, e mal formulada e ambıgua!

Exercıcio: Verifique que as funcoes definidas na resolucao doparadoxo sao de fato probabilidades.


Propriedades da probabilidade

Teorema: Seja (Ω,F ,P) um espaco de probabilidade e sejamA,B,A1, A2, · · · ∈ F eventos. Temos que:

1) P(∅) = 0

2) Se A1, . . . , An sao disjuntos, entao P

(n⋃i=1

Ai

)=

n∑i=1

P(Ai)

3) P(Ac) = 1− P(A)

4) A ⊂ B ⇒ P(A) ≤ P(B)

5) 0 ≤ P(A) ≤ 1

6) P(A ∩Bc) = P(A)− P(A ∩B)

7) P(A ∪B) = P(A) + P(B)− P(A ∩B)

8) Se A1, A2, . . . sao quaisquer, entao P

( ∞⋃i=1

Ai

)≤∞∑i=1

P(Ai)

9) Se An ↑ A, entao P(An) ↑ P(A)

10) Se An ↓ A, entao P(An) ↓ P(A)


Probabilidade condicional

Intuicao:

Ao acordar, antes de olhar pela janela, a probabilidade de choverno dia e de 50%

Porem, apos ouvir um trovao, provavelmente essa probabilidadesera modificada

⇒ Como que informacoes preliminares podem alterar a probabilidadede eventos de interesse?

Experimento associado ao espaco de probabilidade (Ω,F ,P)

E sabida a ocorrencia de um elemento ω ∈ B ∈ FComo incorporar essa informacao na σ-algebra e na medida deprobabilidade de modo adequado?



Definicao: Seja B ∈ F um evento tal que P(B) > 0. Definimos aprobabilidade condicional de A dado B como

P(A|B) =P(A ∩B)

P(B).

Note que P(A|B), considerando A ∈ F tambem e uma medida deprobabilidade.

Proposicao (Regra do Produto): Para eventos A1, A2, . . . , An ∈ F

com P

(n⋂i=1

Ai

)> 0, vale que

P(A1 ∩ . . . ∩An) = P(A1)P(A2|A1) . . .P(An|A1 ∩A2 ∩ . . . ∩An−1).



Teorema (Lei da Probabilidade Total): Suponha que os eventosC1, . . . , Cn ∈ F formem uma particao de Ω e todos tem probabilidadepositiva. Entao para qualquer evento A ∈ F vale que

P(A) =

n∑i=1

P(A|Ci)P(Ci).

Teorema (Teorema de Bayes): Suponha que os eventosC1, . . . , Cn ∈ F formem uma particao de Ω e todos tem probabilidadepositiva. Entao para qualquer evento A ∈ F com P(A) > 0 vale que

P(Cj |A) =P(A|Cj)P(Cj)

P(A)=

P(A|Cj)P(Cj)∑ni=1 P(A|Ci)P(Ci)

.


Interpretacao do Teorema de Bayes

P(Cj |A) =P(A|Cj)P(Cj)

P(A)=

P(A|Cj)P(Cj)∑ni=1 P(A|Ci)P(Ci)

Cada Ci representa uma causa no resultado de um experimentoaleatorio

Probabilidades a priori de ocorrencias P(Ci), para i = 1, . . . n

Evento A e observado na realizacao do experimento

Reavaliar quanto cada causa Ci e responsavel pela ocorrencia doevento A

Probabilidades a posteriori P(Ci|A), para i = 1, . . . , n


Exemplo

Um aviao desapareceu e presume-se que seja igualmente provavel queele tenha caıdo em qualquer uma das tres regioes possıveis. Denote por1− βi, i = 1, 2, 3, a probabilidade de que o aviao seja encontrado aposuma busca na regiao i quando ele de fato esta nessa regiao (asconstantes βi sao ditas probabilidades de negligencia, pois representama probabilidade de nao encontrar o aviao; em geral sao atribuıdas ascondicoes climaticas e geograficas da regiao). Qual e a probabilidade deque o aviao esteja na regiao i dado que a busca na regiao 1 tenha sidomal-sucedida?


Exemplo


Falacia do Procurador

Em 1999, Sally Clark foi condenada pelo assassinato dos seus doisfilhos, ambos recem nascidos. A decisao foi tomada com base nodepoimento de um especialista. Segundo ele, a probabilidade de umabebe recem nascido morrer da sındrome de morte subita infantil(SMSI) era de 1/8500, de forma que a probabilidade de duas mortesdevida a SMSI na mesma famılia era (1/8500)2 ≈ 1/(73× 106). Combase nisso, o especialista conclui que a probabilidade da inocencia deClark era de 1/(73× 106). Qual e o problema com a linha de raciocıniodo especialista?

Hipotese de independencia nao justificada

Usou incorretamente P(“evidencia”|“inocencia”) ao inves deP(“Inocencia”|“evidencia”).

Mensagem: nao confunda P(A|B) com P(B|A)!


Independencia entre eventos

(Ω, F , P) espaco de probabilidade, A e B eventos em FIntuitivamente, A e B sao independentes se a ocorrencia de B naoaltera a probabilidade de ocorrencia de A e vice-versa

Matematicamente,

P(A|B) = P(A) e P(B|A) = P(B)

Equivalente aP(A ∩B) = P(A)P(B)

Definicao: Dizemos que os eventos A e B em F sao independentes seP(A ∩B) = P(A)P(B).

Definicao: Dizemos que os eventos A1, A2, . . . , An ∈ F saoindependentes se para toda escolha de ındices1 ≤ i1 < i2 < · · · < ik ≤ n, e 2 ≤ k ≤ n tivermos

P(Ai1 ∩Ai2 ∩ . . . ∩Aik) = P(Ai1)P(Ai2) . . .P(Aik).


Exemplo

Considere um alfabeto que tem um total de n letras. Dentre todas aspalavras formadas com 3 letras escolhemos uma delas, ao acaso. Seja suma particular letra desse alfabeto. Defina os eventos

A = “palavra escolhida comeca com a letra s

B = “palavra escolhida tem a letra s no meio”

C = “palavra escolhida tem exatamente duas letras iguais”

Provemos que esses eventos sao dois a dois independentes, porem naosao (coletivamente) independentes

E possıvel construir tambem um exemplo ondeP(A ∩B ∩ C) = P(A)P(B)P(C) porem eles nao sao independentes doisa dois (tente!)

E realmente necessario verificar independencia para toda sub-colecaode eventos de interesse!


Exemplo

A confiabilidade de um sistema ou componente e a probabilidadeque ele funcione. Considere um sistema com dois sub-sistemas emserie S1 e S2 com, respectivamente m1 e m2 componentes identicosem paralelo.

O evento em que o componente j do sub-sistema Si funciona erepresentado por Aij , para i = 1, 2 e j = 1, 2, . . . ,mi.Suponha que a probabilidade de funcionamento de cadacomponente dentro de um mesmo sub-sistema seja igual, ou seja,P(Aij) = αi, para todo j.Quantos componentes devemos ter em cada sub-sistema paragarantir uma confiabilidade de pelo menos γ?


Exemplo - nem sempre e facil construir o espacoamostral...

Ana e Bia jogam um jogo com uma moeda honesta. Cada umalanca a moeda duas vezes, sucessivamente, e aquela que obtiverdois resultados iguais primeiro ganha.

Ana comeca jogando, e se nao vencer, passa a moeda para Bia, econtinuam assim, alternando as jogadas, ate alguem vencer.

Bia desconfia da honestidade do jogo, e diz que Ana tem maischances de ganhar, pois ela comeca o jogo...

...Ana contra-argumenta, dizendo que o numero de jogadas podeser infinito, de modo que tanto faz quem comeca jogando.

Quem esta certa?

Claramente o jogo era desonesto, e Ana tinha mais chances deganhar!

Tal problema poderia ser resolvido com a utilizacao de uma moedanao balanceada?


Lemas de Borel-Cantelli

Teorema: Seja (Ω,F ,P) um espaco de probabilidade e sejamA1, A2, . . . eventos em F . Temos entao que

i) Se

∞∑n=1

P(An) <∞, entao P(lim supAn) = 0

ii) Se

∞∑n=1

P(An) =∞, e os eventos An sao independentes, entao

P(lim supAn) = 1

Lembrete: lim supAn =

∞⋂n=1

∞⋃k=n

Ak representa “ocorrencia de infinitos

dos eventos An”

Observacao: Os lemas de Borel-Cantelli sao um exemplo particularde leis zero-um em Probabilidade.


Lemas de Borel-Cantelli - exemplos

1) Um macaco imortal (e muito paciente!) bate em teclas ao acasoem um teclado, por tempo indefinido. Qual a probabilidade de queele eventualmente digite a obra inteira de Shakespeare?

Apesar disso, tal evento e bastante improvavel...

Hamlet tem 130.000 caracteres

A probabilidade do macaco digitar tal obra e de aproximadamente4,4× 10360.783, considerando pontuacao e maiusculas

Se cada proton do universo observavel for um macaco digitando,incessantemente, 2.000 caracteres por minuto, desde o Big Bangate o fim (estimado) do Universo, para termos uma chance em umtrilhao de observar Hamlet digitada por inteiro (1 em 1012),deverıamos ter 10360.641 universos formados por macacos atomicos!

Em um desses universos, a chance de um documento de meros 79caracteres ser digitado corretamente e de menos de 1 em umtrilhao!


Lemas de Borel-Cantelli - exemplos

2) Considere um jogo infinito, onde na rodada n o jogador perde 2n

reais com probabilidade1

2n + 1ou ganha 1 real com probabilidade

2n

2n + 1. O que podemos falar sobre o patrimonio do jogador ao

“final” do jogo?

3) Suponha que lancamos uma moeda independentemente infinitasvezes, de modo que a probabilidade de observar cara no n-esimolancamento e 1/n. Qual a probabilidade de observarmos infinitascaras? E se essa probabilidade fosse 1/n2? Como voce explica isso?

Observacao: Note que a independencia nao pode ser removida nasegunda afirmacao!


Variaveis aleatorias - motivacao

As vezes, nosso espaco amostral pode ser bem complicado...

Gas com 1028 partıculas movendo-se livremente em R3

Ω = posicao e momento de todas as partıculas = R6×1028 !

Impossıvel medir posicao e momento de todas as partıculas!

Alem disso, fazer contas nesse espaco e virtualmente inviavel.

Porem, e facil observarmos, por exemplo, pressao e temperaturadesse gas

Para cada configuracao ω ∈ Ω, temos uma pressao e temperaturadiferentes, ou seja, temos funcoes

X :Ω→ Rω 7→ X(ω) = temperatura associada a configuracao ω

Y :Ω→ Rω 7→ Y (ω) = pressao associada a configuracao ω

X e Y sao resumos numericos de Ω. Tornemos isso mais rigoroso!


Variaveis aleatorias - definicao

Definicao: Seja (Ω,F ,P) um espaco de probabilidade. Uma variavelaleatoria e uma funcao X : Ω→ R satisfazendo

X−1(I) := ω ∈ Ω | X(ω) ∈ I ∈ F ,

para todo intervalo I ⊂ R.

Intuitivamente, a informacao na σ-algebra F deve ser compatıvel comcalculo de probabilidades sobre intervalos.

Observacao: Esse nome e infame! X nao e variavel (pois e funcao),nem aleatoria (pois tem uma regra de formacao bem definida)!


Exemplo

Lancamento de um dado...

...porem somos informados somente a paridade do numero

Ω = 1, 2, 3, 4, 5, 6F = ∅,Ω, 1, 3, 5, 2, 4, 6Considere as funcoes abaixo:

X :Ω→ Rω 7→ X(ω) = 1 se o numero e par e 0 se e ımpar

Y :Ω→ Rω 7→ Y (ω) = valor observado no lancamento

Ambas sao variaveis aleatorias?


Notacao

Para todo x ∈ R, escrevemos X = x, X ≤ x, X ≥ x e X ∈ I,para I ⊂ R intervalo, para denotar respectivamente os eventos

ω ∈ Ω | X(ω) = xω ∈ Ω | X(ω) ≤ xω ∈ Ω | X(ω) ≥ xω ∈ Ω | X(ω) ∈ I

⇒ Jamais escreveremos P(ω ∈ Ω | X(ω) ≤ x), mas sim P(X ≤ x)


Funcao de probabilidade acumulada

Definicao: Seja X uma variavel aleatoria em (Ω,F ,P). Definimos suafuncao de probabilidade acumulada (tambem chamada de funcao dedistribuicao) como

FX(x) = P(X ∈ (−∞, x]) = P(X ≤ x), para x ∈ R.

Teorema: A funcao de probabilidade acumulada nos permite obterqualquer informacao probabilıstica sobre X, ou seja, P(X ∈ B) podeser obtida a partir de FX , para todo B ∈ B(R).


Funcao de probabilidade acumulada

Teorema (Propriedades): Uma funcao de probabilidade acumulada deuma variavel aleatoria X satisfaz as propriedades abaixo:

1) limx→−∞

FX(x) = 0 e limx→∞

FX(x) = 1

2) FX e contınua a direita, ou seja, se xn ↓ x entao FX(xn) ↓ FX(x)

3) FX e nao decrescente, ou seja, se x ≤ y entao FX(x) ≤ FX(y)

Teorema: Se uma funcao F : R→ R satisfaz as propriedades 1), 2) e3) acima entao existe um espaco de probabilidade (Ω,F ,P) e umavariavel aleatoria X nesse espaco tal que F e a funcao de probabilidadeacumulada de X.

⇒ Para fins praticos, basta informar FX !


Variaveis aleatorias discretas

Definicao: Uma variavel aleatoria X definida sobre um espaco deprobabilidade (Ω,F ,P) e dita discreta se a funcao X assume apenasuma quantidade enumeravel de valores.

X(Ω) = x1, x2, . . . ⊂ R.

Definicao: Definimos a funcao de probabilidade de X como sendo aprobabilidade de X assumir algum valor em particular, ou seja,

p(xi) = P(X = i) = P(ω ∈ Ω | X(ω) = xi).


Variaveis aleatorias discretas

Proposicao: A funcao de probabilidade de X em (Ω,F ,P) satisfaz:

1) 0 ≤ p(xi) ≤ 1,∀i = 1, 2, . . .

2)∑i

p(xi) = 1

Podemos relacionar as funcoes de probabilidade acumulada e deprobabilidade como:

FX(x) =∑

i | xi≤x

p(xi)

p(xi) = FX(xi)− FX(x−i ),

onde FX(x−i ) = limx→x−i

FX(x).

Exemplo: Considere o lancamento de uma moeda honesta duas vezese estude a variavel aleatoria que conta o numero de caras nos doislancamentos.


Variaveis aleatorias contınuas

Definicao: Uma variavel aleatoria X definida em um espaco deprobabilidade (Ω,F ,P) e dita contınua se existe uma funcao fXnao-negativa tal que a funcao de probabilidade acumulada de X,denotada por FX , pode ser escrita como

FX(x) =

∫ x

−∞fX(t) dt,∀x ∈ R.

A funcao fX e dita a funcao densidade de probabilidade de X.


Variaveis aleatorias contınuas

Proposicao: A funcao densidade de probabilidade fX de uma variavelaleatoria X satisfaz:

1) fX(x) ≥ 0,∀x ∈ R

2)

∫ +∞

−∞f(t) dt = 1

3) F ′X(x) = fX(x); em particular, FX e uma funcao contınua

Conforme bem lembramos, vale que:

P(a < X < b) = P(a < X ≤ b) = P(a ≤ X < b) = P(a ≤ X ≤ b)

=

∫ b

afX(x) dx = FX(b)− FX(a).


Variaveis aleatorias... wtf?!

E possıvel construir uma funcao de probabilidade acumulada F que econtınua tal que F ′(x) = 0, “para todo” x ∈ R ⇒ variavel aleatoriasingular

Teorema: Toda funcao de probabilidade acumulada F pode serdecomposta como a ponderacao de uma contınua, uma discreta e umasingular, ou seja,

F (x) = αdFd(x) + αcF

c(x) + αsFs(x),

com αd + αc + αs = 1 e αd, αc, αs ≥ 0.


Variaveis aleatorias mistas

Exemplo: Estude a variavel aleatoria cuja funcao de probabilidadeacumulada e dada por

FX(x) =

0, se x < 0

x/4, se 0 ≤ x < 1

1/2, se 1 ≤ x < 2

1, se x ≥ 2.


Funcao de probabilidade acumulada condicional

Definicao: Seja X uma variavel aleatoria em (Ω,F ,P) e considere umevento A ∈ F , com P(A) > 0. A funcao de probabilidade acumuladacondicional de X, dada a ocorrencia de A e definida por:

FX(x|A) = P(A ≤ x|A) =P(X ≤ x ∩A)

P(A).

Mais geralmente, dado B ∈ B(R), podemos calcular

P(X ∈ B|A) =P(X ∈ B ∩A)

P(A).


Exemplo

O desempenho diario de um certo conjunto de acoes pode ser medidocomo a porcentagem de crescimento do preco de venda em relacao aodia anterior. Suponha que esse desempenho e uma variavel aleatoriacontınua X com funcao densidade de probabilidade dada por

fX(x) =

0, se x ≤ −3 ou x > 0112x+ 1

4 , se − 3 < x ≤ 014x, se 0 < x ≤ 2116 , se 2 < x ≤ 4.

Desempenho negativo indica que as acoes perderam valor de um diapara o outro.

a) Qual e a probabilidade de um dia com desempenho excepcional(superior a 3%) dado que o desempenho foi positivo?

b) O desempenho e dito regular se nao ha alteracao superior a 1% emrelacao ao dia anterior. Supondo um desempenho nao-positivo,qual a probabilidade de termos um dia regular?


Distribuicao de uma variavel aleatoria

(Ω,F ,P)⇒ (R,B(R),PX)


Distribuicoes discretas - exemplos

Sao medidas de probabilidade em (R,B(R)) induzidas por variaveisaleatorias discretas.

Bernoulli: Dizemos que X ∼ Bern(p) seP(X = 0) = 1− pP(X = 1) = p

Binomial: Dizemos que X ∼ Binom(n, p) se

P(X = k) =

(n

k

)pk(1− p)n−k, k = 0, 1, . . . , n.

Conta o numero de sucessos (observacoes iguais a 1) em n repeticoesindependentes de Bernoulli.

Observacao: X e Y com a mesma distribuicao ; X e Y iguais!


Distribuicoes discretas - exemplos

Geometrica: Dizemos que X ∼ Geo(p) se

P(X = x) = p(1− p)x, x = 0, 1, . . .

Conta numero de fracassos antes do primeiro sucesso em n repeticoesindependentes de Bernoulli.

Poisson: Dizemos que X ∼ Poi(λ) se

P(X = x) = e−λλx

x!, x = 0, 1, . . . .

Conta... um monte de coisa!


Distribuicoes contınuas - exemplos

Sao medidas de probabilidade em (R,B(R)) induzidas por variaveisaleatorias contınuas.

Em geral, nesses casos, Ω = R e X = id.

Uniforme: Dizemos que X ∼ Unif[a, b] se

fX(x) =1

b− a, para a ≤ x ≤ b.

Exponencial: Dizemos que X ∼ Exp(λ) se

fX(x) = λe−λx, para x ≥ 0.

Normal: Dizemos que X ∼ N(µ, σ2) se

fX(x) =1√

2πσ2e−

12

(x−µ)2

σ2 , para x ∈ R.


Distribuicoes contınuas - propriedades

Teorema: Sendo X variavel aleatoria contınua, X tem a propriedadeda perda da memoria (P(X ≥ t+ s | X ≥ s) = P(X ≥ t),∀t, s ≥ 0) se esomente se X e exponencial.

⇒ Distribuicao de Weibull: fX(x) = λkxk−1e−λxk, para x ≥ 0.

Exemplo (Relacao entre Poisson e Exponencial): Seja X o numero deocorrencias de um determinado evento em uma unidade de tempo, eseja Y o tempo entre duas ocorrencias sucessivas de tal evento. EntaoX e Poisson e Y e exponencial.


Distribuicoes contınuas - propriedades

Teorema: Se X ∼ N(µ, σ2) entao Z =X − µσ

∼ N(0, 1).

Teorema: Se fX(x) e a funcao densidade de probabilidade de uma

distribuicao normal padrao, entao

∫ +∞

−∞fX(x) dx = 1.


Vetores aleatorios

Definicao: Dado um espaco de probabilidade (Ω,F ,P), um vetoraleatorio e uma funcao X : Ω→ Rm, representada por

X(ω) = (X1(ω), . . . , Xm(ω)),

onde cada componente Xi e uma variavel aleatoria.

Note que a definicao acima e equivalente a dizer que

m⋂i=1

ω ∈ Ω | Xi(ω) ≤ xi =

m⋂i=1

X−1i (−∞, xi] ∈ Ω,

para todo x = (x1, . . . , xm) ∈ Rm.

Analogamente, podemos definir a funcao de probabilidade acumuladado vetor aleatorio X como

FX(x) = Fx(x1, . . . , xm) = P(X1 ≤ x1, . . . , Xm ≤ xm),∀x ∈ Rm.


Vetores aleatorios discretos

Se as componentes do vetor aleatorio X sao discretas, temos um vetoraleatorio discreto. Sua funcao de probabilidade conjunta e definida por

pX(x) = p(x1, . . . , xm) = P(X1 = x1, . . . , Xm = xm).

Decompondo x = (y, z), com y ∈ Rk e z ∈ Rm−k, podemos definir afuncao de probabilidade marginal de y como

pY(y) =∑z

pX(y, z),

ou seja, somamos pX somente nas coordenadas que nao desejamos.

Teorema: A funcao de probabilidade conjunta de um vetor aleatoriodiscreto X satisfaz as propriedades

i) pX(x) ≥ 0, ∀x ∈ Rm

ii)∑

x pX(x) = 1


Exemplo

A tabela abaixo mostra a funcao de probabilidade conjunta entre osnumeros diarios de criancas com alergia (X) e com pneumonia (Y )atendidos diariamente em um determinado posto de saude:

X\Y 0 1 2 P(X = x)

0 1/16 1/16 1/8 1/4

1 1/8 1/8 0 1/4

2 1/16 1/8 1/8 5/16

3 0 1/8 1/16 3/16

P(Y = y) 1/4 7/16 5/16 1

Atraves dessa tabela, podemos calcular facilmente probabilidadescomo:

P(X = Y )

P(X > Y )

P(X > 1)

P(Y = 2)


A distribuicao multinomial

Considere um experimento com m possıveis resultados, cada um comprobabilidade pi ≥ 0, para i = 1, 2, . . . ,m e

∑mi=1 pi = 1. Tal

experimento e repetido n vezes, de forma independente e observamos asvariaveis X1, X2, . . . , Xm, que correspondem ao numero de ocorrenciasde cada um dos possıveis resultados dessas repeticoes. O vetoraleatorio X = (X1, . . . , Xm) segue o modelo multinomial de parametrosn e p = (p1, . . . , pm). Sua funcao de probabilidade conjunta e dada por

pX(x) = P(X1 = x1, . . . , Xm = xm) =n!

x1! . . . xm!px11 . . . pxmm ,

sendo que∑m

i=1 xi = n, para 0 ≤ xi ≤ n.

Exemplo: Considere 10 lancamentos independentes de um dadoequilibrado, e seja Xi o numero de ocorrencias da face i, parai ∈ 1, 2, 3, 4, 5, 6.


Vetores aleatorios contınuos

Definicao: O vetor aleatorio X e dito contınuo se existe uma funcaofX : Rm → R, dita a funcao densidade de probabilidade conjunta, talque

FX(x) =

∫ x1

−∞· · ·∫ xm

−∞fX(t) dtm . . . dt1.

Atencao! NAO e verdade que se as componentes de um vetoraleatorio X sao variaveis aleatorias contınuas, entao X sera um vetoraleatorio contınuo!

Teorema: A funcao densidade de probabilidade conjunta de um vetoraleatorio contınuo X satisfaz as propriedades:

i) fX(x) ≥ 0,∀x ∈ Rm

ii)

∫ +∞

−∞· · ·∫ +∞

−∞fX(t) dtm . . . dt1 = 1

iii) fX(x) =∂m

∂xFX(x) =

∂m

∂x1 . . . ∂xmFX(x1, . . . , xm)


Vetores aleatorios contınuos

Seja B ∈ B(Rm) um boreliano de Rm. Entao podemos calcular

P(X ∈ B) =

∫· · ·∫BfX(x) dxm . . . dx1.

Ou seja, probabilidades sao calculadas com integrais multiplas.

Decompondo x = (y, z), com y ∈ Rk e z ∈ Rm−k, podemos definir afuncao densidade de probabilidade marginal de y como

fY(y) =

∫· · ·∫Rm−k

fX(y, z) dzm−k . . . dz1,

ou seja, integramos fX somente nas coordenadas que nao desejamos.


Exemplo

Exemplo: Considere a funcao abaixo:

f(x, y) =

cx2y, se x2 ≤ y ≤ 1

0, caso contrario.

a) Encontre c de modo que f seja uma funcao densidade deprobabilidade conjunta

b) Calcule P(X ≥ Y )

c) Encontre as marginais em X e Y .


Um breve exemplo

Um ponto (X,Y ) e escolhido ao acaso dentro do disco x2 + y2 ≤ 9.Determine a funcao densidade de probabilidade conjunta de X e Y .


Independencia

Definicao: Dizemos que as variaveis aleatorias X1, . . . , Xm saoindependentes se

P(X1 ∈ B1, . . . , Xm ∈ Bm) = P(X1 ∈ B1) . . .P(Xm ∈ Bm), ∀Bi ∈ B(R).

Teorema: Denote por FX a funcao de probabilidade acumulada dovetor aleatorio X = (X1, . . . , Xn), fX a funcao densidade probabilidadeou funcao de probabilidade de X, Fi a funcao de probabilidadeacumulada de Xi e fi a funcao densidade probabilidade marginal oufuncao de probabilidade marginal de Xi, para i = 1, . . . , n. Entaotemos que X1, . . . , Xn sao independentes se e somente se vale algumadas condicoes abaixo:

FX(x1, . . . , xm) = F1(x1)× · · · × Fm(xm), ∀x ∈ Rm

fX(x1, . . . , xm) = f1(x1)× · · · × fm(xm),∀x ∈ Rm

fX(x1, . . . , xm) = h1(x1)× · · · × hm(xm),∀x ∈ Rm, onde hi e umafuncao nao-negativa dependendo somente de xi


Exemplo

A tabela abaixo mostra a funcao de probabilidade conjunta entre osnumeros diarios de criancas com alergia (X) e com pneumonia (Y )atendidos diariamente em um determinado posto de saude:

X\Y 0 1 2 P(X = x)

0 1/16 1/16 1/8 1/4

1 1/8 1/8 0 1/4

2 1/16 1/8 1/8 5/16

3 0 1/8 1/16 3/16

P(Y = y) 1/4 7/16 5/16 1

Note que X e Y nao sao independentes, pois

P(X = 1, Y = 2) = 0 6= P(X = 1)P(Y = 2) = 5/64.


Exemplos

1) A funcao densidade de probabilidade conjunta do vetor aleatorio(X,Y ) e dada por

f(x, y) =

ke−(x+2y) para x ≥ 0 e y ≥ 00 caso contrario.

Encontre o valor adequado de k, as distribuicoes marginais e digase X e Y sao independentes.

2) A funcao densidade de probabilidade conjunta do vetor aleatorio(X,Y ) e dada por

f(x, y) =

24xy para x ≥ 0, y ≥ 0, e x+ y ≤ 10 caso contrario.

As variaveis aleatorias X e Y sao independentes?


Distribuicoes condicionais

Seja X um vetor aleatorio em Rm. Decomponha x = (y, z), comy ∈ Rk e z ∈ Rm−k.

Se X e discreto, podemos calcular a funcao de probabilidadecondicional de Z, condicionado na observacao que Y = y:

pZ|Y(z|y) =pX(y, z)

pY(y)=

pX(y, z)∑z pX(y, z)

.

Se X e contınuo, entao definimos a funcao densidade deprobabilidade condicional de Z, condicionado na observacao queY = y:

fZ|Y(z|y) =fX(y, z)

fY(y)=

fX(y, z)∫· · ·∫Rm−k fX(y, z) dzm−k . . . dz1

.


Exemplo

Considere o vetor aleatorio (X,Y ) cuja funcao densidade deprobabilidade conjunta e dada por

f(x, y) =

24xy para x ≥ 0, y ≥ 0, e x+ y ≤ 10 caso contrario.

Calcule a distribuicao condicional fY |X(y|x).


Exemplo

O numero de pessoas N que entra em uma loja em um determinadodia segue uma distribuicao de Poisson de parametro λ. Sabe-se queuma proporcao p dos clientes e homem e uma proporcao 1− p emulher. Seja X o numero de clientes homens e Y o numero de clientesmulheres que entram na loja em um determinado dia, de modo queX + Y = N . Encontre a funcao de probabilidade conjunta de X e Y .

Isso prova o seguinte...Teorema: Se N ∼ Poi(λ) e X|(N = n) ∼ Bin(n, p), entaoX ∼ Poi(pλ), Y ∼ Poi((1− p)λ) e X e Y sao independentes.




Funcoes de vetores aleatorios

Se X e um vetor aleatorio em Rm e g : Rm → Rk e uma funcao, entaopodemos estar interessados na distribuicao de Y = g(X):

Se D e o diametro de um rolamento esferico, entao seu volume e

dado porπD3

6Se V e a voltagem em um circuito eletrico onde passa uma correntei (valor fixo conhecido), entao a potencia e dada por W = V i

Se X e Y sao peso e altura, respectivamente, de indivıduos emuma populacao, entao o IMC e dado por X/Y 2


Relembrar: funcoes de variaveis aleatorias (g : R→ R)

Exemplo: Seja X a taxa com a qual consumidores chegam em umafila, e seja T = 1/X o tempo medio de espera. Quem e a distribuicaode T , a partir da distribuicao de X?

Podemos calcular tambem de outra forma...Teorema: Seja X uma variavel aleatoria contınua tomando valores nointervalo (a, b), e seja Y = g(X), onde g e uma funcao bijetiva ediferenciavel. Denote por (α, β) a imagem de (a, b) atraves de g, e porh = g−1 a funcao inversa de g. Entao Y e uma variavel aleatoriacontınua cuja funcao densidade de probabilidade e dada por

fY (y) =

fX(h(y))

∣∣∣dh(y)dy

∣∣∣ para α < y < β,

0 caso contrario


Exemplo

No caso particular em que X ∼ Exp(1), temos que fT (t) =1

t2e−1/t,

para t > 0:


Aplicacao: transformacao integral de probabilidade

Teorema: Seja X uma variavel aleatoria contınua. Entao Y = FX(X)tem distribuicao uniforme em [0, 1]. Reciprocamente, se U ∼ Unif[0, 1],entao F−1(U) tem a mesma distribuicao de X.


Funcoes de vetores aleatorios I (g : Rm → R)

Exemplo: Seja Xi o tempo que leva para o consumidor i ser atendidoem uma fila, para i = 1, 2, independentes e identicamente distribuıdoscom distribuicao Exp(2). Seja Y = X1 +X2 o tempo total deatendimento. Qual e a distribuicao de Y ?

Mais geralmente, temos...Teorema: Seja X um vetor aleatorio em Rm e Y = g(X), ondeg : Rm → R. Para cada y ∈ R defina Ay = x ∈ Rm | g(x) ≤ y. Entaotemos que

FY (y) =

∫· · ·∫Ay

fX(x) dx.


Funcao linear de duas variaveis aleatorias

Teorema: Seja (X1, X2) um vetor aleatorio contınuo, e sejaY = a1X1 + a2X2 + b. Entao Y e uma variavel aleatoria contınua comfuncao densidade de probabilidade dada por

fY (y) =

∫ ∞−∞

f(X1,X2)

(y − b− a2x2

a1, x2

)1

|a1|dx2

Corolario: Se a1 = a2 = 1 e b = 0, entao

fY (y) =

∫ ∞−∞

fX1(y − z)fX2(z) dz.

A formula acima e chamada de convolucao de X1 e X2.


Aplicacao


Produto e quociente de duas variaveis aleatorias

Teorema: Seja (X1, X2) um vetor aleatorio contınuo. Entao o produtoX1X2 e o quociente X1/X2 sao variaveis aleatorias contınuas, cujasrespectivas funcao densidade de probabilidade sao dadas por

fX1X2(z) =

∫ ∞−∞

1

|x|f(X1,X2)

(x,z

x

)dx

fX1/X2(z) =

∫ ∞−∞|y|f(X1,X2)(zy, y) dy

Exemplo: Sejam X1 e X2 variaveis aleatorias normais padraoindependentes. Entao X1/X2 tem distribuicao de Cauchy.


Um pequeno lembrete de Calculo III

Exemplo: Seja T o paralelogramo limitado por y = 2x, y = 2x− 2,y = x e y = x+ 1. Calcule ∫∫

Txy dxdy.



Funcoes de vetores aleatorios II (g : Rm → Rm)

Teorema: Seja X = (X1, . . . , Xm) um vetor aleatorio contınuotomando valores em S ⊂ Rm, e seja Y = g(X), onde g : Rm → Rm euma funcao bijetiva e diferenciavel, ou seja,Yi = gi (X1, . . . , Xm) , i = 1, . . . ,m. Denote por T a imagem de Satraves de g, e denote a inversa de g da seguinte forma:

xi = hi(y1, . . . , ym), i = 1, . . . ,m.

Entao o vetor aleatorio Y e contınuo, com funcao densidade deprobabilidade conjunta dada por

fY (y1, . . . , ym) =

fX (h1(y), . . . , hm(y)) |J | para y ∈ T0 caso contrario,

onde J e o determinante

J = det

∂h1∂y1

· · · ∂h1∂ym

.... . .

...∂hm∂y1

· · · ∂hm∂ym

.DME - IM - UFRJ Prob II Aula 16 3

Exemplo

1) Considere o vetor aleatorio X = (X1, X2, X3) com funcaodensidade de probabilidade conjunta dada por

fX(x) = λ3e−λ(x1+x2+x3), para x1, x2, x3 ≥ 0.

Encontre a funcao densidade de probabilidade conjunta deY = (Y1, Y2, Y3), onde

Y1 = X1

Y2 = X1 +X2

Y3 = X1 +X2 +X3.


Exemplo

2) Considere o vetor aleatorio X = (X1, X2) com funcao densidade deprobabilidade conjunta dada por

fX(x) = 4x1x2, para 0 < x1, x2 < 1.

Encontre a funcao densidade de probabilidade conjunta deY = (Y1, Y2), onde

Y1 = X1/X2

Y2 = X1X2.


Exemplo

3) Sejam X1 e X2 variaveis aleatorias com distribuicao normal padraoindependentes. Encontre a distribuicao de X1 +X2 e X1 −X2.

O surpreendente desse resultado, e que vale a recıproca:Teorema: Sejam X1 e X2 variaveis aleatorias independentes eidenticamente distribuıdas com variancia finita. Se X1 +X2 eX1 −X2 sao independentes, entao X1 e X2 tem distribuicaonormal.


Exemplo (Gerador de Box-Muller)

4) Sejam U1 e U2 variaveis aleatorias independentes com distribuicaouniforme em [0, 1] e defina

X1 =√−2 ln(U1) cos (2πU2)

X2 =√−2 ln(U1) sin (2πU2) .

Encontre a distribuicao conjunta de (X1, X2).



Aplicacoes

1) O tempo Xi de atendimento do consumidor i em uma fila, medidoem minutos, tem distribuicao exponencial, para i = 1, . . . , n. Cadaconsumidor leva em media 1/λi minutos para ser atendido.Assuma independencia entre os tempos de atendimento deconsumidores distintos. Encontre a distribuicao das variaveisaleatorias abaixo:

a) O menor tempo de atendimento dentre os n consumidoresb) O maior tempo de atendimento dentre os n consumidoresc) O tempo de atendimento total dos n consumidores (assumindo

λ1 = · · · = λn = λ)

Portanto, temos que:

Y = min1≤i≤n

Xi ∼ Exp(λ1 + · · ·+ λn)

Z = max1≤i≤n

Xi ∼ distribuicao sem nome

W = X1 + · · ·+Xn ∼ Γ(n, λ) assumindo λ1 = · · · = λn = λ


Aplicacoes


Aplicacoes

2) Considere agora que a fila tem somente dois consumidores, cujostempos de atendimento X e Y , em minutos, sao independentes ecom distribuicao exponencial de mesmo parametro λ. Considere as

variaveis aleatorias V = X + Y e W =X

X + Y. Note que V

representa o tempo total de atendimento de ambos osconsumidores e W representa a proporcao do tempo total gasto noprimeiro atendimento. Encontre a distribuicao conjunta de V e W .


Aplicacoes

3) Seja X o tempo de atendimento de um consumidor em uma fila,em minutos, e seja Y a taxa de atendimento do prestador deservico, medida em consumidores por minutos. Um modelopopular para relacionar essas variaveis aleatorias e dizer que

X|(Y = y) ∼ Exp(y).

Note que Z = XY mede quao rapido, em comparacao com amedia, o consumidor e atendido. O que podemos dizer dadistribuicao de Z|Y ?


Aplicacoes

4) Um ponto (V,W ) dentro do cırculo de raio 1 centrado na origem eescolhido da seguinte forma:

Primeiramente, um numero R e escolhido ao acaso entre 0 e 1Em seguida um angulo Θ e escolhido ao acaso entre 0 e 2πFinalmente, e feita a transformacao

V = R cos(Θ)

W = R sin(Θ)

Encontre a distribuicao conjunta do vetor aleatorio (V,W ) e digase tal distribuicao e uniforme no cırculo unitario.


Aplicacoes


Media, valor esperado, esperanca, etc...

Jogo no qual n resultados distintos podem ser obtidos ⇒ cada comretorno xi ao jogador, i = 1, . . . , nMesa cobra C para participar de uma rodada ⇒ a mesa estalevando vantagem?Jogar N vezes, resultado xi tem probabilidade pi de ocorrer ⇒ xiacontece aproximadamente Npi vezesn∑i=1

xipiN −NC = N

(n∑i=1

xipi − C

)≈ lucro aproximado do

jogador apos jogar N vezesn∑i=1

xipiN ≈ quanto a mesa da ao jogador apos N rodadas

N = 1⇒n∑i=1

xipi ≈ quanto a mesa da em uma unica rodada

⇒n∑i=1

xipi sera chamado o retorno esperado do jogo


Media, valor esperado, esperanca, etc...

Definicao: Definimos a media, esperanca ou valor esperado de umavariavel aleatoria X como

E[X] =

∞∑n=−∞

xnP(X = xn)︸︷︷︸se X e discreta

=

∫ +∞

−∞xfX(x) dx︸︷︷︸

se X e contınua

,

quando o somatorio ou a integral existirem.


Cap. IV: Uma Nova Esperanca

Porem, essa definicao so vale no caso restrito onde X e discreta oucontınua...

Teorema: Seja X uma variavel aleatoria positiva, discreta oucontınua. Se E[X] existe, entao

E[X] =

∫ ∞0

P(X > x) dx =

∫ ∞0

1− FX(x) dx



No caso discreto onde X assume os valores 0, 1, 2, . . . tal expressaopode ser simplificada para

E[X] =

∫ ∞0

P(X > x) dx =

∞∑k=0

P(X > k)

Intuicao:

P(X = 1) P(X = 2) P(X = 3) P(X = 4) P(X = 5) · · ·P(X = 2) P(X = 3) P(X = 4) P(X = 5) · · ·

P(X = 3) P(X = 4) P(X = 5) · · ·P(X = 4) P(X = 5) · · ·

P(X = 5) · · ·



Intuicao no caso contınuo:



Definicao: Seja X uma variavel aleatoria positiva, naonecessariamente discreta ou contınua. Definimos

E[X] =

∫ ∞0

P(X > x) dx =

∫ ∞0

1− FX(x) dx.

Agora, no caso geral, onde X pode assumir qualquer valor...

Seja X+ =

X, se X ≥ 0

0, se X < 0a parte positiva de X...

e X− =

−X, se X < 0

0, se X ≥ 0a parte negativa de X

Definimos entao E[X] = E[X+]− E[X−], se ambas quantidadesexistem

Teorema: Seja X uma variavel aleatoria. Se E[X] existe, entao

E[X] =

∫ ∞0

1− FX(x) dx−∫ 0

−∞FX(x) dx.


Exemplos

1) A voltagem de uma corrente eletrica tem distribuicao exponencialcom media de 2V. Um voltımetro usado para medi-la esta comproblema, e qualquer medicao acima de 3V e registrada como 3V.Em media, qual valor e registrado pelo voltımetro?


Exemplos

2) Seja X a variavel aleatoria com funcao de probabilidadeacumulada dada por

FX(x) =

0, x < −2124

(x2 + 4x+ 4

), −2 ≤ x < 0

16(x+ 2), 0 ≤ x < 116(x+ 3), 1 ≤ x < 2124

(−x2 + 8x+ 8

), 2 ≤ x < 4

1, x ≥ 4.

Calcule E[X].


Coisas que ja sabıamos mas sempre e bom relembrar :-)

X ∼ Bern(p)⇒ E[X] = p

X ∼ Poi(λ)⇒ E[X] = λ

X ∼ Geo(p)⇒ E[X] =1− pp

X ∼ Exp(λ)⇒ E[X] =1

λ

X ∼ Unif([a, b])⇒ E[X] =a+ b

2X ∼ N (µ, σ2)⇒ E[X] = µ

X ∼ Cauchy⇒ E[X] = ??


Propriedades

1) Se P(X = c) = 1, entao E[X] = c

2) E[aX + b] = aE[X] + b

3) E

[n∑i=1

aiXi + b

]=

n∑i=1

aiE[Xi] + b

4) Se X ≤ Y , entao E[X] ≤ E[Y ]

5) Se X1, . . . , Xn sao independentes, entao E

[n∏i=1

Xi

]=

n∏i=1

E[Xi]


Exemplos

1) X ∼ Bin(n, p)⇒ E[X] = np

2) Considere uma urna com b bolas brancas e v bolas vermelhas.Qual e o numero medio de bolas brancas se fizermos n extracoescom reposicao? E se as extracoes forem sem reposicao? Consideren < b+ v.


Lei do Estatıstico Preguicoso

Teorema: Seja X uma variavel aleatoria. Temos que

E[g(X)] =

∞∑n=−∞

g(xn)P(X = xn)︸︷︷︸se X e discreta

=

∫ +∞

−∞g(x)fX(x) dx︸︷︷︸

se g(X) e contınua

,

caso E[g(X)] exista.

Tal resultado nos diz que nao e necessario encontrar a distribuicaode g(X) para calcularmos seu valor esperado!

Em geral, E[g(X)] 6= g(E[X])!


Exemplo: Paradoxo de Sao Petersburgo

Suponha que uma moeda honesta e jogada repetidamente ate que aprimeira cara apareca. O jogo paga 2n reais se a primeira cara aparecerna n-esima jogada. Qual o lucro medio ao jogar esse jogo? Qual opreco que um indivıduo pagaria para entrar neste jogo?


Lei do Estatıstico Preguicoso para vetores aleatorios

Seja agora X um vetor aleatorio em Rm, g : Rm → R uma funcao eY = g(X)

Se quisermos calcular E[Y ] = E[g(X)], tambem nao precisamosencontrar a distribuicao de Y primeiro!

Teorema: Seja X um vetor aleatorio. Temos que

E[g(X)] =∑x

g(x)P(X = x)︸︷︷︸se X e discreto

=

∫ +∞

−∞. . .

∫ +∞

−∞g(x)fX(x) dx1 . . . dxm︸︷︷︸

se g(X) e contınua

,

caso E[g(X)] exista.


Exemplo

Vimos no comeco que se X1, . . . , Xn sao independentes, entao

E

[n∏i=1

Xi

]=

n∏i=1

E[Xi]. Porem, vejamos que a recıproca nao e

verdadeira.

Exemplo: Uma moeda equilibrada e lancada duas vezes, e denotamospor Xi o resultado observado, para i = 1, 2, onde Xi = 0 representacoroa e Xi = 1 representa cara. O par aleatorio (U, V ) e definido como

U = X1 +X2

V = X1 −X2.

Encontre a distribuicao conjunta de U e V e calcule E[U ], E[V ] eE[UV ]. Podemos afirmar que U e V sao independentes?


Aplicacao: Entropia de variaveis aleatorias

Seja A um evento em um espaco de probabilidade (Ω,F ,P)

Queremos medir quao “surpresos” ficamos ao ver a ocorrencia de A

Sera que S(A) = log

(1

P(A)

)e uma boa quantidade? Vejamos um

grafico:

Ou seja, se P(A) = 0 ficamos bastante surpreso de ver suaocorrencia; e se P(A) = 1 nossa surpresa e nula.


Entropia de variaveis aleatorias

Alem disso, valem as propriedades abaixo:Se P(A) ≤ P(B) entao S(A) ≥ S(B)Se A e B sao independentes, entao S(A ∩B) = S(A) + S(B)

Dada uma variavel aleatoria discreta X com funcao deprobabilidade fX , definimos a sua entropia como a surpresa mediadas suas observacoes, ou seja,

H(X) = E[log

(1

fX(X)

)]DME - IM - UFRJ Prob II Aula 20 2

Entropia de variaveis aleatorias

Abreviando fX(xn) = P(X = xn) = pn, Podemos reescrever talquantidade como

H(X) =∑n

pn log

(1

pn

)= −

∑n

pn log(pn)

Exemplo: Seja X ∼ Bern(p). Calcule H(X).


Aplicacoes do conceito de entropia

Introduzido por Claude Shannon em 1948, no trabalho AMathematical Theory of Communication

Teorema da codificacao: N variaveis aleatorias i.i.d., cada comentropia H(X) podem ser comprimidas em pelo menos NH(X)bits com risco essencialmente nulo de perda de informacao, seN →∞Nos permite estudar distribuicoes de probabilidade mais“aleatorias” possıveis, dadas algumas restricoes.Princıpio da maxima entropia: Suponha que X assume osvalores 1, . . . , n com probabilidades p1, . . . , pn, respectivamente.Entao H(X) e maxima quando p1 = · · · = pn = 1/n


Aplicacoes do conceito de entropia

Finalmente... quantas perguntas o genio precisa fazer paradescobrir em quem voce esta pensando?

Matematicamente, podemos formular: Um valor X e sorteado deacordo com uma variavel aleatoria que pode assumir qualquer umde n valores possıveis 1, . . . , n com respectivas probabilidadesp1, . . . , pn. Atraves de perguntas do tipo “sim” ou “nao” (porexemplo, “X e igual a x?” ou “X e igual a x1, x2 ou x3?”) qual e onumero medio de questoes que voce precisara fazer paradeterminar o valor de X? ⇒ H(X), calculada com log2!


Desigualdade de Jensen

Em geral, nao ha uma relacao obvia entre E[g(X)] e g(E[X])

Porem, sabemos relacionar tais quantidades em um caso particular

Definicao: Dizemos que uma funcao g : R→ R e convexa se para todoponto (x, g(x)) existe uma reta que passa por tal ponto de modo que ografico de g esta sempre acima de tal reta.

Teorema (Desigualdade de Jensen): Seja X uma variavel aleatoriacom media finita e g uma funcao convexa. Entao

E[g(X)] ≥ g(E[X]).


Desigualdade de Jensen


Aplicacao: Divergencia de Kullback-Leibler

Sejam X e Y variaveis aleatorias discretas, assumindo valoresx1, x2, x3, . . . , com respectivos valores pi e qi. Assuma queqi = 0⇒ pi = 0. Uma maneira de medir a distancia entre X e Y eatraves da divergencia de Kullback-Leibler, definida como

D(X||Y ) =∑n

pn log

(pnqn

)= −

∑n

pn log

(qnpn

)Seria conveniente que essa quantidade fosse sempre nao-negativa! Defato, a desigualdade de Jensen nos permite mostrar que isso e verdade.

Exemplo: Calcule as divergencias de Kullback-Leibler D(X||Y ) eD(Y ||X), se X ∼ Bin(2, 1/2) e Y ∼ Unif(0, 1, 2).


Desigualdade de Markov

As vezes, por conta de termos pouca informacao sobre X, naoconseguimos calcular probabilidades a ela associadas, mas somenteestimar alguns valores

Podemos tambem estar interessados em estudar quanto que umavariavel aleatoria se desvia de um determinado valor (emparticular a sua media)

Chamaremos resultados nessa direcao de desigualdades deconcentracao

A desigualdade de concentracao mais classica e a desigualdade deMarkov:Teorema: Seja X uma variavel aleatoria positiva e consideret > 0. Entao

P(X ≥ t) ≤ E[X]

t



Exemplo: Numa empresa com 100 funcionarios, o numero medio deconexoes simultaneas na Internet, em um certo perıodo do dia, e deaproximadamente 30. Sabendo-se que atualmente a rede suporta nomaximo 30 usuarios simultaneamente, deseja-se avaliar a necessidadede aumentar esse numero.

t 30 50 70 90

E[X]/t 1 0,60 0,43 0,33

Exemplo: (Porque a desigualdade de Markov nao e tao boa assim...)Considere X ∼ Exp(1/2). O que podemos dizer de P(X ≥ t) parat = 1, 2 e 3?

Apesar disso, ela e a porta de entrada para outras desigualdades deconcentracao, bastante emocionantes, que veremos na terceira parte docurso! :-)


Momentos

Motivacao: Dada uma funcao f : R→ R, as suas derivadas f(x0),f ′(x0), f ′′(x0), . . . , f (n)(x0), . . . nos dizem tendencias decomportamento de f em torno de x0. Conseguimos pensar em umaquantidade analoga para variaveis aleatorias?

Definicao: Seja X uma variavel aleatoria e considere k > 0. Note quenao estamos nos restringindo a valores de k inteiros!

O momento de ordem k de X e definido como E[Xk], desde queessa quantidade exista.

Se E[X] = µ <∞, definimos o momento central de ordem k de Xcomo E[(X − µ)k], desde que essa quantidade exista.

O momento absoluto de ordem k de X e definido por E[|X|k].


Variancia

Definicao: Se E[X] = µ existe e e finita, definimos a sua varianciacomo o momento central de ordem 2, ou seja,

V(X) = E[(X − µ)2].

A raiz quadrada da variancia e denominada o desvio padrao de X.

Teorema: Se X e uma variavel aleatoria tal que sua media e varianciaexistem e sao finitos, entao:

1) V(aX + b) = a2V(X)

2) V(X) = E[X2]− E[X]2


Assimetria, curtose, etc...

Pergunta: Como interpretamos momentos centrais de ordem superior?

E[(X − µ)k] = E[(X − µ)(X − µ)k−1]

Pela expressao acima, faz sentido interpreta-los como desviosponderados de X em relacao a sua media.

Definicao: Os coeficiente de assimetria e coeficiente de curtose de Xsao definidos como

α3 =E[(X − µ)3]

σ3α4 =

E[(X − µ)4]

σ4

supondo a existencia do terceiro e quarto momento de X,respectivamente.

Pergunta: O que essas quantidades medem, especificamente?


Um exemplo

Considere X uma variavel aleatoria contınua, com funcao densidade deprobabilidade dada por

f(x) = ce−(x−3)2/2, para x ∈ R.

Calcule a media de X e todos seus momentos centrais.

Observacao: Note que, nesse caso particular, nao precisamos daconstante normalizadora de X! Porem, isso nao e regra geral.


Covariancia e correlacao

Definicao: Sejam X e Y variaveis aleatorias definidas no mesmoespaco de probabilidade, cujas respectivas medias µX e µY existem esao finitas. Definimos a covariancia entre X e Y como

Cov(X,Y ) = E[(X − µX)(Y − µY )].

Se os respectivos desvios-padrao σX e σY existem e sao finitos,definimos a correlacao entre X e Y como

ρX,Y =Cov(X,Y )

σXσY.


Covariancia e correlacao - propriedades

1) Cov(X,Y ) = E[XY ]− E[X]E[Y ]

2) X e Y independentes =⇒ Cov(X,Y ) = 0 (porem a recıproca naoe verdadeira!)

3) V

(n∑i=1

Xi

)=

n∑i=1

V(Xi) + 2∑i<j

Cov(Xi, Xj)

4) |ρX,Y | ≤ 1

5) |ρX,Y | = 1 se e somente se uma variavel for funcao linear da outra


Funcao geradora de momentos

Definicao: A funcao geradora de momentos de uma variavel aleatoriaX e definida como

ψX(t) = E[etX ], para t ∈ (−ε, ε) onde tal quantidade seja finita.

Uma das principais importancias da funcao geradora de momentos eque ela, tal como a funcao de probabilidade acumulada, caracteriza adistribuicao de uma variavel aleatoria de modo unico. Maisprecisamente:

Teorema: Se duas variaveis aleatorias X e Y tem funcoes geradorasde momento satisfazendo ψX(t) = ψY (t), para t ∈ (−ε, ε), para algumε > 0, entao a distribuicao de X e Y e a mesma.

Usaremos esse resultado para encontrar distribuicoes de variaveisaleatorias de interesse.


O que significa “gerar momentos”?

Teorema: Suponha que a funcao geradora de momentos de X existapara t ∈ (−ε, ε), para algum ε > 0. Entao E[Xk] existe, parak = 0, 1, 2, . . . e temos que

E[Xk] = ψ(k)X (t)

∣∣∣t=0

=dk

dtkψX(t)

∣∣∣∣t=0

.

Para utiliza-lo, precisamos calcular algumas funcoes geradoras demomentos:

X ∼ Bern(p) =⇒ ψX(t) = pet + 1− p, para t ∈ RX ∼ Bin(p) =⇒ ψX(t) = (pet + 1− p)n, para t ∈ RX ∼ Poi(p) =⇒ ψX(t) = e−λ(1−et), para t ∈ RX ∼ N (µ, σ2) =⇒ ψX(t) = etµ+ 1

2σ2t2 , para t ∈ R

X ∼ Exp(λ) =⇒ ψX(t) =λ

λ− t, para t < λ

X ∼ Cauchy =⇒ ψX(t) nao existe!


O que significa “gerar momentos”?

Com esses resultados, podemos provar muito mais facilmente certosmomentos ja calculados:

X ∼ Bin(p) =⇒ E[X] = np,V(X) = np(1− p)X ∼ Poi(p) =⇒ E[X] = V(X) = λ

X ∼ N (µ, σ2) =⇒ E[X] = µ,V(X) = σ2

Porem, nem sempre e mais facil calcular momentos usando a funcaogeradora de momentos:

Exercıcio: Seja X ∼ U [a, b]. Calcule a media e variancia de X usandoa sua funcao geradora de momentos.

Porem, podemos calcular momentos ate de distribuicoes cuja funcaodensidade de probabilidade nao nos e conhecida:

Exemplo: Dizemos que X tem distribuicao log-normal de parametrosµ e σ2 se ln(X) tem distribuicao N (µ, σ2). Encontre a media evariancia de X.


Um resultado importante

Usaremos a funcao geradora de momentos tambem para encontrar maisfacilmente distribuicao da soma de variaveis aleatorias independentes.Mais precisamente:

Teorema: Sejam X1, . . . , Xn variaveis aleatorias independentes comrespectivas funcoes geradoras de momentos ψ1(t), . . . , ψn(t), parat ∈ (−ε, ε) e seja Y = X1 + · · ·+Xn. Entao a funcao geradora demomentos de Y existe e e dada por

ψY (t) =

n∏i=1

ψi(t), para t ∈ (−ε, ε).

Como a funcao geradora de momentos caracteriza a variavel aleatoriade modo unico, “basta” fazemos o processo inverso:

X1, . . . , Xn ∼ Bern(p) =⇒ X1 + · · ·+Xn ∼ Bin(n, p)

X1, . . . , Xn ∼ Poisson(λ) =⇒ X1 + · · ·+Xn ∼ Poisson(nλ)

X1, . . . , Xn ∼ N (µ, σ2) =⇒ X1 + · · ·+Xn ∼ N (nµ, nσ2)


Funcao geradora de momentos multidimensional

Podemos estender a nocao de funcao geradora de momentos paravetores aleatorios. Seja X = (X1, . . . , Xm) um vetor aleatorio em Rm.A funcao geradora de momentos do vetor aleatorio X e definida por

ψX(t) = ψX(t1, . . . , tm) = E[e〈t,X〉] = E[et1X1+···+tmXm ],

para t ∈ (−ε, ε)m onde tal quantidade seja finita.

Exemplo: Considere o vetor aleatorio X = (X1, X2, X3) comdistribuicao multinomial de parametros n e (p1, p2, p3). Estude a funcaogeradora de momentos de X, identifique as suas distribuicoes marginaise calcule a covariancia e correlacao de pares de componentes de X.


Uma caracterizacao da independencia

Teorema: Seja X = (X1, . . . , Xm) um vetor aleatorio em Rm comfuncao geradora de momentos ψX(t). Suponha que suas componentessao variaveis aleatorias com funcoes geradoras de momentos dadas porψ1(t1), . . . , ψm(tm), respectivamente. Entao as variaveis aleatoriasX1, . . . , Xm sao independentes se e somente se

ψX(t1, . . . , tm) =

m∏i=1

ψi(ti).

Exemplo: Sejam X e Y variaveis aleatorias independentes normaispadrao. Verifiquemos, de outra forma, que o par aleatorio U = X + Y eV = X − Y tambem tem marginais normais e e independente.


Funcao caracterıstica

O fato da funcao geradora de momentos nem sempre existir (ou naoexistir para todo t ∈ R) tem impactos positivos e negativos na teoria deprobabilidades. Uma maneira de contornar os impactos negativos edefinir uma quantidade analoga, que sempre existe:

Definicao: A funcao caracterıstica de uma variavel aleatoria X edefinida como

φX(t) = E[eitx], para t ∈ R.

Teorema: A funcao caracterıstica satisfaz as seguintes propriedades:

1) |φX(t)| ≤ 1, ∀t ∈ R

2) φX1+···+Xn(t) =

n∏j=1

φj(t), se X1, . . . , Xn sao independentes

3) φX(t) tambem gera momentos:dn

dtnφX(t)

∣∣∣∣t=0

= inE[Xn], n = 1, 2, . . . , se E[|X|n] <∞


Exemplos

X ∼ N (µ, σ2) =⇒ φX(t) = eitµ−12σ2t2 , t ∈ R

X ∼ Exp(λ) =⇒ φX(t) =λ

λ− it, t ∈ R

X ∼ Cauchy =⇒ φX(t) = e−|t|, t ∈ R



Relembremos a desigualdade de Markov:Teorema (Desigualdade de Markov): Seja X uma variavel aleatoriapositiva e considere t > 0. entao

P(X ≥ t) ≤ E[X]

t.

Note que tal desigualdade somente e interessante para valores de tsuficientemente grandes, em particular, t > E[X].

Exemplo: Seja X uma variavel aleatoria com E[X] = 1. Quanto e, nomaximo, P(X ≥ 100)? Existe alguma variavel aleatoria X que atinjaesse valor?


Desigualdade de Chebyshev

Intuitivamente, se a variavel aleatoria X tiver variancia finita, podemosrefinar a desigualdade de Markov, incorporando tambem talinformacao. Temos entao:Teorema (Desigualdade de Chebyshev): Seja X uma variavel aleatoriacuja variancia existe e e finita. Entao, para t > 0, vale que

P(|X − E[X]| ≥ t) ≤ V(X)

t2.

Exemplo: Qual e, no maximo, a probabilidade de uma variavelaleatoria com variancia finita se desviar de mais de 3 desvios padrao desua media?

Exemplo: Ao estimar a media de uma variavel aleatoria com varianciafinita atraves da media amostral, qual e, no maximo, a probabilidadede obtermos uma estimativa que diste mais de t unidades do valorverdadeiro?


Desigualdade de Chernoff e alem

Aparentemente, quanto mais informacoes temos sobre a variavelaleatoria X, melhores desigualdades obtemos. Motivemos adesigualdade de Chernoff com um exemplo:Exemplo: Seja X ∼ Bin(n, 1/2). Queremos estudar quanto X/n sedesvia da sua media 1/2. Mais especificamente, queremos estimar aprobabilidade

P(∣∣∣∣Xn − 1

2

∣∣∣∣ ≥ 1

10

).

A tecnica usada no exemplo acima e um caso particular dadesigualdade de Chernoff abaixo:

Teorema (Desigualdade de Chernoff): Seja X uma variavel aleatoriacuja funcao geradora de momentos ψX(t) exista em uma vizinhanca de0. Entao

P(X ≥ t) ≤ mins>0

[e−stψX(s)].


Desigualdade de Chernoff e alem

Exemplo: Seja X uma variavel aleatoria normal padrao. Estude aprobabilidade P(X ≥ t), para qualquer valor positivo de t.

Desigualdades que tem o mesmo espırito da desigualdade de Chernoffsao uteis para estimarmos a probabilidade das caudas de somas devariaveis aleatorias independentes, como ilustrado abaixo:

Exemplo: Sejam Xi ∼ Bern(pi) variaveis aleatorias independentes,para i = 1, . . . , n. Seja X =

∑ni=1Xi e denote por µ =

∑ni=1 pi a media

de X. Note que X NAO tem distribuicao Binomial, pois os parametrosde Xi podem ser distintos! Mostre que

P(X ≥ cµ) ≤ e−(c ln(c)−c+1)µ, para c ≥ 1.

Mostre que podemos tambem obter a seguinte cota:

P(X ≥ (1 + δ)µ) ≤ e−13δ2µ, para 0 < δ < 1.


Uma aplicacao interessante

Desigualdades “tipo” Chernoff pode ser usada para analisar algoritmosrandomizados em Computacao. Tais classes de algoritmos tem semostrado bastante eficientes hoje em dia na solucao de problemasoutrora muito difıceis ou custosos. Em particular, sua aplicacao emproblemas de Data Science esta bastante em alta.

A fim de simplificacao, descreveremos algoritmos randomizados em suaforma abstrata, em termos de colocar bolas em urnas.

Exemplo: Suponha que m bolas sao colocadas ao acaso em b urnas,uma de cada vez e independentemente. Como podemos estimar aprobabilidade da urna com mais bolas ter pelo menos uma certaquantidade de bolas? Mais precisamente, qual e a probabilidade de quealguma urna contenha pelo menos emb bolas, assumindo quem ≥ 2b ln(b)?


Esperanca condicional: motivacao

Dadas variaveis aleatorias X e Y , e possıvel calcular a distribuicaocondicional de X dado que Y = y:

f(X,Y )(x, y) = 2, para x > 0, y > 0 e x+ y ≤ 1

=⇒ fX|Y (x|y) =1

1− y, para 0 < x < 1− y < 1.

Sendo X|Y = y uma variavel aleatoria com distribuicao conhecida,podemos calcular seu valor esperado:

E[X|Y = y] =

∫ 1−y

0x

1

1− ydx =

1− y2

.

Podemos calcular tambem, a sua variancia:

V(X|Y = y) = E[X2|Y = y]− E[X|Y = y]2 =(1− y)2

12.


Esperanca condicional

Definicao: Dadas variaveis aleatorias X e Y , a esperanca condicionalde X dado que Y = y e denotada por E[X|Y = y], e e calculada como ovalor esperado usual da variavel aleatoria X|Y = y. Analogamente, avariancia condicional de X dado que Y = y e denotada porV(X|Y = y), e e calculada como a variancia usual da variavel aleatoriaX|Y = y.

Considere a funcao que a cada valor de Y = y associa E[X|Y = y]Repare que isso e uma funcao da variavel aleatoria Y , que denotaremospor E[X|Y ] Portanto, a esperanca condicional E[X|Y ] tambem e umavariavel aleatoria!

Exemplo: Um conjunto de n pacientes, em um mesmo hospital, e submetidoa um tratamento que pode curar ou nao uma doenca, com certa probabilidade.Essa probabilidade, por sua vez, depende das condicoes hospitalares deaplicacao do tratamento, e pode ter tres valores possıveis, p1, p2 e p3, comrespectivas probabilidades 1/2, 1/3 e 1/6. Dado um valor de probabilidade decura, a cura de um paciente nao interfere na de outros e vice-versa. Estamosinteressados no valor esperado do numero total de curados.


Lei da esperanca iterada

O exemplo acima nos motiva ao seguinte resultado:

Teorema (Lei da esperanca iterada): Sendo X e Y variaveis aleatoriasno mesmo espaco de probabilidade, temos que E[E[X|Y ]] = E[X],desde que tais quantidades existam.

Exemplo: Um numero Y e escolhido ao acaso no intervalo [0, 1]. A seguir,outro numero X e escolhido ao acaso, no intervalo [0, Y ]. Qual e a media deX?

Uma aplicacao interessante e no calculo de esperanca de uma soma de umnumero aleatorio de variaveis aleatorias.

Exemplo: Suponha que o numero de pessoas que entram em uma loja dedepartamentos em determinado dia seja uma variavel aleatoria com media 50.Suponha ainda que as quantias de dinheiro gastas por esses clientes sejamvariaveis aleatorias independentes com media comum de R$ 80,00.Finalmente, suponha tambem que a quantia gasta por um cliente sejaindependente do numero total de clientes que entram na loja. Qual e aquantidade esperada de dinheiro gasto na loja em um dado dia?


Lei da esperanca iterada

Podemos tambem usar a lei da esperanca iterada para calcular maisfacilmente o valor esperado de funcoes de vetores aleatorios.

Teorema: Seja (X,Y ) um vetor aleatorio e f : R2 → R uma funcao.Entao temos que

E[f(X,Y )] = E[E[f(X,Y )|X]].

Exemplo: Considere um cırculo de raio unitario com centro na origemdo plano cartesiano. Defina o par aleatorio (X,Y ) como sendo umponto do primeiro quadrante escolhido ao acaso nesse cırculo. Seja Z aarea do retangulo formado pelos pontos (±X,±Y ). Assim, Z = 4XY .Qual e a area media desse retangulo?


Lei da variancia iterada

Lembremos que V(X|Y = y) e calculada como a variancia usual davariavel aleatoria X|Y = y

Porem, da mesma forma que E[X|Y ] e variavel aleatoria, V(X|Y )tambem o e!

A proposicao abaixo nos da uma formula analoga a lei daesperanca iterada:

Teorema (Lei da variancia iterada):

V(X) = E[V(X|Y )] + V(E[X|Y ]).

Exemplo: Suponha que o numero de pessoas que chegam em umaestacao de trem em qualquer instante t seja uma variavel aleatoria dePoisson com media λt. Se o primeiro trem chega na estacao em uminstante de tempo que e uniformemente distribuıdo ao longo de (0, t0) eindependente do instante de chegada dos passageiros, quais sao amedia e a variancia do numero de passageiros que entram no trem?


Aplicacao: predicao e regressao linear

Situacao comum em Estatıstica: uma variavel aleatoria X eobservada, e queremos prever o valor de outra variavel aleatoria Y

Denote por g(X) o preditor de Y . Ou seja, se X = x e observado,entao g(x) e uma predicao para o respectivo valor de Y

Obviamente queremos escolher uma “boa” funcao g, de modo queg(X) se aproxime de Y

Mais precisamente, parece razoavel buscarmos g que minimizeE[(Y − g(X))2], o erro quadratico medio

Temos o seguinte resultado:Teorema: O preditor para Y que minimiza o erro quadraticomedio e E[Y |X], ou seja,

E[(Y − g(X))2] ≥ E[(Y − E[Y |X])2]


Aplicacao: predicao e regressao linear

Um modelo simples para relacionar duas variaveis aleatorias e

Y = β0 + β1X + ε,

onde E[ε] = 0 e ε e independente de X e Y .

Portanto, se X e observado, a melhor previsao possıvel para Y e

E[Y |X] = E[β0 + β1X + ε|X]

= β0 + β1X + E[ε|X]

= β0 + β1X,

conforme nos e intuitivo!

Isso justifica toda a modelagem via modelos lineares em Estatıstica

A grande questao e: como estimar β0 e β1 a partir de dadosobservados?


Convergencia de variaveis aleatorias: motivacao

Pergunta central: Dada uma sequencia de variaveis aleatoriasX1, X2, . . . (tambem denotada por (Xn)n∈N) no mesmo espaco deprobabilidade (Ω,F ,P), o que acontece no limite quando n→∞?

Razoes para considerar essa pergunta:

Estimadores em Estatıstica: Estimar parametro de distribuicao f(x|θ)atraves de um estimador θn = T (X1, . . . , Xn). Gostarıamos de garantir

que θn ≈ θ, se n e “grande”

Aproximacoes de distribuicoes: Se n e “grande” e p e “pequeno”, entaoBin(n, p) ≈ Poi(λ = np) ≈ N (np, np(1− p))Teorema Central do Limite: Seja S = X1 + · · ·+Xn, onde as variaveisaleatorias Xi sao independentes entre si, com medias finitas e varianciasfinitas e positivas. Entao, se n e “grande”

S − E[S]√V(S)

≈ N (0, 1).

=⇒ Mas o que significa duas variaveis aleatorias serem “parecidas”?


Tipos de convergencia de variaveis aleatorias: motivacao

Dois numeros x e y estao proximos se

|x− y| < ε,

para uma tolerancia ε escolhidaDuas funcoes f, g : R→ R estao proximas se

|f(x)− g(x)| < ε,∀x ∈ R,

para uma tolerancia ε escolhidaDadas duas variaveis aleatorias X e Y , definidas no mesmo espacode probabilidade (Ω,F ,P), como dizemos que uma esta “proxima”da outra?

P(X ∈ A) ≈ P(Y ∈ A),∀A ∈ B(R)?X(ω) ≈ Y (ω),∀ω ∈ Ω?X e Y tem momentos “parecidos”?E[(X − Y )2] ≈ 0?

=⇒ Veremos que podemos definir esse conceito de varias formasdiferentes, e tambem como se relacionam entre si!


Convergencia em distribuicao

Definicao: Dizemos que uma sequencia de variaveis aleatorias(Xn)n∈N converge em distribuicao para uma variavel aleatoria X se

limn→∞

Fn(x) = FX(x),∀x ∈ R onde FX e contınua,

onde Fn e a funcao de probabilidade acumulada de Xn e FX e a funcao

de probabilidade acumulada de X. Denotamos esse fato por Xnd→ X.

Intuicao: As funcoes de probabilidade acumulada de Xn seaproximam cada vez mais da funcao de probabilidade acumulada de X.

Porque e razoavel? Como a funcao de probabilidade acumulada nosdiz toda a informacao sobre a distribuicao de uma variavel aleatoria,tal convergencia parece razoavel, para propositos de calculos deprobabilidades.


Convergencia em distribuicao: exemplos

Considere a sequencia de variaveis aleatorias cujas funcoes deprobabilidade sao dadas por

Fn(x) =

1−

(1− 1

n

)nx, se x > 0

0, se x ≤ 0.

Mostre que Xnd→ X, onde X ∼ Exp(1).

Considere Xn ∼ U [0, 1/n]. Mostre que Xnd→ 0.

Teorema Central do Limite: Sejam X1, X2, . . . variaveisaleatorias independentes e identicamente distribuıdas, com mediaµ e variancia σ2, e seja X a media amostral. Entao√n

σ(X − µ)

d→ X, onde X ∼ N (0, 1).


Convergencia em probabilidade

Motivacao: A convergencia em distribuicao nada diz sobre as variaveisaleatorias em si, mas somente sobre suas distribuicoes! Sabemos quevariaveis aleatorias diferentes podem ter a mesma distribuicao!

Definicao: Dizemos que uma sequencia de variaveis aleatorias(Xn)n∈N converge em probabilidade para uma variavel aleatoria X,todas definidas no mesmo espaco de probabilidade, se

limn→∞

P(|Xn −X| > ε) = 0,∀ε > 0.

Denotamos esse fato por Xnp→ X.

Intuicao: Fixada uma tolerancia ε, a probabilidade dos eventos ω ∈ Ωtais que |Xn(ω)−X(ω)| > ε torna-se cada vez menor, a medida que ncresce. Ou seja, eventos “nao usuais”, com respeito a X, ocorrem cadavez “menos”.


Convergencia em probabilidade: exemplos

Consistencia da media amostral, ou lei fraca dos grandesnumeros: Sejam X1, X2, . . . variaveis aleatorias independentes eidenticamente distribuıdas, com media e variancia finitas. EntaoXn

p→ µ, pela desigualdade de Chebyshev.

Considere Xn ∼ U [0, 1/n]. Provamos que Xnd→ 0. Mostre que

Xnp→ 0.

Histogramas: Sejam X1, X2, . . . variaveis aleatoriasindependentes e identicamente distribuıdas, e sejam a < bconstantes. Defina Yi = 1 se a ≤ Xi < b, e Yi = 0, caso contrario.Entao Y n

p→ P(a ≤ X1 < b).


Convergencia quase certa

Motivacao: Como variaveis aleatorias sao funcoes de Ω em R,podemos considerar a proximidade entre tais funcoes, em vez deconsiderar a probabilidade delas estarem “distantes”.

Definicao: Dizemos que uma sequencia de variaveis aleatorias(Xn)n∈N converge quase certamente para uma variavel aleatoria X,todas definidas no mesmo espaco de probabilidade, se

P(

limn→∞

Xn = X)

= P(ω ∈ Ω | lim

n→∞Xn(ω) = X(ω)

)= 1.

Denotamos tal fato por Xnqc→ X.

Intuicao: E o tipo mais restrito de convergencia. Diz que o conjuntode eventos ω ∈ Ω para os quais Xn(ω) nao se aproxima de X(ω) temprobabilidade zero.


Convergencia quase certa: exemplos

Considere uma sequencia X1, X2, . . . de variaveis aleatoriasBernoulli, cada uma com sua propria probabilidade de sucesso.Qual e a diferenca de afirmarmos que Xn

p→ 0 e que Xnqc→ 0?

Lei forte dos grandes numeros: Sejam X1, X2, . . . variaveisaleatorias independentes e identicamente distribuıdas com mediafinita. Entao Xn

qc→ µ.

Suponha que n pontos sao escolhidos ao acaso em um cırculo deraio 1. Seja Xn a variavel aleatoria representando o comprimentodo maior arco que nao contem nenhum ponto escolhido. Mostreque Xn

qc→ 0.


Convergencia em media r

Motivacao: Dado r > 0, a quantidade E[|X − Y |r] pode ser umamedida de distancia entre as variaveis aleatorias X e Y .

Definicao: Dizemos que uma sequencia de variaveis aleatorias(Xn)n∈N converge em media r para uma variavel aleatoria X, todasdefinidas no mesmo espaco de probabilidade, se

limn→∞

E[|Xn −X|r] = 0.

Denotamos tal fato por Xnr→ X.

Intuicao: Quanto maior r, mais peso damos aos desvios de Xn de X,de modo que r controla a “velocidade” com a qual Xn se aproxima deX.

Exemplo: Considere Xn ∼ U [0, 1/n]. Provamos que Xnd→ 0 e

Xnp→ 0. Provemos agora que Xn

r→ 0, ∀r ≥ 1.


Relacao entre os tipos de convergencia

Os quatro tipos de convergencia que ja vimos relacionam-se da seguinteforma:

s→ =⇒s≥r≥1

r→

⇓qc→ =⇒ p→ =⇒ d→

Porem, em geral, as recıprocas nao sao verdadeiras, ou seja,

d→ 6=⇒ p→ 6=⇒ qc→ e aindap→ 6=⇒ r→

Vejamos alguns exemplos e condicoes para valerem as recıprocas.



Exemplo qued→ 6=⇒ p→: Seja Ω = a, b,F = 2Ω e P uniforme.

Defina as variaveis aleatorias

Xn(ω) =

1, se ω = a

0, se ω = b, ∀n ∈ N e X(ω) =

0, se ω = a

1, se ω = b

Temos que Xnd→ X mas nao vale a convergencia em probabilidade.

Exemplo quep→ 6=⇒ qc→: Seja Xn ∼ Bern(1/n), para n ∈ N.

Temos que Xnp→ 0 mas nao vale a convergencia quase certa.

Exemplo quep→ 6=⇒ r→: Seja Xn tal que P(Xn = n2) = 1/n e

P(Xn = 0) = 1− 1/n. Temos que Xnp→ 0 mas nao vale a convergencia

em media r, para qualquer r ≥ 1.



Porem, em algumas situacoes especiais, valem as recıprocas:

Quandod→ implica

p→: Se a sequencia (Xn)n∈N converge em

distribuicao para uma constante c, entao Xnp→ c.

p→ “quase” implicaqc→: Se a sequencia (Xn)n∈N converge em

probabilidade para X, entao existe uma sub-sequencia (Xnk)k∈N queconverge quase certamente para X.

Um importante resultado que facilita aferir a convergencia emdistribuicao e o seguinte:

Teorema: Seja (Xn)n∈N uma sequencia de variaveis aleatorias e Xuma variavel aleatoria, onde φn e φX denotam as respectivas funcoescaracterısticas e ψn e ψX denotam as respectivas funcoes geradoras demomentos, supondo suas existencias em torno de 0. Entao:

Xnd→ X se e somente se limn→∞ φn(t) = φ(t),∀t ∈ R.

Xnd→ X se limn→∞ ψn(t) = ψ(t) para todos t onde tais funcoes

existam.DME - IM - UFRJ Prob II Aula 28 4


Finalmente, os dois resultados abaixo serao uteis ao trabalharmos comas leis dos grandes numeros:

Teorema: Seja (Xn)n∈N uma sequencia de variaveis aleatorias e Xuma variavel aleatoria, todas definidas no mesmo espaco deprobabilidade, e seja tambem g : R→ R uma funcao contınua. Entaose Xn converge para X quase certamente, em probabilidade ou emdistribuicao entao g(Xn) converge da mesma forma para g(X).

Teorema (Teorema de Slutsky): Sejam (Xn)n∈N e (Yn)n∈N sequenciasde variaveis aleatorias e X uma variavel aleatoria, todas definidas nomesmo espaco de probabilidade tais que valem as convergencias

Xnd→ X e Yn

p→ c, com c constante. Entao:

i) Xn + Ynd→ X + c

ii) XnYnd→ cX

iii) Se c 6= 0, entaoXn

Yn

d→ X

c, desde que P(Yn = 0) = 0, ∀n.


Um exemplo

A fim de ilustrar esses ultimos resultados, vejamos um exemplo.

Exemplo: Sejam X1, X2, . . . variaveis aleatorias independentes eidenticamente distribuıdas, com distribuicao N (µ, σ2). Estude ocomportamento assintotico dos estimadores media e variancia amostral,dados respectivamente por

Xn =1

n

n∑i=1

Xi

S2n =

1

n− 1

n∑i=1

(Xi −Xn)2.


Leis dos Grandes Numeros: introducao historica

Importantes para o desenvolvimento da teoria das Probabilidades.Estao intimamente ligadas a sua interpretacao frequentista

Seculo XVI Cardano afirmou, sem provas, que a acuracia deestatısticas empıricas tende a melhorar com o aumento no numerode amostras

Primeira versao de uma Lei dos Grandes Numeros: provada noseculo XVIII por Jacob Bernoulli em seu trabalho “ArsConjecturandi”

Primeira utilizacao do nome “Lei dos Grandes Numeros”: atravesdos trabalhos de Poisson (seculo XIX)

Transicao entre os seculos XIX e XX: trabalhos de Chebyshev,Markov, Borel, Cantelli, Kolmogorov e Khinchin


Leis dos grandes numeros: intuicao

(Ω,F ,P) espaco de probabilidade, Ω = possıveis resultados de umexperimento

Dado A ∈ F seja nA o numero de ocorrencias de A dentre nrealizacoes do experimento

Intuitivamente, limn→∞

nAn

= P(A), porem como provamos a validade

desse limite?

Apos a axiomatizacao de Kolmogorov, no inıcio do seculo XX,temos as ferramentas necessarias para torna-lo rigoroso!

Sejam X1, X2, · · · ∼ Bern(p = P(A)) variaveis aleatorias

independentes e identicamente distribuıdas =⇒ nAn

= Xn.

E verdade que Xnp→ p? Ou ainda que Xn

qc→ p?


Leis dos grandes numeros: formulacao

Sejam X1, X2, . . . variaveis aleatorias definidas no mesmo espaco deprobabilidade, cujas esperancas existem e sao finitas.

Dizemos que a sequencia (Xn)n∈N satisfaz a lei fraca dos grandesnumeros se

Xn − E[Xn]p→ p

Dizemos que a sequencia (Xn)n∈N satisfaz a lei forte dos grandesnumeros se

Xn − E[Xn]qc→ p

Portanto, queremos responder a seguinte pergunta:

Dada uma particular sequencia de variaveis aleatorias (Xn)n∈N, sobquais condicoes ela satisfaz a lei forte ou fraca dos grandes numeros?

Desde o seculo XVIII ate o inıcio do seculo XX temos varias respostaspara essa pergunta!


Algumas leis dos grandes numeros

Lei Fraca de Bernoulli: (Xn)n∈N iid com distribuicao Bern(p)

Lei Fraca de Chebyshev: (Xn)n∈N independentes dois-a-dois, comvariancia finita e uniformemente limitadas

Lei Fraca de Khintchine: (Xn)n∈N iid com media finita

Lei Forte de Borel: (Xn)n∈N iid com distribuicao Bern(p)

1a. Lei Forte de Kolmogorov: (Xn)n∈N independente, com media

finita e satisfazendo

+∞∑n=1

V(Xn)

n2< +∞

Lei Forte de Kolmogorov: (Xn)n∈N iid com media finita


Uma importante aplicacao

Seja X1, X2, . . . uma amostra aleatoria de uma variavel aleatoriaX, cuja funcao de probabilidade acumulada denotamos por FX .

Como estimamos FX a partir das amostras? Quao boa e essaestimativa?

Definimos a funcao de probabilidade acumulada empırica como

Fn(x) =1

n[quantidade de observacoes abaixo de x].

Provemos que, fixado x0 ∈ R, entao Fn(x0)qc→ F (x0).


Uma importante aplicacao

Porem, tal resultado pode ser muito melhorado! O Teorema deGlivenko-Cantelli ou Teorema Fundamental da Estatıstica afirmaque tal convergencia e uniforme em todo R, ou seja,

supx∈R|Fn(x)− F (x)| qc→ 0.

Tal resultado e fundamental em testes como o teste deKolmogorov-Smirnov e o teste de Shapiro-Wilk

Porem, e um resultado assintotico, ou seja, so vale no limitequando n→∞! Felizmente temos tambem o Teorema deDvoretzky–Kiefer–Wolfowitz–Massart, que nos da uma estimativapara a velocidade de convergencia:

P(

supx∈R|Fn(x)− F (x)| > ε

)≤ 2e−2nε2 , ∀ε > 0


Teorema Central do Limite: motivacao

Considere (Xn)n∈N uma sequencia independente e identicamentedistribuıda de variaveis aleatorias de media zero e variancia 1

As leis fraca e forte dos grandes numeros nos dizem,respectivamente, que

Xnp→ 0 e Xn

qc→ 0

Porem, para fazer um teste de hipotese ou construir um intervalode confianca, precisamos saber como se da essa convergencia!

O Teorema Central do Limite nos diz uma resposta para essapergunta:

√n Xn

d→ N (0, 1)

Analogamente as Leis dos Grandes Numeros, ha toda uma classede Teoremas Centrais do Limite, ou seja, condicoes na sequenciade interesse tais que se da a convergencia em distribuicao parauma variavel aleatoria normal


Teorema Central do Limite: historia

As primeiras versoes datam do seculo XVIII, onde DeMoivre opostulou para o caso de variaveis com distribuicao de Bernoulli

Trabalho quase 100 anos esquecido, resgatado no inıcio do seculoXIX por Laplace, ainda nao recebendo a devida atencao

Sua importancia foi discernida somente na transicao entre osseculos XIX e XX, com os trabalhos de Lyapunov

O nome “Teorema Central do Limite” aparece pela primeira vezem 1920, em um trabalho de G. Polya, onde o termo “central”deriva da sua importancia em teoria das Probabilidades

Porem, a escola francesa de Probabilidade interpreta o termo“central” no sentido de descrever o comportamento do centro dadistribuicao, em oposicao a sua cauda, chamando tal resultado de“Teorema do Limite Central”

Outros personagens importantes: Cauchy, Bernstein, Lindberg,Levy, Kolmogorov, Feller, etc.


Dois Teoremas Centrais do Limite

Teorema (TCL para variaveis aleatorias iid): Seja (Xn)n∈N umasequencia de variaveis aleatorias independentes e identicamentedistribuıdas, com media µ e variancia 0 < σ2 <∞. Entao temos que

√n

σ(X − µ)

d→ N (0, 1).

Provemos uma versao menos geral, onde assumimos que as variaveisaleatorias tem funcao geradora de momentos definidas em torno dezero.


Dois Teoremas Centrais do Limite

Podemos enfraquecer a hipotese das variaveis aleatorias seremidenticamente distribuıdas, a um pequeno custo de uma hipoteseadicional

Teorema (TCL de Lyapunov): Seja (Xn)n∈N uma sequencia devariaveis aleatorias independentes, com respectivas medias µn evariancias 0 < σ2

n <∞. Seja s2n =

∑nk=1 σ

2k. Assuma que a condicao de

Lyapunov e satisfeita:

∃ δ > 0

∣∣∣∣∣ limn→∞

1

s2+δn

n∑k=1

E[|Xk − µk|2+δ] = 0.

Entao vale quen

sn(X − E[X])

d→ N (0, 1).


Teorema de Berry-Esseen

Assim como as Leis dos Grandes Numeros, o Teorema Central doLimite e um resultado assintotico! Felizmente temos como saber algosobre a “distancia” para o limite.

Teorema: Seja (Xn)n∈N uma sequencia variaveis aleatoriasindependentes e identicamente distribuıdas, de media zero e variancia0 < σ2 <∞. Assuma que E[|Xi|3] <∞ e seja Z ∼ N (0, 1). Entaotemos que ∣∣∣∣P(√nσ Y n ≤ x

)− P(Z ≤ x)

∣∣∣∣ ≤ C E[|Xi|3]

σ3√n

,

onde C e uma constante positiva.

Esseen 1942 ⇒ C < 7, 59

Shevstova 2012 ⇒ C < 0, 4748

Esseen 1956 ⇒ C ≥ 0, 4097.


Documents

Cálculo de Probabilidades II - Hugo T. Carvalho...O aluno pode faltara somente uma avalia˘c~ao, e far a a PF para substitu -la. Se necess ario, far a a P2Ch como prova nal Caso o