Processos Aleat orios e Ru do - Professor Dr. Luis ...professorluislolis.weebly.com/uploads/1/3/2/7/13273601/8-proc... · Nota˘c~ao Descri˘c~ao Matem atica Descri˘c~ao Verbal A[B

Processos Aleatorios e Ruıdo

Luis Henrique Assumpcao Lolis

11 de abril de 2014

Luis Henrique Assumpcao Lolis Processos Aleatorios e Ruıdo 1

Conteudo

1 O Experimento Aleatorio / Espaco de Amostras

2 Algebra de eventos e axiomas

3 Probabilidade condicional e teorema de Bayes

4 Variaveis Aleatorias

5 Medias

6 Processos Aleatorios

7 Media, Correlacao e Covariancia

8 Passagem do Processo Estacionario por um Sistema Linear

9 Densidade espectral de potencia

10 Processo Gaussiano

11 Ruıdo


Sumario





5 Medias






11 Ruıdo


Definicao

ω - Ponto-amostra - resultado de um experimentoΩ - Espaco de amostras - todos os possıveis resultados doexperimento

ω ∈ Ω

Quando nao pertence:

ω /∈ Ω

Quando A e um subconjunto de B:

A ⊂ Btodo elemento de A esta contido em B

ABΩ

Qualquer subconjunto do espaco Ω e um Evento.O evento A numeros pares pertencente ao conjunto dosnumeros do dado de seis lados:

A = 2, 4, 6Luis Henrique Assumpcao Lolis Processos Aleatorios e Ruıdo 4

Espaco discreto e espaco contınuo de amostras

Espaco discreto

Quando o numero possıvel de elementos e finito.Ex: Lados da moeda, dado de N lados, numeros inteiros entre0 e 10.

Espaco contınuo

Quando o numero possıvel de elementos e infinito e nosestamos mais interessados na probabilidade de um intervaloque de um valor determinado.Ex: Altura de uma pessoa em determinada populacao, umnumero real entre 0 e 1.Notacao: o espaco contendo todos os pontos entre 0 e 1:S = x : 0 ≤ x ≤ 1 = [0, 1]


Sumario





5 Medias






11 Ruıdo


Resumo das Operacoes

Notacao Descricao Matematica Descricao Verbal

A ∪B Uniao de A e B A ou B (ou ambos) ocorreA ∩B Intersecao de A e B Ambos A e B ocorremA Ac Complemento de A A nao ocorreB −A Diferenca entre B e A B ocorre mas A nao ocorre∅ Conjunto Vazio Evento Impossıvel


Diagrama de Venn

Uniao Intersecao

BΩ A

BΩ A

A ∪B A ∩B

Complemento Diferenca

Ω A Ω AB

A B −A


Propriedades

Associativa

(A ∩B) ∪ C = (A ∪ C) ∩ (B ∪ C)(A ∪B) ∩ C = (A ∩ C) ∪ (B ∩ C)

Distributiva

A ∩ (B ∪ C) = (A ∩B) ∪ (A ∩ C)

Lei de De Morgan

A ∪B = A ∩BA ∩B = A ∪B

Axiomas

Axioma 1: P (A) ≥ 0Axioma 2: P (Ω) = 1Axioma 3: P (A ∪B) = P (A) + P (B) se A ∩B = ∅


Propriedades Elementares

1 P (A) = 1− P (A)

2 P (∅) = 0

3 P (A) ≤ P (B) se A ⊂ B4 P (a) ≤ 1

5 P (A ∪B) = P (A) + P (B)− P (A ∩B)


Sumario





5 Medias






11 Ruıdo


Conceito e Definicao

A probabilidade pode se alterar se temos informacao adicional.

Ex: A chance de se ter cancer de pulmao aumenta se a pessoae fumante.

A probabilidade de um evento A dado que um evento B tenhaocorrido. Definida pela seguinte razao:

P (A|B) =P (AB)

P (B)=P (A ∩B)

P (B)

Rearranjando os termos:

P (AB) = P (B)P (A|B)

Significa que a chance de A e B ocorrerem e igual a chance deB e a chance de A dado que B ocorreu.


Probabilidade Total

Sendo A = A1, . . . , An um conjunto de Ω e B um eventoarbitrario:

P (B) = P (B|A1)P (A1) + . . .+ P (B|An)P (An)

Para se obter a intersecao dos eventos BAi:

PP (BAi) = P (B|Ai)P (Ai)Teorema da Probabilidade Total


Teorema de Bayes

De maneira analoga a P (BAi) = P (B|Ai)P (Ai), temos:

P (BAi) = P (Ai|B)P (B)

Combinando as duas equacoes:

P (Ai|B) = P (B|Ai)P (Ai)

P (B)

P (Ai|B) = P (B|Ai)P (Ai)∑n

i=1 P (B|Ai)P (Ai)Teorema de Bayes

P [Bj |A] =P [A ∩Bj ]P [A]

=P [A|Bj ]P [Bj ]∑nk=1 P [A|Bk]P [Bk]


Ex: Canal Binario Simetrico

Transmite somente dois bits: 0 e 1 com probabilidadesP[A0] = p0 e P[A1] = p1

Probabilidades condicionais de erro:P[B1|A0] = P[B0|A1] = p



A probabilidade de receber um 0:P[B0] = P[B0|A0]P[A0] + P[B0|A1]P[A1] = (1− p)p0 + pp1

A probabilidade de receber um 1:P[B1] = P[B1|A0]P[A0] + P[B1|A1]P[A1] = pp0 + (1− p)p1



Dado que eu recebi determinado bit (0 ou 1), qual aprobabilidade de determinado bit foi enviado (0 ou 1)?Probabilidade a posteriori.

Aplicacao do teorema de Bayes:

P[A0|B0] =P[B0|A0]P[A0]

P[B0]P[A1|B1] =

P[B1|A1]P[A1]

P[B1]


Sumario





5 Medias






11 Ruıdo


Os eventos podem ser definidos em termos de numeros(cara=0, coroa=1).

Pode haver mais de uma V.A. por processo aleatorio.


Funcao de Distribuicao Acumulada FDA ou cdf

FX(x) = P [X ≤ x], para −∞ < x < +∞A probabilidade de X estar entre (−∞, x]

A cdf (cumulated distribution function) de qualquer variavelaleatoria e:

E nao decrescenteE contınua pela direita.Fx(−∞) = 0 e Fx(∞) = 1


Funcao de Densidade de Probabilidade - fdp ou pdf

A probabilidade de um ponto em uma V.A. e zero. Mas aprobabilidade de um intervalo infinitezimal e diferente de zero.

Temos a definicao da FDA contınua

FX(xi) =

∫ xi

−∞fX(x)dx

fX(x) e a funcao de densidade de probabilidade fdp

fX(x) =dFX(x)

dx

Probabilidade de um intervalo:

P (a < X ≤ b) = P (X ≤ b)− P (X ≤ a)) = FX(b)− FX(a)

P (a < X ≤ b) =

∫ b

a

fX(x)dx∫ ∞−∞

fX(x)dx = 1


Diversas V.A.’s

FDA e fdp conjunta.

FX,Y (x1, y1) = P (X ≤ x1, Y ≤ y1), para X,Y ∈ R

FX,Y (x, y) =

∫ y

−∞

∫ x

−∞fS,T (s, t)dsdt

fX,Y (x, y) =∂2

∂x∂yFX,Y (x, y), x, y ∈ R

fY (y) =

∫ ∞−∞

fX,Y (x, y)dx, y ∈ R

FDA e fdp marginal

fX(x) =

∫ ∞−∞

fX,Y (x, y)dy

fY (y) =

∫ ∞−∞

fX,Y (x, y)dx

FX(x) = FX,Y (x,∞)

FY (y) = FX,Y (∞, y)


FDA e fdp marginal

fY (y|x) =fX,Y (x, y)

pX(x), para Y ∈ R.

FY (y|x) = P (Y ≤ y|X = x) =

∫ y

−∞fY (t|x)dt

Usando a lei da probabilidade total:

fY (y) =

∫ ∞−∞

fY (y|x)fX(x)dx, Y ∈ R

Para V.A. estatisticamente independentes:

fY (y|x) = fY (y)fX,Y (x, y)


Sumario





5 Medias






11 Ruıdo


Valor Esperado

Valor esperado de X

E[X] =

∫ ∞−∞

xfX(x)dx

Valor esperado de g(X)

E[g(X)] =

∫ ∞−∞

g(x)fX(x)dx

Teorema fundamental do valor esperado


Momentos

Valor esperado de g(X) = Xn

E[Xn] =

∫ ∞−∞

xnfX(x)dx

Momentos centrais (momentos diferencas do valor esperado):

E[(X − µx)n] =

∫ ∞−∞

(X − µx)nfX(x)dx

O momento central de segunda ordem e a variancia.VAR[X] = E[(X − µx)2] = E[X2]− (E[X])

2


Funcao caracterıstica

Aplicando g(X) = evjx, a funcao caracterıstica de X, φX(v):

φX(v) = E[ejvx] =

∫ ∞−∞

fX(x)ejvxdx

Analogo a transformada de Fourier, exceto pelo sinal daexponencial. v e analogo a 2πf e x e analogo a t. Entaoatraves de uma transformada inversa passamos da funcaocaracterıstica para a funcao de densidade de probabilidade:

fX(x) =1

2π

∫ ∞−∞

φX(v)e−jvxdx


Momentos conjuntos

E[XiY k] =

∫ ∞−∞

∫ ∞−∞

xiykfX,Y (x, y)dxdy

E[XY ] - Correlacao de X e Y .

O momento central conjunto para i = k = 1 e chamado decovariancia:

COV[XY ] = E[(X−E[X])(Y−E[Y ])] = E[XY ]−E[X]E[Y ]

Para ter uma variavel normalizada da correlacao, cria-se ocoeficiente de correlacao:

ρXY =COV [XY ]

σXσYEx: testar a correlacao de V.A.s independentes.


Sumario





5 Medias






11 Ruıdo


Sinais Aleatorios - Introducao

Probabilıstico

Fonte aleatoria

Ruıdo do canal

PotenciaDensidade de Potencia


Definicao Matematica

Varia no tempo

Valor exato imprevisıvel


Processo Aleatorio

Um processo aleatorio, observado num instante de tempo euma variavel aleatoria

Processo Aleatorio: conjunto indexado de V.A. onde o ındicee o tempo

Para uma V.A: o resultado de um experimento aleatorio eassociado a um numero

Para um processo aleatorio: o resultado de um experimentoaleatorio e associado a uma forma de onda que e uma funcaodo tempo


Definicao Matematica

X(t, s), −T ≤ t ≤ T2T - Tempo total de observacao

xj(t) = X(t, sj)

O Processo Estocastico

E um conjunto de funcoes no tempo trazendo uma regra deprobabilidade. Essa probabilidade traz a probabilidade paraqualquer evento significativo de uma amostra das funcoes doprocesso aleatorio


Processos Aleatorios: Caracterizacao Estatıstica

Funcao de Distribuicao Conjunta:FX(t1)X(t2)···X(tk)(x1, x2, . . . , xk)

Processo Aleatorio Estacionario: A sua caracterizacaoestatıstica e independente do tempo em que a observacao doprocesso e iniciada

FX(t1+τ)X(t2+τ)···X(tk+τ)(x1, x2, . . . , xk) = FX(t1)X(t2)···X(tk)(x1, x2, . . . , xk)


Sumario





5 Medias






11 Ruıdo


Media, Correlacao e Covariancia

Media

No instante t:

µX(t) = E [X(t)] =

∫ ∞−∞

xfX(t)(x)dx

Sendo estacionario:

µX(t) = µX para todo t

Autocorrelacao

RX(t1, t2) = E [X(t1)X(t2)] =∫ ∞−∞

∫ ∞−∞

x1x2fX(t1)X(t2)(x1, x2) dx1dx2

Se o processo for estacionario:

RX(t1, t2) = RX(t2 − t1) = RX(τ) para todo t1 e t2, ondeτ = t2 − t1


Media, Correlacao e Covariancia

Autocovariancia de um processo estritamente estacionario:

CX (t1, t2) = E [(X(t1)− µX) (X(t2)− µX)]= RX (t2 − t1)− µ2X


Propriedades da Autocorrelacao

Definimos a autocorrelacao de um processo estacinoariocomo:

RX(τ) = E [X (t+ τ)X(t)] para todo t

Media QuadraticaRX(0) = E[X2(t)]

Autocorrelacao e uma funcao par

RX(τ) = RX(−τ)

A autocorrelacao e maxima para τ = 0

|Rx(τ)| ≤ Rx(0)

O sinal aleatorio varia mais rapidamente se a autocorrelacaodecai rapidamente em funcao de τ


Exemplo: Onda Senoidal com Fase Aleatoria


Exemplo: Onda Senoidal com Fase Aleatoria


Exemplo: Sequencia Binaria Aleatoria

RX(τ) =

A2[1− |τ |T

], |τ | < T

0, |τ | ≥ T


Correlacao Cruzada

Quando queremos testar dois sinais em intervalos de tempodistintos.

Aplicacoes em radar, processamento dos sinais, sincronismo.

RXY (t, y) = E[C(t)Y (u)], RXY (τ) quando τ = t− uEx: Processos modulados em quadratura.


Ergodismo

Um processo estocastico pode ter uma media em relacao asamostras µX e nao varia para o valor de t para um processoestacionario

Um processo estocastico tambem tem uma media no tempopara uma realizacao x(t), µx(T ) calculada num intervalo T :

A variavel e ergotica se:

limT→∞

µx(T ) = µX

limT→∞

var [µx(T )] = 0


Sumario





5 Medias






11 Ruıdo


Passagem por um Sistema Linear

Media

Y (t) =

∫ ∞−∞

h(τ1)X(t− τ1)dτ1

µY (t) = E[Y (t)] = E

[∫ ∞−∞

h(τ1)X(t− τ1)dτ1]Luis Henrique Assumpcao Lolis Processos Aleatorios e Ruıdo 45

Passagem por um Sistema Linear - Media

se E[X(t)] e finita para todo t e o sistema e estavel:

µY (t) =

∫ ∞−∞

h(τ1)E [X (t− τ1)] dτ1

=

∫ ∞−∞

h(τ1)µX(t− τ1)dτ1com x(t) um processo estacionario:µX(t− τ1) = µX

µY = µX

∫ ∞−∞

h(τ1)dτ1 = µXH(0)∫ ∞−∞

h(τ1)dτ1 =

∫ ∞−∞

h(τ1)dτ1e−j2π0τdτ = H(0)


Passagem por um Sistema Linear - Media do quadrado(potencia)

Autocorrelacao e Media Quadratica (potencia)

RY (t, u) = E [Y (t)Y (u)]

RY (t, u) =

E

[∫ ∞−∞

h(τ1)X(t− τ1)dτ1∫ ∞−∞

h(τ2)X(u− τ2)dτ2]

Se E[X2(t)] e finito para todo t e o sistema e estavel:

RY (t, u) =∫ ∞−∞

h(τ1)dτ1

∫ ∞−∞

h(τ2)E [X(t− τ1)X(u− τ2)] dτ2

=

∫ ∞−∞

h(τ1)dτ1

∫ ∞−∞

h(τ2)RX(t− τ1, u− τ2)dτ2


Passagem por um Sistema Linear

Sendo X(t) estacionario, a funcao de autocorrelacao sodepende de do intervalo das funcoes, nesse caso:(u− τ2)− (t− τ1). Sendo assim e definindo τ = t− u:

(u− τ2)− (t− τ1) = τ − τ1 − τ2Dessa forma a autocorrelacao de Y fica:

RY (τ) =

∫ ∞−∞

∫ ∞−∞

h(τ1)h(τ2)RX(τ − τ1 + τ2)dτ1dτ2

E RY (0) para τ = 0 fica:

E[Y 2(t)] = RY (0) =

∫ ∞−∞

∫ ∞−∞

h(τ1)h(τ2)RX(τ2 − τ1)dτ1τ2

Se a entrada de um sistema linear estavel for um processoestacionario no sentido amplo a saıda vai ser um processoestacionario no sentido amplo.


Sumario





5 Medias






11 Ruıdo


Densidade espectral de potencia

Sinal aleatorio - sem funcao definida

A transformada de Fourier se aplica a uma funcao definida

Funcao de densidade de probabilidade - e uma funcao fechada

Para entender como um sinal aleatorio se distribui nafrequencia: densidade espectral de potencia

Transformada de Fourier da funcao de autocorrelacao de sinalaleatorio


Definicao matematica

SX(f) =

∫ ∞−∞

RX(τ)e−j2πfτdτ

RX(τ) =

∫ ∞−∞

SX(f)ej2πfτdf


Densidade Espectral de Potencia: Propriedades

1 SX(0) =

∫ ∞−∞

RX(τ) dτ

O valor da densidade espectral de potencia para a frequencia zero e a area abaixofuncao de autocorrelacao

2 E[X2(t)

]=

∫ ∞−∞

SX(f) df

A media quadratica de um processo estacionario e a area abaixo da densidadeespectral de potencia

3 SX(f) ≥ 0 para todo fA densidade espectral de potencia e sempre nao negativa

4 SX(−f) = SX(f) se o processo aleatorio for realA densidade espectral de potencia de um sinal real e uma funcao par


DEP dos sinais - senoidal com fase aleatorio e sinal binarioaleatorio


Exemplo: Onda senoidal com fase aleatoria

RX(τ) = A2

2 cos(2πfcτ) SX(f) = A2

4 [δ(f − fc) + δ(f + fc)]∫ ∞−∞

SX(f)df =A2

2


Exemplo: Sequencia Binaria Aleatoria

RX(τ) =

A2[1− |τ |T

], |τ | < T

0, |τ | ≥ T

SX(f) = A2T sinc2(fT )


Ex: mistura de processo aleatorio com proc. senoidal

Analise da DEP do produto de um proc. aleatorio X(t) porum cosseno de fase aleatoria cos(2πfct+ Θ) onde, Θ e umaV.A. uniforme de [0, 2π]

RY (τ) = E[Y (t+ τ)Y (t)]= E[X(t+ τ) cos(2πfct+ 2πfcτ + Θ)X(t) cos(2πfct+ Θ)]= E[X(t+ τ)X(t)]E[cos(2πfct+ 2πfcτ + Θ) cos(2πfct+ Θ)]

=1

2RX(τ)E[cos(2πfcτ) + cos(4πfct+ 2πfcτ + 2Θ)]

=1

2RX(τ) cos(2πfcτ)

SY (f) =1

4[SX(f − fc) + SX(f + fc)]


Potencia do sinal e passagem por filtro - analise nafrequencia

O sinal na frequencia e a transformada de RY (τ)

SY (f) =

∫ ∞−∞

RY (τ)e−j2πfτdτ

RY (τ) =

∫ ∞−∞

∫ ∞−∞

h(τ1)h(τ2)RX(τ − τ1 + τ2)dτ1dτ2

Aplicando a transformada:

SY (f) =∫ ∞−∞

∫ ∞−∞

∫ ∞−∞

h(τ1)h(τ2)RX(τ − τ1 + τ2)e−j2πfτdτ1dτ2dτ


Potencia do sinal e passagem por filtro - analise nafrequencia

Substituindo τ por τ = τ0 + τ1 − τ2, podemos fazer cadaintegral se tornar uma transformada de Fourier.

τ0 = τ − τ1 + τ2, dτ0/dτ = 1

SY (f) =

∫ ∞−∞

∫ ∞−∞

∫ ∞−∞

h(τ1)h(τ2)RX(τ0)e−j2πf(τ0+τ1−τ2)dτ1dτ2dτ0

Expandindo a exponencial cada uma das funcoes pode ser integradaindividualmente:

SY (f) =∫ ∞−∞

h(τ1)e−j2πfτ1dτ1

∫ ∞−∞

h(τ2)e−j2π(−f)τ2dτ2

∫ ∞−∞

RX(τ0)e−j2πfτ0dτ0

SY (f) = H(f)H(−f)SX(f) = H(f)H(f)∗SX(f)

Resultado da potencia e integrar a DEP:

E[Y 2(t)] =

∫ ∞−∞

SX(f)|H(f)|2df


Potencia do sinal e passagem por filtro

E[Y 2(t)

]=

∫ ∞−∞|H(f)|2 SX(f)df

O valor medio quadratico (potencia) da saıda de um filtro linearestavel invariante no tempo em resposta a um processoestacionario e igual a integral sobre todas as frequencias dadensidade espectral de potencia do processo de entradamultiplicada pelo modulo da resposta do filtro elevada ao quadrado


Sumario





5 Medias






11 Ruıdo


Processos Gaussianos

fY (y) =1√

2πσYexp

[− (y − µY )2

2σ2Y

]

Caracterıstica da gaussiana:

Y (T ) =

∫ T

0

g(t)X(t), Y (T ) e a funcional de X(t)

Se Y (T ) for gaussiana, X(t) sera gaussiana.


Processos Gaussianos

Distribuicao normalizada a media 0 e variancia 1:

fY (y) =1√2π

exp

[−(y)2

2

]Teorema do Limite Central

O efeito soma devido a um grande numero de causasindependentes tende a um processo Gaussiano:

Y = X1 +X2 + · · ·+Xn ≈ Gaussiana para n→∞


Propriedades de um Processo Gaussiano, X(t)

1 Quando X(t) passa por um sistema LIT, o processo de saıdacontinua sendo Gaussiano

2 Considerando um conjunto de V.A., X(t1), X(t2), . . . , X(tn),resultantes da observacao de X(t) em t1, t2, . . . , tn, se X(t)for Gaussiano, esse conjunto de V.A. sera conjuntamenteGaussiano ∀n

3 Se as V.A. X(t1), X(t2), . . . , X(tn) de um processoGaussiano nao sao correlacionadas, ou seja, se

E[(X(tk)− µX(tk)

) (X(ti)− µX(ti)

)]= 0, i 6= k

entao essas V.A. sao estatisticamente independentes


Sumario





5 Medias






11 Ruıdo


Ruıdo

Ruıdo

Sinais indesejaveis que perturbam a transmissao e o processamentode sinais no receptor e que sao incontrolaveis

Fontes externas: ruıdo atmosferico, galactico e ruıdoprovocado pelo homem

Fontes internas: flutuacoes espontaneas de corrente ou tensaoem circuitos eletricos

Ruıdo Impulsivo: Resulta da natureza discreta da correnteRuıdo Termico: Resulta do movimento aleatorio de eletronsem um condutor.


Modelo Equivalente de Ruıdo Termico

E[V 2TN ] = 4kTR∆f(Volts)2

k− Constante de Boltzmann(k = 1, 38× 10−23 Joules/K) T−Temperatura em K R− Resistencia emOhms ∆f− Largura de banda em Hz


Ruıdo Branco

Ruıdo Branco: Forma idealizada cuja densidade espectral depotencia e independente da frequencia de operacao (contemfrequencia e potencia infinita).

Temperatura equivalente de ruıdo do receptor (N0 = kTe)

Temperatura de um resistor ruidoso de tal maneira que quandoconectado a versao de um sistema sem ruıdo, produz o mesmoruıdo na saıda que as o sistema produz com as fontes de ruıdoreais do sistema.

Exemplo: Ruıdo na saıda de um filtro passa-baixas ideal

SN (f) =

N0

2, −B < f < B

0, |f | > B

RN (τ) =

∫ ∞−∞

N0

2ej2πfτdf = N0B sinc(2Bτ)


Exemplo: Ruıdo na saıda de um filtro passa-baixas RC

H(f) =1

1 + j2πfRC

SN (f) =N0/2

1 + (2πfRC)2=

|H(f)|2 · N0

2

exp(−a|τ |) a2

a2 + (2πf)2

RN (τ) =N0

4RCexp

(− |τ |RC

)Luis Henrique Assumpcao Lolis Processos Aleatorios e Ruıdo 69

Banda equivalente de ruıdo

Considera-se a resposta em frequencia do sistema e integra-sea potencia total de ruıdo.

Transformando essa superfıcie total (potencia), em umretangulo tem-se o quadrado reposta do sistema em DCH2(0) multiplicando uma banda equivalente de ruıdo 2B

Nout =N0

2

∫ ∞−∞|H(f)|2, df

= N0

∫ ∞0

|H(f)|2, df

Nout = N0BH2(0)

B =

∫ ∞0

|H(f)|2, df

H2(0)


Documents

Processos Aleat orios e Ru do - Professor Dr. Luis ...professorluislolis.weebly.com/uploads/1/3/2/7/13273601/8-proc... · Nota˘c~ao Descri˘c~ao Matem atica Descri˘c~ao Verbal A[B