Embed Size (px)
Citation preview
Dinâmica Estocástica
Aula 10
Cadeias de MarkovMatriz Estocástica
Balanceamento Detalhado
Setembro de 2015
Tânia - Din Estoc - 2015 1
Bibliografia:
Capítulo 6 – Dinâmica estocástica e Irreversibilidade, Tânia Tomé e Mário J. de Oliveira, Edusp, 2014.
Tânia - Din Estoc - 2015 2
Exemplo: passeio aleatório simples (como o que já vimos nessa aula) Processo markoviano a tempo discreto e espaço discreto
Cadeias de Markov
Bêbado e o poste
Tânia - Din Estoc - 2015 3
Cadeias de Markov
Existem muitos, inúmeros outros exemplos!!!! De processos markovianos a tempodiscreto e espaço discreto
Por exemplo: os famosos autômatos celulares.
Os processos descritos pela equação mestra são processos markovianos a tempo contínuo
Os processos estocásticos a serem estudados nesse curso são todos markovianos
Tânia - Din Estoc - 2015 4
5
0n
0 1 ...
...
Processo estocástico a tempo discreto
1t
1n n 1n tx
variável estocástica discretatx
Tânia - Din Estoc - 2015
)...,.,( 011 nnnP = Probabilidade conjunta
O que essa probabilidade representa? Ela define o que?
(1)
6Tânia - Din Estoc - 2015
)...,.,( 011 nnnP
probabilidade conjunta de
a variável estocástica
assumir:
O processo estocástico fica definido até o instante por meio da probabilidade conjunta dada na expressão (1).
(1)
tx
0n
1n
1n 1 t
1
o valor em ,
o valor em ,
...
o valor em
0t
1t
)...,.,( 011 nnnP
Processo estocástico a tempo discreto
7Tânia - Din Estoc - 2015
),...,,.( 0111 nnnnP
Probabilidade condicional
Probabilidade condicional de assumir o valor em
dado que assumiu o valor em , em ,
... o valor em .
tx1n 1 t
tx0n 1n0t 1t
n t
(2)
Processo estocástico a tempo discreto
8Tânia - Din Estoc - 2015
(3))...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP
Probabilidadecondicional
Probabilidade conjunta dea variável estocástica assumir
tx
0n
1n
1n 1 to valor em
0t
1t
o valor em
o valor em
Probabilidade conjunta dea variável estocástica assumir o valor em 0n 0t
1n
n to valor em
1to valor em
Até o momento não foi feita nenhuma suposição de processo markoviano!!!!
Estamos definindo probabilidades para um processo estocástico a tempo discreto em que a variável estocástica assume valores discretos.
Processo estocástico a tempo discreto
9
Cadeias de Markov
Propriedade markoviana:
Tânia - Din Estoc - 2015
1 1 0 1 1( | ,..., ) ( | )P n n n P n n
),...,,.( 0111 nnnnP Probabilidade condicional (2)
(4)
Propriedade markoviana
10
Cadeias de Markov
Propriedade markoviana
Tânia - Din Estoc - 2015
1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)
Se levarmos em conta a propriedade markoviana (3):
como podemos escrever a probabilidade conjunta
???)...,.,( 011 nnnP
11
Cadeias de Markov
Propriedade markoviana
Tânia - Din Estoc - 2015
1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)
)...,,,()...,,,|()...,.,( 010111011 nnnPnnnnPnnnP (5)
)...,,,()|()...,.,( 0111011 nnnPnnPnnnP
A partir das expressões (4) e (5) temos:
(6)
)...,,,()|()...,.,( 0111011 nnnPnnPnnnP (6)
Cadeias de Markov
)...,,,()|()...,.,( 0111
...,,
011
...,, 00
nnnPnnPnnnPnnnn
(7)
)()|()( 1111
nPnnPnPn
(8)
Tânia - Din Estoc - 2015 12
Cadeias de Markov
)()|()( 1111
nPnnPnPn
(8)
Se for dado e e então podemos obter.
Podemos obter a partir da equação (8)??? )( 11 nP
)( 00 nP parannP )|( 11
Sim!
Tânia - Din Estoc - 2015 13
14
Cadeias de Markov
Tânia - Din Estoc - 2015
)...,,,()|()...,.,( 0111011 nnnPnnPnnnP (6)
Aqui foi utilizada a propriedade markoviana uma vez
Propriedade markoviana
1 1 0 1 1( | ,..., ) ( | )P n n n P n n (4)
15
Cadeias de Markov
Propriedade markoviana
Tânia - Din Estoc - 2015
)...,,,()|()|()...,.,( 0211111011 nnnPnnPnnPnnnP
Portanto:
)...,,,()|()...,.,( 0211101 nnnPnnPnnnP
)|()...,.|( 101 nnPnnnP
Aplicando novamente a propriedade markoviana
16
Cadeias de Markov
Propriedade markoviana
Tânia - Din Estoc - 2015
)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP
)...,,,()|()...,.,( 03222110211 nnnPnnPnnnP
)|()...,.|( 2110211 nnPnnnP
Então utilizando a propriedade markoviana novamente obtemos:
17
Cadeias de Markov
Tânia - Din Estoc - 2015
)...,,,()|()|()|()...,.,( 0322211111011 nnnPnnPnnPnnPnnnP
Utilizando a propriedade markoviana várias vezes a expressão para a probabilidade conjunta
fica dada por:
)()|(....)|()|()|()...,.,( 00011211111011 nPnnPnnPnnPnnPnnnP
)...,.,( 011 nnnP
)()|()( 1111
nPnnPnPn
(8)
Retomemos agora a relação (8)
Cadeias de Markov
)|( 11 nnP Probabilidade de Transição de para n 1n
Muito importante: define o processo markoviano!!!
(9)
Tânia - Din Estoc - 2015 18
)()|()( 1111
nPnnPnPn
(8)
Cadeias de Markov
)|( 11 nnP probabilidade de Transição de para n
1n (9)
Probabilidade de transição independente do tempo
)|()|( 111 nnPnnP
Vamos mudar a nomenclatura:
),()|( 11 nnTnnP (10)
Tânia - Din Estoc - 2015 19
)(),()( 111
nPnnTnPn
(11)
Cadeias de Markov
),( 1 nnT Probabilidade de Transição de para n
1n (12)
Tânia - Din Estoc - 2015 20
21
Processo markoviano
Tânia - Din Estoc - 2015
)(),()(1 mPmnTnPm
(13)
),( mnT probabilidade de transição do estado para o estado nm
Genericamente podemos escrever:
22
Cadeias de Markov
Tânia - Din Estoc - 2015
)(),()(1 mPmnTnPm
(13)
),( mnT Pode ser interpretado como:elemento de matriz
Tmatriz
T é denominada de matriz estocástica
23Tânia - Din Estoc - 2015
)(),()(1 mPmnTnPm
(13)
),( mnT = elemento da matriz estocástica T
0),( mnT
1),( mnTn
(14)
(15)
Propriedades
Cadeias de Markov
24
)(),()(1 mPmnTnPm
é a probabilidade (condicional) de transição de m para n.
pode ser visto como o elemento de uma matriz e a equação de evolução temporal acima pode ser escrita na forma matricial como:
é a matriz coluna cujos elementos são
TPP 1
P )(mP
),( mnT
),( mnT
(13)
(16)
Cadeias de Markov
Tânia - Din Estoc - 2015
25
Matriz estocástica
TPP 1
Toda matriz quadrada que possui as propriedades 1) e 2) abaixo enumeradas é uma matriz estocástica:
Elementos da matriz T: ),( mnT Probabilidadecondicional m n.
1) 0),( mnT
2) 1),( mnTn
(16)
(13)
(14)
Cadeias de Markov
Tânia - Din Estoc - 2015
26
TPP 1
1
2
11 PTTPTP
0
1
12
3
1
2
1 .... PTPTPTPTP
Processo markoviano:
Ou seja:
(17)0
1
1 PTP
1 TPP
Cadeias de Markov
Tânia - Din Estoc - 2015
27
0
1
1 PTP
Ou,
probabilidade de transição de para em passos.),(1 mnT
Dado o estado inicial e calculando elevada a então obtém-se .
)(),()( 0
1
1 mPmnTnPm
(18)
(17)
0P T 1 1P
m n 1
Cadeias de Markov
Tânia - Din Estoc - 2015
28
(19)
Solução estacionária P
Existência e propriedades de P
Propriedades de T
PTP
Cadeias de Markov
Tânia - Din Estoc - 2015
29
)(),()( mPmnTnPm
Estado estacionário
1),( nmTm
),()()( nmTnPnPm
Cadeias de Markov
(20)
(21)
Portanto, a partir da Eq. (21) temos:
(22))(),()( nPnmTnPm
Ou,
Tânia - Din Estoc - 2015
30
Estado estacionário
Cadeias de Markov
(22))(),()( nPnmTnPm
Ou, 0)()(),( nPnPnmTm
(23)
Mas, )(),()( mPmnTnPm
Portanto, a partir das Eqs. (23) e (24) obtemos:
(24)
0)(),()(),( mPmnTnPnmTm
(25)
Tânia - Din Estoc - 2015
31
Estado estacionário
0)(),()(),( nPnmTmPmnTm
Cadeias de Markov
(25)
Essa é a condição que deve ser satisfeita no estado estacionário.
Dois tipos de estados estacionários:
0)(),()(),( nPnmTmPmnT1) A condição (25) é satisfeita e também
Isto é, cada termo da soma se anula.
2) A condição (25) é satisfeita, mas a condição (26) não é satisfeita para todo par (n,m)
(26)
reversibilidade microscópica
irreversibilidade microscópica
Tânia - Din Estoc - 2015
32
Reversibilidade microscópica
Estado estacionário
0)(),()(),( nPnmTmPmnTm
0)(),()(),( nPnmTmPmnT
)(),()(),( nPnmTmPmnT
ou
Para qualquer par (m,n)
Condição de balanceamento detalhado
Cadeias de Markov
(25)
(26)
(27)
Tânia - Din Estoc - 2015
33
Reversibilidade microscópica:Condição de balanceamento detalhado
)(),()(),( nPnmTmPmnT
Ou seja: A probabilidade de um estado qualquer m atingirum estado n é igual a probabilidade de n atingir m.(n,m) quaisquer (no regime estacionário!!).
Para qualquer par (m,n)
Estado estacionário
Cadeias de Markov
(27)
)(nP Estado estacionário de equilíbrio
Tânia - Din Estoc - 2015
Estado estacionário
Cadeias de Markov
Trajetórias cíclicas no espaço de configurações & Balanceamento detalhado
n 'n
''n
Tânia - Din Estoc - 2015 34
35
Trajetórias cíclicas no espaço de configurações
trajetória direta
Reversibilidade microscópica(balanceamento detalhado)
)(),'()',''()'',( nPnnTnnTnnT
n 'n
''ntrajetória inversa
Irreversibilidade:
caso contrário
Tânia - Din Estoc - 2015
nnnn '''
nnnn '''
),'()',''()'',( nnTnnTnnT )',()'','(),''( nnTnnTnnT
)()',()'','(),''( nPnnTnnTnnT
(*)
(*)
(*) cálculo no próximo slide
FIM
Tânia - Din Estoc - 2015 36
