Embed Size (px)
Citation preview
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Universidade Federal do Espírito SantoCentro de Ciências Exatas, Naturais e da Saúde – CCENS UFESDepartamento de Computação
Redes Neurais ArtificiaisSite: http://jeiks.net E-mail: [email protected]
Modelo de Hopfield
2
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Memória Associativa
● Refere-se a:– Armazenar um conjunto de padrões de maneira que ao
apresentar um novo padrão, a rede responderá com a produção do padrão armazenado mais próximo do novo padrão.
● Assim:– O Modelo de Memória Associativa trata a
memorização de n padrões de X(k), k=1, .., n.
– Na apresentação de X(k)como entrada ao sistema,
ocorre a recuperação de X(k) (Recall).
– Na apresentação de X ≈ X(k) (padrão parecido),
ocorre a recuperação de X(k), mesmo com perturbações, erros e incertezas, a informação original será recuperada.
3
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Memória Associativa● Como fazer em um computador convencional...● Bastaria armazenar uma lista de padrões e
escrever um problema que calculasse a distância de Hamming:
DH (X , X k)=∑j=1
H
[X j(k ) .(1−X j)+(1−X j
(k )) .X j]
umbit≡H=1:a(1−b)+(1−a)b=a+b−2ab
então : {1, se a=1 eb=0 para X ij
1, se a=0 e b=1 para X ij
0, se a=0 eb=0 para X ij
0, se a=1eb=1 para X ij
4
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Memória Associativa
Exemplos de utilização:
1. Se armazenássemos informações sobre cientistas em uma rede, então:
● O padrão “evolução” seria suficiente para retornar Darwin;
● O padrão “E = mc3” seria suficiente para retornar Einstein, mesmo estando errado.
Note que cada padrão sempre retornaria um dos valores memorizados.
2. Outro exemplo comum é o reconhecimento e a reconstrução de imagens:
● Ao apresentar uma parte da imagem, a imagem original seria retornada.
5
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
<http://fourier.eng.hmc.edu/e161/lectures/nn/node5.html>
6
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Mapeamento de conteúdo● Ocorre o armazenamento dos padrões por mapeamento de
conteúdo (Content-Addressable).● Ocorre a recuperação iterativa dos padrões memorizados.
X1
X2
X3
Espaço de CaracterísticasX
j {0,1}∈ {0,1}
Cada padrão é um pontono espaço vetorizado
X3
X2
X1
X
Bacias de atração
Estados espúrios(não memorizados)
7
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
O Modelo de Hopfield
● Para conveniência matemática, ao invés de 1 (um) e 0 (zero), são utilizados os seguintes valores:
+1 (firing – disparando);
- 1 (not firing – não disparando).
● Possuímos os neurônios:
– X = (x1, x2, …, xi, …, xj, …, xH)T, xj {-1, 1}∈ {-1, 1}
● Função calculada de Xi:
X i=sgn(∑j=1
H
w ij X j−μi) ,μi=bias(irrelevante)
8
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
O Modelo de Hopfield
X1
Xi
wi1
XH
Xj
X1
wi2
X1
wij
wiH
...
...
...
...
Não há distinção entre neurônios de entrada, ocultos, ou de saída.
Sejaμi=0 e X velho=(X1
X i
X j
X H
)X i
novo=sgn (wi . Xvelho ) , i=1,... , H
X inovo∈{−1,1}, X velho∈{−1,1}
X ié aentradaea saída
9
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Bacias de atração
| | |-1 0 +1
1
-1
-1 1
H=12 bacias =2H=21
H=24 bacias =2H=22
10
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Sincronização de Consulta
● A atualização/sincronização é realizada na etapa de consulta.– Seu objetivo é obter o que foi memorizado
anteriormente na rede.
● Existem duas formas de atualizar os valores dos neurônios para obter seu estado sobre determinada entrada:– Atualização Síncrona.
– Atualização Assíncrona.
11
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Rede de HopfieldCada pixel da imagem abaixo é um neurônio da
rede, que apresenta seu estado:ativo (preto) ou inativo (branco).
- À esquerda, apresentamos a entrada da rede, ou seja, mudamos os valores de seus pixeis, mas não mexemos em seus pesos.- Em seguida, fazemos a sincronização dos pixeis utilizando os pesos existentes.- Assim, obtemos a imagem à direita.
12
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Atualização Síncrona
PARA todos os Xi, i=1, …, H
fazer atualização simultânea
de todos neurônios
13
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Atualização Assíncrona
REPITA até a rede estabilizar:
PARA i=1, …, H em ordem aleatória
XiNovo = sgn (w . x)
FIM_PARA
FIM_REPITA
Atualização até o estado da rede estabilizar:
X(t +1) = X(t) ⇔ XNovo = X
14
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Algoritmo de Consulta Assíncrona
Estímulo inicial: t=0 x(0)
Enquanto x(t+1) ≠ x(t):
Para cada neurônio i (i=1,..., H) em ordem aleatória:
xi(t+1) = sgn(wi . x(t))
Fim Para
Fim Enquanto
15
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Vamos ver um exemplo...
16
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Aprendizado● Consiste em determinar os pesos Wij da rede.
● Sendo H a quantidade de neurônios e N a quantidade de padrões a armazenar: A capacidade de armazenamento é N ≤ 0,138H.
● Modelo de conexão total H=5 e H=8:
17
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Aprendizagem de Hebb
● A regra de adaptação dos pesos de Hebb é:
● Tendo de reforçar os pesos em caso de atividade simultânea de dois neurônios.
W ij=ηX i X j
18
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Aprendizagem de Hebb
● “Algoritmo” de Treinamento:
● Normalização do Cálculo do Peso:
W ij :=X i X j
⇒ X i=sgn(∑j=1
H
w ij .X j)=sgn(∑j=1
H
(X i .X j).X j)=sgn(X i)=X i
⇒ X iestável , i=1,... , H
com X j X i=1 para X j∈{−1,1}, X i∈{−1,1}
W ij=1H
X i X j
19
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Relaxação, Minimização de Energia
● Na rede de Hopfield,– os pesos entre os neurônios são simétricos; e– define-se um peso nulo da realimentação do próprio neurônio, ou
seja, wii = 0.
● Com essas condições, garantimos que a rede sempre terá uma relaxação para um estado estável através da Função de Energia:
● Isso acontece porque com os pesos simétricos, a energia obrigatoriamente tem que diminuir a cada passo de relaxamento.
H=−12∑i=0
H
∑j=0
H
w ij x i x j
20
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
EN
S U
FE
S
Hora de trabalhar mais com oModelo de Hopfield...
