PSI-5796 ALGORITMOS PROCESSAMENTO ANÁLISE SÍNTESE IMAGENS

PSI-5796

ALGORITMOS

PROCESSAMENTO

ANÁLISE

SÍNTESE

IMAGENS

PROF. DR. HAE YONG KIM

ALUNO

RICARDO ACERBI

3

REDES NEURAIS TALÂMICAS

• Introdução

• Aprendizado Hebbiano

• Aprendizado Hebbiano modificado

• Sinápses modeladas com base no Teorema de Bayes

• Modelo computacional do tálamo humano

• Métodos

4

Redes Talâmicas

• Fundamentos da Ortogonalização Talâmica

• Função Sigmoidal Modificada

• Vantagens das Redes Talâmicas

• Auto Organização Interna

• Recomposição de Padrões

• Bibliografia

5

Introdução

• Tálamo: processador eficiente de informações sensoriais, vindas do meio externo, através dos sentidos

• Tálamo: processador mais complexo que, juntamente com a estrutura do cortex cerebral, é capaz de recompor padrões diversos, fragmentados ou incompletos

• [2-3]

6

Triângulo de Kanizsa

Fig. 1

7

Introdução

• O triângulo de Kanizsa mostra um triângulo branco no centro da figura

• O triângulo branco obstrui as figuras pretas (círculos) e a figura verde (triângulo)

• O cérebro é capaz de recompor as imagens do triângulo verde e dos círculos pretos, uma vez que já tenha antes aprendido os padrões de círculo e triângulo [2]

8

Aprendizado Hebbiano

• Pesquisador neurologista, Donald Hebb descobriu como as células neuronais funcionam, em 1.949

• Hebb partiu das descobertas anteriores do médico fisiologísta Santiago Ramon y Cajal sobre redes neurais biológicas, 1.912

• Konorski, em 1.948, postulou sobre a memória seria constituída por mudanças de plasticidades sinápticas entre neurônios

9


• Em 1.949, Hebb postulou que a aprendizagem depende do reforço das conexões sinápticas

• O reforço se deve às atividades correlacionadas entre os neurônios pré-sinápticos e os pós-sinápticos

• Formulação matemática: w(n)=.A(n).B(n) ( 1 )

10


• O incremento do peso sináptico w, no passo n, é proporcional a atividade pré-sináptica A(n), no passo n, e a atividade pós-sináptica B(n), no passo n

• o fator é chamado de coeficiente de aprendizagem [2]

11

Modelo BCM (Bienestock, Copper e Munro)

• Os modelos de Sejnowiski (covariância) e BCM apresentam um ponto crítico de atividade chamado “Long Term Potentiation Threshold ou LTP (limiar de potenciação sináptica)

• O modelo BCM apresenta um ponto de limiar mais baixo chamado LTD (Long Term Depression)

12

Eficiência sinápticaA

lter

ação

da

efic

iênc

ia s

ináp

tica regra de covarância

atividade pó-sináptica

LTD

LTP

regra BCMFig. 2

13

Aprendizado Hebbiano Modificado

• O novo modelo de aprendizado baseado no modelo de Hebb leva em conta a plasticidade e a metaplasticidade entre neurônios

• O novo modelo propõe que a plasticidade entre neurônios possa ser modelada por: [6]

n(A)

B)n(AP(B/A)wAB

( 2 )

14


• Aprendizado: pode ser modelado por uma probabilidade condicional

• B: ativação pós-sináptica

• A: ativação pré-sináptica

• Se ocorre atividade pós-sinática, dado que ocorreu antes atividade pré-sináptica, ocorre um reforço ou incremento do peso w

• Caso contrário: ocorre um decremento do peso w

15


• Se ocorre uma atividade pós-sináptica, sem que tenha ocorrido uma atividade pré-sináptica antes, não há alteração do peso w

Potencial deação pré-sináptico A

Atividadepós-sináptica B

Peso w

Peso incial:0.5

Incremento/decremento

1 1 0.54 incremento

0 1 0.54 Não altera

1 0 0.50 decremento

16

Sinápses - Modelo Bayesiano

• As sinápses no modelo talâmico podem ser dadas pela regra Bayesiana: [2]

P(y/a1)

P(y/a2)

P(y/a3)

P(a1)

P(a2)

P(a3)

P( y ) 1

P(y)=P(y/a1).P(a1)+P(y/a2).P(a2)+P(y/a3).P(a3)( 3 )

Fig. 3

17

Modelo Computacional do Tálamo

• Interpretação geométrica dos valores dos pesos sinápticos em termos de probabilidades condicionadas [2]

P(y/a1)

P(y/a2)

P(y/a3)

a1

a2

y

a3

Fig.4

18

Métodos

• Métodos principais:

• método axiomático (baseado em axiomas)

• método experimental ou hipotético

• método escolhido: axiomático, seguido do experimental (a parte experimental verifica a parte axiomática proposicional)

• composição: três níveis fundamentais

19

Métodos

• Nível matemático (baseado na teoria de Bayes)

• Nível programacional (programação em MatLab)

• Nível fisiológico-experimental (verificação através de experimentos já realizados por pesquisadores de renome)

20

Fundamentos da Ortogonalização Talâmica

• Reforço Hebbiano: único tipo de reforço plausível ao nível biológico do cérebro humano [2-3]

• Tálamo: ortogonaliza a informação que vem do meio externo

• canais semicirculares do ouvido interno • (anatomicamente ortogonais)• cones da retina do olho humano

21

Fundamentos da ortogonalização talâmica

• Captam cores cromáticas ortogonais

• Sinais de entrada pelos cinco sentidos: não formam bases ortogonais (base qualquer)

• Tálamo: constroi internamente uma base de vetores ortogonais entre si, a partir de uma base de vetores não ortogonais

• Representação resumida em componentes principais do sinal de entrada

22

Método Matemático de Gram-Schmidt

• Base de vetores yi a partir de uma base de vetores não ortogonais bi

• O tálamo realizaria um processos similar ao processo de Gram-Schmidt para achar um sistema de eixos ortogonais entre si

• Etapas:

• sinal externo em uma base bi qualquer [2]

23

Processo de Gram-Schmidt

• Base bi:

b1 b2

b3

Fig. 5

24


• Ortogonalização:

y1b1

Etapa a:

Etapa b:y1

b2

y2b2y1

Fig. 6

25


• Ortogonalização

y1

y2

y2

y1y3

Fig. 7

26


1-ij

1ji

jybyi = bi - ( 4 )

[2]

27

Processo de Gram-Schmidt para m padrões de entrada

• O padrão externo na base bi será dado por:

• Cada componente da base ortogonal será calculado por: [2]

) 5 ( ).yy/P(bb jjkkjy

) 6 ( y /y b P - b ym

1 k

1-i j

1 jj j k k i

28

Componentes Principais

• Equação ( 6 ): natureza vetorial • Significado: cada componente y ( para i entre 1 e

n) significa uma componente principal do padrão de entrada, representado na rede talâmica na forma de probabilidade condicionada

• A componente y1 tem uma direção que coincide com a direção de maior variabilidade do conjunto de padrões

29


• As demais componentes fornecem a segunda, terceira, quarta, ..., e-nésima componente principal

• Os padrões ficam armazenados na memória da rede na forma de componentes principais sem a necessidade de um processamento prévio de imagens para separar as componentes principais [2]

30

Função Sigmoidal Modificada

• Modelo computacional do neurônio: [1]

x1

x2

x3

xn

.

.

.

wo

w1

w2

wn

() y

Fig. 8

31


• Função de ativação: a mais usada é a função sigmoidal dada por:

) 7 ( )exp(-a.1

1 )(

()

1

1/2

Fig. 9

32


• Coeficiente de deslocamento: dado por

) 8 ( sh(n))(1

sh(n))(sh(n).y1)sh(n

[2]

33


• Sigmóide modificada:

) 9 ( sh)-a.exp(1

1)(

[2]

34


• Deslocamentos: [5]()

1

1/2

deslocamentos

Fig. 10

35


• Objetivo: uniformizar a distribuição de neurônios vencedores na grade neural de saída, impedindo que dado que um neurônio Nx tenha ganho a competição inicialmente, não possa depois continuar ganhando sempre

• Problema: impede a formação de uma vizinhança de neurônios próxima daquele vencedor

36

Sigmoidal Modificada

• Vantagens: permite que os demais neurônios de saída tenham oportunidade de vencer também em outras épocas ( iterações), num mesmo treinamento

• Não necessitam de pré processamento para aprender um dado padrão de imagem

• São imunes a ruídos leves

• O treinamento é mais rápido que em outras redes

37

Auto Organização Interna

• Rede talâmica: modelo de associação de padrão

• Matriz de pesos sinápticos: transforma um conjunto de vetores de entrada, em uma base qualquer bem um conjunto de saídas ortogonais entre si.

38

Auto Organização interna

• As componentes principais de um padrão ficam representadas na memória de pesos w, na forma de vetores ortogonais

• Padrão P: representado por um conjunto finito de n-tuplas A1, A2, A3, ..., Am, formando uma base universal (qualquer)

• Representação talâmica: cada componente yi é da forma:

39


• Base ortogonal y: [5]

) 11 ( ,...,0]A,[0,0,0,...y

) 10 ( ]A,...,A,[A Bkii

m21

40


Fig. 11

41


• Na imagem anterior: as componentes principais de maior relevância seriam aquelas associadas com: parte do cabelo, sombrancelhas, olhos, nariz, boca, queixo, formato de rosto

• Cada componente do vetor y agrega valores de cada um desses componentes principais da imagem

42

Recomposição de Padrões

• Tálamo: funciona em conjunto com o cortex cerebral

• Composto de duas camadas: camada sensora que recebe entradas excitatórias do meio externo, assim como sinais inibitórios da segunda camada, camada inibitória que recebe sinais inibitórios da camada reticular cerebral

43


• Camadas reticulares (tálamo): [4]

N1 N2 Np camada cortical

y1 y2 y3 ynsegunda camada reticular

b1 b2 b3 bmprimeira camada reticular

. . .

...

...

excitação

inibição

Fig. 12

44


• Padrão incompleto e sua recomposição:[2]

Fig. 13

45

Bibliografia

• [1] - Haykin, S. - Neural Networks: A Comprehensive Foundation - P.Hall-1.999

• [2] - Pelaez, F.J.R. - Aprendizagem em um modelo computacional do Tálamo - U.S.P.- 2.003 - tese doutorado

• [3] - Pelaez,F.J.R. - A Formal Representation of Thalamus and Cortex Computation - Proceedings of the International Conference Brain Processes

46

Bibliografia

• 1.996• [4] - Pelaez,F.J.R. - Plato’s Theory of Ideas

Revised - Neural Networks - 1.997• [5] - Piqueira, J.R.C.;Pelaez,F.J.R. -

Ortogonality for Hebbian Learning in the Brain - E.P.USP. - 2.005

• [6] - Shepherd, G.M.- The Synaptic Organization of the Brain - O.U.Press. 1.998

Documents

PSI-5796 ALGORITMOS PROCESSAMENTO ANÁLISE SÍNTESE IMAGENS