CONTEÚDO• Introdução

– Motivação, Objetivo, Definição, Características

Básicas e Histórico

• Conceitos Básicos

– Neurônio Artificial, Modos de Interconexão

• Processamento Neural

– Recall e Learning

• Regras de Aprendizado

– Perceptron, Back Propagation, Mapa de Kohonen

Algoritmos de Aprendizado

•Perceptron

•Delta Rule (Least Mean Square)

•Multi-Layer Perceptron (Back Propagation)

Algoritmos de Aprendizado

Os algoritmos podem ser definidos

através das seguintes características:

Regra de Propagação

Função de Ativação

Topologia

Regra de Aprendizado - w

Algoritmos de Aprendizado

•Perceptron

•Delta Rule (Least Mean Square)

•Multi-Layer Perceptron (Back Propagation)

Perceptron

Na sua forma mais simples o modelo do

processador consiste de:

Padrão

de

Entrada:

vetor X

x1

x2

xi

sj

netj

wj1

wj2

wji

Bias = j+1

Perceptron

• Características Básicas:

– Regra de Propagação netj = xi.wji + j

– Função de Ativação Degrau

– Topologia Uma única camada de

processadores.

– Algoritmo de Aprendizado Supervisionado:

wji = .xi.tj(se tj ≠ sj)

– Valores de Entrada/Saída Binários {-1,1}

Perceptron

wji = si.sj “Hebbian Learning Rule”

wji = si.tj Regra de aprendizado do Perceptron

sjsi

wji

PEjPEiatividade pré-sináptica

atividade pós-sináptica

tj

• Inspiração na Regra de Hebb:

Perceptron

• Como t,s {-1, +1}, as fórmulas abaixo são equivalentes:

wji = .tj.xi se tj sj

0 caso contrário

wji =.(tj. - sj).xi

Se tj ≠ sj tj – sj = 2tj 2 se tj = 1 e sj = -1

-2 se tj = -1 e sj = 1

Algoritmo de AprendizadoInicialização:

pesos iniciados com valores aleatórios e pequenos (w0.1)

Treinamento:

Loop1 até que o erro de cada processador de saída seja tolerância, para todos os padrões do conjunto de treinamento.

Loop2 até terminar de apresentar todos os padrões

Aplica-se um padrão de entrada Xi com o respectivo vetor de saída Yidesejado.

Calcula-se as saídas de cada processador (sjp).

Calcula-se o erro para cada processador (ejp= tj

p - sjp ). Se erro

tolerância, para todos os processadores, volta ao passo .

Atualiza os pesos de cada processador (wjip = .xi

p .ejp).

Volta ao passo

Fim Loop2

Fim Loop1

Algoritmo de Aprendizado

IMPORTANTE:

não ocorre variação no peso se a saída

estiver correta;

caso contrário, cada peso é incrementado

de 2 quando a saída é menor que o target

e decrementado de 2 quando a saída é

maior que o target.

O Problema do OU-Exclusivo

Rosenblatt (1962) provou que:

Uma rede Perceptron é capaz de

Aprender tudo que puder Representar.

Representação refere-se à habilidade do

sistema neural de representar (simular) uma

função específica (Existe um conjunto de parâmetros

– pesos – que representa a função desejada)

Aprendizado refere-se à existência de um

procedimento sistemático de aquisição de

conhecimento (ajuste dos pesos), de forma a

produzir a função desejada

O Problema do OU-Exclusivo

• Minsky & Papert provaram (Perceptrons 1969)

que existem sérias restrições sobre o que as

redes Perceptron são capazes de Representar.

• Por exemplo, as redes Perceptron NÃO são

capazes de Representar a função OU-Exclusivo

O Problema do OU-Exclusivo

PONTO X1 X2 Saída

A0 0 0 0A1 0 1 1A2 1 0 1A3 1 1 0

F(net)w2

w1

x2

x1

saída: s

De acordo com a definição do

neurônio: s = F( x1w1 + x2w2 + )

net = x1w1 + x2w2 +

Função Degrau

Se net 0 s = 1

Se net < 0 s = 0

A rede Perceptron divide o

plano X1 x X2 em duas

regiões (através da reta net)

x1

x2

A3

A2

A0 A1

-

- w1

w2

Região de s = 0

Região de s = 1

+1

O Problema do OU-Exclusivo

Conclusão:

– mudando-se os valores de w1, w2 e ,

muda-se a inclinação e a posição da reta.

– Entretanto, é impossível achar uma reta

que divida o plano de forma a separar os

pontos A1 e A2 de um lado e A0 e A3 de

outro.

– Redes de 1 única camada só representam

funções linearmente separáveis!

Análise Geométrica

O Problema do OU-Exclusivo

x1

x2

A3

A2

A0 A1 x1

x2

A3

A2

A0 A1

x1

x2

A3

A2

A0 A1

Função AND

Função OU-Exclusivo

Função OR

Minsky & Papert provaram que este

problema pode ser solucionado

adicionando-se uma outra camada

intermediária de processadores.

Multi-Layer Perceptrons

O Problema do OU-Exclusivo

Análise Geométrica

Perceptron – 1 camada apenas Multi-Layer Perceptron –

inserção de camada escondida

Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para

Engenharia e Ciências Aplicadas: Curso Prático, Artliber Editora, 2010.

O Problema do OU-ExclusivoExemplo:

x1

x2

A3

A2

A0 A1s1

Região de

s1 = 1

Região de

s2 = 0

s2

s1

wj2=+1

wj1 = -2 j = -0.5

w12

w21

w22

w11

+1

x2

x1

sj

s2

s1

w11 = w12 = w21 = w22 = +1

-1.5

-0.5

+1

net2 = x1.w21 + x2.w22 + 2 = 0

x1 + x2 – 0,5 = 0

x2 = - x1 + 0,5

O Problema do OU-ExclusivoExemplo:

sj = 1 s1wj1 + s2wj2 + j 0

-2s1 + s2 - 0.5 0

-2s1 + s2 0.5

x1

x2

A3

A2

A0 A1s1

Região de

s1 = 1

Região de

s2 = 0

s2

s1

wj2=+1

wj1 = -2 j = -0.5

w12

w21

w22

w11

+1

x2

x1

sj

s2

s1

w11 = w12 = w21 = w22 = +1

-1.5

-0.5

+1

s1 é inibitórios2 é excitatório

Região de

sj= 1

• Observação:

Redes Neurais de múltiplas camadas

só oferecem vantagens sobre as de

uma única camada se existir uma

função de ativação não-linear entre

as camadas!

O Problema do OU-Exclusivo

• Em termos vetoriais:

Camada Escondida NETH = XI . WH

SH = k1 NETH

Camada de Saída NETO = SH.WO

SO = k2 NETO

SO = k2 [SH.WO]

SO = k2 [(k1 NETH).WO]

SO = k2 [(k1 (XI . WH)).WO]

SO = (k2 k1) XI . (WH.WO)]

SO = K . XI . (WH.WO)

SO = K . XI . WT

Equivalente a uma camada

O Problema do OU-Exclusivo

PE3

PE2

PE1

PEn

PE1

PE2

PEm

Vetor SO

s1

s2

.

.

.

sn

Vetor SH

Vetor de

Entrada

XI

WOWH

Função Linear

O Problema do OU-Exclusivo

PE1

PE2

PEm

Vetor SO

s1

s2

.

.

.

sn

Vetor de

Entrada

XI

WT

Função Linear

• Em termos vetoriais:

Duas camadas com função linear SO = K . XI . WT

Uma camada de Saída linear NETO = XI.WT

SO = K . XI . WT

Equivalente a uma camada