Redes Neurais

Redes Neurais

Uso de Redes Neurais MLP para resolver problemas de reconhecimento

de padrões

Alexandre de Oliveira Stauffer

Modelo Geral

...

X1

X2

XN

W1

W2

WN

Função de Ativação Função de

PropagaçãoY

1, se Z>=10, cc

Modelo bidimensional

X1

X2

W1

W2 Z=X1W1+X2W2 Y

1

0

2

-3 Z=2 1

Modelo bidimensional

1

1 X1

X2

2X1-3X2-1=0

Treinamento

Reconhecer função lógica OR; Pesos Iniciais: [1, 1] Bias Inicial: 3

Y=1, se X1+X2-3>=0

Y=0, cc

Regra Delta: ΔWi=-λεX

X1+X2-3=0

Dinâmica de Treinamento

1

1 X1

X2

X1 X2 Y T ε

0 0 0 0 0

0 1 0 1 -1

1 0 0 1 -1

1 1 1 1 0

X1+2X2-2=0

2X1+2X2-1=0

Redes MLP – Backpropagation

X Y

MLP: Treinamento

Conjuntos: treinamento, testes e validação; devem possuir amostras de todas as classes; devem possuir amostras bem distribuídas de

todas as classes;

MLP: Treinamento

Treinamento

Erro

T

MLP: Normalização

Ordenadas da entrada com magnitudes diferentes: Pressão Sangüínea; Idade; Taxa de colesterol no sangue;

Xi=(Xi-μ)/σ μ – estimador da média; σ - estimador do desvio padrão;

MLP: Iniciar Pesos

0

1

Devem ser próximos de zero; Devem ser inicializados de forma randômica

(uniformemente distribuídos);

MLP: Tx. Aprendizagem

Erro

W

Solução: Taxa de aprendizagem adaptativa, que diminua com o tempo de aprendizagem;

MLP: Termo Momentum

Erro

W

Diminui instabilidade da rede; Regra Delta: ΔWi+1=-λεX+α ΔWi

MLP: Matriz de Confusão

Resultado Esperado

Dígitos Letras

0 1 2 5 I O S Z

Resultado da R

NA

Dígitos

0 235 0 0 0 0 242 0 0

1 0 181 4 0 14 0 0 0

2 0 3 387 0 8 0 0 67

5 0 0 0 211 2 0 188 0

Letras

I 0 165 0 0 243 0 0 0

O 116 1 0 0 0 165 0 0

S 0 2 0 69 1 0 182 0

Z 0 0 46 0 8 0 0 451

Total: 385 416 492 299 332 463 388 557

MLP: Estimadores

Estimador da média: centro de cada classe; Estimador de desvio padrão: grau de

dispersão da classe em torno de sua média;Mais Dispersas Menos Dispersas

Classe DP Classe DP

2 93,3293 B 71,4913

R 89,0912 P 72,0197

1 88,4283 F 72,5803

N 87,4772 Zero 72,6019

M 87,1319 O 72,6642

MLP: PCA

Redução na dimensão do vetor de entradas; Perda de informação; Diminuição na complexidade da RNA; Eliminação de Ruídos;

Calculado a partir da matriz de covariância;

Referências

C. M. Bishop, Neural Network for Pattern Recognition, Oxford University, 1995.

A. P. Braga, A. P. L. F. Carvalho, T. B. Ludemir, Fundamentos de Redes Neurais Artificiais, XI Escola de Computação, 1998.

http://ltc.nutes.ufrj.br/stauffer/rna stauffer@centroin.com.br