introducao redes neurais - inf.ufsc.brmauro/ine5377/Cursos-ICA/ICA-introducao_redes... · –60 trilhões de conexões - 1014 sinapses! Œ –Cada pessoa pode dedicar 100.000 conexões

1

Sistemas InteligentesSistemas Inteligentes-- Redes Redes Neurais Neurais --

Marley Marley Maria B.R.Maria B.R. VellascoVellasco

ICA: Núcleo de Pesquisa em Inteligência ICA: Núcleo de Pesquisa em Inteligência Computacional AplicadaComputacional Aplicada

PUCPUC--RioRio

CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão

•• Processamento Processamento NeuralNeural– Recall e Learning

•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive

Learning (Mapa de Kohonen).

2







MOTIVAÇÃOMOTIVAÇÃOConstatação que o cérebro processa informações de forma diferente dos computadores convencionais

ê COMPUTADORCOMPUTADOR

processamento extremamente rápido e preciso na execução de seqüência de instruçõesè muito mais lento no reconhecimento de padrões

êProcessamento altamente paraleloProcessamento altamente paralelo

(10(101111 neurônios com 10neurônios com 1044 conexões cada)conexões cada)

CÉREBROCÉREBRO

velocidade 1 milhão de vezes mais lenta que qualquer “gate”digital è processamento extremamente rápido no reconhecimento de padrões

3

Problema dos 100 PassosProblema dos 100 Passos

Neurônio: 2msî

Processador: 2nsí

Processador é 106 mais rápido que o neurônio

êCérebro reage a um estímulo entre 0,20,2 e 1 seg.

êO cérebro responde em 100 passos100 passos

MOTIVAÇÃOMOTIVAÇÃO•• Observações:Observações:

– O cérebro tem ∼ 10 bilhões10 bilhões de neurônios.– Cada neurônio tem ∼ 1.0001.000 a 10.00010.000 conexões

ê–– 60 trilhões60 trilhões de conexões - 10101414 sinapsessinapses!

ê– Cada pessoa pode dedicar 100.000 conexões100.000 conexões

para armazenar cada segundo de experiência(65 anos ⇒ 2.000.000.000 de segundos!)

– Durante os 2 primeiros anos de vida, 1.000.0001.000.000de de sinapsessinapses são formadas por segundo!!

4







OBJETIVOOBJETIVO

Estudar a teoria e a implementação de sistemas massivamente massivamente paralelosparalelos, que possam processar informações com eficiência comparáveleficiência comparável ao cérebro.

5

DEFINIÇÃODEFINIÇÃO

Redes Redes Neurais Neurais ArtificiaisArtificiais são sistemas inspirados nos neurônios biológicosneurônios biológicos e na estrutura estrutura massivamente massivamente paralelaparalela do cérebro, com capacidade de adquiriradquirir,armazenararmazenar e utilizarutilizar conhecimento experimental.

IDÉIA BÁSICAIDÉIA BÁSICASistemas compostos de diversas Sistemas compostos de diversas unidades simplesunidades simples (neurônios artificiais) (neurônios artificiais) ligadas de maneira apropriada, podem ligadas de maneira apropriada, podem gerar gerar comportamentos interessantescomportamentos interessantes e e complexoscomplexos..

ComportamentoComportamento é determinado pela é determinado pela estrutura das ligações (estrutura das ligações (topologiatopologia) e ) e pelos pelos valores das conexõesvalores das conexões (pesos (pesos sinápticossinápticos))

6

Aquisição de Conhecimento:Aquisição de Conhecimento:AprendizadoAprendizado

Treinamento efetuado através da apresentação de exemplos

êExiste uma variedade de algoritmosalgoritmos que

estabelecem QUANDO e COMO os parâmetros da Rede Neural devem ser atualizados

êAlgoritmos: Substituem a programação necessária

para a execução das tarefas nos computadores

APLICAÇÕES GERAISAPLICAÇÕES GERAISþ Reconhecimento de Padrõesþ Classificação de Padrõesþ Correção de Padrõesþ Previsão de Séries Temporaisþ Aproximação de Funçõesþ Suporte à Decisãoþ Geração de Informaçãoþ Descoberta de Conhecimento

7







Características BásicasCaracterísticas Básicas

Devido à similaridade com a estrutura do cérebro, as Redes Neurais exibem características similares ao do comportamento humano, tais como:

8


•• Procura Paralela e Procura Paralela e

Endereçamento pelo ConteúdoEndereçamento pelo Conteúdo::

O cérebro nãonão possui endereço de endereço de memóriamemória e nãonão procuraprocura a informação sequencialmentesequencialmente


•• AprendizadoAprendizado::

A rede aprende por experiênciaaprende por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa

9


•• AssociaçãoAssociação::

A rede é capaz de fazer associações entre padrões diferentes

Ex: Cidade è PessoaPerfume è PessoaPessoa è Nome


•• GeneralizaçãoGeneralização::

Habilidade de lidar com ruruíídos e distordos e distorççõesões, respondendo corretamente a padrões novos.

è

Redes Neurais são capazes de generalizar o seu generalizar o seu conhecimentoconhecimento a partir de exemplos anteriores

10


•• Robustez e Degradação GradualRobustez e Degradação Gradual::

A perda de um conjunto de elementos processadores e/ou conexões sinápticasnão causa o mal funcionamento da rede neural.







11

EVOLUÇÃOEVOLUÇÃOMcCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943),

“A Logical Calculus of Ideas Immanent in Nervous Activity”

Von Neumann Marvin Minsky Frank RosenblattMachine

IntelligenceMacroscopicIntelligence

MicroscopicIntelligence

1945 DigitalComputers

1950 Black-Box AI(LISP)

Perceptron,Adaline

1960 Mainframes Theorem Solver1970 Vax 780

(Time Sharing)Expert Systems

1980 Workstations,PCs

Commercializationof E.S.

Rumelhart,Hopfield

1990 DesktopSupercomputers

Commercializationof N.N.

EVOLUÇÃOEVOLUÇÃO

•• Modelo de Modelo de McCullochMcCulloch--PittsPitts::ww11

ww22

wwnn

xx11

xx22

xxnn

T

wi = + 1-i = 1,2,..., n

ssEntradas(valores 0,1)

Entradas(valores 00,,11)

n

sk+1 = 1 se Σ wi xik ≥ T

i=1

n

0 se Σ wi xik < T

i=1

n

sk+1 = 1 se Σ wi xik ≥ T

i=1

n

0 se Σ wi xik < T

i=1

12

EVOLUÇÃOEVOLUÇÃO•• Modelo de Modelo de McCullochMcCulloch--PittsPitts::

T=0

T=0

T=0

T=1 T=1 T=0

T=1

x1

x2

x1

x3

x21

x3

-1 s

entradaexcitatória

sk+1 = xk

1

1

1

1

1

11

-1

-1

-1

-1

s

entradainibitória

NAND __A B AB0 0 10 1 11 0 11 1 0

NANDNAND ____A B ABA B AB0 0 10 0 10 1 10 1 11 0 11 0 11 1 01 1 0

NOR ___A B A+B0 0 10 1 01 0 01 1 0

NORNOR ______A B A+BA B A+B0 0 10 0 10 1 00 1 01 0 01 0 01 1 01 1 0

Célula de Memóriana ausência de entradas,a saída é armazenada indefinidamente

Célula de MemóriaCélula de Memóriana ausência de entradas,na ausência de entradas,a saída é armazenada a saída é armazenada indefinidamenteindefinidamente

HISTÓRICOHISTÓRICO• McCulloch& Pitts (1943):

– modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado

• Hebb (1949):– modelo de aprendizado ((Hebbian Learning RuleHebbian Learning Rule))

• Rosenblatt (1957):– Perceptron, com grande sucesso em certas aplicações e

problemas em outras aparentemente similares

• Minsky& Papert ( Perceptrons 1969):– prova matemática de que as redes Perceptron são incapazes

de solucionar problemas simples tipo OU-EXCLUSIVO

• Rumelhart (início da década de 80):– novos modelos que superaram os problemas dos Perceptrons.

13







CONCEITOS BÁSICOSCONCEITOS BÁSICOS

•• Neurônio ArtificialNeurônio Artificial– (Elemento Processador)

•• Estruturas de Estruturas de InterconexãoInterconexão– FeedForward de 1 camada– FeedForward de Múltiplas Camadas– Recorrente (com realimentação)

14

Elemento ProcessadorElemento ProcessadorElemento Processador inspirado no Neurônio Biológico

Squashing FunctionSquashing Function

Elementos BásicosElementos Básicos

•• Estado de AtivaçãoEstado de Ativaçãoè sj

•• Conexões entre ProcessadoresConexões entre Processadores– a cada conexão existe um peso sináptico

que determina o efeito da entrada sobre o processador è wji

•• Função de AtivaçãoFunção de Ativação– determina o novo valor do Estado de

Ativação do processador è sj = F (netj)

15

Funções de AtivaçãoFunções de Ativação

É a função que determina o nível de ativação do Neurônio Artificial: sj = F(netj)

F(net j) F(net j)F(net j)

net jnet j net j

DegrauDegrau PseudoPseudo--LinearLinear SigmoidSigmoid

RN x Sistema Nervoso RealRN x Sistema Nervoso Real

üFeed-Forwardü totalmente

conectadaüestrutura uniformeüpoucos tipos de

processadoresügeralmente estática

ØRecorrenteØ conexões localizadas

Ømódulos funcionaisØ centenas de tipos de

neurôniosØdinâmico

16

Tipos de ProcessadoresTipos de Processadores

è Recebe os dados de entrada

è Apresenta os dados de saída

è As suas entradas e saídas permanecem dentro do sistema

ExemplosExemplos

Regressão Linear:y = a0 + a1x1 + a2x2 + a3x3

Variáveis explicativas

Representação Neural

Bias = +1

a2

a1a0

a3x3

x2

x1

yFunçãolinear

Acha a retareta com erro mínimo que passe pelos pontos existentes(padrões de treinamento)

Reta obtidapela regressão

Deslocamentoem funçãodo a0 (bias)

17

ExemplosExemplos

Transformada de Fourier:

y = a0 + a1sen(wt + φ1) + a2sen(2wt + φ2) + a3sen(3wt + φ3) + ...

RepresentaçãoNeural

+1(bias )

t(tempo)

y

Todos com funçãode ativação senoidal

FunçãoLinear

w

a1

a0

a3

a2

3w2w

φ2φ3

φ1

CONCEITOS BÁSICOSCONCEITOS BÁSICOS

•• Neurônio ArtificialNeurônio Artificial– (Elemento Processador)

•• Estruturas de Estruturas de InterconexãoInterconexão– FeedForward de 1 camada– FeedForward de Múltiplas Camadas– Recorrente (com realimentação)

18

Topologias Topologias das Redes das Redes NeuraisNeurais

•• Redes Redes FeedFeed--ForwardForward::– redes de uma ou mais camadas de

processadores, cujo fluxo de dadosfluxo de dados é sempre em uma única direçãouma única direção, isto é, não existe realimentação.

•• Redes RecorrentesRedes Recorrentes::– redes com conexões entre processadores da

mesma camada e/ou com processadores das camadas anteriores (realimentaçãorealimentação).

Redes Redes FeedFeed--ForwardForward

Redes de uma camadaRedes de uma camada

PE3

PE2

PE1

PEn

19

Redes Redes FeedFeed--ForwardForward

Rede de Múltiplas CamadasRede de Múltiplas Camadas

PE3

PE2

PE1

PEn

CamadaEscondida Camada

de Saída

PE1

PE2

PEm

Redes RecorrentesRedes Recorrentes

I n p u tI n p u t

O u t p u tO u t p u tRReeaallii

mmeennttaaççããoo

20


I n p u tI n p u t






21




Rede Convergiu para um estado estávelRede Convergiu para um estado estável




•• Processamento Processamento NeuralNeural–– Recall Recall e e LearningLearning



22

Processamento Processamento NeuralNeural

O processamento de uma Rede Neural pode ser dividido em duas fases:

Processo de cálculo da saída da rede, dado um certo padrão de entrada -Recuperação da InformaçãoRecuperação da Informação

Processo de atualização dos pesos sinápticos para a aquisição do conhecimento - Aquisição da InformaçãoAquisição da Informação

AprendizadoAprendizado

23

AprendizadoAprendizado

• Processo pelo qual os parâmetros livres -pesos sinápticos - de uma rede neural são adaptados através de um processo contínuo de estimulação pelo ambiente.

• Existem 4 tipos principais de aprendizado:þ Treinamento Supervisionado (TS);þ Treinamento Não-Supervisionado;þ Treinamento em “Batch”;þ “Reinforcement Learning”.

Treinamento SupervisionadoTreinamento Supervisionado

Geralmente efetuado através do processo de minimização minimização do errodo erro calculado na saída.

A rede é treinada através do fornecimento dos valores de entradaentrada e de seus respectivos valores desejados de sasaíída da (“training pair”).

24


PESOSAJUSTÁVEIS

(W)

PESOSPESOSAJUSTÁVEISAJUSTÁVEIS

(W)(W)

CÁLCULODO ERRO

(e)

CÁLCULOCÁLCULODO ERRODO ERRO

(e)(e)

PADRÃOPADRÃODE ENTRADADE ENTRADA

(X)(X)SAÍDASAÍDA

(s)(s)

VALORVALORDESEJADODESEJADO

(t)(t)

e(t,s)e(t,s)


25


FUNÇÕES OBJETIVO: Genérica

• Sum ofSum of SquaredSquared ErrorsErrors:ESSE = Σp Σi (tpi - ypi)2

p = padrõesi = elemento processador de saída

Treinamento NãoTreinamento Não--SupervisionadoSupervisionado

“Self-Organization” è Não requer o Não requer o valor desejado de savalor desejado de saíídada da rede. O sistema extrai as características do conjunto de padrões, agrupando-os em classes inerentes aos dadosclasses inerentes aos dados.

Aplicado a problemas de ClusterizaçãoClusterização

26

PESOSAJUSTÁVEIS

(W)

PESOSPESOSAJUSTÁVEISAJUSTÁVEIS

(W)(W)

PADRÃOPADRÃODE ENTRADADE ENTRADA

(X)(X)SAÍDASAÍDA

(s)(s)

Treinamento NãoTreinamento Não--SupervisionadoSupervisionado

Treinamento em “Treinamento em “BatchBatch””

Os valores dos pesos sinápticos são estabelecidos a priori, em um único passo. Também chamado de

GravaçãoGravação - “Recording”

27

““Reinforcement LearningReinforcement Learning””

• Semelhante ao Treinamento Supervisionado (existe um objetivo);

• NÃO existe um target para cada padrão;• Existe uma realimentação (sinal de reforço)

que avalia a resposta como boa ou ruim;• O objetivo é maximizar a quantidade de reforço

positivo è Ex. aprendizado de jogos.

Recuperação de DadosRecuperação de Dados

28


Assumindo que um conjunto de padrões tenha sido armazenadoarmazenado, a Rede Neural pode executar as seguintes tarefas:

– Auto-associação– Hetero-associação– Classificação

GENERALIZAÇÃOGENERALIZAÇÃO


AutoassociaçãoAutoassociação::A Rede Neural recupera o padrão armazenado mais semelhante ao padrão de entrada apresentado. Recuperação de

padrões ruidosos

Padrão de entrada distorcido

Padrão correto recuperado

29


HeteroassociaçãoHeteroassociação::A Rede Neural armazena a associação entre um par de padrões. Recuperação de um

padrão diferente do da entrada.

Padrão de entrada com ou sem ruído

Padrão correto recuperado


Padrão de entrada com ou sem ruído

Classe 3 - Quadrados

Classe 3

Classe 2

Classe 1

Classificação:Classificação:A Rede Neural responde com a informação relativa à classe a qual o padrão de entrada pertence.

Ex: Padrões de entrada divididos em 3 classes distintas.

Caso especial de Heteroassociação

30


Generalização:Generalização:A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento .

GENERALIZAÇÃOGENERALIZAÇÃO

A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento . Interpola corretamente os novos

pontos apresentados

x

f(x)

x1 x2 x3 x4 x5Xnovo

generalizações Boa interpolação

Interpolação ruim

x iè pontos do conjunto de treinamentoxnovo è novo ponto para generalização

31

Exemplos de Treinamento Exemplos de Treinamento SupervisionadoSupervisionado

� Reconhecimento de CaracteresReconhecimento de Caracteres

� Previsão de Séries TemporaisPrevisão de Séries Temporais

Reconhecimento de Reconhecimento de CaracteresCaracteres

32

H 1I 1

I 2

I 3

H 2

H 3

O 1

O 2

O 3

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

Alvo

Processo de AprendizadoProcesso de Aprendizado

w

AtividadeNeural

EntradaPesos

Escondida SaídaPesos

Dados paraTreinamento

H 1I 1

EntradaPesos

Escondida

I 2

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

O 1

Saída

O 2

O 3

w

w

w

w

w

w

w

w

w

Erro = -


Pesos


Atualização dos pesos em função do erroAtualização dos pesos em função do erro

33

Alvo

Processo de AprendizadoProcesso de AprendizadoAtividade

Neural

H 1I 1

I 2

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

ww

EntradaPesos

EscondidaPesos


O 1

O 2

O 3

Saída

H 1I 1

I 2

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

O 1

O 2

O 3

w

w

w

w

w

w

w

w

w

Erro = -



EntradaPesos


Atualização dos pesos em função do erroAtualização dos pesos em função do erro

34

Alvo

Processo de AprendizadoProcesso de AprendizadoAtividade

Neural

H 1I 1

I 2

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

ww

EntradaPesos

EscondidaPesos


O 1

O 2

O 3

Saída

Processo de GeneralizaçãoProcesso de Generalização

Recuperação da Informação Aprendida

35

H 1I 1

Novo dado(não apresentado

durante o treinamento)

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

O 1

O 2

O 3

w

w

w

w

w

w

w

w

w


I 2

AtividadeNeural

EntradaPesos


Processo de GeneralizaçãoProcesso de GeneralizaçãoAtividade

Neural

H 1I 1

I 2

I 3

H 2

H 3

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

w

ww

EntradaPesos

EscondidaPesos

O 1

O 2

O 3

Saída

Resposta Resposta correta a um correta a um novo padrão!novo padrão!

36

Previsão de Previsão de Séries TemporaisSéries Temporais

Série temporal

janela

alvo

Entradasda rede =n valorespassados

Estrutura da Rede Estrutura da Rede NeuralNeural

Dados de Treinamento

Saída Desejada =

valor da sériek passos à

frente

Ex: 5 valores passados

Ex: valor um passo à frente

37

Entradasda rede

Saída da rede:Valor previstoum passo à frente

Processo de AprendizadoProcesso de AprendizadoSérie temporal

janela

alvo


Ajuste dos pesosa partir do erro(Erro= alvo - previsto)

Entradasda rede


Processo de AprendizadoProcesso de AprendizadoSérie temporal

janela

alvo


38

janela

alvo

Entradasda rede


Série temporal


Ajuste dos pesosa partir do erro(Erro= alvo - previsto)



Recuperação da Informação Aprendida

39

janela

Entradasda rede


Série temporal


janelaprevisto

Entradasda rede

Saída da rede:Valor previsto


Série temporal


Dados previstos

40

janela previsto

Entradas da rede:inclui o(s) valor(es) previstos pela Rede

Saída da rede:Valor previsto


Série temporal

Dados previstos


Documents

introducao redes neurais - inf.ufsc.brmauro/ine5377/Cursos-ICA/ICA-introducao_redes... · –60 trilhões de conexões - 1014 sinapses! Œ –Cada pessoa pode dedicar 100.000 conexões