1Antonio G. Thomthome@nce.ufrj.br

Fundamentos sobre Fundamentos sobre RNsRNs Parte 1Parte 1

Universidade Federal do Rio de Janeiro

www.labic.nce.ufrj.br

GRADUAO - 2007/1

fev-072

So modelos computacionais que emulam a estrutura e o funcionamento do crebro humano.

So modelos computacionais que emulam a estrutura e o funcionamento do crebro humano.

O que so Redes Neurais?

Aprendizagem Reconhecimento de Padres Representao do Conhecimento Generalizao Paralelismo

Caractersticas mais relevantes

2fev-073

So modelos computacionais que, atravs de um conjunto de elementos de processamento muito simples (atuando como neurnios), altamente conectados e processando em paralelo, so capazes de:

Redes Neurais

gerar seu prprio conhecimento (aprender);

reconhecer e classificar padres (formas);

generalizar o conhecimento adquirido.

Redes Neurais no so programadas para solucionar um problema ...

... elas aprendem sozinhas a solucionar um tipo de problema.

Redes Neurais no so programadas para solucionar um problema ...

... elas aprendem sozinhas a solucionar um tipo de problema.

fev-074

So inspiradas So inspiradas no modelo no modelo

biolgico do biolgico do crebro crebro humanohumano

Capacidade deAprendizado

autnomo

Inteligncia

3fev-075

O.k., and now youll doexactly what Im telling you !

Redes Neurais sero autnomas?

fev-076

a faculdade de aprender, compreender e adaptar-se. agudeza de raciocnio e perspiccia

Aurlio Buarque de Holanda

yPercepoyReconhecimento de PadresyAprendizagemyRaciocnioyConhecimento

Componentes dComponentes doo processoprocesso

O Que Inteligncia?O Que Inteligncia?O Que Inteligncia?

4fev-077

IntelignciaInteligncia

Inteligncia Artificial

Sistemas Especialistas

Agentes Inteligentes

Lgica Nebulosa

Algoritmos Genticos

Redes Neurais

Inteligncia Computacional

fev-078

Raciocnio Simblico

Entendimento e Compreenso

Conhecimento Explcito

Lgica Tradicional

Percepo

Processamento Numrico

Comparao de Padres

Aprendizado

James Bezdek1981

Tradicional Novas Abordagens

Dcada 60

John MacCarthyStandford, 1956

5fev-079

Atua nos nveis mais elevados de inteligncia.

Inteligncia Computacional:Atua nos nveis mais bsicos de inteligncia.

yPercepoyReconhecimento de PadresyAprendizagemyRaciocnioyConhecimento

Inteligncia ArtificialInteligncia ArtificialInteligncia Artificial

fev-0710

yPercepoyReconhecimento de PadresyAprendizagem

Lgica no tradicionalConceitos de Seleo das EspciesConceitos Imunolgicos

Redes Neurais (Neuronais)

Sistemas Nebulosos

Algoritmos e Programao Gentica

Sistemas Imunolgicos

Redes Neurais (Neuronais)

Sistemas Nebulosos

Algoritmos e Programao Gentica

Sistemas Imunolgicos

Inteligncia ComputacionalInteligncia ComputacionalInteligncia Computacional

6fev-0711

Conhecimento

Raciocnio

Aprendizagem voluntria

formal informal

involuntria adestramento

induzido formal intuitivo

espontneo percepo

adquirido formalizado armazenado

+

generalizao

formalizado

IntelignciaIntelignciaInteligncia

fev-0712

Conhecimento se refere a informaoarmazenada ou a modelos utilizados

por uma pessoa ou mquina para interpretar, prever e responder

apropriadamente a estmulos do mundo exterior.

ConhecimentoConhecimentoConhecimento

7fev-0713

Nos primrdios da computao? integrado ao hardware - fixo

Nas primeiras mquinas programveis? agregado ao hardware genrico integrado ao software - implcito

Como pode ser representado?

ConhecimentoConhecimentoConhecimento

fev-0714

Nos modelos de IA - Sistemas Especialista agregado ao software explcito bases de conhecimento

Nos modelos de IC Redes Neurais agregado ao hardware e ao software aprendido pelo prprio modelo

Como pode ser representado?

ConhecimentoConhecimentoConhecimento

8fev-0715

So modelos computacionais que, atravs de um conjunto de elementos de processamento muito simples (atuando como neurnios), altamente conectados e processando em paralelo, so capazes de:

gerar seu prprio conhecimento - aprendizado;

reconhecer e classificar padres - percepo;

generalizar o conhecimento adquirido - conhecimento.

Redes Neurais no so programadas para solucionar um problema ...

... elas aprendem sozinhas a solucionar um tipo de problema.

Redes Neurais no so programadas para solucionar um problema ...

... elas aprendem sozinhas a solucionar um tipo de problema.

Redes NeuraisRedes NeuraisRedes Neurais

fev-0716

X Y

Redes NeuraisFundamentos

9fev-0717

?

1943 - McCulloch e Pits

1962 - Rosemblat

1963 - Bernard Widrow

1969 - Minsky e Papert

1982 - John Hopfield

1986 - Rumelhart

2000 - ????

Estudo do Neurnio

O Perceptron

Filtros Adaptativos

Crtica aos Perceptrons

Resgata Interesse em RNs

Alg. Backpropagation

Breve HistricoBreve HistricoBreve Histrico

fev-0718

z 1943: trabalho pioneiro de McCulloch e Pitts McCulloch: psiquiatra e neuroanatomista Pitts: matemtico descrio do modelo formal de um neurnio acreditavam que um nmero suficiente de neurnios atuando de

forma adequada poderiam, a princpio, computar qualquer funo computvel

z 1949: Hebb publica o livro The Organization of Behavior formulao da primeira regra de aprendizagem

z 1958: Rosemblat prope o Perceptron como um mtodo inovador de aprendizagem supervisionada demonstrao do teorema da convergncia

HistricoHistricoHistrico

10

fev-0719

z 1960: Widrow e Hoff descrevem o ADALINE (ADAptative LINear Element )

formulao da regra delta

z 1969: Minsky e Papert demonstram as limitaes do Perceptron

aplicvel apenas a problemas linearmente separveis

z Dcada de 1970: adormecimento das pesquisas em redes neurais

livro de Minsky e Papert

HistricoHistricoHistrico

fev-0720

z 1982: Hopfield publicou um estudo sobre as propriedades associativas das redes neurais

relao entre redes recorrentes e sistemas fsicos

z 1986: Rumelhart, Hinton e Williams desenvolvem o

algoritmo backpropagation

formulao da regra delta generalizada

z 1988: Broomhead e Lowe descrevem um procedimento para o projeto de redes utilizando funes de base radial

HistricoHistricoHistrico

11

fev-0721

So construdos, no programados.

Geram seu prprio conhecimento aprendem.

Oferecem solues aproximadas, no exatas.

Oferecem solues que podem ou no estar corretas.

No so aplicveis a qualquer problema.

Generalizam o conhecimento apreendido.

So construdos, no programados.

Geram seu prprio conhecimento aprendem.

Oferecem solues aproximadas, no exatas.

Oferecem solues que podem ou no estar corretas.

No so aplicveis a qualquer problema.

Generalizam o conhecimento apreendido.

Caractersticas dos Modelos NeuraisCaractersticas dos Modelos NeuraisCaractersticas dos Modelos Neurais

fev-0722

Problema

Modelos

AprendeDados Histricos

Banco de Dados

Procedimentos

Conhecimento

12

fev-0723

z Identificar o Problema;z Entender o Problema;z Formular um Procedimento Lgico de Soluo;z Implementar o Procedimento de Soluo;z Testar e Corrigir o Modelo;z Coletar / Organizar / Formatar Dados;z Executar o Modelo.

Conhecer e ser capaz de conceber a soluoConhecer e ser capaz de conceber a soluo

Sistemas ConvencionaisSistemas ConvencionaisSistemas Convencionais

fev-0724

9 no se conhece um procedimento de soluo, ou9 a soluo muito complexa, ou9 os critrios de deciso so imprecisos, ou9 os dados so incompletos, ou 9 so afetados por perturbaes aleatrias, ou9 no possuem uma forma (padro) definido.

Como proceder quando?

13

fev-0725

Percevejo

Abelha

Marimbondo

Mapeamento

desconhecido

inconsistncia

ambigidade

invarincia

rudo

MapeamentoMapeamento

desconhecidodesconhecido

inconsistnciainconsistncia

ambigidadeambigidade

invarinciainvarincia

rudorudo

CLASSIFICAO

fev-0726

Sistemas Inteligentes com capacidade de processamento Convencional e Adaptativo

Tendncias das Aplicaes ComplexasTendncias das Aplicaes ComplexasTendncias das Aplicaes Complexas

14

fev-0727

Classes de ProblemasPara

Redes Neurais

Classes de ProblemasPara

Redes Neurais

fev-0728

Busca por uma funo que consiga classificar automaticamente objetos em uma dentre um conjunto

finito e pr-definido de classes.

A construo do modelo segundo esta estratgia, pressupe o conhecimento prvio das possveis classes e

a correta classificao dos exemplos usados na modelagem.

Exemplo: em anlise de risco - classificar um potencial cliente entre as categorias de excelente, bom ou mau

pagador.

ClassificaoClassificaoClassificao

15

fev-0729

Consiste na busca de similaridades entre os dados tal que permita definir um conjunto finito de classes ou categorias

que os contenha e os descreva.

A principal diferena entre esta abordagem e classificao que em agregao no se tem conhecimento prvio sobre o nmero de classes possveis nem a possvel pertinncia dos

exemplos usados na modelagem.

Descobrir grupos homogneos de clientes uma das possveis aplicaes e pode ser usada para ajudar na definio da estratgia de marketing a ser adotada.

Categorizao (Clustering)Categorizao (Categorizao (ClusteringClustering))

fev-0730

Consiste na associao do padro corrente ao padro representativo de uma e somente uma entidade

previamente armazenada em memria.

Uma das formas mais conhecida de reconhecimento , por exemplo, o reconhecimento de locutor.

ReconhecimentoReconhecimentoReconhecimento

16

fev-0731

Envolve uma componente temporal, isto , representa aquela classe de problemas nos quais estamos

interessados em prever o comportamento ou valor futuro de uma determinada varivel com base em valores

anteriores desta mesma varivel (mono-varivel) ou em valores anteriores da varivel de interesse e de outras

variveis (multivarivel).

PrevisoPrevisoPreviso

fev-0732

Previso e realizao nem sempre saem como planejado.

Come on! It cant go

wrong every time...Vamos l, no

podemos errar todas...

17

fev-0733

Etapas de um Projetocom aplicao de

Redes Neurais

Etapas de um Projetocom aplicao de

Redes Neurais

fev-0734

Dados Histricos

PPrreeppaarraaoo

Descritoresanliseseleo

preparao

Produo

Dados Correntes

Fixa Arquitetura

TreinamentoTeste e Validao

Construo da rede

FFoorrmmaattaaoo

Sada

erro

professor

18

fev-0735

A Escolha dos Descritores

Qual o meu?A escolha dos

atributos fundamental

fev-0736

Representao e Interpretao

das Sadas da Rede Neural

19

fev-0737

Y

Mecanismo

Aprendizado

X^

DescritoresNumricos

Yd ... ...

yMecanismo de AprendizadoySupervisionadoyNo SupervisionadoyPor Reforo

yMapeamentoyNo LinearyAproximadoyGeneralizao

O Modelo NeuralO Modelo NeuralO Modelo Neural

fev-0738

nmero. de camadasnmero. de camadas Nmero de neurnios/camadaNmero de neurnios/camada

ConfiguraoConfiguraoConfigurao

20

fev-0739

Dados Histricos Conjunto de Treinamento

Conjunto de Validao

Conjunto de Teste

TreinamentoTreinamentoTreinamento

fev-0740

Taxa de Aprendizado Freqncia de Ajuste

Critrio de ParadaMomento

Parmetros de TreinamentoParmetros de TreinamentoParmetros de Treinamento