Embed Size (px)
Citation preview
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
Universidade Federal do Espírito SantoCentro de Ciências Agrárias – CCA UFESDepartamento de Computação
Redes Neurais ArtificiaisSite: http://jeiks.net E-mail: [email protected]
Redes Neurais Artificiais
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
2
Redes Neurais Artificiais
● A RNA é uma máquina projetada para modelar a maneira como o cérebro realiza uma tarefa específica ou uma função de interesse.
● Ela realiza uma computação útil através de um processo de aprendizagem.
● Elas possuem uma combinação topológica, maciça e paralela, abrigando assim um processamento complexo.
● O elemento de processamento da informação é o neurônio, o qual possui processamento simples.– Isso é devido à sua inspiração, que é no sistema nervoso central.
● A representação do conhecimento é realizada:– Em sua topologia (arquitetura);
– No valor dos seus parâmetros;
● O algoritmo de treinamento modifica os pesos sinápticos da rede de forma ordenara para alcançar o objetivo desejado.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
3
Redes Neurais Artificiais (RNA)● Existem três tipos de RNAs:
– Feed Forward1;– Recorrente2;– Auto Organizável3;
1
2
3
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
4
Cérebro Humano
● O cérebro humano processa diferente do computador.● Características do cérebro:
– É complexo e não linear;
– Completamente paralelo;
– Tem a capacidade de organizar seus neurônios para realizar processamento mais rápido que o processador de uma máquina;
– Desenvolve suas próprias regras através da experiência.
● Além disso, o sistema visual fornece ao cérebro:– A representação do ambiente;
– A informação necessária para interagir com o ambiente.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
5
Redes Neurais Artificiais
● Semelhanças entre a RNA e o Cérebro:– O conhecimento do ambiente é obtido através da
aprendizagem;
– A força de conexão entre os neurônios (sinapse) são utilizados para armazenar o conhecimento adquirido.
● Processo generalização da RNA:– Refere-se ao fato da RNA produzir saídas adequadas
para entradas que não estavam presentes no treinamento;
– Isso ocorre pela generalização dos dados já aprendidos.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
6
Neurônio● Funcionamento de um neurônio:
– A recepção dos impulsos sinápticos de outros neurônios chega pelos dendritos, são processados pelo núcleo e propagados pelo axônio, gerando sinapses em outros neurônios.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
7
Neurônio Biológico e Artificial
<http://www.intechopen.com/books/artificial-neural-networks-architectures-and-applications/ applications-of-artificial-neural-networks-in-chemical-problems>
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
8
Redes Neurais Artificiais● Assume forma funcional:
– Estática: f(x);
– Dinâmica: f(x, t);
● Sua aprendizagem depende:– Do conhecimento à priori;
– Dos dados fornecidos.
– A RNA fornece seu resultado com a generalização por um algoritmo de aprendizagem.
● As propriedades da RNA são:– Não linearidade do processamento (em geral);
– Mapeamento entrada → saída.
● Podem ser utilizadas nas seguintes aplicações:– Classificação;
– Regressão;
– Controle aritmético..
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
9
Redes Neurais Artificiais
● Suas características são:– Adaptabilidade:
● Re-treinamento e treinamento contínuo (online);● Adapta os pesos às modificações do meio ambiente.
– Resposta Quantitativa:● Ex.: Fornecem um grau de confiança em problemas de classificação;
– Processamento contextual:● Vizinhança de um neurônio é influenciada pelo neurônio em um grau maior
que os demais neurônios da rede, como o treinamento do mapa auto organizável;
● A informação contextual está presente na estrutura e no estado de atuação da rede.
– Tolerância a falhas:● Eliminação topológica de alguns neurônios.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
10
Redes Neurais Artificiais
● Suas características são:– Informação incerta, incompleta:
● Parcialmente contraditória;
– Implementação em Hardware:● Elementos com capacidade de processamento simples e
complexo.
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
11
Aprendizado da RNADados Iniciais: O que a rede aprendeu:
Unive rsidad e F
ede ral do Espír ito S
a nto – CC
A U
FE
S
12
História resumida da Neurocomputação
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
13
Histórico – 1943
● Neurofisiologista McCulloch e o
Matemático Walter Pitts (1943),
– Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico:
● simulava o comportamento do neurônio natural,● o neurônio artificial possuía apenas uma saída,● que era uma função que agia sobre os valores de suas diversas
entradas.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
14
O neurônio de McCulloch e Pitts
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
Soma=∑i=1
N
I i⋅W i
y= f (Soma)
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
15
Histórico – 1949
● Psicólogo Donald Hebb,
– Propôs uma lei de aprendizagem específica para as sinapses dos neurônios.
– Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica:
● A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
16
Histórico – 1951
● Marvin Minsky:
– Cofundador do laboratório de IA do MIT.
– Construiu o primeiro neuro computador: Snark.
– O Snark:● Operava ajustando seus pesos automaticamente.● Nunca executou qualquer função de processamento de
informação interessante.● Serviu como inspiração para ideias de estruturas
posteriores.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
17
Histórico – 1956
● Surgimento dos dois paradigmas da Inteligência Artificial:– Simbólica:
● Que utiliza um conjunto de símbolos que são manipulados com regras explícitas.
● Não procura imitar a natureza do cérebro.
– Conexionista:● Acredita-se que construindo um sistema que simule a
estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
18
Histórico – 1958
● Frank Rosenblatt:
– Publicou o modelo dos "Perceptrons":● Livro Principles of Neurodynamics.
– Os neurônios (perceptrons) eram organizados em camada de entrada e saída,
● os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
19
Perceptron
retina
associação
resposta
retina
associação
resposta
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
20
Histórico – 1960● Widrow e Hoff criaram as RNAs:
– ADALINE (ADAptative LInear NEtwork) e a
– MADALINE (Many ADALINE).
● O MADALINE utilizou saídasanalógicas em uma arquiteturade três camadas.
Exemplo...
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
21
Histórico – 1969
● Minsky & Papert– Constataram que um neurônio do tipo Perceptron
só era capaz de resolver problemas com dados de classes linearmente separáveis.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
22
Histórico – 1960 à 1970
Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e 70.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
23
Histórico – 1982● Físico e biólogo Hopfield:
– Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização.
– Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
24
Histórico – 1986
● Rumelhart¹, Hinton² e Williams:– Introduziram o poderoso método de treinamento
denominado Backpropagation.
● Rumelhart e McClelland³– escreveram o livro “Processamento Paralelo Distribuído:
Explorações na Microestrutura do Conhecimento”.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
25
Histórico – 1988
● Broomhead e Lowe– Descreveram um procedimento para o projeto de
uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
26
Mais considerações● A maioria dos problemas
do mundo real não é linearmente separável.
● A RNA Multicamadas possui maior capacidade de aprendizado para tais dados.
● Aprendem da mesma forma que perceptrons simples.
● Porém há muito mais pesos a serem ajustados.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
27
Mais considerações
● RNAs com Retropropagação:– Geralmente utiliza a função sigmoide:
f(x) = 1
1+ e-x
● Os pesos são
ajustados de trás
para frente
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
28
Mais considerações
● Também tem-se as Redes Recorrentes:– Apresentam “ciclos” nas suas conexões, isto é, a saída de
neurônios de uma camada i são entradas de neurônios de uma camada anterior.
– Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes.
– Entretanto 2 modelos são de maior interesse neste caso:● Redes de Elman;● Redes de Jordan.
– Utilizadas para casos que necessitem verificar dados anteriores.
– Essas redes tem memória.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
29
Redes Recorrentes
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
30
Mais considerações
● Mapas de Kohonen:– Também chamado de mapa de características auto-
organizáveis.
– Usa o algoritmo vencedor-leva-tudo.
– Esse aprendizado é não supervisionado, chamado de aprendizado competitivo.
– Algoritmo vencedor-leva-tudo:● Apenas um neurônio fornece a saída da rede em resposta a
uma entrada: O neurônio que tiver o maior índice de ativação● Durante o aprendizado, somente as conexões deste
neurônio que tem seus pesos alterados.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
31
Mapas de Kohonen
● Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo:– Novas histórias em categorias por assuntos.
● Tem duas camadas:– Uma de entrada;
– Uma de agrupamento: que é a camada de saída.
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
32
...
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
33
Rede Neural Artificialy.
Xd
X...
X1
w11
W1...
w1d
ɸ1
ɸ...
ɸH
Unive rsidad
e Fe
deral do E
s pírito San
t o – CC
A U
FE
S
34
Octave
