Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

Universidade Federal do Espírito SantoCentro de Ciências Agrárias – CCA UFESDepartamento de Computação

Inteligência ArtificialSite: http://jeiks.net E-mail: jacsonrcsilva@gmail.com

Redes Neurais Artificiais

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

2

Neurônio Natural

● Dendritos:– recebe os estímulos

transmitidos por outros neurônios.

● Núcleo (Soma):– coleta e combina informações

vindas de outros neurônios.

● Axônio:– transmite estímulos para

outras células.● Sinapse:

– região onde dois neurônios entram em contato e através da qual os impulsos nervosos são transmitidos entre eles.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

3

Considerações sobre o Neurônio Natural

● Cérebro humano:– considerado o mais fascinante processador baseado

em carbono existente, possui aproximadamente 10 bilhões de neurônios.

● Os neurônios estão conectados uns aos outros através de sinapses.

● Cada neurônio é capaz de ter até 10.000 sinapses com outros neurônios.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

4

O Neurônio Artificial

1. Sinais são apresentados à entrada;

2. Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade;

3. É feita a soma ponderada dos sinais que produz um nível de atividade;

4. Se este nível excede um limite (threshold) a unidade produz uma saída;

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

5

Neurônio Artificial (Zoom)

Entradas = X1 a X

N

Saída = OutputPesos = W

1 a W

N

Limiar (Threshold) = θ

Saída = F (Entradas)

Saída = Ftransf

( xƩi * w

i )

Saída = 0 se Ʃ xi * w

i < θ

Saída = 1 se Ʃ xi * w

i >= θ

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

6

Funções de Saída (Ativação)

x

1

1

y

x

1.0

y

1.0

- 1.0

x

y

-1

1

x

yFunção Sinal Função Rampa

Função Sigmóide

x < 0 , y = -1 x > 0 , y = 1

x < 0 , y = 0

0 < x < 1 , y = x

x > 1 , y = 1

y = 1 / (1 + e - x )

a b

c d

Função tanh

y= tanh( x2 )=1−e−x

1+e−x

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

7

Neurônio Natural x Artificial

● Os neurônios naturais operam na faixa de milissegundos– e os artificiais em nanosegundos.

● Nossa capacidade de fazer cálculos numéricos – é menor que computadores muito antigos.

● Fazemos em aproximadamente uma centena de etapas– o que os computadores atuais não conseguem em 10 milhões de

etapas, isso devido ao paralelismo de nossa mente.

● Neurônios naturais estão propensos a falhas, ou seja, podem morrer sem causar problemas– Componentes digitais precisam operar sem defeito.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

8

Aspectos da Rede Neural Artificial● São conectadas por canais de comunicação que estão associados a

determinado peso.● As unidades fazem operações apenas sobre suas ligações.● O comportamento inteligente de uma RNA vem das interações entre

as unidades (neurônios) de processamento da rede.● Os pesos das conexões de seus neurônios são ajustados através e

uma regra de treinamento. Assim, podem se ajustar de acordo com os padrões apresentados.

● É capaz de extrair regras básicas a partir de dados reais, diferindo da computação programada, onde é necessário um conjunto de regras rígidas pré-fixadas e algoritmos.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

9

Exemplo de Rede Neural Artificial

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

10

Processo de Aprendizagem

● Todo o conhecimento de uma rede neural está armazenado nas sinapses, ou seja:– Nos pesos atribuídos às conexões entre seus neurônios.

● A aprendizagem consiste então na adaptação de seus pesos sinápticos para conseguir os resultados almejados.

● A aprendizagem pode ocorrer de duas formas:– Supervisionada:

● É fornecida para a RNA um conjunto de dados com as entradas e com as saídas desejadas.

● Os pesos são ajustados para alcançar a saída desejada.

– Não-Supervisionada:● É fornecida para a RNA um conjunto de dados somente com as entradas.● A RNA busca agrupar similaridades, ou seja, dar resultados comuns para

entradas com características comuns.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

11

Treinamento● Geralmente, o treinamento consiste em:

1. Separar de forma aleatória 20% ou 30% padrões do conjunto de dados a treinar.

● O ideal é possuir a maior diversificação possível dos dados.

2. Fornecer esse subgrupo de padrões à RNA e treiná-la com um algoritmo de treinamento.

● Na maioria dos casos, e Backpropagation ou um de seus derivados é utilizado.● Sua tarefa é adaptar/modificar os pesos das sinapses da RNA.

3. Logo após, verificar o quanto a rede conseguiu aprender e generalizar:● Para isso, são geradas e comparadas as respostas da RNA com o restante dos

padrões existentes (àqueles não entraram no subgrupo de treinamento).● Deve-se tomar cuidado para que a rede não decore os exemplos de treinamento.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

12

Características das RNAs● Existem diversos modelos de RNAs.● Cada modelo está relacionado à sua história, ao conjunto de dados que

melhor consegue se adaptar.● A quantidade de neurônios da camada oculta (intermediária) infelizmente é

obtida por testes. Sabe-se que:– Quanto mais neurônios, maior é a taxa de processamento da rede;

– Quanto menos neurônios, menor é a capacidade de adaptação da RNA;

– Sem a camada intermediária, não existe formas de trabalhar com dados não lineares;

– A quantidade escolhida de neurônios ocultos geralmente é obtida por:

(√Qnt. de Neuronios de Entrada+Qnt. de Neuronios de Entrada )⋅2ou

(Qnt. de Neuronios de Entrada+Qnt. de Neuronios de Entrada )/2ou

2⋅Qnt. de Neuronios de Entrada+1

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

13

Histórico – 1943

● Neurofisiologista McCulloch e o

Matemático Walter Pitts (1943),

– Possuíam um trabalho que fazia uma analogia entre células vivas e o processo eletrônico:

● simulava o comportamento do neurônio natural,● o neurônio artificial possuía apenas uma saída,● que era uma função que agia sobre os valores de suas diversas

entradas.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

14

O neurônio de McCulloch e Pitts

Soma=∑i=1

N

I i⋅W i

y= f (Soma)

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

15

Histórico – 1949

● Psicólogo Donald Hebb,

– Propôs uma lei de aprendizagem específica para as sinapses dos neurônios.

– Demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica:

● A conexão entre os neurônios somente é reforçada se tanto os neurônios pré-sinápticos quanto os pós-sinápticos estiverem excitados.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

16

Histórico – 1951

● Marvin Minsky:

– Cofundador do laboratório de IA do MIT.

– Construiu o primeiro neuro computador: Snark.

– O Snark:● Operava ajustando seus pesos automaticamente.● Nunca executou qualquer função de processamento de

informação interessante.● Serviu como inspiração para ideias de estruturas

posteriores.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

17

Histórico – 1956

● Surgimento dos dois paradigmas da Inteligência Artificial:– Simbólica:

● Que utiliza um conjunto de símbolos que são manipulados com regras explícitas.

● Não procura imitar a natureza do cérebro.

– Conexionista:● Acredita-se que construindo um sistema que simule a

estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

18

Histórico – 1958

● Frank Rosenblatt:

– Publicou o modelo dos "Perceptrons":● Livro Principles of Neurodynamics.

– Os neurônios (perceptrons) eram organizados em camada de entrada e saída,

● os pesos das conexões entre os neurônios eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

19

Perceptron

Σ θ

Σ θ

Σ θ

Σ θ

retina

associação

resposta

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

20

Histórico – 1960● Widrow e Hoff criaram as RNAs:

– ADALINE (ADAptative LInear NEtwork) e a

– MADALINE (Many ADALINE).

● O MADALINE utilizou saídasanalógicas em uma arquiteturade três camadas.

Exemplo...

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

21

Histórico – 1969

● Minsky & Papert– Constataram que um neurônio do tipo Perceptron

só era capaz de resolver problemas com dados de classes linearmente separáveis.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

22

Histórico – 1960 à 1970

Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e 70.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

23

Histórico – 1982● Físico e biólogo Hopfield:

– Retomada das pesquisas com a publicação de trabalhos relatando a utilização de redes simétricas para otimização.

– Utilizou um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

24

Histórico – 1986

● Rumelhart¹, Hinton² e Williams:– Introduziram o poderoso método de treinamento denominado

Backpropagation.

● Rumelhart e McClelland³– escreveram o livro “Processamento Paralelo Distribuído:

Explorações na Microestrutura do Conhecimento”.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

25

Histórico – 1988

● Broomhead e Lowe– Descreveram um procedimento para o projeto de

uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

26

Mais considerações● A maioria dos problemas do

mundo real não é linearmente separável.

● A RNA Multicamadas possui maior capacidade de aprendizado para tais dados.

● Aprendem da mesma forma que perceptrons simples.

● Porém há muito mais pesos a serem ajustados.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

27

Mais considerações

● RNAs com Retropropagação:– Geralmente utiliza a função sigmoide:

f(x) = 1

1+ e-x

● Os pesos são

ajustados de trás

para frente

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

28

Mais considerações

● Também tem-se as Redes Recorrentes:– Apresentam “ciclos” nas suas conexões, isto é, a saída de

neurônios de uma camada i são entradas de neurônios de uma camada anterior.

– Redes BAM, de Hopfield e Competitivas em geral são de certo modo redes recorrentes.

– Entretanto 2 modelos são de maior interesse neste caso:● Redes de Elman;● Redes de Jordan.

– Utilizadas para casos que necessitem verificar dados anteriores.

– Essas redes tem memória.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

29

Redes Recorrentes

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

30

Mais considerações

● Mapas de Kohonen:– Também chamado de mapa de características auto-

organizáveis.

– Usa o algoritmo vencedor-leva-tudo.

– Esse aprendizado é não supervisionado, chamado de aprendizado competitivo.

– Algoritmo vencedor-leva-tudo:● Apenas um neurônio fornece a saída da rede em resposta a

uma entrada: O neurônio que tiver o maior índice de ativação● Durante o aprendizado, somente as conexões deste

neurônio que tem seus pesos alterados.

Unive rsidad e F

ede ral do Espír ito S

a nto – CC

A U

FE

S

31

Mapas de Kohonen

● Seu propósito é agrupar dados de entrada em diversos grupos (clusters). Exemplo:– Novas histórias em categorias por assuntos.

● Tem duas camadas:– Uma de entrada;

– Uma de agrupamento: que é a camada de saída.