Perceptrons - dca.ufrn.br lmarcos/courses/ia/notes/  · Limitaç õ es • As redes perceptron tem

  • View
    212

  • Download
    0

Embed Size (px)

Text of Perceptrons - dca.ufrn.br lmarcos/courses/ia/notes/  · Limitaç õ es • As redes perceptron tem

  • Perceptrons

    Introduo

    No final da dcada de 1950, Rosenblatt na Universidade de Cornell, criou uma genuna rede de mltiplos neurnios do tipo discriminadores lineares e chamou esta rede de perceptron. Umperceptron uma rede com os neurn ios dispostos em camadas.

    Estes podem ser considerados o primeiro modelo de redes neurais.

  • Introdu o

    Perceptron aprende conceitos, ele pode aprender a responder com verdadeiro (1) ou falso (0) pelas entradas que ns apresentamos a ele, estudando repetidamente os exemplos que lhe s o apresentados.

    O perceptron uma rede neural cujos os pesos e inclina es podem ser treinados para produzir um vetor alvo que quando apresentamos tem que corresponder ao vetor de entrada.

    Treinamento

    Vetores de um grupo de treinamento s o apresentados para a rede um ap s o outro. Se a sada da rede est correta, nenhuma mudan a feita. Por outro lado, os pesos e as inclina es s o atualizados usando as regras de aprendizado do perceptron. Uma passagem inteira de treinamento de entrada de um vetor c hamado poca.

  • Limita es

    As redes perceptron tem duas limita es. Primeiro, os valores de sada do perceptronpodem assumir somente dois valores (Verdadeiro ou Falso). Segundo,perceptrons somente podem classificar grupos de vetores linearmente separados.

    Perceptron de Camadas Simples

    O perceptron de camada simples um exemplo de redes que podem ser usadas com entradas bin rias e bipolares.

    Uma t cnica usual para analisar o comportamento de redes como perceptron plotar um mapa com as regi es de decis o criadas num espa o multidimensional abrangido pela vari veis de entrada.

  • Perceptron de Camadas Simples

    1 Passo: inicializar pesos e threshold com zero.

    2 Passo: apresentar nova entrada que vai se somar a sada desejada .

    3 Passo: calcular sada atual. 4 Passo: atualizar o peso. Esta atualiza o

    feita atrav s da f rmula:

    Perceptron de Camadas Simples

    Wi( t + 1 ) = Wi ( t ) + n[( d ( t ) - Y ( t ) ] x1 ( t ) , 0

  • Perceptrons de V rias Camadas

    Perceptrons de v rias camadas s o redesfeed-foward com uma ou mais camadas entre os n s de entrada e sada . Essas camadas adicionais cont m unidades escondidas ou n s esto diretamente conectados aos n s de entrada e sada.

    Exemplo de uma rede neuralperceptron de v rias camadas

  • Algoritmo Perceptron

    Inicializar pesos(w), bias(b) e taxa de apredizagem ()

    w = 0 b = 0 0 < 1 Enquanto condi o = falsa fa a

    Para cada cada par (S:T) fa a Ativar unidades de entrada

    xi = si

    Algoritmo Perceptron

    Calcular resposta da unidade de sada

    +=i

    ii wxbiny _

    =

    inyse

    inyseinyse

    y

    _1_0

    _1

  • Algoritmo Perceptron Atualizar pesos e bias se um erro ocorreu para

    este padr oSe y t

    wi(novo) = wi(velho) + txib(novo) = b(velho) + t

    sen owi(novo) = wi(velho) b(novo) = b(velho)

    Algoritmo Perceptron

    Se os pesos modificaram ent oCondi o = falsa

    sen oCondi o = verdadeira

  • Conclus es quanto ao algoritmo

    Quanto mais padr es de treinamento produzirem respostas corretas menor ser o treinamento;

    O threshold n o sofre varia es;

    Aplica esVerificar se o ser vivo quadrp ede ou bpede

    Suposi es quanto ao resultadoQuadrp ede = 1 Bpede = -1

    Vetor de treinamentoVetor Resultado esperado

    C o [ 1 -1 1 1 ] 1 Gato [ 1 1 1 1 ] 1 Cavalo [ 1 1 -1 1 ] 1 Homem [ -1 -1 -1 1 ] -1 Galinha [ -1 1 -1 1 ] -1 Avestruz [ 1 -1 1 -1 ] -1

  • Fun o de ativa o

    Taxa de aprendizagem = 1

    Threshold = 1

    Aplica esVerificar se o ser vivo quadrp ede ou bpede

    >

    =

    inyse

    inysey

    _1_1

    Arquitetura

    Aplica esVerificar se o ser vivo quadrp ede ou bpede

    x1

    x2

    x3

    x4

    y

    w1w2

    w3

    w4

  • Aplica esVerificar se o ser vivo quadrp ede ou b pede

    Ser-vivo x1 x2 x3 x4 y_in Sada Real Sada Desejada w1 w2 w3 w4

    0 0 0 0

    Co 1 -1 1 1 0 -1 1 1 -1 1 1

    Gato 1 1 1 1 2 1 1 1 -1 1 1

    Cavalo 1 1 -1 1 -1 -1 1 2 0 0 2

    Homem -1 -1 -1 1 0 -1 -1 2 0 0 2

    Galinha -1 1 -1 1 0 -1 -1 2 0 0 2

    Avestruz 1 -1 1 -1 0 -1 -1 2 0 0 2

    C o 1 -1 1 1 4 1 1 2 0 0 2

    Gato 1 1 1 1 4 1 1 2 0 0 2

    Cavalo 1 1 -1 1 4 1 1 2 0 0 2

    Rede Neural Treinada

    Apli esVerificar se o ser vivo quadr ede ou b pede

    x1

    x2

    x3

    x4

    y

    2

    0

    0

    2

  • Teorema de Convergncia

    Garante que a rede ser treinada N mero finito de iter es O problema deve ser linearmente separ vel

    Padres linearmente separ veis Padr es n o linearmente separ veis

    Fronteira de decis o

    Teorema de Converg ncia

    Relao Pesos x Iteraes

    020406080

    100120140160180200

    1 2 3 4 5 6 7 8 9 10

    Itera es

    Pes

    os

  • Rela o Pesos x Itera es

    02 04 06 08 0

    1 0 01 2 01 4 01 6 01 8 0

    1 2 3 4 5 6 7 8 9 1 0

    Ite ra e s

    Pes

    osTeorema de Converg ncia