Aula10 Som

Embed Size (px)

Citation preview

  • 7/22/2019 Aula10 Som

    1/66

    Mapas Auto-Organizveis de

    KohonenMoacir P. Ponti Jr.

    [email protected]

    Universidade Federal de So Carlos

  • 7/22/2019 Aula10 Som

    2/66

    2Moacir P. Ponti Jr.

    Sumrio

    1. Introduo2. Inspirao Neurofisiolgica

    3. Aprendizagem Competitiva

    4. Mapas Auto-Organizveis

  • 7/22/2019 Aula10 Som

    3/66

    3Moacir P. Ponti Jr.

    Introduo

    O Self-Organizing Map (SOM), ou Mapas Auto-Organizveis foram desenvolvidos por Kohonen apartir de 1982

    Aprendizado no-supervisionado, diferente detodas as redes neurais artificiais desenvolvidas atento

    Possui forte inspirao neurofisiolgica

    baseado em Aprendizagem Competitiva

  • 7/22/2019 Aula10 Som

    4/66

    4Moacir P. Ponti Jr.

    Inspirao Neurofisiolgica

    Observao de imagens Ressonncia magntica (MRI)

    Tomografia Computadorizada (CT)

    Diferentes estmulos geram Regies de excitao

    Organizao topogrfica

    Figura: Regies ativas durante aplicao de acupuntura no ponto LI-5

    Fonte: Neuro-imaging of Acupunture Project

  • 7/22/2019 Aula10 Som

    5/66

    5Moacir P. Ponti Jr.

    Inspirao Neurofisiolgica

  • 7/22/2019 Aula10 Som

    6/66

    6Moacir P. Ponti Jr.

    Inspirao Neurofisiolgica

    Quando um neurnio excitado, ao redor uma reaentre 50 e 100 mtambm sofre excitao

    Ao redor, uma rea sofre inibio para impedir a

    propagao do sinal a reas no relacionadas A figura ilustra a

    iterao lateral entreos neurnios

  • 7/22/2019 Aula10 Som

    7/667Moacir P. Ponti Jr.

    Aprendizagem Competitiva

    Neurnios de sada da RNA competem entre si parase tornar ativos

    Apenas um neurnio de sada est ativo em umdeterminado instante

    Trs elementos bsicos:1. Neurnios com mesma estrutura, diferente pelos

    pesos, de forma que tenham respostas diferentes a

    uma entrada2. Um limite imposto sobre a fora de cada neurnio

    3. Mecanismo de competio entre neurnios, de formaque um neurnio vencedor em um dado instante.

  • 7/22/2019 Aula10 Som

    8/668Moacir P. Ponti Jr.

    Aprendizagem Competitiva

    Em cada momento o neurnio vencedor: aprende a se especializar em agrupamentos de

    padres similares

    tornam-se detectores de caractersticas para classesdiferentes de padres de entrada

    O nmero de unidades de entrada define adimensionalidade dos dados

  • 7/22/2019 Aula10 Som

    9/669Moacir P. Ponti Jr.

    Aprendizagem Competitiva - Exemplo

    Exemplo de estrutura simples: 1 camada de sada

    Totalmente conectada entrada

    Pode incluir realimentao entreneurnios para inibio lateral

    Conexes excitadoras dasentradas para os neurnios (setas

    fechadas com linhas contnuas)

    Conexes laterais inibitriasentre os neurnios (setas abertas emlinhas tracejadas)

    EntradasNeurnios

    Sada

    x1

    x2

    x3

    x4

    y1

    y2

    y3

  • 7/22/2019 Aula10 Som

    10/6610Moacir P. Ponti Jr.

    Aprendizagem Competitiva(Neurnio Vencedor)

    O neurnio vencedor o que possui o maior campo localinduzido kpara um dado padro de entrada x

    O campo local induzido representa a ao combinada detodas as entradas do neurnio k

    A escolha do vencedor maximiza o produto interno entreos pesos do neurnio e o sinal de entrada

    O sinal de sadaykdo neurnio vencedor colocado em

    1 (um) e dos outros neurnios em 0 (zero).

    contrariocaso0

    todoparase1 ijy

    jk

    k

  • 7/22/2019 Aula10 Som

    11/6611Moacir P. Ponti Jr.

    Aprendizagem Competitiva(Pesos)

    Considerando kj como o peso sinpticoconectando o n de entradaj ao neurnio k, cadaneurnio tem uma quantidade de peso sinptico

    Cada neurnio tem seus pesos inicializados

    aleatoriamente O aprendizado d-se ento deslocando os pesos do

    neurnio vencedor, na direo da entrada

    kj

    kj todopara1

  • 7/22/2019 Aula10 Som

    12/6612Moacir P. Ponti Jr.

    Aprendizagem Competitiva(Regra de Aprendizagem)

    A regra de aprendizagem competitiva aplica umavariao kjao peso kj, definida por:

    contrariocaso0vencedoroforneurnioose)-( kx kjjkj

    onde a taxa de aprendizagem.

    Esta regra move o vetor de peso do neurniovencedor em direo ao padro de entrada

  • 7/22/2019 Aula10 Som

    13/66

    13Moacir P. Ponti Jr.

    Aprendizagem Competitiva(Exemplo / Interpretao)

    2 entradas (espao 2D) 7 padres de entrada

    4 neurnios de sada

    = 0.5 7 iteraes

    Na Figura, os pontos pretosrepresentam as entradas e os

    amarelos os vetores dos

    pesos sinpticos dos 4

    neurnios de sada Estado Inicial da Rede

  • 7/22/2019 Aula10 Som

    14/66

    14Moacir P. Ponti Jr.

    Aprendizagem Competitiva(Exemplo / Interpretao)

    Simulao das iteraes da aprendizagem competitiva

    4

    2

    1

    Entrada aleatria

    Neurnio vencedor

    Aprendizado

    3

    como = 0.5, o

    deslocamento

    referente metade

    da distncia

    -1 1-2-3 2 3

    1

    2

    3

    -3

    -2

    -1

  • 7/22/2019 Aula10 Som

    15/66

    15Moacir P. Ponti Jr.

    Aprendizagem Competitiva

    Na aprendizagem competitiva, no h ordenao domapa de neurnios de sada (clusters)

    No exemplo, a ordem

    topolgica seria:w_1, w_2, w_3

    No entanto o mapa desada est na ordem:

    w_2, w_3, w_1

  • 7/22/2019 Aula10 Som

    16/66

    16Moacir P. Ponti Jr.

    Mapas Auto-Organizveis

    Grades neurais baseadas na aprendizagemcompetitiva

    Neurnios de sada da grade competem entre si para

    serem ativados ou disparados Os neurnios esto dispostos em ns de uma grade,

    em geral uni- ou bidimensional

    Mapas de dimensionalidade

    mais alta so possveis

    porem pouco comuns

  • 7/22/2019 Aula10 Som

    17/66

    17Moacir P. Ponti Jr.

    Mapas Auto-Organizveis

    Processo de organizao Aprendizado no-supervisionado

    Neurnios dispostos em grade

    Vetores de peso localizam os neurnios no espaode entrada

    Torna a rede ideal para deteco de agrupamentos

    (clusters)

  • 7/22/2019 Aula10 Som

    18/66

    18Moacir P. Ponti Jr.

    O modelo de Kohonen Produz um mapeamento

    topolgico

    Transforma um padro

    de dimenso arbitrriaem um mapa discretouni- ou bidimensional

    Preserva a relao de

    vizinhana entre osneurnios

    Mapas Auto-Organizveis

    Entrada

    Arranjobidimensionalde neurnios

    Conexessinpticas

    NeurnioVencedor

    x

    n

  • 7/22/2019 Aula10 Som

    19/66

    19Moacir P. Ponti Jr.

    Mapa Topolgico

    No caso bidimensional, dois tipos de grade sopossveis: hexagonal ou retangular.

    Na hexagonal, cada neurnio possui 6 vizinhos diretos

    Na retangular, cada neurnio possui 4 vizinhos diretos

  • 7/22/2019 Aula10 Som

    20/66

    20Moacir P. Ponti Jr.

    Mapas Auto-Organizveis (Arquitetura)

    Considere um espao vetorial de entrada comdimenso d

    Cada amostra um sinal/padro representado por

    um vetor x = [x1, x2, ..., xd] A arquitetura do SOM consiste de 2 camadas de

    neurnios

    Camada de entrada composta pordneurnios

    Camada de sada (ou de Kohonen) formada porN

    neurnios denotados por:A = { c1, c2, ..., cN}

  • 7/22/2019 Aula10 Som

    21/66

    21Moacir P. Ponti Jr.

    Mapas Auto-Organizveis (Arquitetura)

    O vetor peso sinptico de cada neurnio da gradetem a mesma dimenso que o espao de entrada

    O vetor peso do neurnioj representado por:

    w = [ j1,j2, ...,jd] j = 1, ..., Neste vetor indica as coordenadas de sua localizao

    no espao de entrada ddimensional

  • 7/22/2019 Aula10 Som

    22/66

    22Moacir P. Ponti Jr.

    Diagrama Esquemtico (exemplo) Entrada

    Pesos

    Neurnios

    Mapas Auto-Organizveis (Arquitetura)

  • 7/22/2019 Aula10 Som

    23/66

    23Moacir P. Ponti Jr.

    Exemplo Os crculos pretos representam dados (neurnios) de entrada no

    espao unidimensional. A, B, C e D so a representao dos

    neurnios de sada no espao de entrada (que coincide com oespao dos pesos de conexo).

    (a) estado inicial dos neurnios - A, B, C e D tem pesosdesordenados

    (b) estado final dos neurnios A,B,C e D, aps os ajustes, osneurnios vizinhos tem pesos similares

  • 7/22/2019 Aula10 Som

    24/66

    24Moacir P. Ponti Jr.

    SOM Algoritmo Bsico

    1. Inicializao: geralmente aleatria, pode ainda ser estimada poranlise da representao dos dados

    2. Competio: para cada padro de entrada, calcula-se a resposta

    dos neurnios de sada (grade). O neurnio com a maior resposta

    o vencedor da competio.3. Cooperao: o neurnio vencedor define uma vizinhana

    topolgica (em funo da grade) de neurnios excitados

    4. Adaptao Sinptica: aprendizado em relao ao padro de

    entrada. Os pesos do neurnio vencedor, e de sua vizinhana,ficam mais prximos do padro de entrada.

  • 7/22/2019 Aula10 Som

    25/66

    25Moacir P. Ponti Jr.

    Inicializao

    Inicializao aleatria: mais simples e mais utilizada nenhum estado de organizao considerado

    durante as primeiras centenas de passos, os vetorespeso passam por processo de auto-organizao

    Inicializao linear: tenta pr-organizar o espao

    arranjo de neurnios definido ao longo de umsubespao linear correspondente aos:

    kauto-vetores da matriz de auto-correlao deXquepossuem os maiores auto-valores

    similar anlise dos componentes principais (PCA)

  • 7/22/2019 Aula10 Som

    26/66

    26Moacir P. Ponti Jr.

    Critrio de Competio

    O critrio do melhor casamento (best matching) baseado na maximizao do produto interno comona aprendizagem competitiva

    Isto matematicamente equivalente a minimizar adistncia euclidiana entre wex

    O neurnio vencedor, v escolhido por:

    Njv jj

    ,...,2,1,minarg wx

  • 7/22/2019 Aula10 Som

    27/66

    27Moacir P. Ponti Jr.

    Processo Cooperativo

    Compreende a definio de uma funo devizinhana hvj centrada no neurnio vencedor

    Define uma regio de neurnios cooperativos, que

    tero seus pesos ajustados juntamente com oneurnio vencedor

    H diversas formas de implementar a funo devizinhana

    Mais simples definir um conjuntoNv(t) de nveis devizinhana ao redor do neurnio vencedor

  • 7/22/2019 Aula10 Som

    28/66

    28Moacir P. Ponti Jr.

    Processo Cooperativo

    Ento, a funo de vizinhana torna-se:

    Nv(t) funo monotnica

    decrescente no tempo

    A funo de vizinhana

    mapeada no espao de sadaFigura: Exemplo de nveis de

    vizinhana para uma

    grade retangular de neurnios

    )(,0

    )(,1)(

    tNj

    tNjth

    v

    v

    vj

  • 7/22/2019 Aula10 Som

    29/66

    29Moacir P. Ponti Jr.

    Processo Cooperativo

    Exemplos de funo de vizinhana Tipo bolha (todos os neurnios da vizinhana sero

    atualizados igualmente)

    Base Quadrada / Base Circular

    vv

  • 7/22/2019 Aula10 Som

    30/66

    30Moacir P. Ponti Jr.

    Processo Cooperativo

    Inicia-se o algoritmo com alto nvel de vizinhana eesta reduzida conforme o tempo avana

    necessrio diminuir a regio de vizinhana para

    obter a auto-organizao do mapa Para que o algoritmo convirja necessrio que

    tthvj quando0)(

  • 7/22/2019 Aula10 Som

    31/66

    31Moacir P. Ponti Jr.

    v

    Processo Cooperativo

    Exemplo de mudana no nvel da vizinhana em umasimulao de 3 iteraes

    Funo de vizinhana quadrada tipo bolha

    Iterao 1

    Iterao 2

    Iterao 3

  • 7/22/2019 Aula10 Som

    32/66

    32Moacir P. Ponti Jr.

    Processo Cooperativo

    Uma funo muito interessante a ser usada comofuno de vizinhana a Gaussiana, dada por:

    )(2exp)(2 tth

    jv

    vj

    rr

    onde o termo a distncia entreo neurnio vvencedor e o neurnioj que

    est sendo atualizado

    jv rr

  • 7/22/2019 Aula10 Som

    33/66

    33Moacir P. Ponti Jr.

    Processo Cooperativo

    O parmetro define a largura da funo e deve serdecrescente no tempo. Pode ser usada uma funolinear, mas em geral usada a exponencial:

    1

    exp)0()(

    tt

    )0(log1

    NIter

    (0) um valor inicial para

    1 uma constante de tempo do SOMdefinida para que a taxa deaprendizagem nunca decaia para zero

  • 7/22/2019 Aula10 Som

    34/66

    34Moacir P. Ponti Jr.

    Processo Competitivo

    Exemplo de funo de vizinhana Gaussiana

    hvj

    dvj

    v

    Os neurnios davizinhana soatualizados deforma ponderada

    Quanto maisafastados, menor

    fica a taxa deaprendizado

  • 7/22/2019 Aula10 Som

    35/66

    35Moacir P. Ponti Jr.

    Processo Cooperativo

    Exemplo de funo de vizinhana Gaussiana

    v

    v

    Viso Lateral Viso Superior

  • 7/22/2019 Aula10 Som

    36/66

    36Moacir P. Ponti Jr.

    Adaptao Sinptica

    Modificao dos pesos em relao entrada, deforma iterativa

    A equao abaixo aplicada a todos os neurnios

    da grade dentro da regio de vizinhana hvj

    )]()[()()()1( tthttt jvjjj wxww

    Vetor peso

    atualizadoVetor peso

    anterior

    Vizinhana Adaptao

    Taxa de

    aprendizagem

  • 7/22/2019 Aula10 Som

    37/66

    37Moacir P. Ponti Jr.

    O parmetro de aprendizagem , assim como afuno de vizinhana deve decrescer com o tempo,para que as adaptaes sejam cada vez mais finas

    Pode ser usada uma funo linear decrescente, mas recomendada uma funo exponencialdecrescente:

    onde 2 o nmero total de iteraes

    Adaptao Sinptica

    02

    exp ,

    t

    t

  • 7/22/2019 Aula10 Som

    38/66

    38Moacir P. Ponti Jr.

    Adaptao Sinptica (Ordenao)

    Assumindo uma inicializaoaleatria, necessrio duasfases de adaptao

    1. Fase de Ordenao: devido

    inicializao aleatria, a gradeest desordenada

    A ordenao topolgica d-sepela movimentao da

    vizinhana, o que ocorre emgeral nas primeiras 1000iteraes

    4 2

    1

    3

    3 2

    1

    4

    Grade desordenada

    Grade ordenada

  • 7/22/2019 Aula10 Som

    39/66

    39Moacir P. Ponti Jr.

    Adaptao Sinptica (Ordenao)

    Para a Fase deOrdenao, a inicializao dosparmetros: 2 , (0)e(0) importante e dependeda aplicao

    Haykin (2000) sugere os seguintes valores iniciais:2 = 1000

    (0)= 0,1

    O (0), largura da funo de vizinhana, depende do

    tamanho da rede. Para uma rede de 50 neurnios,por exemplo, uma possibilidade :

    (0)= 25

  • 7/22/2019 Aula10 Som

    40/66

    40Moacir P. Ponti Jr.

    Adaptao Sinptica (Convergncia)

    Aps a fase de ordenao, inicia-se a adaptao aospadres de entrada

    2. Fase de Convergncia: ocorre uma sintonia fina, que

    pode durar muito mais iteraes do que a fase de

    ordenao Neste momento, a funo de vizinhana dever englobar

    apenas vizinhos prximos do neurnio vencedor

    Pode ainda ser reduzida apenas o neurnio vencedor

  • 7/22/2019 Aula10 Som

    41/66

    41Moacir P. Ponti Jr.

    Adaptao Sinptica (Convergncia)

    Para a Fase deConvergncia, a seguinteinicializao dos parmetros: 2 , (0)e(0)recomendada por Haykin (2000):

    2 = 500 .N

    (0)= 0,01

    ondeN o nmero de neurnios de sada

    importante no permitir que chegue a zero

  • 7/22/2019 Aula10 Som

    42/66

    42Moacir P. Ponti Jr.

    Resumo

    Durante o processo de aprendizagem os neurnios: organizam-se e tornam-se ordenados entre si

    especializam-se em detectar determinadascaractersticas dos padres de entrada

    O SOM , portanto, caracterizado pela:

    formao de um mapa topolgico dos padres deentrada

    a localizao espacial dos neurnios na grade apso aprendizado so indicativas das caractersticasestatsticas contidas nos padres de entrada

  • 7/22/2019 Aula10 Som

    43/66

    43Moacir P. Ponti Jr.

    Aplicaes

    As aplicaes concentram-se principalmente em: Organizao da representao dos dados

    Reduo de dimensionalidade

    Reconstruo de Superfcies

    Separao de agrupamentos de dados Segmentao de Imagens

    Data Mining

    Classificao de Documentos

    Classificao de dados Reconhecimento de Caracteres

    Reconhecimento de Fala

  • 7/22/2019 Aula10 Som

    44/66

    44Moacir P. Ponti Jr.

    Aplicaes

    Reconhecimento de Caracteres

    http://fbim.fh-regensburg.de/~saj39122/begrolu/kohonen.html

  • 7/22/2019 Aula10 Som

    45/66

    45Moacir P. Ponti Jr.

    Aplicaes Reconstruo de superfcies

    Nuvemde

    Pontos

    Malha 3D doobjeto

    reconstrudo

    MARI, J.F. Reconstruo de superfcies 3D a partir de nuvens de pontos

    usando redes neurais auto-organizveis. Projeto Mestrado. 2006

  • 7/22/2019 Aula10 Som

    46/66

    46Moacir P. Ponti Jr.

    Aplicaes

    Segmentao de Imagens

    Imagem Original Imagem Segmentada

    http://citeseer.ist.psu.edu/jiang03som.html

    Y. Jiang, et.al. SOM Based Image Segmentation.Lecture Notes in ArtificialIntelligence 2639, 2003, pp.640-643

  • 7/22/2019 Aula10 Som

    47/66

    47Moacir P. Ponti Jr.

    Algoritmo1. Selecione a topologia da rede (defina os parmetros)

    2. Selecione a regio de vizinhana inicial

    3. Inicialize os pesos aleatoriamente e defina o n de iteraes

    4. Para cada iterao:

    1.Selecione um padro de entrada

    2. Encontre o neurnio vencedor (pela menor distncia)

    3. Atualize os pesos do neurnio vencedor e sua vizinhana

    4. Decremente a regio de vizinhana e a taxa de aprendizagem(caso desejado)

    5. Incremente o nmero da iterao

    5. Fim

    )]()[()()()1( tthttt jvjjj wxww

  • 7/22/2019 Aula10 Som

    48/66

    48Moacir P. Ponti Jr.

    Mapas Auto-Organizveis (Exemplo)

    4 2

    1

    3

    -1 1-2-3 2 3

    1

    2

    3

    -3

    -2

    -1

    2 entradas

    x1 = [ -1.0, 1.0, -2.0, 0.0]

    x2 = [ -2.0, 1.0, -2.0, 2.0]

    4 neurnios de sadaw1 = [ 0.0, 1.0, 0.0,-1.0 ];

    w2 = [ 1.0, 0.0,-1.0, 0.0 ];

    = 0.5

    Decaimento para 0.3 na iterao 5

    Decaimento para 0.2 na iteracao 7

    Regio de vizinhana tipo bolha

    Incio = nvel 1

    Decaimento de 1 nvel na iterao 5

    10 iteraes

  • 7/22/2019 Aula10 Som

    49/66

    49Moacir P. Ponti Jr.

    Exemplo de Implementao em C parte 1

    // dados de entrada

    float x1[12] = {-3,-2, 1,-2,-2, 0, 1,-1,-2.5,-2.0, 0,-3.5};

    float x2[12] = { 1,-2, 1, 2,-2, 2, 2,-3, 1.5,-2.5, 1, 2.0};

    // estado inicial dos vetores de peso

    float w1[4] = { 0, 1, 0,-1};

    float w2[4] = { 1, 0,-1, 0};

    // espaco de saida

    float S1[4] = { 0, 1, 1, 0};

    float S2[4] = { 1, 1, 0, 0};

    int iX = 0; // entrada atual

    int iter = 1; // iteracao atual

    int fConv = 90; // delimita iteracao da fase de convergencia

    int nD = 12; // numero de dados

  • 7/22/2019 Aula10 Som

    50/66

    50Moacir P. Ponti Jr.

    Exemplo de Implementao em C parte 2

    // encontra o neurnio vencedor pelo calculo da menor distancia

    // wV = neuronio vencedor

    wV = 0; // indice do neuronio vencedor

    float dist[4] = { 0, 0, 0, 0 }; // vetor de distancias

    for (int j=0; j

  • 7/22/2019 Aula10 Som

    51/66

    51Moacir P. Ponti Jr.

    Exemplo de Implementao em C parte 3

    // verifica entre todos os neuronios,

    // quais estao na regiao de vizinhanca ( wV = neuronio vencedor )

    for (int j=0; j

  • 7/22/2019 Aula10 Som

    52/66

    52Moacir P. Ponti Jr.

    Exemplo de Implementao em C parte 4

    // escolhe nova entrada aleatoria entre 0 e nD (entre os dados)

    act = (int)(nD * rand() / (RAND_MAX + 1.0));iter++; // incrementa iteraao

    if (iter == fConv) // quando entra na fase de Convergencia{ alpha = 0.25; // atualiza parametros

    raio = 0.5;

    }

    // a cada duas iteracoes decrementa taxa de aprendizagemif (iter % 2 == 0)

    {if (iter < fConv) // decremento na fase de Ordenacao

    alpha-= 0.01;if (iter >= fConv) // decremento na fase de Convergenciaalpha-= 0.001;

    if (alpha

  • 7/22/2019 Aula10 Som

    53/66

    53Moacir P. Ponti Jr.

    Variaes do SOM

    Growing Grid Growing Cell Structures

    Growing Neural Gas

  • 7/22/2019 Aula10 Som

    54/66

    54Moacir P. Ponti Jr.

    Growing Grid

    Growing Grid uma variante incremental do SOM

    Inicia com apenas 4 neurnios (no caso 2D).

    A grade incrementada pela insero de linhas oucolunas completas, conforme os dados de entrada

    Tem duas etapas:

    1. Fase de crescimento

    2. Fase de ajuste fino

  • 7/22/2019 Aula10 Som

    55/66

    55Moacir P. Ponti Jr.

    Growing Grid

    Growing Grid

  • 7/22/2019 Aula10 Som

    56/66

    56Moacir P. Ponti Jr.

    Growing Cell Structures

    Growing Cell Structures (GCS) Tambm incremental, no entanto:

    No tem estrutura topolgica regular

    A dimensionalidade restrita

    A dimensionalidade da rede definida no incio mantida

    Isso permite a rede realizar a reduo da dimensionalidade

    O nmero de neurnios iniciais o nmero da

    dimenso + 1 No caso 2D, as conexes formam tringulos

    No caso 3D, as conexes formam tetraedros

  • 7/22/2019 Aula10 Som

    57/66

    57Moacir P. Ponti Jr.

    Growing Cell Structures

    Topologia Inicial do Growing Cell Structures(a) Unidimensional (b) Bidimensional (c) Tridimensional

  • 7/22/2019 Aula10 Som

    58/66

    58Moacir P. Ponti Jr.

    Growing Cell Structures

    O algoritmo do GCS similar ao utilizado peloSOM, exceto por duas importantes diferenas:

    1. A taxa de aprendizagem mantida constante durante

    todo o processo de treinamento2. Apenas o neurnio vencedor e sua vizinhana

    topolgica direta so atualizados

  • 7/22/2019 Aula10 Som

    59/66

    59Moacir P. Ponti Jr.

    Growing Cell Structures

    Exemplo de aprendizado

  • 7/22/2019 Aula10 Som

    60/66

    60Moacir P. Ponti Jr.

    Growing Neural Gas

    Pode ser visto como uma variao do Growing CellStructures

    Diferenas quanto dimensionalidade:

    A dimensionalidade da rede no restrita

    Dimensionalidade definida no incio incrementada

    Portanto no ocorre reduo de dimensionalidade

  • 7/22/2019 Aula10 Som

    61/66

    61Moacir P. Ponti Jr.

    Growing Neural Gas

    Quanto topologia da rede: Inicia com dois neurnios independente da

    dimensionalidade

    A topologia da rede reflete a topologia do espao de

    entrada

    As conexes no espao de sada so dinmicas(podem ser criadas e destrudas durante o

    treinamento)

  • 7/22/2019 Aula10 Som

    62/66

    62Moacir P. Ponti Jr.

    Growing Neural Gas

    Quanto ao aprendizado: H 2 neurnios vencedores, o primeiro e o segundo.

    Numa iterao ambos so atualizados e uma conexoentre eles criada

    Esta conexo tem um tempo de vida

    Caso no se torne ativa por um nmero de iteraesdeterminado, a conexo destruda

  • 7/22/2019 Aula10 Som

    63/66

    63Moacir P. Ponti Jr.

    Growing Neural Gas

    Incio com 2 neurnios Incluso usandointerpolao entre osneurnios mais ativos

    Organizao topolgica

  • 7/22/2019 Aula10 Som

    64/66

    64Moacir P. Ponti Jr.

    Growing Neural Gas

    Aps 1000 iteraes,mais neurnios so

    includos conforme as

    novas entradas

    Aps 25000 iteraes, j possvel observar queas conexes so criadas e destrudas conforme a

    atividade dos neurnios que participam daconexo

    f

  • 7/22/2019 Aula10 Som

    65/66

    65Moacir P. Ponti Jr.

    Referncias

    HAYKIN, S. Mapas Auto-Organizveis (captulo 9). Em: HAYKIN, S. RedesNeurais: princpios e prtica. 2000

    KOHONEN, T. Self-organized formation of topologically correct featuremaps. Biological Cybernetics, 43:59-69. 1982.

    PSYCH CENTRAL. Self-Organizing Map. Disponvel em:http://psychcentral.com/psypsych/Self-organizing_map. Acesso em: 29/05/2006

    HYNNINEN, J. Interactive Self-Organizing Map demonstrations. Disponvelem: http://www.cis.hut.fi/research/javasomdemo/index.html. Acesso em:25/05/2006

    FROHLICH, J. 3D Kohonen Feature Map. Disponvel em: http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.html. Acesso em:31/05/2006.

    O i i

    http://psychcentral.com/psypsych/Self-organizing_maphttp://www.cis.hut.fi/research/javasomdemo/index.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://www.cis.hut.fi/research/javasomdemo/index.htmlhttp://psychcentral.com/psypsych/Self-organizing_maphttp://psychcentral.com/psypsych/Self-organizing_maphttp://psychcentral.com/psypsych/Self-organizing_map
  • 7/22/2019 Aula10 Som

    66/66

    Outros sites interessantes

    Sistema de busca baseado no SOM: http://www.gnod.net/ Livro de redes neurais em Java + SOM:

    http://www.heatonresearch.com/articles/series/1/

    Applet SOM 3D: http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.html

    Applet DemoGNG 1.5 com diversas variaes do SOM emuitos recursos: http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.html

    http://www.gnod.net/http://www.heatonresearch.com/articles/series/1/http://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GG_2.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://fbim.fh-regensburg.de/~saj39122/jfroehl/diplom/e-sample-applet.htmlhttp://www.heatonresearch.com/articles/series/1/http://www.gnod.net/