6
40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999 MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) APLICADO À DECISÃO DE LÓGICA MAJORITÁRIA Getúlio A. de Deus Júnior Leandro Nunes de Castro* Jaime Portugheis [email protected] [email protected] [email protected] Universidade Estadual de Campinas - UNICAMP Faculdade de Engenharia Elétrica e de.Computação - FEEC Departamento de Comunicações - DECOM * Departamento de Eng. de Computação e Automação Industrial- DCA Resumo Os sistemas FH-CDMA propostos na literatura podem ser representados por matrizes de transmissão e de recepção. A regra de decisão que minimizá a probabilidade de erro de mensagem no receptor é conhecida por lógica majoritária (LM). Este artigo propõe a utilização de uma arquitetura de rede não-paramétrica que apresenta algumas modificações no algoritmo de treinamento para os mapas auto-organizáveis, originalmente proposto por Kohonen, e verifica sua aplicabilidade na verificação das operações de LM. 1 INTRODUÇÃO Já há alguns anos têm sido realizados grandes avanços nas pesquisas da área de Redes Neurais Artificiais (RNA's), tanto a pesquisa teórica quanto a.pesquisa aplicada, têm demonstrado avanços significativos [9, 13, 14]. As Redes Neurais Artificiais constituem modelos matemáticos inspirados no sistema nervoso biológico, que dentre outras propriedades, são capazes de aprender pela experiência, generalizar exemplos e abstrair características de um meio. Os elementos de processamento de uma Rede Neural Artificial são os neurônios, cuja função de transferência, geralmente, não-linear gera urna saída respondendo à uma determinada entrada fornecida. Também a área de sistemas de comunicações móveis tem demonstrado grandes avanços [7, 11, 12]. Este trabalho motivou-se na utilização das RN'A's para projeto de receptores FH-CDMA. É apresentado um novo algoritmo de treinamento, chamado PSOM [I], capaz de eliminar unidades de saída redundantes para a arquitetura conhecida como mapa auto- organizável de Kohonen (SOM - do inglês self-organizing feature map) [10]. Em seguida, é apresentada uma introdução aos sistemas FH-CDMA E finalmente, é feita uma aplicação da rede de Kohonen para as operações de LM. 2 REDES AUTO-ORGANIZADAS As arquiteturas auto-organizáveis, como propostas por [10], geram mapeamentos de um espaço de dimensão elevada em 150 estruturas cuja dimensão topológica é inferior à original. Estes mapeamentos são capazes de preservar as relações de vizinhança dos dados de entrada. Isto os torna interessantes para aplicações em diversas áreas, como reconhecimento de voz, análise exploratória de dados [8], e otimização combinatória. O fato de que mapeamentos similares podem ser encontrados em diversas áreas do cérebro humano e de outros animais indica que a preservação da topologia é um princípio importante pelo menos em sistemas de processamento de sinais. A redução de dimensão pode acarretar urna perda de informação (a qual se procura minimizar) ou então pode levar a uma transformação topológica da informação original (de modo a explicitar relações não evidenciadas até então). Em ambos os casos, o que se procura é preparar a informação disponível para um processamento posterior, eliminando todo tipo de redundância e apresentando a informação de forma que ela possa ser diretamente manipulada. Em termos de aplicação; foi verificado que a utilização de estruturas do modelo de Kohonen com dimensão arbitrária Irias fixa implica em limitações nos mapeamentos resultantes [3]. Um grande número de variações do algoritmo original, com o objetivo de determinação de uma arquitetura mais adequada ao problema a ser abordado, tem sido proposto na literatura. [3] apresenta um mapa auto-organizável construtivo treinamento supervisionado e não-supervisionado. E apresentado um procedimento controlado de inclusão de unidades (crescimento), . juntamente com procedimentos de poda para a remoção ocasional de neurônios. [2] introduz um método dinâmico de "divisão" de unidades que representam mais de uma classe. São feitos comentários sobre procedimentos de poda para a eliminação de unidades pouco significativas, mas nenhum método é formaImente descrito e suas propriedades não são analisadas.

MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

Embed Size (px)

Citation preview

Page 1: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM)APLICADO À DECISÃO DE LÓGICA MAJORITÁRIA

Getúlio A. de Deus Júnior Leandro Nunes de Castro* Jaime [email protected] [email protected] [email protected]

Universidade Estadual de Campinas - UNICAMPFaculdade de Engenharia Elétrica e de.Computação - FEEC

Departamento de Comunicações - DECOM*Departamento de Eng. de Computação e Automação Industrial- DCA

Resumo Os sistemas FH-CDMA propostos na literatura podemser representados por matrizes de transmissão e de recepção. Aregra de decisão que minimizá a probabilidade de erro demensagem no receptor é conhecida por lógica majoritária(LM). Este artigo propõe a utilização de uma arquitetura derede não-paramétrica que apresenta algumas modificações noalgoritmo de treinamento para os mapas auto-organizáveis,originalmente proposto por Kohonen, e verifica suaaplicabilidade na verificação das operações de LM.

1 INTRODUÇÃOJá há alguns anos têm sido realizados grandes avanços naspesquisas da área de Redes Neurais Artificiais (RNA's), tanto apesquisa teórica quanto a.pesquisa aplicada, têm demonstradoavanços significativos [9, 13, 14]. As Redes Neurais Artificiaisconstituem modelos matemáticos inspirados no sistemanervoso biológico, que dentre outras propriedades, são capazesde aprender pela experiência, generalizar exemplos e abstraircaracterísticas de um meio. Os elementos de processamento deuma Rede Neural Artificial são os neurônios, cuja função detransferência, geralmente, não-linear gera urna saídarespondendo à uma determinada entrada fornecida.

Também a área de sistemas de comunicações móveis temdemonstrado grandes avanços [7, 11, 12]. Este trabalhomotivou-se na utilização das RN'A's para projeto de receptoresFH-CDMA. É apresentado um novo algoritmo de treinamento,chamado PSOM [I], capaz de eliminar unidades de saídaredundantes para a arquitetura conhecida como mapa auto-organizável de Kohonen (SOM - do inglês self-organizingfeature map) [10]. Em seguida, é apresentada uma introduçãoaos sistemas FH-CDMA E finalmente, é feita uma aplicação darede de Kohonen para as operações de LM.

2 REDES AUTO-ORGANIZADASAs arquiteturas auto-organizáveis, como propostas por [10],geram mapeamentos de um espaço de dimensão elevada em

150

estruturas cuja dimensão topológica é inferior à original. Estesmapeamentos são capazes de preservar as relações devizinhança dos dados de entrada. Isto os torna interessantespara aplicações em diversas áreas, como reconhecimento devoz, análise exploratória de dados [8], e otimizaçãocombinatória. O fato de que mapeamentos similares podem serencontrados em diversas áreas do cérebro humano e de outrosanimais indica que a preservação da topologia é um princípioimportante pelo menos em sistemas de processamento desinais.

A redução de dimensão pode acarretar urna perda deinformação (a qual se procura minimizar) ou então pode levar auma transformação topológica da informação original (demodo a explicitar relações não evidenciadas até então). Emambos os casos, o que se procura é preparar a informaçãodisponível para um processamento posterior, eliminando todotipo de redundância e apresentando a informação de forma queela possa ser diretamente manipulada.

Em termos de aplicação; foi verificado que a utilização deestruturas do modelo de Kohonen com dimensão arbitrária Iriasfixa implica em limitações nos mapeamentos resultantes [3].Um grande número de variações do algoritmo original, com oobjetivo de determinação de uma arquitetura mais adequada aoproblema a ser abordado, tem sido proposto na literatura. [3]apresenta um mapa auto-organizável construtivotreinamento supervisionado e não-supervisionado. Eapresentado um procedimento controlado de inclusão deunidades (crescimento), . juntamente com procedimentos depoda para a remoção ocasional de neurônios. [2] introduz ummétodo dinâmico de "divisão" de unidades que representammais de uma classe. São feitos comentários sobreprocedimentos de poda para a eliminação de unidades poucosignificativas, mas nenhum método é formaImente descrito esuas propriedades não são analisadas.

Page 2: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SBAI- Simpósio Brasileiro de Automação Inteligente , São Paulo, SP, 08-10 de Setembro de 1999

-- - - - -

r • I- - . - I - - I

I = rI

.'- - -. IJ .-. - - -- 1.. ·Ir· . . . li l-

I - -• • • Classe I .•• - Classe 2 - Classe 3

(a)

- Classe4

"...

I P,

I P2= ...

.... P;

...p....

I

(b)

Figura 1: Arquiteturas típicas do SOM. (a)Mapa bidimensional de Kohonen, (b) Mapa unidimensional de Kohonen,

2.1 Mapa Auto-Organizável de Kohonen(SOM)

Os mapas auto-organizáveis de Kohonen fazem parte de umgrupo de redes neurais chamado redes baseadas em modelosde competição, ou simplesmente redes competitivas [8, 10].Estas redes combinam competição com uma forma deaprendizagem para fazer os ajustes de seus pesos.

Outra característica importante deste tipo de rede é que elasutilizam treinamento não-supervisionado, onde a rede buscaencontrar sürrrilaridades baseando-se apenas nos padrões deentrada. O principal objetivo dos mapas auto-organizáveis deKohonen é agrupar os dados de entrada que são semelhantes'entre si formando classes ou agrupamentos denominadosclusters (veja figura 1 (a)).

Em uma rede classificadora há uma unidade de entrada paracada componente do vetor de entrada. Cada unidade de saídarepresenta um cluster, o que limita a quantidade de clusters aonúmero de saídas. Durante o treinamento a rede determina aunidade de saída que melhor responde ao vetor de entrada; ovetor de pesos para a unidade vencedora é ajustado de acordocom o algoritmo de treinamento a ser descrito na próximaseção.

151

Durante o processo de auto-organização do mapa, a unidadedo cluster cujo vetor de pesos mais se aproxima do vetor dospadrões de entrada é escolhida como sendo a "vencedora". Aunidade vencedora e suas unidades vizinhas têm seus pesosatualizados segundo uma regra a ser descrita a seguir.

A figura 1 (a) e (b) apresenta arquiteturas típicas de um mapaauto-organizável de Kohonen. ,considerando configurações devizinhança unidimensional e bidimensional. Além disso, dadaa dimensão, a quantidade de unidades ou neurônios de saídapode ser arbitrada e mantida fixa, ou então definidaautomaticamente pelo algoritmo de treinamento, como serádescrito mais adiante para o caso de vizinhançasunidimensionais.

A quantidade de elementos de entrada depende do banco dedados a ser utilizado no treinamento da rede. O grid de saídapode ser de várias dimensões, com quantidade variável deelementos

Page 3: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SBAI- Simpósio Brasileiro de Automação Inteligente. São Paulo . SP, 08-10 de Setembro de 1999

Algoritmo de Treinamento

o algoritmo padrão de treinamento é apresentadoabaixo [8]:1 . Inicialização e definições de parâmetros

• Inicialize os pesos \Vij.• De f i na os parâmetros de vizinhança .• Defina o s parâmetros de aprendizagem .

2 . Enquanto a c ondiç ã o de parada é falsa,faça:2 .1 . Para cada j calcule :

JJ

2 . 2. Encontre o índice J tai que D(l) sejaum mínimo.

2 •3 . j E Nc de J, e '<:/ i :wij(novo) = wij(antigo) +á [Xi - Wij(antigo)]

2 . 4 . At ua l ize a taxa de aprendizagem2 . 5 . Reduza o r aio de vi z inhança

3 . Fim.

o O O O O O O O ONEj(Ne=4)

O O O O O Nc=3O O O O

O O O O O c=2O O O O

O O O Nc=!O O o°8: O O O

O O O O OOO O O O O O

O O O O OO O OO O O O

O O O OO O O O OO O O O O O O O O

(a)

Nc;;O NEj (Nc;;3){o [o lo (o) 01 o] o}

Nc=2 Nc=1

(b)

Figura 2: Vizinhos do nój, NEJ (Nc). (a) Estrutura Di-dimensional. (b) Estrutura uni-dimensional.

A taxa de aprendizagem decresce lentamente com o tempo. Aformação de um mapa ocorre em duas fases:• formação inicial da ordem correta• convergência final

O raio de vizinhança Nc é importante para o processo deatualização dos pesos. Como pode ser visto na figura 2(a) parao caso bi-dimensional, os vizinhos de um n6 são definidosdentro de uma região (quadrada, neste caso) onde o n6 j é ocentro do bloco. O caso uni-dimensional é apresentado nafigura 2 (b).

2.2 Procedimento de Poda paraVizinhança uni-dimensional (PSOM)

Quando pensamos em eliminar unidades pouco relevantes de.uma rede neural artificial, três questões básicas surgemnaturalmente:

152

• existem efetivamente unidades em excesso?• se existirem, quais unidades devem ser eliminadas e de

que forma?• .como a rede deve comportar-se após a retirada de uma

unidade?

Ao longo desta seção pretendemos apresentar uma respostapara estas perguntas.

Como mencionado anteriormente, este método tem porobjetivo reduzir a dimensão topol6gica do mapa gerado peloalgoritmo de treinamento original , e suas aplicações podemser diversas , mas com ênfase em problemas de classificaçãoou agrupamento de padrões.

O algoritmo de poda aqui apresentado permite a retirada deunidades intermediárias através de uma análise desensibilidade ou da inclusão de um temo de penalidade nafunção objetivo a ser minimizada.

Para as redes auto-organizadas em estudo, não existe umcritério de erro a ser minimizado, mas sim um critério dedistância a ser avaliado . Nosso objetivo é retirar unidades quesão pouco representativas. Para isso, é preciso saber quais sãoestas unidades, se existirem. Definimos um vetor medida deagrupamento (roiA) responsável por avaliar o grau derepresentatividade de cada unidade de saída da rede. Aquelasunidades cujas medidas de agrupamento MA são inferiores aum determinado limiar (s) são retiradas uma-a-uma,juntamente com todas as suas conexões.

Por outro lado, se uma determinada unidade de saída possui :uma medida de agrupamento MA muito grande, um termo depenalização ('t) pode ser adicionado à medida de agrupamentodesta unidade , aumentando a probabilidade de que outrasunidades possam classificar parte do conjunto amostral ,evitando assim, excessos no processo de poda.

Ap6s avaliada a medida de agrupamento de cada unidade desaída, e feita a poda de uma destas unidades (uma-a-uma),alguns fatores devem ser considerados. Geralmente oscritérios de parada dos mapas auto-organizáveis são um limitede iterações ou um valor mínimo do passo de ajuste (ex), noscasos em que ex decresce durante o processo de aprendizagem.O procedimento de poda deve ser um procedimento retardado,ou seja, a rede é treinada da maneira usual durante algumasiterações, e assim que o mapa apresenta uma topologia pré-definida, inicia-se a eliminação de unidades cuja MA épequena. Toma-se óbvio, então, que ao retirarmos umaunidade em fase adiantada do treinamento, o valor reduzido dataxa de aprendizagem permitirá pequenos ajustes no vetor depesos. Este argumento evidencia a necessidade de umareinicialização do valor do passo (ex) e do raio de vizinhançaNc sempre que uma unidade for retirada.

A poda implica na retirada da unidade e reinicialização dosparâmetros de treinamento, tendo como condições iniciais, porexemplo, o estado anterior.do processo. O aproveitamento doresultado obtido pela rede antes do. processo de poda, tomaintuitiva a idéia de que o algoritmo proposto (PSOM) sejasempre superior ao algoritmo padrão (SOM) para a mesmaarquitetura final e mesmos parâmetros comuns, como ex e <x"'i..caso o critério de parada seja <x"'in.

A condição de parada sugerida é um valor mínimo (exmin) paraa taxa de aprendizagem (ex).

Page 4: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SElAI - SimpósioBrasileirode Automação Inteligente, SãoPaulo, SP, 08-10 de Setembrode 1999

é enviada através do canal utilizando-se uma seqüência de Lsinais FSK. Esta seqüência FSK pode ser representada comoentradas de uma matriz de Q linhas e L colunas [6]. A duraçãode cada um destes sinais é o tempo de chip (cada entrada damatriz) de duração T segundos. .

Como exemplo. para um sistema com Q =7 e L = 3, a matrizde transmissão da figura 1, corresponde a mensagem dousuário igual a x=( 3 , 3, 3 ) e o endereço do usuário igual aa=( 4, 5, 6 ), resultando em uma palvra-c ódigoy =li+x=( 0, 1, 2 ). Note que neste caso, a palavra-códigode endereço a foi deslocada ciclicamente de 3 passos(operação de adição m ôdulo-?).

desta seção, os sistemas de endereçamento propostos por[4.5] são apresentados como proposição para as matrizestempo-freqüência da seqüência de salto em freqüência (FH).

A figura 3 mostra o diagrama de blocos do transmissor.multi-nível FH-CDMA. O usuário gera a seqüência Q - âria demensagem, x, de comprimento L. Um endereço li, tambémde comprimento L, é adicionado à mensagem do usuário(componente a componente). A palavra-código resultante

A freqüência FSK transmitida pode ser afetada por M <Qseqüências de outros usuários interferentes e também pordesvanecimentos e ruídos . Neste trabalho, considerou-seapenas a interferência de outros usuários na seqüência FSKtransmitida.O receptor consiste numfrequency-dehopper, que extrai o

endereço da seqüência FSK recebida, segu ido de Q detetaresde energia. Durante L intervalos de chips, as saídas dosdetetores são comparadas com um limiar e é feita uma decisãorelativa à presença ou ausência da freqüência correspondente.A figura 4 mostra o diagrama de blocos do receptor multi-nível FH-CDMA.Um receptor de lógica majoritária (LM), maximiza

max p(;:] Ym)' m = 0, 1, 2, ''', M -1, (2)m

(1)Y=li+x,

onde Ym , m = 0, 1, 2, " ', M -1, são todos as M possíveismatrizes transmitidas pelo usuário que está ' sendodecodificado.Portanto, o receptor de máxima verossimilhança, pode ser

implementado através de um receptor de LM: escolha ycorno a palavra-código transmitida (matriz) se ele possui maiscoincidências com a matriz recebida do que r (:t: 'J) [6].Como exemplo, para um sistema com Q = 7 e L = 3, um

usuário interferente contribui com a palavra-código resultanteYl = ( 3, 0, 2 ), que interfere em apenas urna posição napalavra-código de um segundo usuário com Y2= ( 0, 1, 2 ) .Para decodificação da mensagem transmitida do usuário deendereço li =( 4, 5, 6 ), basta subtrair YI e Y2 doendereço a (operação de subtração módulo Q). Isto resultaem uma nova matriz Y*. Aplicando a regra de decisão porlógica majoritária verificamos que a mensagem transmitidapelo usuário é x = ( 3, 3, 3 ). O efeito da interferênciaentre usuários pode ser visualizado na matriz de recepção dafigura 4 (efeito de desespalhamento na matriz Y* ) .

Algumas das desvantagens do método proposto são aquantidade de parâmetros a serem arbitrados e um processoque inicia com uma arquitetura grande e tenta reduzi -ladurante a adaptação.

o parâmetro Sé um valor percentual, ou seja, se uma .unidadenão representa nem s% do conjunto de dados , estão ela podeser retirada . Se a distribuição do conjunto de dados a serutilizado é conhecida, então é sugerido que a metade do valorpercentual da classe menos representativa do conjunto sejautilizada. Caso não saibamos nada a respeito dos dados detreinamento, geralmente são utilizados valores baixos como0.5% ou 1% para o parâmetro S, de forma que a rede nãoperca a capacidade de representar todas as classes possíveis.inclusive as menos representativas.

Para conjuntos amostrais pequenos, com até algumas dezenasde amostras, o número de saídas inicial da rede pode sertomado como sendo igual ao número de amostras disponíveis,ou seja, m = N; pois não é possível que existam mais do que Nelementos distintos em um conjunto contendo N dados. Se oconjunto de dados é grande, esta estratégia é poucorecomendável devido ao esforço computacional do início doprocesso de treinamento, mesmo contando etapas de poda.

Neste trabalho foi considerada a aplicação do método de podaapenas para o caso de vizinhanças unidimensionais.

Algoritmo de TreinamentoO algoritmo PSOM de treinamento segue abaixo :

1. Inicialização e d e f i n içõe s de parâmetros• Inicialize os p esos Wij.• Defina o s p a râme t r o s de vizinhança,aprendi zagem, p enalização e poda (Ç).

• Defina o númer o mínimo d e s a í d a s (rnrnin) eo retardo (ret)

2 . Enquanto a c ondição de parada é f alsa,faça:2.1. Para cada j calcule:

D(j) =argmin{ Ih -Xiii J}

2 . 2 . En contre o índice J tal que sejaum mínimo.

2.3 . . Incremente o componente MAcorrespondente a J

2 .4. j E Nc de J, e T;;I i:wij(llovo) = wij(alltigo)+á [Xi - wij(alltigo)]2.5. At u a l i z e a taxa de aprendizagem2.6. Se (m > rnrnin) & (nep > ret)• Então, retire a unidade que classifica

menos que çamostras, faça a = ao e Nc =Nco'

• Senão, mantenha todas as unidades2 .7. Se MA(k) é grande, penalize-o com o'

parâmetro2 .8. Reduza o raio de v i z i nh a n ç a

3 . Fim.

3 SISTEMAS FH-CDMA (FREQUENCYHOPPING - CODE DIVISION MULTIPLEACCESS)

Na primeira parte desta seção é apresentado o detetorincoerente FH-FSK (Frequency Hopping - Frequency ShiftKeying) proposto pelos laborat órios Bell, como uma daspossíveis técnicas de espalhamento espectral do sinal digitalcelular utilizando a modulação FSK [6]. Numa segunda parte

153

Page 5: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SBAI- Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999

Solllador

NlvelQ

NivelO

xxx

NfvelQ

NivelO

XX

X NivelQ

xX

NivelO X

MatrizTempo-Frequb>ciada sequàIcia FH

4 Lchipr

MatrizTempo-Frequlneia daPalavra-Có<liBo _

Figura 3: Diagrama de Blocos do Transmissor Multi-nível FH-CDMA.

NlvelQ

NIvelO

sinaiRe<:ebido

XXxx

ReceplorFSKQ-irio

NlvelQ

NivelO

xx

x

Inta:f't:ri:nciaJp6s odesespethameetom

NivelO

LcJtipr4L chipr

MalrizdaPalaVIa-<ÓdigOno_

Figura 4: Diagrama de Blocos do Receptor Multi-nível FH-CDMA;

Einarsson sugere que o m -ésimo usuário gere uma seqüênciaQ -âria de mensagem, Xm , de comprimento L (L <Q). Umendereço ãm , também de comprimento L, é adicionado àmensagem do usuário (componente a componente). Todas asoperações binárias consideradas a partir daqui são sobre umcampo de Galois GF(Q). A palavra-código resultante

(3)

é enviada através do canal utilizando-se urna seqüência de Lsinais FSK. A duração de cada um destes sinais é o tempo dechip, A equação 3 difere da equação 2, no sentido de que osendereços a da equação 2 podem ser qualquer seqüência. Poroutro lado, a equação 3 sugere um endereçamento querninirnizaa probabilidade de erro.

154

4 REDE DE KOHONEN PARA ASOPERAÇÕES DE LÓGICAMAJORITÁRIA

Urna Rede Neural não-paramétrica de Kohonen poderá serobtida, utilizando corno padrões de treinamento, as amostrasdadas pela figura 5, com Q=7 e L=3. Para este sistema, éexigido urna arquitetura de rede conforme mostra a figura l(b)com Q=7, ou seja, 7 neurônios na camada de saída.

As conexões dos chips da matriz recebida (entradas) aosneurônios de entrada da rede são feitas através dos pesossinápticos. A matriz de pesos sinápticos W para o sistema comQ=7 e L=3 tem dimensão 21x7 (21 linhas e 7 colunas). Estadimensão está relacionada com o número de entradas da redeigual a 21 e com o número de neurônios de saída da rede iguala 7, que é determinado automaticamente pelo algoritmoapresentado. A matriz W obtida no treinamento é mostrada nafigura 6.

Page 6: MAPA AUTO-ORGANIZÁVEL NÃO-PARAMÉTRICa (PSOM) … · é preparar informação um processamento posterior, todo a informação que ... implementado um receptor LM: escolha y a palavra-código

40. SBAI - SimpósioBrasileirode Automação Inteligente, SãoPaulo,SP,08-10de 'Setembro de 1999

.;j;

: l

FiguraS: Padrões de treinamento para a Rede.deKohonen relativos as operações de lógica majoritária.

- 0.033 - 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033- 0.033 - 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033..:0.033 - 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033- 0.033 - 0.033 - 0.033 - 0.033 - 0.033 0.198 - 0.033-0.033 -0.033 -0.033 -0.033 -0.033 0.198 -0.033- 0.033 . - 0.033 - 0.033 - 0.033 - 0.033 0.198 - 0.0330.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033 - 0.0330.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033 - 0.0330.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033-0.033 -0.033 -0.033 -0.033 0.198 -0.033 -0.033

w= -0.033 -0.033 -0.033 -0.033 0.198 -0.033 -0.033- 0.033 - 0.033 - 0.033 - 0.033 0.198 - 0.033 - 0.033- 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033- 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033- 0.033 - 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033- 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033- 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033- 0.033 0.198 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033-0.033 -0.033 -0.033 -0.033 -0.033 -0.033 0.198- 0.033 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033 0.198- 0.033 - 0.033 - 0.033 - 0.033 - 0.033 - 0.033 0.198

Figura 6: Matriz de pesos sinápticos obtida notreinamento de uma Rede Neural paramétrica de Kohonen

com Q=7 e L=3.

Observando a matriz de pesos ' sin ápticos W, verificamos que'neste treinamento, a primeira coluna da matriz W (primeironeurônio da camada de saída da rede) é responsável pelaclassificação da terceira mensagem treinada. A segundacoluna da matriz W é responsável pela classificação da sextamensagem treinada. E assim por diante. Devido ao caráterauto-organizado da rede, ao refazer o treinamento,encontraremos uma nova matriz W e muito provavelmente, oprimeiro neurônio da camada de saída não será mais oresponsável pela classificação da terceira mensagem.

Analisando o resultado do treinamento da matriz depesos sinápticos W notamos que todas as entradas da redeestão conectadas aos neurônios de saída, pois não existemvalores nulos na referida matriz. Se substituirmos os valores.positivos da matriz de pesos sinápticos por um e os valoresnegativos por zero, ou seja, efetuarmos uma decodificaçãolinear da matriz de pesos resultante, o desempenho em termosde probabilidade de erro da rede não é alterado. Isto se deveao fato de que a regra de atualização dada pelo algoritmo paraa rede auto-organizada de Kohonen (passo 2.1 das seções 3.1 e3.2),

D(j)= L(wij _x;)2,;

(I 5, j5,Q e 15, t« Q.L),encontre o índice J tal que D(J) seja mínimo,

implementa as operações de distância Euclidiana entre o vetorde entradas X e a i-ésima coluna da matriz de pesos sinápticosW. Portanto, para este treinamento se a quarta coluna damatriz Wapresentar a menor distância Euclidiana em relação a

155

um determinado padrão de teste, decodificaríamos comosendo enviada a primeira mensagem (ver figura 6) .

5 CONCLUSÕESVerificou-se que o algoritmo de poda (PSOM) apresentadopara os mapas auto-organizáveis de Kohonen é capaz deencontrar uma arquitetura mínima representativa do problemaa ser tratado.

Além disso, verificou-se também que a RNA não-paramétricade Kohonen constitui uma forma de efetuar o cálculo para osvalores de p; (t s i :5Q), efetuando assim as operações delógica majoritária.

6 REFERÊNCiAS[1] Castro, L. N. & Von Zuben,F. J., "An Improving Pruning

Technique with Restart for lhe Kohonen Self-OrganizingFeature Map", aceito para publicação no "InternationalJoint Conference on Neural Networks" (DCNN'99),Washington D.C.IUSA, Julho 1999.

[2J Cho, S.-B., "Self-Organising Map with Dinamical NodeSplitting: .Application to Handwritten Digit Recognition",Neural Computation, voI. 9, pp. 1345-1355, 1997.

[3] Fritzke, B., "Growing Cell Structures - A Self-Organizing Network for Unsupervised and SupervisedLearning", Technical Report TR 26/93,1993.

[4J Einarsson, G., "Address Assignrnent for a Time-Frequcncy-Coded, Spread-Spectrum System", B.S.T.J.,v.59, n.7, p.l241-1255, SeI. 1980.

[5] Einarsson, G., "Coding for a Multiple-Access Frequency-Hopping System", IEEE Trans. on Comm., v.COM-32,n.5, p.589-597, Maio 1984.

[6J Goodman, B. J., Henry , P. S ., Prabhu V. K. "Frequency-Hopped Multilevel FSK for Mobile Radio", B.S.T.J.,v.59, «r. p.1257-1275, SeI. 1980.

[7] Huff, D. L., "Advanced mobile phonc service: lhedevelopmental system", B.S.T.J., v.58, 249, Jan . 1979.

[8] Kaski, S., "Data Exploration Using Self-OrganisingMaps", Ph.D. Thesis , Polytechnic School of Scandinavia,Finland, 1997.

[9] Kechriotis, G. L, Manolakos, E. S. , "Hopfield NeuralNetwork Implementation of the Optimal CDMAMultiuser Detector'. IEEE Trans. 00 Neural Networks,v.7, n.I , Jan . 1996.

[10]Kohonen , T., "Self-Organized Formation ofTopologically Correct Feature Maps", BiologicalCybernetics, 43, pp. 59-69, 1982.

[11]Maral, G., Bousquet, M., "Satellite CommunicationsSystems", New York: John Wiley & Sons, 1976.

[12]Potter, R., "Personal communications for lhe massmarket", Telecommunications, int. 00., v.24 , Set 1990.

[13]Yuan, J., Chen, C. S., "Correlation decoding of the(24,12) Golay code using neural networks", IEEProceedings-I, v.138, n.6, p.5]7-524, Dez. 1991.

[14]Wang, X., "An Artificial Neural Net Viterbi Decoder",IEEE Trans. on Comm., v.44, n.2, Fev. ]996.