Redes Neurais Hierárquicas para Redes Neurais Hierárquicas para Implementação de Comportamentos em Implementação de Comportamentos em

Agentes AutônomosAgentes Autônomos

Flávio de Almeida e Silva

Universidade Federal de Santa CatarinaCentro de Tecnologia

Departamento de Informática e EstatísticaPós-graduação em Ciência da Computação

Prof. Mauro Roisenberg, Dr.Prof. Jorge Muniz Barreto, DSc.

UFSC

PUBLICAÇÕESPUBLICAÇÕES

SILVA, Flávio de Almeida e; ROISENBERG, Mauro; BARRETO, Jorge Muniz. Redes Neurais Hierárquicas para Implementação de Comportamentos em Agentes Autônomos. Congresso Brasileiro de Automática – CBA 2000. Setembro

2000.

* Submetido ao Congresso Brasileiro de Redes Neurais - CBRN

ORGANIZAÇÃO DA APRESENTAÇÃOORGANIZAÇÃO DA APRESENTAÇÃO

1. Introdução– Motivação– Objetivos

2. A Evolução Biológica, Sistema Nervoso e Comportamento Animal

3. Alternativas de Implementações para Sistemas Móveis4. Controle Hierárquico dos Comportamentos de um Agente

Autônomo– Ambiente para o Desenvolvimento: “Khepera Simulator”

5. Conclusão

Introdução

• Buscar AA's com repertório de comportamentos e grau de autonomia cada vez maior.

• Existe no animal um mecanismo de avaliação e seleção de comportamentos – Inspiração Biológica.

• Baseado no sistema nervoso dos seres vivos, desenvolver um equivalente computacional que é uma arquitetura hierárquica de redes neurais.

Motivação

Introdução

• Estudo e utilização de Redes Neurais Hierárquicas.

• Desenvolvimento de agentes autônomos com alto grau de inteligência e autonomia.

Objetivo Principal

A Evolução Biológica, o Sistema Nervoso e o Comportamento Animal

• A EVOLUÇÃO Moléculas Célula-Conceito Padrão de Vida-CHURCHLAND (1984) Especialização das Células – Neurônios A Evolução e a Seleção Natural foram os mecanismos que a Natureza

encontrou para aumentar a complexidade dos seres.• O SISTEMA NERVOSO

Neurônios e as sinapses: base do sistema nervoso. Completamente desenvolvidos em sistemas bem simples como celenterados (hydras)

Faz a coordenação de todas as atividades do organismo. “integra as “sensações” e “idéias”, ajusta “fenômenos de consciência” e adapta o organismo às condições do momento”(ERHART, 1974).

Depende de duas partes: PARTE SENSORIAL e PARTE MOTORA. Ele é quem impulsiona os músculos. Tem como prioridade, em termos gerais,

as instruções “sobreviva e procrie”. ”O sistema nervoso é composto pelo cérebro, medula espinhal e nervos periféricos que se

estendem através do corpo.” (GUYTON,1974)

• REDES NEURAIS MODULARES Todas as Partículas Elementares fazem, de certa forma, parte de outro sistema

que elas ajudam a formar. Redes Neurais Modulares estão presente em organismos vivos Um mesmo módulo é usado para executar diferentes tarefas em tempos diferentes

um processo será executado por diferentes módulos em diferentes regiões do cérebro ao mesmo tempo.

Estes sistemas modulares, no cérebro, podem ser de dois tipos, sendo eles vertical e horizontal.

• COMPORTAMENTO ANIMAL O que vem a ser o comportamento animal? Sistema Muscular: é através da sua atividade ou inatividade diante de uma

situação que determinamos ou caracterizamos o comportamento. Existe uma hierarquia de controladores de comportamentos dentro do sistema

nervoso. Um fator de complicação adicional vem do fato de que os comportamentos não

são somente aprendidos por experiência ou ensinados. Grande parte dos comportamentos já está “pré-fiados”.

Classes de Comportamentos.

A Evolução Biológica, o Sistema Nervoso e o Comportamento Animal

Alternativas de Implementação para Sistemas Móveis

• Um controlador baseado em comportamento é dividido em camadas. Cada camada é responsável por um tipo de comportamento ou tarefa a ser executada pelo sistema global.

• A falha de qualquer das camadas não significa, necessariamente, o colapso total do sistema.

• As entradas de cada máquina de estado finito podem ser suprimidas e as saídas podem ser inibidas por outras máquinas

Arquitetura em camadas de comportamentos da “Subsumption Architecture”

BROOKS: “Subsumption Architecture” e ALVES: “Arquitetura de Assunção”

Alternativas de Implementação para Sistemas Móveis

•Um dos principais problemas desta arquitetura é:

A adaptação a outras tarefas fica muito difícil, uma vez que, será difícil a reconfiguração do sistema, pois, existe uma interdependência entre os comportamentos implementados

Esquema Inibidor/Supressor para camada de comportamento

Alternativas de Implementação para Sistemas Móveis

• Os comportamentos obtidos com estes AA’s são do tipo reflexivos.

• AA’s são “robôs” montados através dos “tijolos” da LEGO.

• Nomes: “Timid”, “Indecisive”, “Paranoid”, etc.

HOGG et al (1991): Criaturas de Braitenberg

Paranoid (Paranóico)

Encontrar Luz

Controle Hierárquico dos Comportamentos de um Agente Autônomo

• Inspiração na Natureza.

• Controle refinado do comportamento dos AA's.

• Favorecer um comportamento robusto e flexível.

• Comportamentos Reflexivos e Reativos.

Rede Neural Artificial Hierárquica

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Rede Neural Artificial Hierárquica

ATUADORESSENSORES

RedesDiretas

RedesRecorrentes

Aumenta através da Evolução

AumentaatravésdaEvolução

Prioridade de Comportamento

• Segurar um objeto quente ou largá-lo?

• Segurar um objeto importante, mas que está quente ou largá-lo?

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Definições e o aprendizado da Rede Hierárquica

• Algoritmo de Treinamento: Backpropagation• Treinamento das Redes: “Off-line”• Definições dos Conjuntos de Treinamento para as

Redes Feedforward(Subsistema Sensório e Subsistema Motor).

• Rede Recorrente para o Controle do Sistema Motor.

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Definições das Redes Feedforward

• Rede responsável pela detecção de Obstáculos (Rede KhepDist) do Sistema Sensório.

• Rede responsável pela detecção de Luz (Rede KhepLuz) do Sistema Sensório.

• Rede responsável pelo controle dos motores (Rede KhepMotD) do Sistema Motor, controlada pelos

sensores de Distância.• Rede Responsável pelo controle dos motores

(Rede KhepMotL) do Sistema Motor, controlada pelos sensores de Luz.

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Definição da Rede de Controle

EncontrouLuz

EncontrouObstáculo

Não Encontrou Obstáculo

Não Encontrou

Luz

Não Encontrou Obstáculo

Não EncontrouLuz

EncontrouObstáculo

0 1 2

EncontrouLuz

Não Encontrou Obstáculo

EncontrouObstáculo

Não Encontrou

Luz

•A rede é representada por um Autômata de Estado Finito.•Mudança de estado depende das saídas das redes do Sistema Sensório.

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Esquema da Rede HierárquicaSubsistema deControle

Rede Feedforward(Distância)

Subsistema Sensório

Rede Feedforward

(Luz)Rede

Feedforward(Luz)

Rede Feedforward(Distância)

Subsistema Motor

Controle Hierárquico dos Comportamentos de um Agente Autônomo

Ambiente de desenvolvimento

• Khepera Simulator

Conclusão

• A Hierarquia possibilitou a seleção de comportamentos reflexivos.

• Não se Chocou com obstáculos.

• Quando detectou Luz, foi ao seu encontro.

• Quando deteectou Luz atrás de um obstáculo, primeiro desviou do obstáculo.

• A princípio a Rede Hierárquica controlou os comportamentos implementados com satisfação.

Trabalhos Futuros

• Implementar Técnicas de IA simbólica no nível mais alto da hierarquia.

• Buscar outras alternativas como Redes Híbridas: Com Algoritmos Genéticos (AG) e ou IA Simbólica.

• Treinamento “On-Line”.

Conclusão

FIM

Qualquer evento que venha causar uma perturbação ao redor do organismo é registrado pelos órgãos de sentido (parte sensorial). Este registro é feito através dos sentidos da visão, audição, olfato, paladar e tato.

Sistema Sensório

Os Músculos: Grande parte das atividades musculares é controlada pela medula espinhal e parte inferior do tronco cerebral.

Sistema Motor

“Os mamíferos por exemplo, podem ser subdivididos em suas células, cada uma das quais podem ser subdivididas em várias organelas (partes especializadas de uma célula) posicionada no núcleo e no citoplasma (o primeiro corpo vivo de uma célula não incluindo o núcleo). Estas células são agrupadas para formar órgãos, que em troca forma o organismo inteiro. No organismo cada órgão tem uma ou mais funções específicas. Cada órgão é dividido novamente em partes com funções diferentes, e nessas partes cada célula tem suas próprias tarefas. Estes exemplos sugerem uma modularização recursiva dentro da sua própria modularização” (BOERS & KUIPER, 1992)

Partículas Elementares

A estrutura horizontal é encontrada onde os processos são executados por camadas hierárquicas subseqüentes de neurônios. Sistema Visual Primário: onde simples características de imagens visuais como linhas e arcos são representados em camadas de neurônios simples. A Estrutura Vertical se dá na existência, para todos os níveis do cérebro primata, de caminhos múltiplos de processos paralelos e esta estrutura permite o processo separado de tipos diferentes de informação. “Um bom exemplo pode, mais uma vez, ser achado no sistema visual, onde diferentes aspectos de incentivos visuais como forma, colorido, movimento e posição, é processado em paralelo através dos sistemas neurais anatomicamente separados, organizados no caminho magno celular e parvo celular. Estruturas convergentes integram estes processos de informação visual separadamente no mais alto nível hierárquico para produzir uma percepção unitária” (BOERS & KUIPER, 1992)

Estrutura Vertical e Horizontal

Exemplo: Conjunto de Treinamento

Tabela 5.4: Conjunto de exemplos da rede Sensória de Luz– Entradas e SaídasS.1 S.2 S.3 S.4 S.5 S.6 S.7 S.8 Saída-1 -1 1 1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 1-1 -1 -1 1 1 1 1 1 1 1 -1 -1 -1 1 1 1 1 1 1 1 -1 -1 -1 1 1 1 1 1 1 1 -1 -1 -1 1 1 1 1 1 1 1 -1 -1 -1 1 1 1 1 1 1 1 -1 -1 -1 1 1 1 1 1 1 1 1 1 -1

Nível Mais Alto: IA Simbólica

ATUADORES

MÓDULOSIMBÓLICO

SENSORES

RedesDiretas

RedesRecorrentes

Aumenta através da Evolução

AumentaatravésdaEvolução

Você seria capaz de dizer as cores das palavras que aparecerão abaixo?