Estimativa da Ordem do Processo Estoc astico de …...Figura 2 { Representa˘c~ao de uma rede neural multi camadas sem recorr^encia, com duas camadas intermedi arias. Os sensores s~ao

$Page 1: Estimativa da Ordem do Processo Estoc astico de …...Figura 2 { Representa˘c~ao de uma rede neural multi camadas sem recorr^encia, com duas camadas intermedi arias. Os sensores s~ao$
Rosenvaldo Jose dos Santos Neto

Estimativa da Ordem do Processo

Estocastico de Ratos Virtuais no Labirinto

em Cruz Elevado

UNIVERSIDADE FEDERAL DE GOIAS - REGIONAL JATAI

2019


Estimativa da Ordem do Processo Estocastico de

Ratos Virtuais no Labirinto em Cruz Elevado

Monografia apresentada ao curso de Fi-losofia, como requisito parcial para a ob-tencao do Tıtulo de Licenciado em Fısicada Universidade Federal de Goias

Orientador: Profa. Dra. Ariadne de Andrade Costa

UNIVERSIDADE FEDERAL DE GOIAS - REGIONAL JATAI2019


Estimativa da Ordem do Processo Estocastico deRatos Virtuais no Labirinto em Cruz Elevado

Monografia apresentada ao curso deFilosofia, como requisito parcial para aobtencao do Tıtulo de Licenciado emFısica da Universidade Federal de Goias

UNIVERSIDADE FEDERAL DE GOIAS - REGIONAL JATAI, 2019

Profa. Dra. Ariadne de Andrade CostaUFG/REJ

Profa. Dra. Maryzaura de OliveiraAssuncaoUFG/REJ

Prof. Dr. Paulo Freitas GomesUFG/REJ

UNIVERSIDADE FEDERAL DE GOIAS - REGIONAL JATAI2019

iii

Agradecimentos

Agradeco a dona Elzeli por todo dinheiro e carinho investidos em mim.;

Agradeco ao Berg pelas brejas;

A Patricia por ter ajudado em tudo (do jeito dela);

Ao Prof. Dr. Alexandre Pancotti por ter me orientado em dois anos de iniciacao

cientıfica, me ensinando muita coisa;

Ao Prof. Dr. Paulo Freitas Gomes por ter me ajudo com os codigos em python

alem das inumeras vezes que tirou duvidas de varias outras coisas;

Por fim e nao menos importante agradeco a Profa. Dra. Ariadne de Andrade

Costa por ter aceitado me orientar neste trabalho, doando muito do seu tempo e

principalmente tendo muita paciencia com os prazos, vlw professora.

iv

“Ha aqueles que ja nascem postumos”

(Friedrich Wilhelm Nietzsche )

v

Resumo

O labirinto de cruz elevado (LCE) e um aparato experimental bastante simples e

frequentemente utilizado para estudos nas areas de Farmacia, Neurologia e Psico-

biologia para testes de ansiedade e defesa. A aplicacao de drogas ansiogenicas ou

ansiolıticas altera o nıvel de ansiedade do animal e consequentemente seu compor-

tamento no LCE (em comparacao ao de ratos sem efeito de drogas – ratos controle).

Neste trabalho simulamos o efeito dos referidos tipos de drogas em ratos virtuais

baseados em redes neurais artificiais otimizadas por algoritmos geneticos em um

LCE virtual. Analisamos as trajetorias desses ratos virtuais para comparar com

o comportamento geral de ratos reais no LCE. Tais trajetorias envolvem posicoes

(estados) discretas em instantes de tempos tambem discretos. Dessa forma, po-

dem ser tratadas como processos estocasticos e a ordem desses processos pode ser

estimada. A ordem explica quantos estados (atual e anteriores) sao considerados

para a tomada de decisao do agente sobre seu deslocamento no LCE no proximo

instante de tempo. Curiosamente, todos ratos virtuais estudados tiveram suas

trajetorias estimadas como aleatorias (isto e, o rato nao usa informacoes previas

(memoria) ao se deslocar no labirinto. E necessario comparar os resultados obti-

dos com o de ratos reais e afinar o metodo estatıstico utilizado. A estimativa da

ordem nao e trivial e pode ser uma grande inovacao na analise do comportamento

de roedores reais e virtuais em diferentes aparatos experimentais. O potencial

dessa ferramente esta principalmente: i) na compreensao de como a ansiedade (ou

falta dela), bem como transtornos neurologicos, tais como Alzheimer, afetam a

memoria de trabalho do animal e ii) na deteccao de ansiedade e sinais de doencas

neurologicas em animais reais e virtuais.

Palavras-chave: Labirinto em cruz elevado; Processo estocastico; Trajetoria; Re-

des neurais; Algoritmo genetico.

vi

Lista de ilustracoes

Figura 1 – Rato Wistar no labirinto em cruz elevado do Laboratorio de

Comportamento Exploratorio da Faculdade de Filosofia, Ciencias

e Letras de Ribeirao Preto. Imagem retirada (COSTA, 2015) . . 4

Figura 2 – Representacao de uma rede neural multi camadas sem recorrencia,

com duas camadas intermediarias. Os sensores sao represen-

tados pelos quadrados e os neuronios pelos cırculos. Imagem

retirada de (COSTA, 2015). . . . . . . . . . . . . . . . . . . . . 8

Figura 3 – Representacao de uma rede neural multi camadas com recorrencia,

com duas camadas intermediarias. Os sensores sao represen-

tados pelos quadrados e os neuronios pelos cırculos. Imagem

retirada (COSTA, 2015). . . . . . . . . . . . . . . . . . . . . . . 9

Figura 4 – Esquema demostrando a recombinacao de um ponto. Retirado

de (COSTA, 2015). . . . . . . . . . . . . . . . . . . . . . . . . . 14

Figura 5 – Esquema demostrando a recombinacao de dois pontos. Retirado

de (COSTA, 2015). . . . . . . . . . . . . . . . . . . . . . . . . . 14

Figura 6 – Esquema demostrando um cruzamento uniforme. Retirado de (COSTA,

2015). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Figura 7 – Esquema demostrando a ocorrencia de mutacao. Retirado de

(COSTA, 2015). . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Figura 8 – Representacao da estrutura do labirinto em cruz elevado subdi-

vido os bracos em espacos menores como pode ser visualidade

na cruz da direita. Imagem retirada de (COSTA, 2015). . . . . 18

Figura 9 – Esquema representando o processo de evolucao atraves do AG.

Retirado de (COSTA, 2015). . . . . . . . . . . . . . . . . . . . . 21

Figura 10 – Grafico da posicao pelo tempo do rato controle numero 5. . . . 24

Figura 11 – Deslocamento do rato controle numero 10 no LCE virtual. . . . 25

Figura 12 – Trajetoria do rato ansiogenico virtual numero 1 no LCE. . . . . 26

Figura 13 – Grafico da posicao pelo tempo do rato ansiogenico de numero 3. 27

Figura 14 – Grafico da posicao pelo tempo do rato ansiolıtico de numero 2. . 27

vii

Figura 15 – Trajetoria do rato ansiolıtico de numero 9. . . . . . . . . . . . . 28

viii

Lista de tabelas

Tabela 1 – Tabela contendo dados sobre o tipos de drogas ministradas,

nome das drogas, sua concentracao e o numero de ratos que

foram submetidos. Tabela nao contem o numero total de ra-

tos pois nem todos foram submetidos a drogas como descrito

anteriormente. . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Tabela 2 – Descricao dos sensores do rato virtual, onde os sensores de longe

alcance conseguem determinar posicoes a sua frente e os senso-

res de curto alcance apenas abrangem a posicao atual do rato

virtual. Tabela adaptada de (COSTA, 2015). . . . . . . . . . . 19

Tabela 3 – Resultados da correlacao entre os metodos de AIC e BIC para

estimativa da ordem do processo estocastico para k = 0 e k = 1

de ratos virtuais controles. . . . . . . . . . . . . . . . . . . . . . 29



de ratos virtuais controles. . . . . . . . . . . . . . . . . . . . . . 30



de ratos virtuais ansiogenicos. . . . . . . . . . . . . . . . . . . . 32



de ratos virtuais ansiogenicos. . . . . . . . . . . . . . . . . . . . 33



de ratos virtuais ansiolıticos. . . . . . . . . . . . . . . . . . . . . 34



de ratos virtuais ansiolıticos. . . . . . . . . . . . . . . . . . . . . 35

ix

Lista de abreviaturas e siglas

AG Algoritmo genetico

AIC Criterio de Informacao de Akaike

BIC Criterio de Informacao Bayesiano

LCE Labirinto em cruz elevado

RNA Redes neurais artificiais

x

Sumario

Lista de ilustracoes . . . . . . . . . . . . . . . . . . . . . . . vi

Lista de tabelas . . . . . . . . . . . . . . . . . . . . . . . . . viii

1 INTRODUCAO . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 FUNDAMENTACAO TEORICA . . . . . . . . . . . . . . . . 3

2.1 Experimentos com ratos reais . . . . . . . . . . . . . . . . . . 3

2.2 Redes neurais artificiais (RNAs) . . . . . . . . . . . . . . . . . 6

2.2.1 Fundamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2.2 Arquitetura de RNAs . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2.3 Aprendizado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.2.3.1 Aprendizado supervisionado . . . . . . . . . . . . . . . . . . . . . . 9

2.2.3.2 Aprendizado nao supervisionado . . . . . . . . . . . . . . . . . . . . 10

2.2.3.3 Aprendizado por avaliacao de qualidade de solucoes . . . . . . . . . . 10

2.3 Algoritmos geneticos (AGs) . . . . . . . . . . . . . . . . . . . . 10

2.3.1 Fundamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.3.2 Caracterısticas gerais dos AGs . . . . . . . . . . . . . . . . . . . . 11

2.3.3 Selecao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.3.4 Funcao Aptidao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3.5 Recombinacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3.6 Mutacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.4 Processos estocasticos . . . . . . . . . . . . . . . . . . . . . . . 16

2.4.1 Criterio de Informacao de Akaike . . . . . . . . . . . . . . . . . . . 16

2.5 Criterio de Informacao Bayesiano . . . . . . . . . . . . . . . . 17

3 METODOS DA PESQUISA . . . . . . . . . . . . . . . . . . 18

3.1 Estrutura do LCE virtual . . . . . . . . . . . . . . . . . . . . . 18

3.2 Modelo computacional: Rede neural artificial . . . . . . . . . 19

3.2.1 Algoritmo genetico . . . . . . . . . . . . . . . . . . . . . . . . . . 20

xi

3.3 Analise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4 RESULTADOS E DISCUSSOES . . . . . . . . . . . . . . . . 23

4.1 Trajetorias dos ratos no LCE . . . . . . . . . . . . . . . . . . . 23

4.1.1 Ratos controle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4.1.2 Ratos ansiogenicos . . . . . . . . . . . . . . . . . . . . . . . . . . 25

4.1.3 Ratos ansiolıticos . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

4.2 Estimativa dos processos estocasticos . . . . . . . . . . . . . . 28

5 CONCLUSAO . . . . . . . . . . . . . . . . . . . . . . . . . . 37

REFERENCIAS . . . . . . . . . . . . . . . . . . . . . . . . . 39

1

1 Introducao

A analise do comportamento exploratorio de roedores em labirintos ou arenas e

utilizado na medicina, farmacologia e na psicologia com diversas aplicacoes. Uma

dessas aplicacoes esta na caracterizacao de novas drogas (ARANTES, 2016).

Um dos principais testes do comportamento exploratorio de roedores utilizado

por pesquisadores e o Labirinto em Cruz Elevado (LCE). O teste foi validado

inicialmente por Handley e Mithani em 1984 (HANDLEY; MITHANI, 1984), ofe-

recendo riscos reduzidos aos roedores. O aparelho utilizado para realizacao desse

teste pode ser construıdo em madeira ou em acrılico, contendo dois bracos fecha-

dos e dois abertos formando uma cruz. Esses bracos fechados possuem paredes ao

redor, causando aos roedores uma sensacao de abrigo e protecao.

O teste consiste basicamente na observacao comportamental dos roedores quando

colocados no centro do LCE para se moverem livremente. Assim, diversos parametros

podem ser observados e alterados conforme a necessidade de cada estudo. As van-

tagens da utilizacao do Labirinto em Cruz Elevado se dao pela facil aplicacao do

teste, nao sendo necessarios equipamentos de custo elevado, nao havendo neces-

sidade de treinar o animal previamente para realizacao do teste e nao havendo

necessidade de privacao de recursos aos roedores como comida e agua.

Por ser um teste de ansiedade, onde os roedores sao observados justamente

por seu medo ao novo ambiente e a sua vontade de explorar algo novo, e possıvel

observar a mudanca do comportamento dos roedores quando sao submetidos a

drogas que alteram a ansiedade.

Esses efeitos sao causados por drogas ansiogenicas e ansiolıticas, que ao alterar

a ansiedade do animal tambem alteram seu comportamento e sua trajetoria no

Labirinto em Cruz Elevado. Drogas ansiogenicas basicamente causam o efeito de

intensificar o medo nos ratos. Ja as drogas ansiolıticas, ao contrario, causam o

efeito de estimular a exploracao do labirinto pelos animais. Vale ressaltar que em

ambos os casos e necessario comparar o comportamento desses animais com o de

ratos sem o efeito das drogas. Os ratos que nao foram submetidos a nenhuma

droga sao chamados de ratos controle.

2

Sendo assim, quando sujeitos a drogas ansiogenicas o medo nos animais e am-

plificado, o que resulta em uma permanencia maior nos bracos fechados (que no

teste significam regioes de menor risco). Isso muda completamente sob efeitos

de drogas ansiolıticas: os ratos ficam com uma vontade de explorar maior; sendo

assim, passam mais tempo nos bracos abertos. Como descrito anteriormente o

comportamento que e utilizado para determinar se os roedores passaram mais ou

menos tempo em determinada regiao do LCE e o comportamento dos ratos con-

troles.

Uma alternativa para o estudo do comportamento dos roedores no LCE e a

utilizacao de modelos computacionais que descrevem de forma valida a trajetoria

e assim o comportamento dos animais. As vantagens da utilizacao de modelagem

computacional irao ser abordadas ao longo do texto.

As trajetorias dos ratos virtuais podem ser compreendidas como processos es-

tocasticos discretos no tempo e no espaco (posicoes discretas do labirinto). A

ordem do processo estocastico pode ser compreendida como o numero de passos

de tempo anteriores considerados para a tomada de decisao do passo de tempo

atual. A ideia principal do trabalho e estimar a ordem do processo estocastico das

trajetorias dos ratos virtuais obtidas com a utilizacao de modelagem computacio-

nal.

3

2 Fundamentacao teorica

Nesse capıtulo iremos explicar o que sao e como funcionam os metodos que

fizemos uso nesse trabalho.

2.1 Experimentos com ratos reais

O Labirinto em Cruz Elevado (LCE) e um dos principais modelos compor-

tamentais usados para o estudo de ansiedade. Surgiu com os experimentos de

exploracao e medo realizado por Montgomery nos anos 50 (MONTGOMERY;

MONKMAN, 1955). Nesse trabalho foi observada menor utilizacao dos bracos

abertos em relacao aos bracos fechados, o que fez com que os pesquisadores le-

vantassem hipoteses a respeito disso. Atribuindo a estımulos provocados pela no-

vidade, ou seja, estımulos provenientes da insercao a um ambiente novo produzia

um conflito entre o medo e a curiosidade. O trabalho inicial com LCE parecido

com o que e encontrado na literatura atual foi desenvolvido por Handley e Mithani

(1984) (HANDLEY; MITHANI, 1984).

O labirinto em cruz elevado e um aparato experimental utilizado por diversos

pesquisadores como ferramenta bastante simples para estudos neurobiologicos de

ansiedade e tambem de defesa. O equipamento possui quatro bracos, formando

uma cruz, onde dois desses bracos em extremidades opostas possuem paredes le-

vantadas: sao chamados de bracos fechados; ja os dois restantes nao possuem tais

paredes e sao chamados de bracos abertos. O tamanho dos bracos e tambem a

altura em relacao ao solo ao qual o labirinto e elevado e arbitrario entre diferentes

laboratorios.

Algumas vantagens na utilizacao do LCE como ferramenta de estudos compor-

tamentais o fizeram ser bem popular. Uma vantagem bastante relevante esta no

seu facil uso, nao sendo necessario o treinamento previo do animal ou mesmo a sua

privacao de recursos basicos, tais como agua e alimentacao. Alias, contrariamente,

e recomendado para obtencao de bons resultados que o animal em estudo nao passe

por situacoes de estresse previamente e tambem nao seja testado em nenhum ou-

2.1. EXPERIMENTOS COM RATOS REAIS 4

tro tipo de labirinto parecido, pois uma das variaveis observadas e justamente a

curiosidade de exploracao de um novo ambiente por parte do animal. Este ultimo

ponto pode considerado uma desvantagem, pois o roedor so pode realizar um ex-

perimento, sendo necessario um numero consideravel de animais para a pesquisa.

Abaixo segue uma imagem de um roedor no experimento de LCE (Figura 1).

Figura 1 – Rato Wistar no labirinto em cruz elevado do Laboratorio de Comporta-mento Exploratorio da Faculdade de Filosofia, Ciencias e Letras de RibeiraoPreto. Imagem retirada (COSTA, 2015)

Os dados e trajetorias dos ratos virtuais utilizados nesse trabalho foram os

mesmos utilizados em (COSTA, 2015). Os parametros para simulacao desses ratos

virtuais foram ajustados a partir de dados de ratos reais expostos no Labirinto em

Cruz Elevado sempre pela primeira vez para nao afetar sua curiosidade (como

explicado anteriormente). Foi administrado dois tipos de drogas nos roedores,

uma ansiolıtica e outra ansiogenica, dividindo-os em dois grupos. Ha tambem os

roedores submetidos ao labirinto sem nenhum tipo de droga, que levam o nome de

ratos controles. Esses ratos controles totalizaram 41 roedores. Abaixo segue uma

tabela descrevendo o nome de cada substancia e suas respectivas dosagens, alem

do numero de roedores em cada caso (Tabela 1).

2.1. EXPERIMENTOS COM RATOS REAIS 5

Tabela 1 – Tabela contendo dados sobre o tipos de drogas ministradas, nome das dro-gas, sua concentracao e o numero de ratos que foram submetidos. Tabelanao contem o numero total de ratos pois nem todos foram submetidos adrogas como descrito anteriormente.

Tipo Substancia Concentracao (mg/kg) Numero de ratos

Ansiolıtico Clordiazepoxido (CDP) 5.0 10Ansiogenico Semicarbazida (SCZ) 20.0 11

Controle Nenhuma 0.0 41

Cada rato foi colocado individualmente no mesmo labirinto. Cada experimento

teve a duracao de 5 minutos, nos quais os ratos puderam se movimentar livremente

por todo o percurso do labirinto. Os movimentos e as trajetorias de cada roedor

foram registrados por uma camera filmadora, para que posteriormente esses dados

fossem analisados. Apos o termino dos 5 minutos do experimento cada animal

foi retirado e o aparado devidamente limpo para que outro rato pudesse repetir o

processo. E importante destacar que os dados desses experimentos foram cedidos

pelo Prof. Dr. Silvio Morato, coordenador do Laboratorio de Comportamento

Exploratorio da Faculdade de Filosofia, Ciencias e Letras de Ribeirao Preto da

Universidade de Sao Paulo.

Os ratos enquanto no labirinto em Cruz Elevado executaram diversos movi-

mentos, nao apenas trocaram de posicoes. Esses movimentos tambem indicam

algumas caracterısticas sobre o roedor e seu comportamento atual, uma vez que

o teste gera um certo estresse no animal. A seguir esta listado os movimentos

registrados pela camera no experimento de LCE realizado com diversos ratos.

• Esticamento: basicamente o rato estica seu corpo;

• Levantamento: o roedor fica em pe, com uma maior chance de ocorrer nos

bracos fechados, uma vez que o roedor tem mais area de contato para fazer

isso. Esse comportamento representa uma vontade do animal em explorar a

sua volta;

• Congelamento: o animal fica parado em uma determinada posicao do la-

birinto, isso ocorre devido a situacoes de muito estresse.

2.2. REDES NEURAIS ARTIFICIAIS (RNAS) 6

• Autolimpeza: o rato se coca, com isso o roedor acaba se limpando. Outra

coisa que acontece no processo e o fato que ao roedor se cocar ele acaba tendo

uma sensacao reconfortante que acaba diminuindo a sensacao de estresse.

• Defecacao: o roedor defeca no labirinto, isso em virtude da situacao de

estresse. Quanto maior seu nıvel de estresse maior o numero de vezes que o

rato defeca.

Vale apena ressaltar a complexidade e dificuldade de expressar esses movimen-

tos em modelos computacionais. Com isso no trabalho foi considerado apenas a

possibilidade do rato virtual mudar de posicao, se deslocando para frente, para os

lados e permanecendo parado girando em uma das direcoes.

2.2 Redes neurais artificiais (RNAs)

Com a evolucao dos computadores digitais foi possıvel se pensar na possi-

bilidade de representar o funcionamento de neuronios por meio de programas e

processos computacionais. A motivacao para isso vem da constante vontade do

homem de entender o funcionamento do cerebro e replicar esse processo em ambi-

ente tecnologico. Assim, as pesquisas nesse ambito tem como finalidade entender

o funcionamento da inteligencia dos neuronios, transformando essas informacoes

em uma estrutura artificial mais simples, utilizando uma combinacao de hardware

e software. Vale a pena ressaltar que uma rede neural artificial possui centenas

ou milhares de unidades de processamento, ja o cerebro de mamıferos pode ter

bilhoes de neuronios (CARVALHO, 2019b).

Tres publicacoes iniciais sao de grande importancia quando o assunto e redes

neurais artificiais (MCCULLOCH; PITTS, 1943; HEBB, 1949; ROSENBLATT,

1958). Essas tres publicacoes introduziram o primeiro modelo de RNA simulando

maquinas.

Um ponto importante sobre as Redes Neurais Artificiais e que elas apresentam

poucas caracterısticas em comum com as redes neurais reais, mas existem paralelos

entre as duas coisas que fazem com que as redes neurais artificiais sejam uma

aproximacao apropriada na resolucao de problemas cognitivos complexos.


2.2.1 Fundamentos

Uma RNA apresenta duas caracterısticas primordiais: a arquitetura e o algo-

ritmo de aprendizagem. Ao contrario de um computador que apresenta uma ar-

quitetura de von Neumann (KOWALTOWSKI, 1996) que e programavel, no caso

da rede e necessario o treino atraves de exemplos. O conhecimento previo sobre o

problema que venha a ser considerado faz com que informacoes sejam guardadas

nesses exemplos. Entao o algoritmo de aprendizagem generaliza as informacoes

presentes nos exemplos ficando em forma de memoria para a rede, ou seja, ha uma

aprendizagem por parte da rede neural.

A composicao da rede e feita por varias unidades de processamento (neuronios),

onde essas unidades sao conectadas por canais de comunicacao. Esses canais de

comunicacao simbolizam acoes que devem ser executadas ou nao, o que determina a

chance de dada acao ser executada ou informacao ser processada e algo denominado

de peso. Esse peso e justamente a chance de dado passo ser tomado na rede neural.

2.2.2 Arquitetura de RNAs

Em um RNA, os neuronios sao divididos por camadas, cada camada e res-

ponsavel por determinadas funcoes, alem disso a arquitetura e definida pelos

numero de camadas, pela forma de como os neuronios estao dispostos em cada ca-

mada, pela forma das conexoes e pelo tipo da funcao de ativacao dos neuronios (COSTA,

2015).

Redes Neurais Artificiais que possuem duas camadas (numero mınimo), sendo

uma camada de entrada responsavel por captacao de informacoes e outra camada

de saıda responsavel por processar essas informacoes, sao chamadas de rede mo-

nocamadas, pois o processamento de informacoes so ocorre na camada de saıda.

Ja redes com mais de duas camadas recebem o nome de rede multicamadas, sendo

que alem de ter as duas camadas de saıda e de entrada tambem possuem camadas

intermediarias, onde essas camadas intermediarias assim como a camada de saıda

realizam processamento de informacoes.

A camada de entrada de uma RNA possui mecanismos de captacao de in-

formacoes que sao sensores, nessa primeira camada e feita toda a captacao de

informacoes que irao ser processadas nas camadas posteriores, ou seja, nesse pri-


meiro momento nao ha processamento de informacao. Nas camadas intermediarias

e feito o processamento das informacoes obtidas pela camada de entrada. Ja na

camada de saıda se encontra as acoes depois que as informacoes sao processadas,

em outras palavras e a camada responsavel pelas acoes de uma RNA.

Os principais tipos de conexoes neurais de uma rede neural sao: sem e com

recorrencia. Nas redes sem recorrencias o sinal das informacoes so tem um sentido,

vao da entrada para a saıda sem que ocorra “lembrancas” de informacoes que ja

foram processadas (Figura 2).

Figura 2 – Representacao de uma rede neural multi camadas sem recorrencia, com duascamadas intermediarias. Os sensores sao representados pelos quadrados eos neuronios pelos cırculos. Imagem retirada de (COSTA, 2015).

Conexoes neurais recorrentes utilizam informacoes de camadas anteriores ou

ate mesmo da mesma camada para que os neuronios efetuem o processamento

com base nessas informacoes , em outras palavras esse tipo de conexao funciona

como uma memoria onde a RNA pode utilizar essas informacoes para efetuar certas

acoes (Figura 3).


Figura 3 – Representacao de uma rede neural multi camadas com recorrencia, comduas camadas intermediarias. Os sensores sao representados pelos quadra-dos e os neuronios pelos cırculos. Imagem retirada (COSTA, 2015).

2.2.3 Aprendizado

Como descrito anteriormente uma RNA precisa de treinamento, logo e preciso

de um perıodo onde os pesos e outros parametros sao ajustados de forma que haja

uma adaptacao das necessidades de um dado problema. Um algoritmo responsavel

por descrever como uma RNA aprende uma determinada tarefa e chamado de algo-

ritmo de aprendizado. Esses aprendizados vao depender de como ira ser feito esses

ajustes dos parametros. Os tres tipos mais comuns de aprendizado sao, supervi-

sionado, nao supervisionado e por avaliacao de qualidade das solucoes (COSTA,

2015).

2.2.3.1 Aprendizado supervisionado

Aprendizado supervisionado e o metodo mais utilizado em treinamento de

RNA. Nesse metodo e necessario ter um conjunto de entrada e de saıda para

a rede, ou seja, e preciso que haja uma supervisao para assim determinar uma

saıda para cada entrada. Com isso a rede deve ser capaz de mensurar a diferenca

2.3. ALGORITMOS GENETICOS (AGS) 10

entre o seu comportamento atual com o comportamento que e esperado, modifi-

cando os pesos caso for adequado. Com isso a ideia aqui e otimizar os parametros

da rede para se chegar em um resultado mais proximo do que e esperado.

2.2.3.2 Aprendizado nao supervisionado

Ja na aprendizagem nao supervisionada acontece justamente o contrario, nao

ha uma saıda ja estabelecida para cada entrada. Os pesos e parametros da rede

sao ajustados conforme criterios internos. Como nao ha um conjunto de dados ja

determinado (exceto a entrada), o interessante nesse metodo e observar padroes

agrupando os dados coletados ao final.

2.2.3.3 Aprendizado por avaliacao de qualidade de solucoes

Neste tipo de aprendizado a RNA recebe so algumas informacoes do ambiente,

essas informacoes por exemplo podem ser parametros positivos para determinada

acao e negativo para outra. Com isso a rede e treinada por tentativa e erro,

realizando acoes e aprendendo com as informacoes parciais determinadas no inıcio.

Alem da tentativa e erro a rede tambem aprende com algoritmos evolutivos, os

quais vao ser abordados posteriormente.

Esse tipo de aprendizado tem grande apelo biologico, pois e amplamente discu-

tido por estudos que descrevem esse comportamento. Ou seja, um retorno positivo

em animais que fizeram determinada acao faz com que essa acao seja repetida. Ja

o contrario tambem e valido, pois punicoes acabam gerando uma certa versao a

dada acao, ocasionando uma diminuicao dessa acao.

2.3 Algoritmos geneticos (AGs)

Algoritmos Geneticos (AGs) e uma ferramenta de busca e otimizacao que possui

varios componentes, dentre eles: espaco de busca, todas possibilidades de solucao

de um dado problema e uma funcao de avaliacao, tambem chamada de funcao

de custo. Ao contrario dos metodos de busca e otimizacao tradicionais que tra-

balham com um unico candidato que ao longo do processo vai sendo manipulado

atraves de processos cognitivos empregados em decisoes nao racionais, onde parte


das informacoes sao ignoradas com a finalidade de tornar o processo mais simples.

AGs e considerado uma populacao de candidatos, as tecnicas de computacao evo-

lucionarias sao executadas na populacao em paralelo, possibilitando um range de

busca maior (CARVALHO, 2019a).

Os Algoritmos Geneticos sao uma estrategia baseada na evolucao biologica,

que basicamente esta relacionada com o quanto um indivıduo consegue se adaptar

ao ambiente. Podemos determinar o sucesso de um determinado indivıduo ou po-

pulacao no processo evolutivo observando o numero de descendentes dessa geracao

que chegaram ao ponto de se reproduzirem.

2.3.1 Fundamentos

O conceito de AGs segue uma determinada ordem, inicialmente e gerada uma

populacao constituıda por um certo numeros de indivıduos todos sorteados aleatorios

que sao possıveis solucoes para um problema em questao. Com o passar do tempo

essa populacao e avaliada conforme o processo evolutivo, cada indivıduo recebe

uma nota conforme suas habilidades e caracterısticas de adaptacao. Parte dos

indivıduos mais adaptados e mantido e outra parte e descartada. A quantidade da

populacao mantida por essa selecao passa por modificacoes atraves de mutacoes,

cruzamentos e recombinacao genetica, gerando posteriormente descendentes que

irao repetir esse processo ate que um numero especıfico de ciclos seja atingido. Os

termos de mutacao genetica, cruzamento (crossover) ou recombinacao geneticas

irao ser melhor detalhados nas secoes subsequentes (CARVALHO, 2019a).

2.3.2 Caracterısticas gerais dos AGs

Algoritmos Geneticos sao ferramentas de otimizacao que se baseiam no me-

canismo de selecao natural e genetica. Utilizando estrategia de busca paralela e

estruturada, com enfoque na busca de pontos de alta aptidao. Apesar de ser um

processo aleatorio os AGs nao caracterizam uma caminhada nao direcionada, pois

utilizam informacoes historicas para encontrar pontos de buscas onde sao passıveis

de se encontrar melhores desempenhos. Isso ocorre ao longo das diversas geracoes

descendentes da populacao inicial (cromossomos).


Durante cada geracao o processo de selecao e reproducao sao aplicados na

populacao, variando o numero de candidatos adaptados e que seguiram adiante.

Sendo assim, com a selecao e possıvel determinar quais indivıduos irao ser aptos o

suficiente para conseguir se reproduzir. Vale a pena ressaltar que a selecao e um

processo probabilıstico e nem sempre os indivıduos mais aptos irao continuar no

processo, mas eles apresentam uma maior chance.

E comum a representacao dos indivıduos da populacao dos AGs genotipica-

mente por vetores binarios, onde cala elemento de um vetor pode indicar (1) na

presenca ou (0) na ausencia de uma certa caracterıstica.

2.3.3 Selecao

No processo de selecao o algoritmo seleciona indivıduos que geralmente tem

um alto nıvel de aptidao para gerar a proxima geracao de filhos. Essa selecao

pode ocorrer de algumas formas, abaixo e exemplificados tres metodos de como

isso pode ocorrer (COSTA, 2015).

• Selecao por elitismo: nesse tipo de selecao, um numero de k de indivıduos

com melhores aptidao de cada geracao sao selecionados para continuar na

proxima geracao sem sofrer alteracoes, ou seja, nao e por sorteio e sim por

nıvel de aptidao. Isso evita que possıveis solucoes adequadas sejam perdidas

no caminho do processo. Tambem e necessario que esse numero k seja ponde-

rado para que nao haja um aumento significado de indivıduos muitos bons, o

que resultaria em uma solucao nao adequada para o problema. Geralmente

e utilizado σ = 1.

• Selecao por roleta: o que ocorre nesse metodo e a representacao da aptidao

de cada indivıduo em uma roleta, quanto maior a aptidao de um indivıduo

maior sera sua representacao na roleta. Garantindo assim maiores chances

para os indivıduos com maiores aptidoes e menores chances para aqueles que

tiverem um nıvel de aptidao menor. Apos esses valores serem representados e

determinado um numero de vezes para que a roleta seja girada, esse numero

de vezes esta relacionado com o numero da populacao. Os indivıduos sortea-


dos na roleta sao selecionados para se reproduzirem, deixando descendentes

para a proxima geracao.

• Selecao por torneio: neste tipo de selecao ha duas etapas no processo.

Na primeira etapa dois indivıduos sao sorteados aleatoriamente e o melhor

deles e escolhido com uma probabilidade, podendo ser ou nao o mais apto.

Na segunda etapa um grupo de indivıduos sao sorteados e o melhor deles e

escolhido.

2.3.4 Funcao Aptidao

A principal acao realizada pelo AG e maximizar ou minimizar uma funcao

aptidao, que tambem pode ser chamada de adequacao ou fitness. Como o AG

vai trabalhar otimizando tal funcao de aptidao e necessario que a escolha dessa

funcao seja apropriada. Uma das acoes da funcao aptidao e avaliar cada indivıduo

de cada geracao, gerando para cada indivıduo avaliado uma nota, essa nota esta

atribuıda a sua adaptacao e reflete diretamente a suas chances de resolucao do

problema estudado. Quanto maior for a adaptacao ou aptidao de determinado

indivıduo maiores serao suas chances de ser selecionado para reproducao.

2.3.5 Recombinacao

A recombinacao e um processo importante que acontece no AGs, o operador re-

combinacao e aplicado com uma certa probabilidade, tambem chamada de taxa de

recombinacao em pares de indivıduos eleitos atraves de uma das maneiras descritas

anteriormente na selecao. Vale ressaltar que sem esse processo de recombinacao e

o processo de mutacao, todos os filhos iriam ser exatamente iguais aos pais, nao

havendo nenhuma alteracao de uma geracao para outra. Sendo assim os principais

tipos de recombinacao ou tambem chamados de cruzamento ou crossover serao

descritos a seguir.

• Recombinacao de um ponto: A recombinacao por esse metodo ocorre da

seguinte maneira, um ponto de recombinacao e escolhido aleatoriamente e

assim se da a troca de material genetico entre os indivıduos. A combinacao

oposta gera outro filho, (Figura 4).


Figura 4 – Esquema demostrando a recombinacao de um ponto. Retirado de (COSTA,2015).

• Recombinacao multipontos: O mesmo princıpio que rege a recombinacao

de um ponto e seguido na recombinacao de multipontos, a diferenca e que

aqui sao considerados mais de um ponto como troca de material genetico

entre os pais e filho. (Figura 5).

Figura 5 – Esquema demostrando a recombinacao de dois pontos. Retirado de(COSTA, 2015).

• Recombinacao uniforme: Nesse tipo de recombinacao nao e mais baseada

em ponto, aqui a forma utilizada e a de mascaras que determinam os genes

de qual pai ira ser transmitido ao filho. As mascaras sao escolhidas de forma

aleatoria, alternando entre 0 e 1. Quando na mascara estiver indicado 1 o

gene que sera transmito sera o desse mesmo pai, caso estiver indicando 0 o

gene que sera transmito sera o do outro pai, assim por diante como mostra

a (Figura 6).


Figura 6 – Esquema demostrando um cruzamento uniforme. Retirado de (COSTA,2015).

2.3.6 Mutacao

Assim como a recombinacao a mutacao tem como objetivo proporcionar uma

maior variabilidade genetica entre uma geracao e outra. A mutacao e aplicada

com uma certa probabilidade nos cromossomos resultantes dos cruzamentos, mo-

dificando um ou mais genes de forma arbitraria. Quando a representacao dos

cromossomos e binaria, a mutacao do gene acontece pela inversao do gene do

pai, em outras palavras o gene que e escolhido de forma aleatoria o bit e invertido

quando o gene e transmitido para o filho (Figura 7). Para as demais representacoes

metodos mais complexos sao necessarios para se mudar o gene.

Figura 7 – Esquema demostrando a ocorrencia de mutacao. Retirado de (COSTA,2015).

As estrategias mais usuais sao as seguintes:

• Mutacao uniforme: basicamente substitui o gene por um numero aleatorio

dado um limite.

• Mutacao de limite: substitui um gene por numero retirado de uma distri-

buicao nao uniforme, podendo ser linear, exponencial, etc.

2.4. PROCESSOS ESTOCASTICOS 16

• Mutacao gaussiana: basicamente substitui o gene por um numero aleatorio

de uma distribuicao gaussiana.

2.4 Processos estocasticos

Um processo estocastico e uma colecao de variaveis aleatorias indexadas Xt,

onde t e um ındice, geralmente o tempo, mas pode ser outro tipo de variavel.

Assim, um processo estocastico e a descricao de um fenomeno aleatorio que varia

com o tempo t.

Aproximadamente ha um seculo atras, Andrey A. Markov (MARKOV, 1971)

introduziu uma tecnica computacional que hoje e conhecida por Cadeias de Mar-

kov. A ideia de Markov era de alguma forma conseguir modelar probabilistica-

mente transicoes entre estados discretos de um sistema. O conceito mais relevante

sobre uma Cadeia de Markov e que em processos estocasticos (probabilısticos) nos

quais as variaveis temporais e espaciais sao discretas a transicao de um estado para

outro de um instante de tempo para o seguinte depende apenas do estado atual,

ou seja, independe de memorias ou estados anteriores. Quando isso ocorre, temos

um processo markoviano.

Entretanto em alguns processos estocasticos que envolvem transicoes entre es-

tados discretos existe uma dependencia que nao se limita ao estado atual do agente,

i.e., a informacao de estados passados tambem e considerada para sua tomada de

decisao para determinar seu estado seguinte.

O numero de estados considerados no processo de tomada de decisao e chamado

de ordem do processo estocastico (k), que pode ser estimada estatisticamente por

metodos como o Criterio de Informacao de Akaike e o Criterio de Informacao

Bayesiano, descritos nas subsecoes seguintes.

2.4.1 Criterio de Informacao de Akaike

O Criterio de Informacao de Akaike (AIC) desenvolvido por Hirotugu Akaike

em 1971, basicamente e uma medida relativa da qualidade de ajuste de um dado

modelo estocastico estimado. Onde e fundamentado em conceitos de entropia.

2.5. CRITERIO DE INFORMACAO BAYESIANO 17

AIC e um criterio onde a qualidade do ajuste do modelo parametrico e avaliada

pela estimativa do metodo da maxima verossimilhanca.

Com isso Akaike (AKAIKE, 1974) conseguiu definir seu criterio de informacao

como:

AIC = −2logL(θ) + 2(k). (2.1)

O AIC e uma ferramenta de comparacao dentre uma gama de modelos, ou

seja, e uma ferramenta de comparacao de modelos estatısticos e nao um teste de

hipoteses. Entre um numero especıfico de dados e modelos o AIC vai determinar

o melhor modelo dentre as opcoes testadas, de modo que o menor valor estimado

corresponde ao melhor modelo. O valor isolado do AIC nao possui um significado

especıfico, sendo necessaria a comparacao com outros modelos. Assim, e preciso

mais de um modelo para a utilizacao dessa ferramenta.

2.5 Criterio de Informacao Bayesiano

O criterio de informacao de Bayesiano (BIC), que tambem e conhecido pelo

nome de Criterio de Schwarz (SCHWARZ et al., 1978), e um criterio que se as-

semelha com AIC, utilizado tambem na avaliacao de modelos; ou seja, dado um

numero de modelos e dados, o BIC ira retornar o melhor modelo dentre estes

(tambem observado pelo menor valor estimado).

Sendo assim, o Criterio de Informacao Bayesiano (BIC) e dado por:

BIC = −2 log f(xn|Θ) + p log n, (2.2)

onde f(xn|θ) e o modelo escolhido, p e o numero de parametros que serao estimados

e por fim n e o numero de observacoes da amostra.

18

3 Metodos da pesquisa

Nesse capıtulo a metodologia da pesquisa que foi desenvolvida e melhor des-

crita. Sendo eles, os dados de ratos reais e o modelo computacional utilizado na

construcao do LCE virtual.

3.1 Estrutura do LCE virtual

A estrutura adotada para o LCE virtual nesse trabalho e a mesma descrita

no capıtulo 2.1 (Figura 1). E bidimensional contendo quatro bracos, dois desses

abertos e os outros dois fechados. Sendo que cada braco foi fracionado em cinco

posicoes diferentes, o que ao todo totaliza 21 posicoes possıveis no LCE virtual

quando se considera a posicao do centro. Essa configuracao e a qual os ratos

virtuais irao percorrer durante os experimentos computacionais (Figura 8).

Figura 8 – Representacao da estrutura do labirinto em cruz elevado subdivido os bracosem espacos menores como pode ser visualidade na cruz da direita. Imagemretirada de (COSTA, 2015).

3.2. MODELO COMPUTACIONAL: REDE NEURAL ARTIFICIAL 19

3.2 Modelo computacional: Rede neural artificial

O rato virtual e controlado por uma rede neural artificial que e evoluıda por um

algoritmo genetico, sendo que a arquitetura de rede tambem passa pelo processo

de evolucao. A rede neural e composta por no maximo 6 sensores e 4 neuronios

recorrentes na camada intermediaria. Os sensores sao responsaveis pela percepcao

do rato virtual com o que esta acontecendo a sua volta, analogo a isso no rato real

sao os olhos, bigodes e etc.

Tabela 2 – Descricao dos sensores do rato virtual, onde os sensores de longe alcanceconseguem determinar posicoes a sua frente e os sensores de curto alcanceapenas abrangem a posicao atual do rato virtual. Tabela adaptada de(COSTA, 2015).

Sensor Posicao Alcance

1 Direita Curto alcance2 Frente Curto alcance3 Esquerda Curto alcance4 Direita Longo alcance5 Frente Longo alcance6 Esquerda Longo alcance

As saıdas da rede neural artificial indicam quais acoes o rato virtual pode

tomar, ao todo sao quatro possibilidades (neuronios), ir para frente, virar para

direita, virar para esquerda, ficar parado. A escolha da acao e feita de acordo com

o maior valor de ativacao do neuronio.

A escolha de uma rede recorrente se torna interessante, porque isso permite

que entradas anteriores contribuam nos calculos de ativacao de neuronios internos,

tendo papel parecido como uma memoria.

O resultado da saıda de cada neuronio i da camada intermediaria e de saıda e

calculado pela seguinte equacao (COSTA, 2015):

yi =1

1 + e−ui, (3.1)


onde:

ui =

p∑j=1

wijaj, (3.2)

sendo wij na equacao (3.2) os pesos sinapticos entre os neuronios pos-sinapticos

i e pre-sinapticos j. Os neuronios pre-sinapticos sao aqueles que transmitem o

impulso eletrico atraves das sinapse, alcancando os neuronios pos-sinapticos, que

recebem o sinal eletrico, p o numero total de neuronios pre-sinapticos de i, e aj as

ativacoes dos neuronios pre-sinapticos ou unidades sensoriais.

3.2.1 Algoritmo genetico

Cada indivıduo da populacao do AG e representado por um cromossomo, com-

posto por um vetor de numeros reais entre 6, 0 e −6, 0, representando uma possıvel

combinacao para a RNA.

A populacao inicial do AG e composta por 1000 indivıduos, esses indivıduos

sao escolhidos de forma aleatoria. Cada um desses indivıduos e avaliado apos

percorrer o labirinto em cruz elevado virtual durante um tempo de 300 passos,

para cada movimento e considerado um segundo o que no final resulta em cinco

minutos cada intervalo de tempo contabilizado, que o mesmo tempo que os ratos

reais permanecem no LCE. De acordo com seus resultados os indivıduos vao sendo

selecionados por elitismo e torneio. O processo de selecao por elitismo e realizado

ate que o numero de indivıduos seja o suficiente para completar a populacao, esse

numero e mantido ao longo de toda a simulacao. Apos a selecao os indivıduos

selecionados passam por uma recombinacao de um ponto, com uma probabilidade

de 60%, tambem passam por uma mutacao gaussiana com probabilidade de 5%

e desvio de 5%, assim surgindo uma nova populacao. O processo e repetido por

15.000 geracoes.

Para cada simulacao computacional esse algoritmo e executado 30 vezes, em

cada vez a populacao inicial e alterada. Isso e necessario uma vez que a populacao

inicial e o mecanismo de selecao sao processos estocasticos. A figura a seguir ilustra

o processo do algoritmo genetico (Figura 9).


Figura 9 – Esquema representando o processo de evolucao atraves do AG. Retirado de(COSTA, 2015).

A funcao aptidao de cada indivıduo e baseada na sua trajetoria percorrida,

porem mesmo que ratos virtuais facam o mesmo percurso, o calculo da funcao

aptidao pode nao ser o mesmo, pois a funcao depende de termos probabilısticos.

Essa funcao e baseada em um modelo comportamental que sugere um conflito

entre o medo e a exploracao de algo novo. A funcao aptidao do presente trabalho

e composta por dois termos. O primeiro representa a curiosidade e interesse do rato

virtual em explorar o labirinto, esse primeiro termo r(x, pt) e positivo. O segundo

termo s(x, pt) representa a punicao que o rato pode sofrer por estar percorrendo o

labirinto. Esse termo diminui a aptidao do rato virtual. Assim, a expressao usada

no trabalho e a seguinte:

f(x) =n∑

t=1

r(x, pt) + s(x, pt)β , (3.3)

3.3. ANALISE DE DADOS 22

onde x e conjunto de pesos (cromossomo) da RNA, pt e posicao do rato no LCE

no instante t e β atribui um peso a punicao do agente em relacao a recompensa

recebida por ele. Esse parametro β representa com sucesso o efeito de drogas

ansiogenicas e ansiolıticas em diferentes dosagens (COSTA, 2015).

3.3 Analise de dados

Podemos assumir que as trajetorias desempenhadas pelos ratos virtuais sao

processos estocasticos cujos estados sao as posicoes do Labirinto em Cruz Elevado,

que sao discretizadas. Processo semelhante ja foi realizado anteriormente, mas

os pesquisadores apenas assumiram que as trajetorias dos ratos eram processos

markovianos (i.e., k = 1, o que implica que apenas informacoes do estado atual do

rato sao consideradas na tomada de decisao do estado seguinte) (TEJADA et al.,

2010). Essa e uma suposicao valida, mas nao foi ate entao testada.

Para saber a ordem dos processos estocasticos dos ratos virtuais no LCE no

presente trabalho foi utilizado um programa computacional disponıvel em (SIN-

GER et al., 2014), desenvolvido por Philipp Singer (SINGER et al., 2013), que e

pesquisador do Grupo UNIQA em Viena. Todo o codigo e disponibilizado gratui-

tamente e a unica exigencia para seu uso e sua devida citacao (SINGER et al.,

2015).

Neste codigo para determinacao da ordem de processos estocasticos discretos,

o autor utiliza diferentes testes estatısticos e dois deles destaco como principais: o

Criterio de Informacao de Akaike (AIC) e O Criterio de Informacao de Bayesiano

(BIC), ambos ja descritos anteriormente. Utilizamos essas estimativas para nossa

analise. No entanto, uma questao importante e que as estimativas podem resultar

em valores de ordens do processo estocastico diferentes para cada um dos metodos,

nao havendo razao para aceitar um dos resultados em detrimento do outro. Por

este motivo, o autor inclui o calculo de uma correlacao entre os dados, chegando

a um resultado mais provavel. Vale salientar que esse processo e realizado mesmo

quando as estimativas obtidas pelos dois metodos sao iguais, o que resultara em

um resultado identico, evidentemente, apos a correlacao. No proximo capıtulo

traremos os resultados obtidos por meio destes testes estatısticos para as trajetorias

dos ratos virtuais.

23

4 Resultados e discussoes

Nesse capıtulo apresentaremos os resultados obtidos com simulacoes dos ratos

virtuais que foram cedidos para a realizacao desde trabalho e algumas discussoes

correspondentes. Os resultados analisados se referem aos 30 melhores ratos virtuais

(com os maiores valores da funcao de adaptacao) obtidos nas simulacoes para cada

um dos tres grupos estudados: controle, ansiogenico e ansiolıtico.

4.1 Trajetorias dos ratos no LCE

Inicialmente estudamos as trajetorias dos ratos virtuais no LCE. Para isso

utilizamos graficos construıdos com a posicao do rato no eixo x e o passo de

tempo no eixo y, ou seja, graficos de Posicao x Tempo. Para cada rato controle,

ansiogenico ou ansiolıtico foi feito um grafico, totalizando assim 90 graficos. Devido

ao grande volume de ratos virtuais analisados, nao foi possıvel apresentar neste

trabalho o grafico da trajetoria desempenhada por cada um deles. Portando foram

escolhidos dois graficos de cada grupo de ratos, isto e, dois graficos para os ratos

controle, dois para os ratos ansiogenicos e dois para os ansiolıticos. Os graficos

selecionados aqui foram alguns daqueles cujas trajetorias mais se aproximaram dos

resultados esperados para cada tipo de rato.

Antes de apresentarmos os graficos e valido relembrar a configuracao do LCE

desde trabalho. Na Figura 8 podemos ver a configuracao do LCE, onde os bracos

fechados sao destacados em negrito. Nos graficos a seguir a configuracao do LCE

e a mesma, ou seja, as posicoes dos bracos fechados sao: 6 ate ate 10 e -6 ate

-10. Lembrando que o zero e a posicao central. Ja as posicoes que representam os

bracos abertos seguem a seguinte ordem: 1 ate 5 e -1 ate -5.

4.1.1 Ratos controle

A seguir e exibido o grafico da trajetoria de um rato controle (Figura 10). Note

que, como o esperado, o rato virtual passa a maior parte do tempo nos bracos fecha-

dos durante o intervalo de 300 segundos, principalmente nas extremidades. Esse

4.1. TRAJETORIAS DOS RATOS NO LCE 24

resultado esta de acordo com o esperado pois os ratos controles virtuais simulam

o comportamento dos ratos reais sem efeitos de nenhum tipo de drogas; por isso,

os ratos controles virtuais tendem a permanecer mais tempo no bracos fechados,

que no LCE representam zonas de maior seguranca para o animal. Este rato vir-

tual entrou nos bracos abertos duas vezes tambem, se dirigindo a extremidade e

retornando.

Figura 10 – Grafico da posicao pelo tempo do rato controle numero 5.

Tambem podemos observar comportamento semelhante no segundo grafico (Fi-

gura 11). Na figura 11 temos o grafico do rato controle numero 10. Este rato

controle tambem passa maior parte do tempo no bracos fechados, mas nota-se que

aproximadamente um terco antes do final do experimento ele se desloca para um

braco aberto, onde permanece na extremidade ate a conclusao dos 300 s. Esse

tipo de comportamento e comum nos ratos reais, que nem sempre se mantem ex-

ploradores ate o final do teste, parando em algum ponto onde permanecem por

consideravel parcela de tempo.


Figura 11 – Deslocamento do rato controle numero 10 no LCE virtual.

4.1.2 Ratos ansiogenicos

O esperado nas trajetorias dos ratos ansiogenicos, que sao ratos com a funcao de

adaptacao ajustada para que apresentem comportamento dos ratos reais sob efeito

de semicarbazida de 20mg/kg,os quais tendem a ter um aumento na ansiedade e

com isso se sentem mais inseguros para a exploracao do LCE. Portanto o esperado

e que os ratos passem mais tempo nos bracos fechados, mais tempo ainda que os

ratos controles.

A seguir temos um grafico que representa a trajetoria de uma rato ansiogenico,

rato esse de numero 1 dentre os 30 simulados (Figura 12). Podemos observar que

o rato permanece a maior parte do tempo nos braco fechados, principalmente na

regiao de -9 a -10. Esse resultado ja era esperado como descrito anteriormente.

Destaca-se que a extremidade do braco fechado e justamente o local mais protegido

do LCE.

No segundo grafico dos ratos ansiogenicos, agora para o rato de numero 3,

vemos comportamento se repetir (Figura 13), com a permanencia na maior parte


Figura 12 – Trajetoria do rato ansiogenico virtual numero 1 no LCE.

dos tempo na regiao entre -8 a -10 ou 8 a 10, que estao nos braco fechados.

4.1.3 Ratos ansiolıticos

Ao contrario das trajetorias dos ratos controle e ansiogenicos os ratos an-

siolıticos tendem a permanecer mais tempo nos bracos abertos, pois os ratos tive-

ram a sua funcao de adaptacao ajustada para que apresentassem comportamento

de ratos reais sob efeito de clordiazepoxido de 5 mg/kg, droga que reduz a an-

siedade do animal possibilitando uma maior investigacao por parte do roedor no

LCE. Isso se traduz nos graficos em uma maior permanencia nos bracos abertos,

onde o animal teoricamente esta mais exposto a possıveis perigos.

O rato ansiolıtico de numero 2 permanece nos bracos abertos (Figura 14). Na

figura 14 o rato permanece a maior parte do tempo nos intervalos das posicoes

entre -1 ate -5 e 1 ate 5, que representam os bracos abertos como reescrito no

inicio desta secao.


Figura 13 – Grafico da posicao pelo tempo do rato ansiogenico de numero 3.

Figura 14 – Grafico da posicao pelo tempo do rato ansiolıtico de numero 2.

4.2. ESTIMATIVA DOS PROCESSOS ESTOCASTICOS 28

Outro grafico do rato ansiolıtico de numero 9, tem a trajetoria que e esperada,

passando a maior parte do tempo nos bracos abertos LCE (Figura 15). Na figura

15 podemos ver que o rato permanece maior parte do tempo nas regioes entre -1

ate -5 e 1 ate 5, onde ambos intervalos representam bracos abertos.

Figura 15 – Trajetoria do rato ansiolıtico de numero 9.

4.2 Estimativa dos processos estocasticos

Nesta secao mostramos o resultado das estimativas dos processos estocasticos

ou processos markovianos para os tres grupos de ratos virtuais deste trabalho.

Os resultados apresentados aqui foram obtidos com utilizacao de uma ferramenta

computacional, conforme descrito no Capıtulo 3.

As Tabelas 3 e 4 trazem os resultados das correlacoes calculadas a partir

dos metodos estatısticos AIC e BIC para determinacao da ordem do processo

estocastico das trajetorias de ratos virtuais controle assumindo ordens k = 0 e

k = 1 (Tabela 3) e k = 2 e k = 3 (Tabelas 4). Essas tabelas trazem tambem as

respectivas medias e os desvios padroes obtidos para os resultados dos 30 ratos.


Tabela 3 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 0 e k = 1 de ratos virtuaiscontroles.

Ratos k=0 k=10 3.107731512565528e-124 0.90989360518995371 1.4911969100640664e-115 0.98406276861823562 2.2439826384950345e-30 0.9534360913353973 1.058002954474432e-107 1.04 6.793305551156057e-107 0.99999971411754815 7.299236290811407e-121 0.99998842088822096 8.89755122186773e-128 1.07 2.7829983274305686e-121 0.94119116483602198 4.155645078224391e-93 0.99999999999386099 1.8832120256200034e-117 1.010 5.194671462969552e-121 1.011 3.107731512565528e-124 0.909893605189953712 1.4858557619673536e-39 0.99518986811421813 3.207601535466322e-124 0.912665937373830414 1.62967922037766e-130 4.592061369980605e-0515 2.3773515833271633e-67 0.982498250372153516 3.6367048167467536e-124 0.912658668965833417 4.789494461473043e-125 8.44891014514228e-0718 2.810226069285661e-121 0.978875550859345719 6.783626346361902e-137 0.999999999996646220 2.6526861617100985e-106 0.999997879466863721 8.850356351128944e-150 1.022 3.514830740270318e-121 0.978800335110402223 5.9974496317955705e-123 0.998937930887778424 9.671308834808538e-133 0.999999999911210625 1.787869588869902e-135 0.999998407898504926 3.6367048167467536e-124 0.912658668965833427 1.8191369631095324e-127 0.4026201130196015428 2.0508365792642237e-69 0.999999146690294329 7.909077082924999e-104 1.0Media: 7.479942e-32 8.924471e-01Desvio Padrao: 4.096933e-31 2.662621e-01


Tabela 4 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 2 e k = 3 de ratos virtuaiscontroles.

Ratos k=2 k=30 0.09010639216214414 2.6478977056420286e-091 3.7039847071215056e-08 0.0159371943418885752 0.04332583235908093 0.00323807630552804243 1.1028819458063935e-28 8.042912938282325e-504 2.858824406627572e-07 1.2206373528728369e-155 1.140574619754036e-05 1.7336560763981994e-076 1.034626232468118e-28 3.033374235882177e-557 0.05880882521289187 9.95107564095788e-098 6.180848518774467e-12 3.7697697858974363e-229 1.649302232796119e-17 1.1884476055162063e-3510 2.565607831763749e-20 1.2849411239361062e-4611 0.09010639216214414 2.6478977056420286e-0912 0.004700209442783104 0.0001099224429962550913 0.08733406016405645 2.462122352314091e-0914 0.9999540793863226 1.1976888944567578e-1815 0.017487650142041008 1.4099485804918163e-0516 0.08734132857172881 2.462429824605711e-0917 9.486550134628013e-06 0.999989668558833418 0.02112444773251572 1.4081185011621747e-0919 3.3438807832425476e-12 4.0923162115902014e-2420 2.120533113306649e-06 2.77767422786149e-1421 9.471309355978618e-36 2.1418578436684184e-6422 0.021199663470536218 1.419072480994206e-0923 0.001062069112221163 1.340691271393635e-1424 8.883159920996887e-11 4.935624812668671e-2125 1.5921015388352006e-06 1.3932877456452658e-2226 0.08734132857172881 2.462429824605711e-0927 0.5973798688999569 1.8080443140764726e-0828 8.533096448063683e-07 6.89481860825778e-1429 2.419721198638692e-16 1.2081803974623271e-38Media: 7.357660e-02 3.397631e-02Desvio Padrao: 2.067856e-01 1.824746e-01


Embora a media e o desvio fossem suficientes para demonstrar qual a ordem

do processo estocastico dos ratos virtuais controle, a apresentacao das estimativas

para as ordens testadas (k = 0, 1, 2, 3) para cada rato e interessante dado que

a estimativa da ordem mais provavel e comparativa. A ordem do processo cuja

correlacao e a menor dentre as testadas e aceita. Assim conseguimos visualizar

claramente as diferencas em cada caso. Resultados semelhantes sao exibidos nas

Tabelas 5 e 6 para os ratos virtuais ansiogenicos e nas Tabelas 7 e 8 para os

ansiolıticos.

Com os resultados das estimativas das tabelas foi possıvel estimar a ordem dos

processos estocasticos para os ratos virtuais. O resultado obtido para os tres grupos

de ratos estudado neste trabalho foi o de ordem zero (k = 0), o que nos diz que a

trajetoria dos ratos no LCE, sejam eles controle, ansiolıtico e ansiogenico, e dada

de forma aleatoria, nao sendo utilizadas informacoes de estados anteriores para

tomada de decisoes futuras. E um resultado curioso, pois os ratos virtuais tiveram

seu comportamento “aprendido” por um algoritmo genetico, que e inspirado na

selecao natural. Alem disso, na funcao de adaptacao usada no modelo, o rato

virtual e recompensado no labirinto conforme sua capacidade de explorar, usando

um parametro que controla o numero de passos de tempo anteriores no qual o rato

nao esteve na posicao atual dele. Ele e recompensado se nao passou nos ultimos

γ = 3 passos de tempo naquela posicao. Desta forma, uma hipotese pouco provavel

seria a de que o comportamento deles se assemelha aos lancamentos independentes

de uma moeda. Contudo, de acordo com as tabelas, analisamos tambem qual seria

a segunda opcao de ordem mais provavel e foi justamente a ordem k = 3, o que

pode ter relacao com o parametro gamma mencionado.

E importante ressaltar que optamos por considerar a possibilidade de os roedo-

res permanecerem na mesma posicao, isto e, consideramos tambem como transicoes

validas aquelas em que os ratos se mantiveram no mesmo estado anterior de um

passo de tempo t para t+ 1 (autotransicoes). E provavel que essa suposicao afete

os resultado obtidos, mas nao podemos ainda dizer se alteraria os ordens estimadas

para os processos estocasticos.

Alguns trabalhos nessa area (TEJADA et al., 2010; COSTA et al., 2012) as-

sumem a ordem do processo estocastico de ratos reais como sendo igual a um

(k = 1). Partindo dessa suposicao calculam a probabilidade de transicao entre


estados e o vetor estacionario dessas transicoes. Contudo, consideraram transicoes

Tabela 5 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 0 e k = 1 de ratos virtuaisansiogenicos.

Ratos k=0 k=10 4.7960052171972956e-117 0.98693463135967121 2.2885782881491643e-124 0.91242613881146352 4.2272218570588796e-126 0.197458941695409623 3.7147630961207426e-130 0.9999998700290664 4.738948732130268e-112 0.99999999999988635 3.071038687403918e-158 7.096361973160207e-186 5.439350717751088e-157 7.126014229820095e-177 3.5738844765585083e-122 0.97915922416976548 2.265162509255297e-121 0.97894748625046439 8.032249739596786e-140 0.0001470624198352181310 3.177228001323405e-141 1.011 2.2400856689526866e-123 1.012 2.5623517095855864e-128 0.00806493356846658613 1.160558706437174e-120 1.014 4.955511039318497e-126 9.28022741159731e-1315 6.883355794193492e-116 0.972182900798064516 8.644625136620961e-120 0.999999997264126317 3.071038687403918e-158 7.096361973160207e-1818 7.171849655670775e-112 0.998446323527018819 9.217832204312507e-107 0.999597115595909620 2.3448865230321552e-110 0.999014716241715721 1.0412491716134766e-142 1.5267774283750791e-0622 1.82461964486094e-123 1.1466561935392288e-0523 2.8285086158252808e-127 0.627539529841338124 6.861104301050252e-103 0.999999999997271525 8.032249739596786e-140 0.0001470624198352181326 6.853335884596401e-122 1.027 1.8884046764195276e-114 0.997829295844465628 1.3489796229278038e-43 0.984859368427173429 3.1177838436265927e-121 0.9788407077117912Media: 4.496599e-45 6.540536e-01Desvio Padrao: 2.462889e-44 4.618527e-01


Tabela 6 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 2 e k = 3 de ratos virtuaisansiogenicos.

Ratos k=2 k=30 0.013065368640355459 6.843659934635813e-161 0.087573858710249 2.4783093358323562e-092 0.8025410583045594 1.822696387425495e-143 1.2997089527927376e-07 1.5577808308922545e-144 6.353335921972478e-14 1.7663816389682374e-345 0.9999648227288785 3.5177271116024933e-056 0.9999904995134974 9.500486483044021e-067 0.009824589283151957 0.0110161865470761138 0.021052512351821786 1.397688408597959e-099 0.9998529349139051 2.6662356602163633e-0910 3.2455384329583904e-17 7.040773409347875e-3211 1.8094954151931241e-22 1.7255299106652076e-4012 0.9919350664315554 1.842190748285821e-1513 2.037691097667947e-29 2.493837367384639e-5214 1.0484213546833323e-06 0.999998951577689915 0.027817098430093914 7.718515614534687e-1016 2.735827107253219e-09 7.211912060658196e-1717 0.9999648227288785 3.5177271116024933e-0518 9.836370529282629e-11 0.0015536763746049319 0.0004028814834949311 2.9206092473227957e-0920 0.0009852823148441651 1.4434280983075852e-0921 0.9999984711057869 2.116774278402811e-0922 0.00018399218431314982 0.999804541253740923 0.3724604648425424 5.316098464913928e-0924 2.7201750936003587e-12 4.320021667471198e-3725 0.9998529349139051 2.6662356602163633e-0926 1.8687346080070043e-35 1.0230540189779502e-3627 0.0021707031051948155 1.0503317728817255e-0928 0.014799472841759913 0.000341158731073648729 0.021159290874993603 1.413186714271493e-09Media: 2.788532e-01 6.709315e-02Desvio Padrao: 4.332330e-01 2.535735e-01


Tabela 7 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 0 e k = 1 de ratos virtuaisansiolıticos.

Ratos k=0 k=10 1.0743661060271826e-106 0.99999999987096541 1.243115706004157e-122 0.9157135928192372 4.2749285759724413e-125 1.03 5.751801156412308e-105 1.04 4.246964667093468e-115 0.99999999997157835 1.6198723593813696e-137 0.99999999977870866 1.7270757396352922e-115 0.99999611316626947 2.265162509255297e-121 0.97894748625046438 3.755299733235366e-118 0.9943555230077499 3.288591578811372e-130 0.1899882780242439810 6.162487246002117e-115 1.011 7.593535561707383e-134 1.012 3.6367048167467536e-124 0.912658668965833413 1.2216745817257295e-105 0.999999998768430514 3.700190384898285e-127 0.625882075630034215 1.4494519930192585e-127 1.016 2.6735174786646625e-126 0.52393882227097717 2.2439826384945244e-30 0.95343609133539718 8.179081187525131e-32 0.956052828354232919 4.0178427064517764e-131 0.999999999943099720 3.825332798509925e-107 0.999999979094525521 1.182086055296438e-114 0.999999979752601822 3.0285070403603727e-115 0.999998956099238223 2.191599816069975e-124 0.912298856322934824 3.061698146322796e-79 1.025 3.128236058425312e-127 0.62691966317246326 1.9716839668871204e-114 0.996726586170764527 4.108741952731199e-119 0.979372462786745728 1.2582765064096565e-126 0.999999999497958929 4.278079826140776e-118 0.9943864942628423Media: 7.752578e-32 9.186891e-01Desvio Padrao: 4.094504e-31 1.848605e-01


Tabela 8 – Resultados da correlacao entre os metodos de AIC e BIC para estimativada ordem do processo estocastico para k = 2 e k = 3 de ratos virtuaisansiolıticos.

Ratos k=2 k=30 1.2908852690912439e-10 1.0820789214189193e-311 0.0842864013804218 5.8003637684582806e-092 8.629063997477419e-16 5.029884674698972e-303 1.1361082015569821e-24 1.971017346801994e-534 2.839743254845014e-11 1.3946970999213125e-285 2.2126868798832788e-10 6.051827856910463e-256 3.88683371701793e-06 4.12337190900266e-147 0.021052512351821786 1.397688408597959e-098 0.005644476070040794 9.22206980675979e-109 0.8100117157982573 6.177470399284867e-0910 2.300169838866238e-16 2.3786577829237933e-4111 2.448914054259921e-35 3.3490119410230145e-5912 0.08734132857172881 2.462429824605711e-0913 1.2315954983938456e-09 1.406006205589329e-2814 0.37411791898417673 5.3858114837859106e-0915 1.31764477792669e-18 4.043827246262572e-3816 0.4760611635969723 1.413204751939069e-0817 0.04332583235908093 0.003238076305527950518 0.04106710584861081 0.002880065797153925619 5.69168553052592e-11 5.156464846863746e-2620 2.090545137004671e-08 1.9858681689075008e-2221 2.0247426528458733e-08 2.1065843515716837e-1722 1.0439007413518352e-06 1.7094208080229743e-2523 0.08770114119034149 2.486745187790256e-0924 2.5560637664445432e-17 3.981636866363996e-3925 0.373080331485475 5.342080849930024e-0926 0.003273413558986365 2.7023176463859875e-1027 0.02062752840860458 8.804648925065565e-0928 5.020674928626795e-10 1.878287966422788e-1829 0.0056135048258789955 9.112839955203709e-10Media: 8.110698e-02 2.039399e-04Desvio Padrao: 1.849032e-01 7.775331e-04


validas apenas aquelas nas quais houve alteracao de estado de t para t+ 1.

Seria preciso agora reproduzir essas analises para dados de ratos reais para

comparar. Alem disso, um unico metodo nao e o suficiente para termos certeza

dessa informacao dado que se trata de um problema nao trivial e sabemos que,

por definicao, pode haver diferenca entre estimativas realizadas com metodos es-

tatısticos diferentes.

37

5 Conclusao

O labirinto em cruz elevado e um aparato de grande importancia para areas

como farmacobiologia e psicobiologia. No presente trabalho analisamos dados

provenientes de simulacoes computacionais de ratos virtuais baseados em redes

neurais artificiais otimizadas por algoritmos geneticos. A funcao de adaptacao

utilizada e inspirada no conflito de medo e exploracao de ratos reais no labirinto.

Os resultados das trajetorias dos ratos virtuais dos tres grupos estudados (con-

trole, ansiolıtico e ansiogenico) demostraram estar de acordo com o esperado teo-

ricamente, isso e, comparando as trajetorias do ratos reais com as trajetorias dos

ratos virtuais, fazendo a relacao do tempo de permanencia dos ratos virtuai nos

bracos fechados ou abertos. Outro resultado obtido com o presente trabalho foi

a estimativa da ordem dos processos estocasticos dos ratos virtuais. Vimos que o

ratos virtuais nao levam em consideracao informacoes de estados anteriores nem

o atual para tomarem decisoes futuras, seja ela de permanecer na mesma posicao,

avancar, girar e por assim em diante. Contudo essa foi uma primeira analise e

mais testes sao necessarios.

Como perspectiva desta pesquisa seria interessante a utilizacao de outro metodo

para a comparacao dos resultados obtidos. Um outro metodo que tambem seria

viavel em uma momento posterior e o metodo chamado Minimum Description

Length Principle (MDL). Com o MDL tambem e possıvel determinar a ordem do

processo estocastico, nao utilizado neste trabalho pois sua implementacao nao e

trivial.

Outra premissa de estudos futuros que se aplicaria ao trabalho e o da com-

paracao dos resultados obtidos aqui para os ratos virtuais simulados com os dados

obtidos para ratos reais. Esse outro estudo daria uma ideia ate mesmo se o metodo

utilizado neste trabalho que tem como ideia a utilizacao dos modelos AIC e BIC

para a determinacao das ordem dos processos estocasticos realmente e valido.

Vale destacar a importancia que este tipo de analise pode ter para a compre-

ensao dos efeitos de drogas e transtornos neurologicos, como Alzheimer, depressao

e esquizofrenia, dentre outros, na memoria operacional de animais. Caso esses efei-

38

tos sejam quantitativamente mensuraveis (de forma relativamente simples apos a

proposicao de um metodo estatıstico robusto e eficiente), as possıveis aplicacoes

sao inumeras, indo desde usos farmacologicos a clınicos em psiquiatria.

39

Referencias

AKAIKE, H. A new look at the statistical model identification. In: SelectedPapers of Hirotugu Akaike. [S.l.]: Springer, 1974. p. 215–222.

ARANTES, R. Modelagem estocastica do labirinto em cruz elevado. Tese(Doutorado), 2016.

CARVALHO, A. P. de Leon F. de. Algoritmos geneticos. 2019. Disponıvel em:〈http://conteudo.icmc.usp.br/pessoas/andre/body.htm〉.

CARVALHO, A. P. de Leon F. de. Redes neurais artificiais. 2019. Disponıvel em:〈http://conteudo.icmc.usp.br/pessoas/andre/research/neural/〉.

COSTA, A. A. et al. A model based on genetic algorithm for investigation ofthe behavior of rats in the elevated plus-maze. In: SPRINGER. InternationalConference on Intelligent Data Engineering and Automated Learning. [S.l.], 2012.p. 151–158.

COSTA, A. de A. Investigacao de modelos comportamentais de ratos por meio dealgoritmos geneticos. Tese (Doutorado), 2015.

HANDLEY, S. L.; MITHANI, S. Effects of alpha-adrenoceptor agonistsand antagonists in a maze-exploration model of fear-motivated behaviour.Naunyn-Schmiedebergs Archives of Pharmacology, Springer Nature, v. 327, n. 1,p. 1–5, 1984.

HEBB, D. The organization of behavior; a neuropsychological theory. New YorkJOHN WILEY if SONS., 1949.

KOWALTOWSKI, T. Von neumann: suas contribuicoes computacao. EstudosAvancados, FapUNIFESP (SciELO), v. 10, n. 26, p. 237–260, apr 1996.

MARKOV, A. A. Extension of the limit theorems of probability theory to a sumof variables connected in a chain. Dynamic probabilistic systems, Wiley NewYork, v. 1, p. 552–577, 1971.

MCCULLOCH, W. S.; PITTS, W. A logical calculus of the ideas immanent innervous activity. The Bulletin of Mathematical Biophysics, Springer Nature, v. 5,n. 4, p. 115–133, dec 1943.

http://conteudo.icmc.usp.br/pessoas/andre/body.htm

http://conteudo.icmc.usp.br/pessoas/andre/research/neural/

Referencias 40

MONTGOMERY, K. C.; MONKMAN, J. A. The relation between fear andexploratory behavior. Journal of Comparative and Physiological Psychology,American Psychological Association (APA), v. 48, n. 2, p. 132–136, 1955.

ROSENBLATT, F. The perceptron: A probabilistic model for information storageand organization in the brain. Psychological Review, American PsychologicalAssociation (APA), v. 65, n. 6, p. 386–408, 1958.

SCHWARZ, G. et al. Estimating the dimension of a model. The annals ofstatistics, Institute of Mathematical Statistics, v. 6, n. 2, p. 461–464, 1978.

SINGER, P. et al. Hyptrails: A bayesian approach for comparing hypothesesabout human trails on the web. In: INTERNATIONAL WORLD WIDEWEB CONFERENCES STEERING COMMITTEE. Proceedings of the 24thInternational Conference on World Wide Web. [S.l.], 2015. p. 1003–1013.

SINGER, P. et al. Detecting memory and structure in human navigation patternsusing markov chain models of varying order. PloS one, Public Library of Science,v. 9, n. 7, p. e102070, 2014.

SINGER, P. et al. Computing semantic relatedness from human navigationalpaths: A case study on wikipedia. International Journal on Semantic Web andInformation Systems (IJSWIS), IGI Global, v. 9, n. 4, p. 41–70, 2013.

TEJADA, J. et al. Characterization of the rat exploratory behavior in the elevatedplus-maze with markov chains. Journal of neuroscience methods, Elsevier, v. 193,n. 2, p. 288–295, 2010.

Documents

Estimativa da Ordem do Processo Estoc astico de …...Figura 2 { Representa˘c~ao de uma rede neural multi camadas sem recorr^encia, com duas camadas intermedi arias. Os sensores s~ao