Upload
internet
View
102
Download
0
Embed Size (px)
Citation preview
1
SISTEMAS DE SISTEMAS DE APRENDIZAGEMAPRENDIZAGEM
(OU APRENDIZAGEM DE MÁQUINAS)(OU APRENDIZAGEM DE MÁQUINAS)
31/03/200531/03/2005
Trabalho realizado por: Trabalho realizado por:
Filipe Pereira nº14677Filipe Pereira nº14677
Luís Aguilar nº14676Luís Aguilar nº14676
Vitor Rodrigues nº11542Vitor Rodrigues nº11542
2
Questões ImportantesQuestões Importantes
►O que é a aprendizagem ?O que é a aprendizagem ?
► Porquê aprender ?Porquê aprender ?
► A aprendizagem é mesmo possível ?A aprendizagem é mesmo possível ? Pode um algoritmo prever o futuro?Pode um algoritmo prever o futuro?
► A aprendizagem é uma questão de A aprendizagem é uma questão de estatísticas?estatísticas?
3
O Que é a Aprendizagem ?O Que é a Aprendizagem ?
► A psicologia costuma definir a aprendizagem como A psicologia costuma definir a aprendizagem como
uma uma mudança relativamente permanente no mudança relativamente permanente no
conhecimento ou no comportamento produzido pela conhecimento ou no comportamento produzido pela
experiência. experiência. A aprendizagem considera então a A aprendizagem considera então a
aquisição de informação e conhecimentos, de aquisição de informação e conhecimentos, de
habilidades, de hábitos, de atitudes e de crenças (as habilidades, de hábitos, de atitudes e de crenças (as
mudanças físicas do amadurecimento não é mudanças físicas do amadurecimento não é
considerado aprendizagem)considerado aprendizagem)Gonzalez-Perez, J.; Criado M.J.Gonzalez-Perez, J.; Criado M.J.
Psicologia de la Educacion para una Enseñansa Prática (2003)Psicologia de la Educacion para una Enseñansa Prática (2003)
4
O Que é a Aprendizagem ?O Que é a Aprendizagem ?
►Memorizar qualquer coisaMemorizar qualquer coisa
► Aprender factos através da observação e Aprender factos através da observação e
exploraçãoexploração
►Melhorar capacidades cognitivas e/ou Melhorar capacidades cognitivas e/ou
motoras através da práticamotoras através da prática
►Organizar novo conhecimento em Organizar novo conhecimento em
representações gerais.representações gerais.
5
Uma definição mais Uma definição mais computacionalcomputacional
► Herb Simon, uma figura histórica importante na Herb Simon, uma figura histórica importante na
Inteligência Artificial e Economia, deu-nos a seguinte Inteligência Artificial e Economia, deu-nos a seguinte
definição de Aprendizagem:definição de Aprendizagem:
Aprendizagem denota mudanças no sistema que Aprendizagem denota mudanças no sistema que
são adaptativas no sentido em que permitem ao são adaptativas no sentido em que permitem ao
sistema fazer a tarefa ou as tarefas tiradas da sistema fazer a tarefa ou as tarefas tiradas da
mesma população mais eficientemente e mais mesma população mais eficientemente e mais
eficazmente da próxima vez.eficazmente da próxima vez.
X
6
Então como aprender?Então como aprender?
►A InduçãoA Indução
O bocado de pão 1 estava saboroso quando eu o comi.O bocado de pão 1 estava saboroso quando eu o comi.
O bocado de pão 2 estava saboroso quando eu o comi.O bocado de pão 2 estava saboroso quando eu o comi.
……
O bocado de pão 100 estava saboroso quando eu o comi.O bocado de pão 100 estava saboroso quando eu o comi.
EntãoEntão, todos os bocados de pão estarão saborosos quando , todos os bocados de pão estarão saborosos quando
eu os comer.eu os comer.
(David Hume resumiu assim o raciocínio por Indução)(David Hume resumiu assim o raciocínio por Indução)
7
InduçãoIndução
► Qualquer matemático abomina o raciocínio anterior.Qualquer matemático abomina o raciocínio anterior.
► Então porque é que a indução é aceitável ?Então porque é que a indução é aceitável ?
Um ExemploUm Exemplo
►Quando perguntado se o Sol vai nascer amanhã, a Quando perguntado se o Sol vai nascer amanhã, a
nossa resposta natural é: Sim, porque o Sol sempre nossa resposta natural é: Sim, porque o Sol sempre
nasceu todos os dias.nasceu todos os dias.
Para um cientista, a resposta não é satisfatória, mas para o Para um cientista, a resposta não é satisfatória, mas para o
comum dos mortais, é suficiente saber que o Sol sempre comum dos mortais, é suficiente saber que o Sol sempre
nasceu todos os dias para “aprender” que ele vai nascer nasceu todos os dias para “aprender” que ele vai nascer
amanhã.amanhã.
8
Tipos de AprendizagemTipos de Aprendizagem
► Existem imensos tipos de problemas relacionados Existem imensos tipos de problemas relacionados
com a aprendizagem de Máquinas.com a aprendizagem de Máquinas.
Aprendizagem SupervisionadaAprendizagem Supervisionada Clustering (agrupamento)Clustering (agrupamento) Reforço (Reforço (ReinforcementReinforcement))
9
Aprendizagem Aprendizagem SupervisionadaSupervisionada
► Dado um conjunto de pares de Dado um conjunto de pares de input/outputinput/output, encontrar , encontrar
uma regra que nos permita prever o uma regra que nos permita prever o outputoutput associado a associado a
cada novo cada novo inputinput..
► Por exemplo: Por exemplo: Imaginemos que nos é dado os pesos e Imaginemos que nos é dado os pesos e
comprimentos de um grupo de trutas, e os pesos e comprimentos de um grupo de trutas, e os pesos e
comprimentos de um grupo de carpas. O trabalho do comprimentos de um grupo de carpas. O trabalho do
sistema de aprendizagem supervisionada seria encontrar sistema de aprendizagem supervisionada seria encontrar
uma regra que permitisse uma regra que permitisse preverprever, dado o comprimento e , dado o comprimento e
o peso de um peixe, se este era uma truta ou uma carpao peso de um peixe, se este era uma truta ou uma carpa ..
10
ClusteringClustering
► Outro tipo de problema comum de aprendizagem é Outro tipo de problema comum de aprendizagem é
o agrupamento. o agrupamento.
► Dado um conjunto de exemplos, mas sem uma Dado um conjunto de exemplos, mas sem uma
classificação predefinida destes, o objectivo é classificação predefinida destes, o objectivo é
agrupar os exemplos dados em “conjuntos agrupar os exemplos dados em “conjuntos
naturais”.naturais”.
11
Um exemplo de ClusteringUm exemplo de Clustering
► Neste caso, é-nos dada as descrições de um grupo de Neste caso, é-nos dada as descrições de um grupo de
animais diferentes em termos das suas características animais diferentes em termos das suas características
(comprimento, peso, se tem cabelos ou não, etc.). A (comprimento, peso, se tem cabelos ou não, etc.). A
tarefa agora é dividi-los em grupos, possivelmente tarefa agora é dividi-los em grupos, possivelmente
numa hierarquia de grupos que “faça sentido”.numa hierarquia de grupos que “faça sentido”.
► O que torna o clustering diferente da aprendizagem O que torna o clustering diferente da aprendizagem
supervisionada é que não lhe é dito á partida, que supervisionada é que não lhe é dito á partida, que
grupos de animais devemos ter. Apenas que o sistema grupos de animais devemos ter. Apenas que o sistema
deve encontrar um deve encontrar um agrupamento naturalagrupamento natural..
12
Aprendizagem por ReforçoAprendizagem por Reforço
► Um agente interagindo com o mundo faz Um agente interagindo com o mundo faz
observações, age, e é recompensado ou castigado. observações, age, e é recompensado ou castigado.
Deverá ser capaz de escolher acções de maneira a Deverá ser capaz de escolher acções de maneira a
maximizar o número de recompensas.maximizar o número de recompensas.
► Este problema de aprendizagem é mais familiar à Este problema de aprendizagem é mais familiar à
maioria de nós porque envolve a aprendizagem de maioria de nós porque envolve a aprendizagem de
capacidades motoras, como aprender a andar ou a capacidades motoras, como aprender a andar ou a
andar de bicicleta.andar de bicicleta.
13
Aprendizagem por ReforçoAprendizagem por Reforço
► É diferente da aprendizagem supervisionada É diferente da aprendizagem supervisionada
porque ninguém nos diz explicitamente qual é a porque ninguém nos diz explicitamente qual é a
coisa certa a fazer. Temos apenas de ir tentando e coisa certa a fazer. Temos apenas de ir tentando e
verificar aquilo que nos faz cair ou aquilo que nos verificar aquilo que nos faz cair ou aquilo que nos
faz ficar direitos.faz ficar direitos.
14
AprendizagemAprendizagem
► Como já vimos, uma maneira de encarar a aprendizagem, Como já vimos, uma maneira de encarar a aprendizagem,
é encontrar uma função que a partir de um conjunto de é encontrar uma função que a partir de um conjunto de
dados de input e output, expresse da melhor maneira dados de input e output, expresse da melhor maneira
possível a relação.possível a relação.
► Aprender a pronunciar palavras pode ser visto como uma função Aprender a pronunciar palavras pode ser visto como uma função
de letras para sons.de letras para sons.
► Aprender a reconhecer a escrita pode ser vista como uma Aprender a reconhecer a escrita pode ser vista como uma
função de conjuntos de pixeis para letrasfunção de conjuntos de pixeis para letras
► Aprender a diagnosticar doenças pode ser visto como uma Aprender a diagnosticar doenças pode ser visto como uma
função de resultados de exames laboratoriais para categorias de função de resultados de exames laboratoriais para categorias de
doenças.doenças.
15
Alguns problemas…Alguns problemas…
► O problema de inferir uma função a partir de O problema de inferir uma função a partir de
exemplos é complicado. Podemos pensar em pelo exemplos é complicado. Podemos pensar em pelo
menos três problemas diferentes que podem surgir:menos três problemas diferentes que podem surgir:
► MemóriaMemória
► Calcular médiasCalcular médias
► Generalização Generalização
16
Problema Exemplo:Problema Exemplo:
► Imaginemos que estou a tentar prever se a minha Imaginemos que estou a tentar prever se a minha
vizinha vai de carro ou não para o trabalhovizinha vai de carro ou não para o trabalho
► ( o objectivo é saber se vale a pena pedir-lhe boleia. )( o objectivo é saber se vale a pena pedir-lhe boleia. )
► Se a minha vizinha vai de carro ou não para o trabalho Se a minha vizinha vai de carro ou não para o trabalho
parece depender das seguintes características do dia: parece depender das seguintes características do dia:
temperatura ambiente, temperatura ambiente, precipitação,precipitação, o dia da semana,o dia da semana, se vai ou não ás compras pelo caminho e se vai ou não ás compras pelo caminho e o tipo de vestuário que ela traz.o tipo de vestuário que ela traz.
17
exemplo…exemplo…
Digamos que observamos estas características durante 3
dias. A tabela seguinte mostra-nos os resultados destas
mesmas observações e se a vizinha vai de carro ou vai a
pé para o trabalho:
18
MemóriaMemória
Agora pretende-se prever qual irá ser a atitude
que a nossa vizinha ira tomar mediante as
seguintes condições (ultima linha):
Ela vai de carro ou a pé?
19
Memória Memória
A resposta parece ser óbvia, pois as A resposta parece ser óbvia, pois as condições são semelhantes a uma das anteriores.condições são semelhantes a uma das anteriores.
Este tipo de aprendizagem é bastante Este tipo de aprendizagem é bastante
rudimentar pois basta memorizar o que se viu rudimentar pois basta memorizar o que se viu
anteriormente para se poder dar a resposta.anteriormente para se poder dar a resposta.
20
Calculo da médiaCalculo da média
► E quando há ruído nos dados E quando há ruído nos dados (As coisas não (As coisas não sempre tão simples como no caso anterior.) sempre tão simples como no caso anterior.)
► A nossa vizinha não é totalmente coerente.A nossa vizinha não é totalmente coerente.
21
Calculo da médiaCalculo da média
Para input semelhante temos outputs diferentes. Se
nos surgir novamente o mesmo input qual vai ser a
nossa previsão?
22
Calculo da médiaCalculo da média
X
Podemos afirmar que ela irá a pé com uma probabilidade de 5/7
23
GeneralizaçãoGeneralização
► Imaginemos agora o caso em que temos de tratar com casos nunca Imaginemos agora o caso em que temos de tratar com casos nunca
vistos. Neste caso, pode não haver uma resposta óbvia. Podemos vistos. Neste caso, pode não haver uma resposta óbvia. Podemos
abdicar de fazer uma previsão, ou então assumir que existe uma abdicar de fazer uma previsão, ou então assumir que existe uma
certa propriedade de estabilidade: situações similares tendem a ter certa propriedade de estabilidade: situações similares tendem a ter
categorias similares. Podiamos argumentar que:categorias similares. Podiamos argumentar que:
• Ela vai a pé, porque a única vez que choveu ela foi a pé.
• Ela vai de carro, porque às segundas foi sempre de carro.
24
GeneralizaçãoGeneralização
► A questão de qual deles escolher é uma questão difícil e A questão de qual deles escolher é uma questão difícil e
um dos problemas mais profundos subjacentes à um dos problemas mais profundos subjacentes à
Aprendizagem de Máquinas. Aprendizagem de Máquinas.
► Convém realçar que o objectivo é sempre que a Convém realçar que o objectivo é sempre que a
máquina possa fazer as previsões acerca de dados máquina possa fazer as previsões acerca de dados
novos sem a ajuda da intuição humana (apresentamos novos sem a ajuda da intuição humana (apresentamos
estes exemplos (e o seguinte) para sublinhar a estes exemplos (e o seguinte) para sublinhar a
complexidade dos problemas, que mesmo para os complexidade dos problemas, que mesmo para os
humanos são questionáveis).humanos são questionáveis).
25
Exemplo:Exemplo:• Imaginemos que se
pretende dividir estes
dois conjuntos de pontos
por forma a que, dado
este input, consigamos
prever qual a cor que irá
ter um novo ponto.
• Qual será a melhor
escolha?
(pode-se fazer o paralelo com o exemplo anterior, em que os pontos existentes são as linhas da tabela e o ponto novo que há-de surgir corresponde à linha nova)
26
Qual será a resposta mais Qual será a resposta mais correcta?correcta?
• Neste caso parece óbvio,
que seja uma linha a
separar os dois conjuntos
de pontos.
• Assim um ponto que surja no lado direito, prevemos
que seja vermelho e preto se surgir no lado esquerdo
27
E agora? E agora?
• Agora que temos uma
configuração diferente de
pontos.
• Qual será a melhor
escolha?
28
Também não parece ser Também não parece ser difícil… difícil…
29
E agora?!E agora?!
• Já não parece ser tão
trivial encontrar a solução
neste caso
• Há pelo menos dois tipos
de resposta possível
30
Primeira opção Primeira opção
• Neste caso, é possível
separar completamente
os dois conjuntos de
pontos
• Mas será esta a melhor
escolha?
31
Segunda opçãoSegunda opção
• Neste caso, os pontos
não estão totalmente
divididos por cor
• Esta opção despreza
alguns elementos
dispersos por forma a
simplificar a separação
32
Algoritmos de aprendizagemAlgoritmos de aprendizagem
► Existem vários tipos de algoritmos de Existem vários tipos de algoritmos de aprendizagem:aprendizagem:
►Nearest Neighbor (Vizinho mais próximo)Nearest Neighbor (Vizinho mais próximo)
►Arvores de decisãoArvores de decisão
►K-means (algoritmo de agrupamento)K-means (algoritmo de agrupamento)
►Á priori Á priori
►……
33
Nearest Nearest Neighbor Neighbor
• Qual será neste caso a cor do ponto que falta?
• Vermelho é a cor do ponto que está mais próximo. Então fica vermelho.
• Este algoritmo é o mais simples de todos. O novo ponto será da cor daquele que é o seu vizinho mais próximo.
34
Nearest NeighborNearest Neighbor
► O algoritmo neste caso apenas faz o seguinte:O algoritmo neste caso apenas faz o seguinte:
Lembrar-se de todos os dadosLembrar-se de todos os dados
Quando alguém nos faz uma pergunta:Quando alguém nos faz uma pergunta:►Encontrar o ponto mais próximoEncontrar o ponto mais próximo
►Devolver a resposta associada a este.Devolver a resposta associada a este.
35
Árvores de DecisãoÁrvores de Decisão
• Outro bom exemplo de algoritmos de aprendizagem é construir hipóteses na forma de árvores de decisão. Nas árvores de decisão, cada nodo representa uma questão, e os ramos representam as possíveis respostas. Podemos utilizar esta árvore de decisão para encontrar a previsão que devemos fazer no exemplo “vai de carro”/ ”vai a pé”.
36
Árvores de DecisãoÁrvores de Decisão► Neste exemplo, a árvore ficaria com a Neste exemplo, a árvore ficaria com a
seguinte estrutura.seguinte estrutura.
37
Árvores de DecisãoÁrvores de Decisão
Começamos por perguntar qual é o actual estado de precipitação. Se estiver a nevar paramos o questionário, pois já sabemos que vai de carro. Se estiver a chover, teremos de ir a pé (não nos vai dar boleia).
38
Árvores de DecisãoÁrvores de Decisão
Se não estiver a chover, então temos de perguntar qual o tipo de roupas que a vizinha trás vestido. Se for com uma roupa formal vai de carro. Se não teremos de fazer outra pergunta.
39
Árvores de DecisãoÁrvores de Decisão
Podemos continuar a fazer perguntas e a dar respostas até chegarmos a um único nodo das árvores onde iremos obter a nossa previsão.
40
À prioriÀ priori
► Este algoritmo permite inferir informação de uma base de Este algoritmo permite inferir informação de uma base de
dados que não esteja explícita. É um dos algoritmos mais dados que não esteja explícita. É um dos algoritmos mais
conhecidos da área do conhecidos da área do Data MiningData Mining..
► Data MiningData Mining é o processo de descoberta de novas e é o processo de descoberta de novas e
significantes correlações, padrões e tendências, filtrando significantes correlações, padrões e tendências, filtrando
grandes quantidades de dados guardados em repositórios, grandes quantidades de dados guardados em repositórios,
utilizando tecnologias de reconhecimento de padrões bem utilizando tecnologias de reconhecimento de padrões bem
como técnicas matemáticas e estatísticas.como técnicas matemáticas e estatísticas.
► Algoritmos deste género permitem analisar grandes Algoritmos deste género permitem analisar grandes
quantidades de dados, extraindo de lá informações que muito quantidades de dados, extraindo de lá informações que muito
dificilmente um ser humano conseguiria “à mão”.dificilmente um ser humano conseguiria “à mão”.
41
À prioriÀ priori
► Este algoritmo consiste na descoberta de regras de associação.Este algoritmo consiste na descoberta de regras de associação.
► O exemplo paradigmático é o do Cesto do Supermercado. O exemplo paradigmático é o do Cesto do Supermercado.
► O objectivo é descobrir que produtos costumam ser comprados juntos O objectivo é descobrir que produtos costumam ser comprados juntos
(ex. cada vez que compro pasta de dentes compro também escova de (ex. cada vez que compro pasta de dentes compro também escova de
dentes). Deste modo, o supermercado pode “facilitar” o trabalho ao dentes). Deste modo, o supermercado pode “facilitar” o trabalho ao
cliente e colocar os produtos que costumam ser comprados juntos perto cliente e colocar os produtos que costumam ser comprados juntos perto
uns dos outros. uns dos outros.
42
Redes NeuronaisRedes Neuronais
► Redes Neuronais Artificiais são técnicas Redes Neuronais Artificiais são técnicas
computacionais que apresentam um modelo computacionais que apresentam um modelo
matemático inspirado na estrutura neuronal de matemático inspirado na estrutura neuronal de
organismos inteligentes e que adquirem organismos inteligentes e que adquirem
conhecimento através da experiência. Uma grande conhecimento através da experiência. Uma grande
rede neuronal artificial pode ter centenas ou rede neuronal artificial pode ter centenas ou
milhares de unidades de processamento; já o cérebro milhares de unidades de processamento; já o cérebro
de um mamífero pode ter muitos biliões de de um mamífero pode ter muitos biliões de
neurónios.neurónios.
43
Redes NeuronaisRedes Neuronais
► O sistema nervoso é formado por um conjunto O sistema nervoso é formado por um conjunto
extremamente complexo de células, os neurónios. Eles extremamente complexo de células, os neurónios. Eles
têm um papel essencial na determinação do têm um papel essencial na determinação do
funcionamento e comportamento do corpo humano e do funcionamento e comportamento do corpo humano e do
raciocínio. Os neurónios são formados pelos dendritos, raciocínio. Os neurónios são formados pelos dendritos,
que são um conjunto de terminais de entrada, pelo que são um conjunto de terminais de entrada, pelo
corpo central, e pelos axônios que são longos terminais corpo central, e pelos axônios que são longos terminais
de saída.de saída.
44
Redes NeuronaisRedes Neuronais► Breve História das Redes NeuronaisBreve História das Redes Neuronais
Os estudos de McCulloch e Pitts (1943), Hebb (1949), e Os estudos de McCulloch e Pitts (1943), Hebb (1949), e
Rosemblatt (1958) introduziram o primeiro modelo de Rosemblatt (1958) introduziram o primeiro modelo de
redes neuronais simulando “máquinas”, o modelo básico redes neuronais simulando “máquinas”, o modelo básico
de rede de auto-organização, e o modelo Perceptron de de rede de auto-organização, e o modelo Perceptron de
aprendizagem supervisionada, respectivamente.aprendizagem supervisionada, respectivamente.
nos anos 60 e 70, importantes trabalhos sobre modelos de nos anos 60 e 70, importantes trabalhos sobre modelos de
redes neuronais em visão, memória, controle e auto-redes neuronais em visão, memória, controle e auto-
organização como: Amari, Anderson, Cooper, Cowan, organização como: Amari, Anderson, Cooper, Cowan,
Fukushima, Grossberg, Kohonen, von der Malsburg, Fukushima, Grossberg, Kohonen, von der Malsburg,
Werbos e Widrow.Werbos e Widrow.
45
Redes NeuronaisRedes Neuronais
► Breve História das Redes NeuronaisBreve História das Redes Neuronais
Alguns históricos sobre a área costumam “saltar” Alguns históricos sobre a área costumam “saltar”
os anos 60 e 70 e apontar uma reintrodução das os anos 60 e 70 e apontar uma reintrodução das
redes neuronais com a publicação dos trabalhos redes neuronais com a publicação dos trabalhos
de Hopfield (1982) relatando a utilização de de Hopfield (1982) relatando a utilização de
redes simétricas para optimização e de redes simétricas para optimização e de
Rumelhart, Hinton e Williams que introduziram o Rumelhart, Hinton e Williams que introduziram o
poderoso método Backpropagation.poderoso método Backpropagation.
46
Redes NeuronaisRedes Neuronais
► Características GeraisCaracterísticas Gerais
Uma rede neuronal artificial é composta por várias Uma rede neuronal artificial é composta por várias
unidades de processamento, cujo funcionamento é unidades de processamento, cujo funcionamento é
bastante simples. Essas unidades, geralmente são bastante simples. Essas unidades, geralmente são
conectadas por canais de comunicação que estão conectadas por canais de comunicação que estão
associados a determinado peso. As unidades fazem associados a determinado peso. As unidades fazem
operações apenas sobre os seus dados locais, que são operações apenas sobre os seus dados locais, que são
entradas recebidas pelas suas conexões. O comportamento entradas recebidas pelas suas conexões. O comportamento
inteligente de uma Rede Neuronal Artificial vem das inteligente de uma Rede Neuronal Artificial vem das
interacções entre as unidades de processamento da rede.interacções entre as unidades de processamento da rede.
47
Redes NeuronaisRedes Neuronais► Características Gerais Características Gerais
São modelos adaptativos treináveisSão modelos adaptativos treináveis
Podem representar domínios complexos (não lineares)Podem representar domínios complexos (não lineares)
São capazes de generalização diante de informação incompletaSão capazes de generalização diante de informação incompleta
RobustosRobustos
São capazes de fazer armazenamento associativo de São capazes de fazer armazenamento associativo de
informaçõesinformações
Processam informações Espaço/temporaisProcessam informações Espaço/temporais
Possuem grande paralelismo, o que lhes conferem rapidez de Possuem grande paralelismo, o que lhes conferem rapidez de
processamentoprocessamento
48
Redes NeuronaisRedes Neuronais
► O que é uma Rede Neuronal?O que é uma Rede Neuronal?
A grande premissa do conexionismo para aplicações em A grande premissa do conexionismo para aplicações em
processamento de informações e/ou inteligência processamento de informações e/ou inteligência
artificial é o facto de que se pode analisar um problema artificial é o facto de que se pode analisar um problema
de acordo com o funcionamento do cérebro humanode acordo com o funcionamento do cérebro humano
O cérebro processa informações através da activação O cérebro processa informações através da activação
de uma série de neurónios biológicos. Os neurónios por de uma série de neurónios biológicos. Os neurónios por
sua vez, interagem numa rede biológica através da sua vez, interagem numa rede biológica através da
intercomunicação.intercomunicação.
49
Redes NeuronaisRedes Neuronais► O Neurónio ArtificialO Neurónio Artificial
McCullock e Pitts 1943;McCullock e Pitts 1943;
sinais são apresentados à entrada; sinais são apresentados à entrada;
cada sinal é multiplicado por um cada sinal é multiplicado por um
número, ou peso, que indica a sua número, ou peso, que indica a sua
influência na saída da unidade; influência na saída da unidade;
é feita a soma ponderada dos é feita a soma ponderada dos
sinais que produz um nível de sinais que produz um nível de
actividade; actividade;
se este nível de actividade se este nível de actividade
exceder um certo limite exceder um certo limite
((thresholdthreshold) a unidade produz uma ) a unidade produz uma
determinada resposta de saída. determinada resposta de saída.
50
Redes NeuronaisRedes Neuronais
► ExemploExemplo
sinais de entrada X1, X2, ..., Xp (0 ou 1) sinais de entrada X1, X2, ..., Xp (0 ou 1) pesos w1, w2, ..., wppesos w1, w2, ..., wp, , valores reais.valores reais. limitador t; limitador t; Neste modelo, o nível de actividade a é dado por:Neste modelo, o nível de actividade a é dado por:
► a = w1X1 + w2X2 + ... + wpXp a = w1X1 + w2X2 + ... + wpXp A saída y é dada por:A saída y é dada por:
• y = 1, se a >= t ou y = 1, se a >= t ou • y = 0, se a < t. y = 0, se a < t.
51
Redes NeuronaisRedes Neuronais• Organização em camadas
52
Redes NeuronaisRedes Neuronais
►Organização em camadasOrganização em camadas
Usualmente as camadas são classificadas em três grupos: Usualmente as camadas são classificadas em três grupos:
► Camada de EntradaCamada de Entrada: onde os padrões são : onde os padrões são apresentados à rede; apresentados à rede;
► Camadas Intermediárias ou EscondidasCamadas Intermediárias ou Escondidas: onde é : onde é feita a maior parte do processamento, através das feita a maior parte do processamento, através das conexões ponderadas; podem ser consideradas como conexões ponderadas; podem ser consideradas como extractoras de características; extractoras de características;
► Camada de SaídaCamada de Saída: onde o resultado final é concluído : onde o resultado final é concluído e apresentado. e apresentado.
53
Redes NeuronaisRedes Neuronais
► Processos de AprendizagemProcessos de Aprendizagem
A propriedade mais importante das redes neuronais A propriedade mais importante das redes neuronais
é a habilidade de aprender a partir do seu é a habilidade de aprender a partir do seu
ambiente e com isso melhorar o seu desempenho. ambiente e com isso melhorar o seu desempenho.
Isso é feito através de um processo iterativo de Isso é feito através de um processo iterativo de
ajustes aplicado aos seus pesos, o treino.ajustes aplicado aos seus pesos, o treino.
A aprendizagem ocorre quando a rede neuronal A aprendizagem ocorre quando a rede neuronal
atinge uma solução generalizada para uma classe atinge uma solução generalizada para uma classe
de problemas.de problemas.
54
Redes NeuronaisRedes Neuronais
► Algoritmos de AprendizagemAlgoritmos de Aprendizagem
algoritmo de aprendizagem algoritmo de aprendizagem éé um conjunto de regras bem um conjunto de regras bem
definidas para a solução de um problema de aprendizagem. definidas para a solução de um problema de aprendizagem.
Existem muitos tipos de algoritmos de aprendizagem Existem muitos tipos de algoritmos de aprendizagem
específicos para determinados modelos de redes neuronais; específicos para determinados modelos de redes neuronais;
estes algoritmos diferem entre si principalmente pelo modo estes algoritmos diferem entre si principalmente pelo modo
como os pesos são modificados.como os pesos são modificados.
55
Algoritmos GenéticosAlgoritmos Genéticos
► O paradigma genético dos sistemas de aprendizagem é o O paradigma genético dos sistemas de aprendizagem é o
que tem estado mais em voga na área dos sistemas de que tem estado mais em voga na área dos sistemas de
aprendizagem. aprendizagem.
► Consiste num sistema de classificação inspirado na analogia Consiste num sistema de classificação inspirado na analogia
com as operações ocorridas na reprodução biológica e na com as operações ocorridas na reprodução biológica e na
selecção natural da forma como foi descrita por Darwin, selecção natural da forma como foi descrita por Darwin,
onde impera a lei do mais forte.onde impera a lei do mais forte.
► Encontram-se especialmente talhados para problemas de Encontram-se especialmente talhados para problemas de
reconhecimento discreto de padrões e para a aquisição de reconhecimento discreto de padrões e para a aquisição de
regras para sistemas periciais.regras para sistemas periciais.
56
Algoritmos GenéticosAlgoritmos Genéticos
► Programas EvolutivosProgramas Evolutivos
Consiste em sistemas de resolução de problemas Consiste em sistemas de resolução de problemas
baseados nos princípios biológicos da evolução e da baseados nos princípios biológicos da evolução e da
hereditariedade.hereditariedade.
Cada indivíduo representa uma potencial solução do Cada indivíduo representa uma potencial solução do
problema.problema.
Cada solução é avaliada para se ter uma medida do seu Cada solução é avaliada para se ter uma medida do seu
desempenho.desempenho.
Uma nova população é gerada a partir da anterior por Uma nova população é gerada a partir da anterior por
selecção dos melhores indivíduos e aplicação dos selecção dos melhores indivíduos e aplicação dos
operadores genéticos.operadores genéticos.
57
Algoritmos GenéticosAlgoritmos Genéticos
►Operadores genéticosOperadores genéticos Selecção: utilizado para seleccionar os indivíduos Selecção: utilizado para seleccionar os indivíduos
que tiveram melhor desempenho.que tiveram melhor desempenho.
Mutação: consiste numa alteração aleatória em Mutação: consiste numa alteração aleatória em
alguns dos indivíduos seleccionados.alguns dos indivíduos seleccionados.
Cruzamento: consiste em recombinar dois Cruzamento: consiste em recombinar dois
indivíduos por forma a obter dois filhos indivíduos por forma a obter dois filhos
potencialmente mais capazes potencialmente mais capazes
58
Algoritmos GenéticosAlgoritmos Genéticos
► Resumindo, é um método adaptativo de procura num Resumindo, é um método adaptativo de procura num
espaço de soluções por aplicação de operadores espaço de soluções por aplicação de operadores
derivados da teoria da evolução. Mantém uma derivados da teoria da evolução. Mantém uma
população de soluções propostas para um dado população de soluções propostas para um dado
problema.problema.
► As soluções relativamente “boas” produzem As soluções relativamente “boas” produzem
descendentes, enquanto que as “piores” já não surgem descendentes, enquanto que as “piores” já não surgem
na nova geração.na nova geração.
► A estimativa da qualidade de uma solução é baseada A estimativa da qualidade de uma solução é baseada
numa função de avaliação, que representa um dado numa função de avaliação, que representa um dado
ambiente.ambiente.
59
Resumindo...Resumindo...
► A Aprendizagem de Máquinas (Machine Learning) é uma área da A Aprendizagem de Máquinas (Machine Learning) é uma área da
Inteligência Artificial muito vasta. Neste trabalho tentamos Inteligência Artificial muito vasta. Neste trabalho tentamos
apresentar de uma maneira geral os seus principais tópicos. apresentar de uma maneira geral os seus principais tópicos.
Abordamos os principais algoritmos de aprendizagem por Abordamos os principais algoritmos de aprendizagem por
mineração de dados (Data Mining): árvores de decisão, à priori e mineração de dados (Data Mining): árvores de decisão, à priori e
algoritmos de clustering.algoritmos de clustering.
► Tentamos também introduzir o conceito de aprendizagem e a forma Tentamos também introduzir o conceito de aprendizagem e a forma
como esta pode ocorrer num sistema (tipos de aprendizagem).como esta pode ocorrer num sistema (tipos de aprendizagem).
► Abordamos também o paradigma conexionista, nomeadamente o Abordamos também o paradigma conexionista, nomeadamente o
seu expoente máximo, as redes neuronais.seu expoente máximo, as redes neuronais.
► Por fim abordamos os algoritmos genéticos, que têm vindo a Por fim abordamos os algoritmos genéticos, que têm vindo a
adquirir uma importância crescente muito nos últimos anos.adquirir uma importância crescente muito nos últimos anos.
60
BibliografiaBibliografia
► Artificial Intelligence by T. Lozano-Perez and L. Kaelbling. Copyright © 2003, Massachusetts Institute of Technology (MIT). http://ocw.mit.edu/NR/rdonlyres/Electrical-Engineering-and-Computer-Science/6-034Artificial-IntelligenceSpring2003/3559854D-86CD-4D8B-BBF0-17456980E4AC/0/9mlintrohandout.pdf
► Data Mining: Concepts, Models, Methods, and Algorithms by Mehmed Kantardzic, ISBN:0471228524 John Wiley & Sons © 2003
► Data Minning: Análise Determinística, Nelson Guedes Paulo Júnior e Ricardo Hideo Sahara, www.linux.ime.usp.br/~npaulo/mac439
► http://piano.dsi.uminho.pt/disciplinas/LIGIA/20012002/ai2.PDF