Deep learning: a ficção em IA tem se tornado realizade

Preview:

Citation preview

Deep Learninga ficção em IA tem se

tornado realidade

Otávio Calaça Xavierotaviocx@gmail.com

Otávio Calaça Xavier <otaviocx@gmail.com>

Quem sou eu?

- Mestre em Ciência da Computação

- Professor Universitário na UFG e no IFG

- Consultor em Arquitetura de

Software e DevOps

- Membro da comunidade Deep Learning Brasil

Obrigado por ter vindo!

Otávio Calaça Xavier <otaviocx@gmail.com>

- Exemplos

- Categorias de Aprendizagem de Máquina

- As primeiras Redes Neurais

- O problema Vanishing Gradient

- Máquina Restrita de Boltzmann e a Deep Belief Network

- Convolutional Networks

- Ferramentas

- Referências

Iremos conversar sobre ...

Otávio Calaça Xavier <otaviocx@gmail.com>

Obrigado por ter vindo!

Otávio Calaça Xavier <otaviocx@gmail.com>

Obrigado por ter vindo!

Otávio Calaça Xavier <otaviocx@gmail.com>

- Quick Draw - Google

- https://quickdraw.withgoogle.com/

- IBM Watson

- http://visual-recognition-demo.mybluemix.net/

Alguns Exemplos

Otávio Calaça Xavier <otaviocx@gmail.com>

- Aprendizagem Supervisionada

- Classificação

- Regressão

- Aprendizagem Não Supervisionada

- Aprendizagem por Reforço

Categorias de Aprendizagem de Máquina

Otávio Calaça Xavier <otaviocx@gmail.com>

- O Neurônio biológico

As primeiras redes neurais artificiais

http://www.infoescola.com/sistema-nervoso/neuronios/

Otávio Calaça Xavier <otaviocx@gmail.com>

- Sinapses

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

- O Perceptron (neurônio artificial) - década de 60

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

- Funções de ativação

As primeiras redes neurais artificiais

Otávio Calaça Xavier <otaviocx@gmail.com>

- Fronteira de separação

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

- Gradiente descendente

(usado na rede Adaline - década de 60)

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

- A rede perceptron multicamada (década de 80)

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

- Backpropagation

As primeiras redes neurais artificiais

DA SILVA, I. N. et al (2010)Redes Neurais Artificiais para engenharias e ciências aplicadas

Otávio Calaça Xavier <otaviocx@gmail.com>

O problema Vanishing Gradient

DeepLearning.TV no Youtube

Otávio Calaça Xavier <otaviocx@gmail.com>

O problema Vanishing Gradient

DeepLearning.TV no Youtube

Otávio Calaça Xavier <otaviocx@gmail.com>

- Em uma multilayer perceptron acabamos por

calcular gradientes em cima de gradientes.

- Quando temos muitas camadas, as primeiras

camadas tem o treinamento excessivamente

lento.

O problema Vanishing Gradient

Otávio Calaça Xavier <otaviocx@gmail.com>

- Máquina Restrita de Boltzmann (1986)

Deep Belief Network

DeepLearning.TV no Youtube

Otávio Calaça Xavier <otaviocx@gmail.com>

- Baseada na Máquina Restrita de Boltzmann (1986)

- Proposta por Geoffrey Hinton em 2006 como uma alternativa

para o backpropagation.

- Aprendizagem não supervisionada em cada nível de

abstração.

- Formação de "estados mentais".

- Última camada supervisionada.

Deep Belief Network

Otávio Calaça Xavier <otaviocx@gmail.com>

Deep Belief Network

DeepLearning.TV no Youtube

Otávio Calaça Xavier <otaviocx@gmail.com>

Deep Belief Network

DeepLearning.TV no Youtube

Otávio Calaça Xavier <otaviocx@gmail.com>

Convolutional Networks

http://cs231n.github.io/convolutional-networks/

Otávio Calaça Xavier <otaviocx@gmail.com>

Convolutional Networks

Otávio Calaça Xavier <otaviocx@gmail.com>

Ferramentas

Otávio Calaça Xavier <otaviocx@gmail.com>

- Canal DeepLearning.TV no YouTube: https://www.youtube.com/channel/UC9OeZkIwhzfv-_Cb7fCikLQ

- DA SILVA, I.N., SPATTI, D.H., FLAUZINO, R.A. Redes neurais artificiais para engenharia e ciências aplicadas. Artliber. 2010

- ACKLEY, David H.; HINTON, Geoffrey E.; SEJNOWSKI, Terrence J. A learning algorithm for Boltzmann machines. Cognitive science, v. 9, n. 1, p. 147-169, 1985.

- HINTON, Geoffrey E.; OSINDERO, Simon; TEH, Yee-Whye. A fast learning algorithm for deep belief nets. Neural computation, v. 18, n. 7, p. 1527-1554, 2006.

- LEE, Honglak et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In: Proceedings of the 26th annual international conference on machine learning. ACM, 2009. p. 609-616.

- KRIZHEVSKY, Alex; SUTSKEVER, Ilya; HINTON, Geoffrey E. Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems. 2012. p. 1097-1105.

Referências

Obrigado por ter ficado até o

fim… :)

Perguntas?

Otávio Calaça Xavierotaviocx@gmail.com