Inteligência Computacional

1/21

Inteligência ComputacionalRedes Neurais

Aula 8Prof. Daniel Cavalcanti Jeronymo

Universidade Tecnológica Federal do Paraná (UTFPR)Engenharia Eletrônica – 7º Período

CP78D

2/21

Plano de Aula

• Preditor Linear

• Perceptron

• Multilayer Perceptron (MLP)

3/21

Perceptron

Perceptron Multilayer Perceptron Atividade

4/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

x1

xn

x2yq

w1

w2

wn

Perceptron Multilayer Perceptron Atividade

5/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

x1

xn

x2yq

w1

w2

wn

𝑦 = 𝜃 𝑤0 +

𝑖=1

𝑑

𝑤𝑖 ∙ 𝑥𝑖

Perceptron Multilayer Perceptron Atividade

6/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

x1

xn

x2yq

w1

w2

wn

𝑦 = 𝜃 𝑤0 +

𝑖=1

𝑑

𝑤𝑖 ∙ 𝑥𝑖

𝜃(𝑥) = 1 𝑠𝑒 𝑥 > 00 𝑠𝑒𝑛ã𝑜

Perceptron Multilayer Perceptron Atividade

7/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

x1

xn

x2yq

w1

w2

wn

𝑦 = 𝜃 𝑤0 +

𝑖=1

𝑑

𝑤𝑖 ∙ 𝑥𝑖

classificador linear!

Perceptron Multilayer Perceptron Atividade

8/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

• Limitação

• Classifica apenas informações separáveis linearmente

AND OR NAND

w = [-1.15938768 -1.14587725]b = [1.5899148]

w = [1.8462093 3.20945227]b = [-0.90263086]

w = [0.70271209 0.422434]b = [-0.89096912]

Perceptron Multilayer Perceptron Atividade

9/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

• Limitação

• XOR?

AND OR NAND

?

w = [-1.15938768 -1.14587725]b = [1.5899148]

w = [1.8462093 3.20945227]b = [-0.90263086]

w = [0.70271209 0.422434]b = [-0.89096912]

Perceptron Multilayer Perceptron Atividade

10/21

Perceptron

• Modelo de Neurônio (MCP – McCulloch Pitts)

• Limitação

• XOR?

w = [-1.15938768 -1.14587725]b = [1.5899148]

w = [1.8462093 3.20945227]b = [-0.90263086]

w = [0.70271209 0.422434]b = [-0.89096912]

AND OR NAND

?

Perceptron Multilayer Perceptron Atividade

11/21

AND

NAND

OR

Perceptron

• Solução XOR

x1

1

x2 q

1.85

3.21

-0.90

x1

1

x2 q

-1.16

-1.15

1.59

1

yq

0.70

0.42

-0.89

Perceptron Multilayer Perceptron Atividade

12/21

Perceptron

• Solução XOR

Fronteira de decisão

Perceptron Multilayer Perceptron Atividade

13/21

Perceptron• Solução XOR

• Duas interpretações

• Perceptrons mapeiam subproblemas

• Perceptons definem fronteiras de decisão

Perceptron Multilayer Perceptron Atividade

14/21

Multilayer Perceptron

• Perceptrons ligados em camadas

entradas camada oculta saída

Perceptron Multilayer Perceptron Atividade

15/21

Multilayer Perceptron

• Perceptrons ligados em camadas

camada de entrada

camada oculta

camada de saída

Perceptron Multilayer Perceptron Atividade

16/21

Multilayer Perceptron

• Perceptrons ligados em camadas

• Uma camada de entrada

• Uma camada oculta

• Uma camada de saída

• Perceptrons no MLP não são limitados à uma única funçãode ativação (Heaviside)

Perceptron Multilayer Perceptron Atividade

17/21

Multilayer Perceptron

• Funções de ativação

a

y

a

y

a

y

a

y

threshold linear

piece-wise linear sigmoid

Perceptron Multilayer Perceptron Atividade

18/21

Multilayer Perceptron

• Teorema da Aproximação Universal de Funções

• Teorema da aproximação de Kolmogorov

• Kolmogorov demonstrou que qualquer função contínua g(x) definida no hipercubo unitário In pode ser representada pela escolha adequada de funções e por:

12

1 1))(()(

n

j

d

i iijj xxg

j ij

Kolmogorov, A. N. (1957). "On the Representation of Continuous Functions ofSeveral Variables by Superposition of Continuous Functions of one Variable andAddition," Doklady Akademii. Nauk USSR, 114, 679-681.

Perceptron Multilayer Perceptron Atividade

19/21

Multilayer Perceptron

• Teorema da Aproximação Universal de Funções

• Toda função pode ser aproximada com acurácia arbitrária por uma rede com duas camadas ocultas [Cybenko 1988]

• Toda função limitada pode ser aproximada com um erro arbitrariamente pequeno, por uma rede com uma camada oculta [Cybenko 1989, Hornik 1989]

Perceptron Multilayer Perceptron Atividade

20/21

Multilayer Perceptron

• Deep Learning

Perceptron Multilayer Perceptron Atividade

21/21

Atividade

• Modificar a atividade anterior Breast Cancer

• Utilizar uma framework (Keras, Theano, TensorFlow, PyTorch, etc)

Perceptron Multilayer Perceptron Atividade