Embed Size (px)
Citation preview
1/21
Inteligência ComputacionalRedes Neurais
Aula 8Prof. Daniel Cavalcanti Jeronymo
Universidade Tecnológica Federal do Paraná (UTFPR)Engenharia Eletrônica – 7º Período
CP78D
2/21
Plano de Aula
• Preditor Linear
• Perceptron
• Multilayer Perceptron (MLP)
3/21
Perceptron
Perceptron Multilayer Perceptron Atividade
4/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
Perceptron Multilayer Perceptron Atividade
5/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
Perceptron Multilayer Perceptron Atividade
6/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
𝜃(𝑥) = 1 𝑠𝑒 𝑥 > 00 𝑠𝑒𝑛ã𝑜
Perceptron Multilayer Perceptron Atividade
7/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
x1
xn
x2yq
w1
w2
wn
𝑦 = 𝜃 𝑤0 +
𝑖=1
𝑑
𝑤𝑖 ∙ 𝑥𝑖
classificador linear!
Perceptron Multilayer Perceptron Atividade
8/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• Classifica apenas informações separáveis linearmente
AND OR NAND
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
Perceptron Multilayer Perceptron Atividade
9/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• XOR?
AND OR NAND
?
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
Perceptron Multilayer Perceptron Atividade
10/21
Perceptron
• Modelo de Neurônio (MCP – McCulloch Pitts)
• Limitação
• XOR?
w = [-1.15938768 -1.14587725]b = [1.5899148]
w = [1.8462093 3.20945227]b = [-0.90263086]
w = [0.70271209 0.422434]b = [-0.89096912]
AND OR NAND
?
Perceptron Multilayer Perceptron Atividade
11/21
AND
NAND
OR
Perceptron
• Solução XOR
x1
1
x2 q
1.85
3.21
-0.90
x1
1
x2 q
-1.16
-1.15
1.59
1
yq
0.70
0.42
-0.89
Perceptron Multilayer Perceptron Atividade
12/21
Perceptron
• Solução XOR
Fronteira de decisão
Perceptron Multilayer Perceptron Atividade
13/21
Perceptron• Solução XOR
• Duas interpretações
• Perceptrons mapeiam subproblemas
• Perceptons definem fronteiras de decisão
Perceptron Multilayer Perceptron Atividade
14/21
Multilayer Perceptron
• Perceptrons ligados em camadas
entradas camada oculta saída
Perceptron Multilayer Perceptron Atividade
15/21
Multilayer Perceptron
• Perceptrons ligados em camadas
camada de entrada
camada oculta
camada de saída
Perceptron Multilayer Perceptron Atividade
16/21
Multilayer Perceptron
• Perceptrons ligados em camadas
• Uma camada de entrada
• Uma camada oculta
• Uma camada de saída
• Perceptrons no MLP não são limitados à uma única funçãode ativação (Heaviside)
Perceptron Multilayer Perceptron Atividade
17/21
Multilayer Perceptron
• Funções de ativação
a
y
a
y
a
y
a
y
threshold linear
piece-wise linear sigmoid
Perceptron Multilayer Perceptron Atividade
18/21
Multilayer Perceptron
• Teorema da Aproximação Universal de Funções
• Teorema da aproximação de Kolmogorov
• Kolmogorov demonstrou que qualquer função contínua g(x) definida no hipercubo unitário In pode ser representada pela escolha adequada de funções e por:
12
1 1))(()(
n
j
d
i iijj xxg
j ij
Kolmogorov, A. N. (1957). "On the Representation of Continuous Functions ofSeveral Variables by Superposition of Continuous Functions of one Variable andAddition," Doklady Akademii. Nauk USSR, 114, 679-681.
Perceptron Multilayer Perceptron Atividade
19/21
Multilayer Perceptron
• Teorema da Aproximação Universal de Funções
• Toda função pode ser aproximada com acurácia arbitrária por uma rede com duas camadas ocultas [Cybenko 1988]
• Toda função limitada pode ser aproximada com um erro arbitrariamente pequeno, por uma rede com uma camada oculta [Cybenko 1989, Hornik 1989]
Perceptron Multilayer Perceptron Atividade
20/21
Multilayer Perceptron
• Deep Learning
Perceptron Multilayer Perceptron Atividade
21/21
Atividade
• Modificar a atividade anterior Breast Cancer
• Utilizar uma framework (Keras, Theano, TensorFlow, PyTorch, etc)
Perceptron Multilayer Perceptron Atividade
