REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2....
Transcript of REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2....
![Page 1: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/1.jpg)
Toda red que permite que la información viaja
en dos sentidos es una red recurrente Estopuede
lograrse con
loops a s
retornos µ
autointeracciones D
Ya hemos visto la red Hopfield 1984 quedijimospermite almacenar informacion holísticamente en
la red y la recupera por asociación Haya
cientos de modificaciones sobre el modelo de
Hatfield
REDES NEURONALES RECURRENTES
22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2
![Page 2: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/2.jpg)
Seguiremos ahora con las llamadas Máquinas de
Boltzmann que son redes neuronalesprobabilísticas
MAQUINA DE BOLTZMANN Hinton 1983
OUTPUT
abarrota
aberrarais
mohosos LO OCULTASaromabais
rezagábamosa INPUT
neuronas visibles
8D neuronas invisibles
Losacoplamientosentre dos neuronas cuandocanten
son bidireccionales y simétricos
Wij Uji
![Page 3: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/3.jpg)
NEURONAS ESTOCASTICAS
Si l la neurona dispara
Si 1 la neurona está en repaso
la dinámica es similar a la de Hatfield
Prob Sitter g bi Enwijq.tt
Prob Silted D 1 J hi
hilt Ej W Sj A p LT
l T mediday h del
p e 4h ruido
Por ser los acoplamientos simétricos el sistematieneuna función de Liapunov que cumpla que si F 0
esta función solo decrece o se mantiene en eltiempoa medida que avanza el tiempo
![Page 4: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/4.jpg)
H Si t wijsitttq.tt
El sistema a un dado valor de T recomena los
2N posibles configuraciones en probabilidad
PES CP it
z
µ
siePt
2
Con estaprobabilidad podemos calcular promedios de
cualquier cantidad que depende deS
2N
X En Pts1 X Ess
qué hace esta red Nos concentremos en las
neuronas visibles solamente a los que denominamos
Sid A los ocultos les llamamos
![Page 5: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/5.jpg)
La red tiene que recorrer las posibles configuracionesde forma tal que las neuronas visibles recorrensus subestados con cierta probabilidades
Si tenemos 2 neuronas visibles tenemos 4 estados
si si Puesa L 1 1 0 6 Pa 2 1 1 Oo l Rr 22 4a 3 L 1 Oo l Rss
4 1 1 Oo 2 Ry
ptasPa Pop e
z
pHors2 Le
xp
Hap EE wijs.MG
![Page 6: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/6.jpg)
E ERMITARa probabilidad de Esa deseada
wijsisjtlw.FIwinteri Aw Ew.jo y
2a é
wifi t.z.LI z l3Iii Lsisi
ft éÍ si I k.emgpqeHz.ms
pff sisi Pap Pe Csis D
Aw yppzqgplsisirpao LR.is S
![Page 7: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/7.jpg)
ypfff R Pp si P LRalSiSYp Sisódelampad_ siSidious
Awij Ypf jetados_siSidious
Filajetados Rafi sisi
La red ajusta todos los acoplamientosde la red
que sigue ladistribución de Maxwell Boltzmann
de forma tal que las neuronas visibles recorrensus estados a con probabilidad Rx
Esta es una red generativa pues generaconfiguracionescon probabilidades deseadas
Para deep learning se usan redes de Boltzmannrestringidas CR BM
![Page 8: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/8.jpg)
Nota esto no es más que una dinámicaMonte Carlo
Prop si Si Íl C
AHI cambio en Hal invertir Si
Es lento pero poderoso Se una simulated
annealing templado simuladosimulate annealing optimizado máquinadeCauchy
En el nivel moi alto debemos actualizar cada pero
muchasveces para que converja calculando en una
simulación Monte Carlo SÍ jetos y SiSóleisú
luego rumiamos T desándiéndola lentamente
Corregimos las sinapsis
![Page 9: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/9.jpg)
![Page 10: REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2. Seguiremos ahora con las llamadas Máquinas de Boltzmann que son redes neuronales ... Si](https://reader035.fdocuments.net/reader035/viewer/2022071604/613f90d9f0f55d448e4ce0b7/html5/thumbnails/10.jpg)
MÁQUINA DE BOLTZMANN RESTRINGIDA
E v h La vi _Ebulhu Wipevitin
divi si vi C 0,13 binariocapaBernoulli hilvik
2k si vi c IR
bµhµ huelo e
giitiian.br HI huele2 2