Backpropagation con momentum

Noviembre 2002 ESCOM IPN 1

MOBP

http://www.escom.ipn.mx/


Técnicas HeurísticasTécnicas HeurísticasMétodo del Momento

❚ Basado en suavizar las oscilaciones en la trayectoria hacia la convergencia al usar un filtro pasabajas.

❚ Al incrementar el momento (γ) las oscilaciones de la salida filtrada se reducen. 10 << γ



El MomentoEl Momento

0 50 100 150 2000

0.5

1

1.5

2

0 50 100 150 2000

0.5

1

1.5

2

y k( ) γy k 1–( ) 1 γ–( )w k( )+=

Filtro

0 γ≤ 1<

Ejemplo

w k( ) 12πk16

--------- sin+=

γ 0.9= γ 0.98=



∆Wmk( ) αs

mam 1–

( )T

–=

∆bmk( ) αs

m–=

Algoritmo de Retropropagación de Gradiente Descendente

(SDBP)

( ) ( )kWkWkW mmm ∆+=+ )(1



Método del Momento (MOBP)

∆Wmk( ) γ ∆W

mk 1–( ) 1 γ–( )α s

mam 1–

( )T

–=

∆ bm k( ) γ ∆ bm k 1–( ) 1 γ–( ) α sm–=

Retropropagación con Momento(MOBP)

( ) ( )kWkWkW mmm ∆+=+ )(1



-5 0 5 10 15-5

0

5

10

15

w11,1

w21,1

γ 0.8=


Ventajas del método del Momento (MOBP)

❚ Permite una razón de aprendizaje mayor❚ Se acelera la convergencia cuando la

trayectoria se este moviendo en una dirección constante.

❚ Tiende a hacer la la trayectoria continua en la misma dirección.

❚ La actualización de W y b se efectúa por medio de Lotes



EjemplosEjemplosMétodo del Método del MomentoMomento



Ejemplo: 1

❚ Aplique el algoritmo de Retropropagación con momento para aproximar la función siguiente.

❚ Los Parámetros son:

❚ A) Efectúe una iteración, actualizando W y B.❚ B) Genere el código en Matlab/NNT que

soluciona el problema.

5.0=α 9.0=γ

T= 1 + sin((2*180/16)*P); P=-5:0.1:5;



−−

=

−−

=1.0

5.0

4.0

3.0 11 bW

[ ] [ ]5.02.01.0 22 =−= bW

5.0=α

9.0=γ

P=-5:0.1:5;T= 1 + sin((2*π/16)*P);


solución


Simulación en

Matlab / NNT



❚traingdm❚ Entrena redes multicapa con

retropropagación usando el parametro del momento (γ).

❚ Sintaxis[net,tr] = traingdm (net, P,T,A,Q,Ts,VV)

Algoritmo de Retropropagación

con Momento (MOBP)


❚ Donde:❚ net = Define la red neuronal❚ net = netff([0 5 ] [3 1] {tansig purelin}

traingdm)❚ P patrones de entrada❚ T valores objetivo❚ Ai Condiciones iniciales❚ Q Tamaño del lote❚ Ts Tamaño del paso❚ VV Estructura de vectores de validación


Valores por omisiónValores por omisiónnet.trainParam.epochs= 10net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.max_fail= 5 net.trainParam.mc= 0.9net.trainParam.min_grad= 1e-10net.trainParam.show= 25 net.trainParam.time= inf


Dudas ???



Hasta la próxima !!!



❚ %EJEMPLO: OR EXCLUSIVA❚ clear;echo on;clc;NNTWARN OFF;

P = [0 0 1 1 ;0 1 0 1];

T = [0 1 1 0 ];

**** En construcción ****

Backpropagation con momentum

Education

Transcript of Backpropagation con momentum