backpropagation con momentum
TRANSCRIPT
Noviembre 2002 ESCOM IPN 2
Técnicas HeurísticasTécnicas HeurísticasMétodo del Momento
❚ Basado en suavizar las oscilaciones en la trayectoria hacia la convergencia al usar un filtro pasabajas.
❚ Al incrementar el momento (γ) las oscilaciones de la salida filtrada se reducen. 10 << γ
Noviembre 2002 ESCOM IPN 3
El MomentoEl Momento
0 50 100 150 2000
0.5
1
1.5
2
0 50 100 150 2000
0.5
1
1.5
2
y k( ) γy k 1–( ) 1 γ–( )w k( )+=
Filtro
0 γ≤ 1<
Ejemplo
w k( ) 12πk16
--------- sin+=
γ 0.9= γ 0.98=
Noviembre 2002 ESCOM IPN 4
∆Wmk( ) αs
mam 1–
( )T
–=
∆bmk( ) αs
m–=
Algoritmo de Retropropagación de Gradiente Descendente
(SDBP)
( ) ( )kWkWkW mmm ∆+=+ )(1
Noviembre 2002 ESCOM IPN 5
Método del Momento (MOBP)
∆Wmk( ) γ ∆W
mk 1–( ) 1 γ–( )α s
mam 1–
( )T
–=
∆ bm k( ) γ ∆ bm k 1–( ) 1 γ–( ) α sm–=
Retropropagación con Momento(MOBP)
( ) ( )kWkWkW mmm ∆+=+ )(1
Noviembre 2002 ESCOM IPN 6
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
γ 0.8=
Noviembre 2002 ESCOM IPN 7
Ventajas del método del Momento (MOBP)
❚ Permite una razón de aprendizaje mayor❚ Se acelera la convergencia cuando la
trayectoria se este moviendo en una dirección constante.
❚ Tiende a hacer la la trayectoria continua en la misma dirección.
❚ La actualización de W y b se efectúa por medio de Lotes
Noviembre 2002 ESCOM IPN 8
EjemplosEjemplosMétodo del Método del MomentoMomento
Noviembre 2002 ESCOM IPN 9
Ejemplo: 1
❚ Aplique el algoritmo de Retropropagación con momento para aproximar la función siguiente.
❚ Los Parámetros son:
❚ A) Efectúe una iteración, actualizando W y B.❚ B) Genere el código en Matlab/NNT que
soluciona el problema.
5.0=α 9.0=γ
T= 1 + sin((2*180/16)*P); P=-5:0.1:5;
Noviembre 2002 ESCOM IPN 10
−−
=
−−
=1.0
5.0
4.0
3.0 11 bW
[ ] [ ]5.02.01.0 22 =−= bW
5.0=α
9.0=γ
P=-5:0.1:5;T= 1 + sin((2*π/16)*P);
Noviembre 2002 ESCOM IPN 11
solución
Noviembre 2002 ESCOM IPN 13
❚traingdm❚ Entrena redes multicapa con
retropropagación usando el parametro del momento (γ).
❚ Sintaxis[net,tr] = traingdm (net, P,T,A,Q,Ts,VV)
Algoritmo de Retropropagación
con Momento (MOBP)
Noviembre 2002 ESCOM IPN 14
❚ Donde:❚ net = Define la red neuronal❚ net = netff([0 5 ] [3 1] {tansig purelin}
traingdm)❚ P patrones de entrada❚ T valores objetivo❚ Ai Condiciones iniciales❚ Q Tamaño del lote❚ Ts Tamaño del paso❚ VV Estructura de vectores de validación
Noviembre 2002 ESCOM IPN 15
Valores por omisiónValores por omisiónnet.trainParam.epochs= 10net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.max_fail= 5 net.trainParam.mc= 0.9net.trainParam.min_grad= 1e-10net.trainParam.show= 25 net.trainParam.time= inf
Noviembre 2002 ESCOM IPN 18
❚ %EJEMPLO: OR EXCLUSIVA❚ clear;echo on;clc;NNTWARN OFF;
P = [0 0 1 1 ;0 1 0 1];
T = [0 1 1 0 ];
**** En construcción ****