Problema de desvanecimiento de gradiente
En aprendizaje de máquinas, el problema de desvanecimiento de gradiente es una dificultad encontrada para entrenar redes neuronales artificiales mediante métodos de aprendizaje basados en descenso estocástico de gradientes y de retropropagación. En tales métodos, cada uno de los pesos de la red neuronal recibe una actualización proporcional a la derivada parcial de la función de error con respecto al peso actual en cada iteración de entrenamiento.
El problema es que, en algunos casos, el gradiente se irá desvaneciendo a valores muy pequeños, impidiendo eficazmente el peso de cambiar su valor. En el caso peor, esto puede impedir que la red neuronal continúe su entrenamiento. Como ejemplo de la causa del problema, funciones de activación tradicionales como la función de la tangente hiperbólica tienen gradientes en la gama (-1, 1), y la retropropagación computa gradientes por la regla de la cadena. Esto tiene el efecto de multiplicar n de estos números pequeños para computar gradientes de las "capas" de frente en una red de n capas, significando que el gradiente (señal de error) disminuye exponencialmente con n mientras las capas de frente se entrenan muy despacio.
La retropropagación permitió a los investigadores entrenar redes neuronales supervisadas profundas desde un inicio con muy poco éxito. La tesis de diploma de 1991 de Hochreiter identificó formalmente la razón de este fracaso en el "problema de desvanecimiento de gradiente", lo cual no sólo afectará a las redes prealimentadas de muchas capas, sino también a las redes recurrentes. Estas últimas se entrenan por desdoblamiento en redes neuronales prealimentadas muy profundas, donde se crea una capa nueva cada vez que se da un paso en la secuencia de entrada por la red.[1][2][3][4]
Cuando se usan funciones de activación cuyas derivadas pueden tomar valores más grandes, uno de los riesgos es encontrar el denominado problema de gradiente explosivo.
Modelos prototípicos
[editar]Esta sección se basa en el artículo On the difficulty of training Recurrent Neural Networks de Pascanu, Mikolov y Bengio.[5]
Modelo de red recurrente
[editar]Una red recurrente genérica tiene estados ocultos , entradas y salidas . Se parametriza con , de modo que el sistema evoluciona comoA menudo, la salida es una función de , como en . El problema del gradiente que desaparece ya se presenta claramente cuando , por lo que simplificamos nuestra notación al caso especial:Ahora, tomemos su forma diferencial:Entrenar la red requiere definir una función de pérdida a minimizar. Sea [6], entonces minimizarla mediante descenso de gradiente da como resultado
|
|
(loss differential) |
donde es la tasa de aprendizaje.
El problema del gradiente que desaparece/explota surge debido a multiplicaciones repetidas, de la forma
Ejemplo: red recurrente con activación sigmoide
[editar]Para un ejemplo concreto, consideremos una red recurrente típica definida por
donde es el parámetro de la red, es la función sigmoide[7], aplicada a cada coordenada del vector por separado, y es el vector de sesgo.
Entonces, , y por lo tanto Dado que , la norma de operador de la multiplicación anterior está acotada por . Así, si el radio espectral de es , entonces para valores grandes de , la multiplicación anterior tiene una norma de operador acotada superiormente por . Este es el problema prototípico del gradiente que desaparece.
El efecto de un gradiente que desaparece es que la red no puede aprender efectos a largo plazo. Recordemos la Ecuación (loss differential):Los componentes de son solo componentes de y , por lo que si están acotados, entonces también está acotado por algún , y por lo tanto los términos en decaen como . Esto significa que, efectivamente, se ve afectado solo por los primeros términos en la suma.
Si , el análisis anterior no funciona del todo.[8] Para el problema prototípico del gradiente que explota, el siguiente modelo es más claro.
Modelo de sistemas dinámicos
[editar]![](https://upload.wikimedia.org/wikipedia/commons/thumb/f/f4/One-neuron_recurrent_network_bifurcation_diagram.png/220px-One-neuron_recurrent_network_bifurcation_diagram.png)
Siguiendo a (Doya, 1993),[9] consideremos esta red recurrente de una sola neurona con activación sigmoide:En el límite de pequeño, la dinámica de la red se convierte enConsideremos primero el caso autónomo, con . Establezcamos y variemos en . A medida que disminuye, el sistema tiene un punto estable, luego tiene 2 puntos estables y 1 punto inestable, y finalmente vuelve a tener 1 punto estable. Explícitamente, los puntos estables son .
Ahora consideremos y , donde es lo suficientemente grande como para que el sistema se haya estabilizado en uno de los puntos estables.
Si coloca el sistema muy cerca de un punto inestable, entonces una pequeña variación en o haría que se mueva de un punto estable a otro. Esto hace que y sean ambos muy grandes, un caso del gradiente que explota.
Si coloca el sistema lejos de un punto inestable, entonces una pequeña variación en no tendría efecto en , haciendo que , un caso del gradiente que desaparece.
Nótese que en este caso, no decae a cero ni explota hasta el infinito. De hecho, es el único gradiente bien comportado, lo que explica por qué las investigaciones iniciales se centraron en aprender o diseñar sistemas de redes recurrentes que pudieran realizar cálculos a largo plazo (como devolver la primera entrada que ven al final de un episodio) modelando sus atractores estables.[10]
Para el caso general, la intuición sigue siendo válida ([5] Figuras 3, 4 y 5).
Modelo geométrico
[editar]Continuemos usando la red de una sola neurona mencionada, fijando , y consideremos una función de pérdida definida por . Esto produce un paisaje de pérdida bastante patológico: a medida que se acerca a desde arriba, la pérdida se aproxima a cero, pero tan pronto como cruza , la cuenca del atractor cambia y la pérdida salta a 0.50.[11]
En consecuencia, intentar entrenar mediante descenso de gradiente "chocaría con una pared en el paisaje de pérdida" y causaría un gradiente que explota. Una situación ligeramente más compleja se grafica en,[5] Figuras 6.
Véase también
[editar]Referencias
[editar]- ↑ S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institut f. Informatik, Technische Univ. Munich, 1991.
- ↑ S. Hochreiter, Y. Bengio, P. Frasconi, and J. Schmidhuber. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. In S. C. Kremer and J. F. Kolen, editors, A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001.
- ↑ Goh, Garrett B.; Hodas, Nathan O.; Vishnu, Abhinav (15 de junio de 2017). «Deep learning for computational chemistry». Journal of Computational Chemistry (en inglés) 38 (16): 1291-1307. PMID 28272810. doi:10.1002/jcc.24764.
- ↑ Pascanu, Razvan; Mikolov, Tomas; Bengio, Yoshua (2012-11-21). "On the difficulty of training Recurrent Neural Networks". arXiv:1211.5063 [cs.LG].
- ↑ a b c Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadas:1
- ↑ Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadaslet it be L
- ↑ Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadassigmoid activation function
- ↑ Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasnot quite work
- ↑ Doya, K. (1992). «Bifurcations in the learning of recurrent neural networks». [Proceedings] 1992 IEEE International Symposium on Circuits and Systems 6. IEEE. pp. 2777-2780. ISBN 0-7803-0593-0. S2CID 15069221. doi:10.1109/iscas.1992.230622.
- ↑ Bengio, Y.; Simard, P.; Frasconi, P. (March 1994). «Learning long-term dependencies with gradient descent is difficult». IEEE Transactions on Neural Networks 5 (2): 157-166. ISSN 1941-0093. PMID 18267787. S2CID 206457500. doi:10.1109/72.279181.
- ↑ Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasattractor
- Esta obra contiene una traducción parcial derivada de «Vanishing gradient problem» de Wikipedia en inglés, publicada por sus editores bajo la Licencia de documentación libre de GNU y la Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.