标签:load mic info 梯度 历史 alt 结合 flow 技术
1、普通梯度更新与加上动量的梯度更新。
解释:原先更新的方向是梯度方向,现在多了一个Z方向,即现在是结合了历史惯性。
解释:学习率太大和太小都不太好
tensorflow(三十三):技巧——动量,让学习率逐渐减小
标签:load mic info 梯度 历史 alt 结合 flow 技术
原文地址:https://www.cnblogs.com/zhangxianrong/p/14719710.html