对于梯度消失和梯度爆炸的理解

标签：消失   导致   初始化   标准   spl   strong   oid   原因   mil   

一、梯度消失、梯度爆炸产生的原因

　　假设存在一个网络结构如图：

　　其表达式为：

　　若要对于w₁求梯度，根据链式求导法则，得到的解为：

　　通常，若使用的激活函数为sigmoid函数，其导数：

　　这样可以看到，如果我们使用标准化初始w，那么各个层次的相乘都是0-1之间的小数，而激活函数f的导数也是0-1之间的数，其连乘后，结果会变的很小，导致梯度消失。若我们初始化的w是很大的数，w大到乘以激活函数的导数都大于1，那么连乘后，可能会导致求导的结果很大，形成梯度爆炸。

 　　当然，若对于b求偏导的话，其实也是一个道理：

　　推出：

 三、梯度消失和梯度爆炸哪种经常出现

　　事实上，梯度消失更容易出现，因为对于激活函数的求导：

　　可以看到，当w越大，其wx+b很可能变的很大，而根据上面sigmoid函数导数的图像可以看到，wx+b越大，导数的值也会变的很小。因此，若要出现梯度爆炸，其w既要大还要保证激活函数的导数不要太小。

 二、如何解决梯度消失、梯度爆炸

对于梯度消失和梯度爆炸的理解

标签：消失   导致   初始化   标准   spl   strong   oid   原因   mil   

原文地址：https://www.cnblogs.com/pinking/p/9418280.html