神经网络中的训练难点

前一层的学习率远远低于后一层的学习率

${\mathrm{\delta lj=?C?blj\delta jl=?C?bjl}}^{}$

造成 vaninshing gradient problem 的原因

${\mathrm{zj=wjaj?1+bjzj=wjaj?1+bj}}^{}$

$$\frac{\mathrm{?C?b1=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4?C?b1=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4}}{}$$

简单证明:

对于${\mathrm{b1b1的一个小变化引起CC的变化}}^{}$

$$\frac{\mathrm{?C?b1\approx \Delta C\Delta b1?C?b1\approx \Delta C\Delta b1}}{}$$

${\mathrm{a1=\sigma (z1)=\sigma (wqa0+b1)a1=\sigma (z1)=\sigma (wqa0+b1)}}^{}$

$\mathrm{\Delta a1\approx ?\sigma (w1a0+b1)?b1\Delta b1=\sigma \prime (z1)\Delta b1\Delta a1\approx ?\sigma (w1a0+b1)?b1\Delta b1=\sigma \prime (z1)\Delta b1}$

${\mathrm{a1的变化又引起z2的变化:z2=w2?a1+b2a1的变化又引起z2的变化:z2=w2?a1+b2}}^{}$

$\mathrm{\Delta z2\approx ?z2?a1\Delta a1=w2\Delta a1\Delta z2\approx ?z2?a1\Delta a1=w2\Delta a1}$

所以
$\mathrm{\Delta z2\approx \sigma \prime (z1)w2\Delta b1\Delta z2\approx \sigma \prime (z1)w2\Delta b1依次可以推出\Delta C=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4\Delta b1\Delta C=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4\Delta b1}$

$\frac{\mathrm{?C?b1=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4?C?b1=\sigma \prime (z1)?w2?\sigma \prime (z2)?w3?\sigma \prime (z3)?w4?\sigma \prime (z4)??C?a4}}{}$

${\mathrm{\sigma \prime \sigma \prime 函数的最大值为\; 0.25按照平均随机从正太分布(0,1)(0,1)中随机产生权重的方法\; 大部分|w|<1|w|<1所以 |wj\sigma \prime (zj)|<0.25|wj\sigma \prime (zj)|<0.25对以上公式的多项乘积来讲，层数越多，连续乘积越小}}^{}$

使用Rel解决vanishing gradient问题

sigmod函数造成输出层的activation大部分饱和

解决vanishing gradient方法

Sigmoid unit
$$\mathrm{f(x)=11+e(?x)f(x)=11+e(?x)Tanh\; unitf(x)=tanh(x)f(x)=tanh(x)Rectified\; linear\; unit(ReLU)f(x)=\infty \sum i=1\sigma (x?i+0.5)\approx log(1+ex)f(x)=\sum i=1\infty \sigma (x?i+0.5)\approx log(1+ex)}$$

softplus$\mathrm{log(1+ex)log(1+ex)函数可以被max(0,x+N(0,1))max(0,x+N(0,1))函数模拟max函数叫做Rectified\; Linear\; Function(ReL)}$

总结:
sigmoid和ReL函数的区别

• igmoid函数值在[0, 1], ReL函数值在[0, ∞], 所以sigmoid函数方面来描述概率, 而ReL适合用来描述实数

• Sigmoid函数的gradient随着x增大或减小和消失 ReL 函数不会: gradient = 0 (if x < 0), gradient = 1 (x > 0)

Rectified Linear Unit在神经网络中的优势:

不会产生vanishing gradient的问题