深度残差网络

标签：inf   膨胀   数加   梯度   问题   lin   src   缓解   ima   

• 神经网络的层数决定了模型的容量
• 网络层数加深，容易陷入局部最优解，梯度消失问题严重

ResNet

• 解决或缓解深层的神经网络训练中的梯度消失问题
• 层数更深的网络反而具有更大的训练误差，很大程度归结于梯度消失问题
• 误差传播涉及非常多的参数和导数的连乘，很容易导致梯度消失或者膨胀
• ResNet
  • 既然离输入近的神经网络层较难训练，那么可以将它短接到更靠近输出的层
  • \(x\)经过两层的变换得到\(F(x)\)
  • 短接后，两层的网络模块输出\(H(x)=F(x)+x\)
  • \(F(x)\)被设计为只需要拟合\(x\)与目标输出\(\tilde{H}(x)\)的残差\(\tilde{H}(x)\)
  • 跳过的两层只需要拟合上层输出和目标之间的残差
    

深度残差网络

标签：inf   膨胀   数加   梯度   问题   lin   src   缓解   ima   

原文地址：https://www.cnblogs.com/weilonghu/p/11922961.html