Batch Normalization 与Dropout 的冲突

标签：ref   产生   batch   ati   效果   避免   使用   一起   out   

　　BN或Dropout单独使用能加速训练速度并且避免过拟合

　　但是倘若一起使用，会产生负面效果。

　　BN在某些情况下会削弱Dropout的效果

　　对此，BN与Dropout最好不要一起用，若一定要一起用，有2中方法：

　　　　1 在所有BN层后使用Dropout

　　　　2 修改Dropout公式（如使用高斯Dropout）使得它对方差不是那么敏感

　　　　总体思路是降低方差偏移

reference

　　https://zhuanlan.zhihu.com/p/33101420

Batch Normalization 与Dropout 的冲突

标签：ref   产生   batch   ati   效果   避免   使用   一起   out   

原文地址：https://www.cnblogs.com/cbattle/p/9475361.html