码迷,mamicode.com
首页 > 其他好文 > 详细

BN和L2 NORM的区别

时间:2018-04-28 01:28:15      阅读:314      评论:0      收藏:0      [点我收藏+]

标签:layer   维度   全局   之间   特征   batch   均值   区别   大小   

bn是拉平各个feature的差异,而l2 norm是拉平各个样本的差异,本来各个样本的模长千变万化,按照距离的概念,差别是很大的,但是l2 norm后,距离就变得有一个上界了,显然样本间差异变小了。而对于各个feature,本来各个feature的量级都可能不一样,方差也就不一样,bn让方差为1,均值为0(理论上),各个feature的差异就小了, l2 norm并没有改变feature之间的相对大小。 l2 norm是强行把同个维度的特征归一化。batch norm是把不同维度的去均值归一化, l2 norm是自己对自己,所以除以的值不尽相同,batch norm是基于统计全局,所以均值和方差每个样本都是相同值。  对于不同layer输出的concat,还是l2 norm比较合适 。

BN和L2 NORM的区别

标签:layer   维度   全局   之间   特征   batch   均值   区别   大小   

原文地址:https://www.cnblogs.com/ocean1100/p/8965483.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!