码迷,mamicode.com
首页 > 其他好文 > 详细

IN与BN

时间:2019-12-27 21:41:57      阅读:154      评论:0      收藏:0      [点我收藏+]

标签:bsp   AMM   链接   answer   来源   div   算法   orm   https   

https://www.zhihu.com/question/68730628/answer/277339783

Batch Normalization是指6张图片中的每一张图片的同一个通道一起进行Normalization操作。而Instance Normalization是指单张图片的单个通道单独进行Noramlization操作。

从C方向看过去是指一个个通道,从N看过去是一张张图片。每6个竖着排列的小正方体组成的长方体代表一张图片的一个feature map。蓝色的方块是一起进行Normalization的部分

四.算法的过程

4.1 BN

  • 沿着通道计算每个batch的均值u
  • 沿着通道计算每个batch的方差σ^2
  • 对x做归一化,x’=(x-u)/开根号(σ^2+ε)
  • 加入缩放和平移变量γ和β ,归一化后的值,y=γx’+β

4.2 IN

  • 沿着通道计算每张图的均值u
  • 沿着通道计算每张图的方差σ^2
  • 对x做归一化,x’=(x-u)/开根号(σ^2+ε)
  • 加入缩放和平移变量γ和β ,归一化后的值,y=γx’+β

 



作者:向东
链接:https://www.zhihu.com/question/68730628/answer/607608890
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

 

 

技术图片

 

 

 

技术图片

 

IN与BN

标签:bsp   AMM   链接   answer   来源   div   算法   orm   https   

原文地址:https://www.cnblogs.com/rainsoul/p/12109661.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!