Convolutional Neural Networks(5):Pooling Layer

标签：spl   过程   scale   工作   question   wan   over   分享图片   inf   

池化层(Pooling layer)同样是收到了视觉神经科学的启发。在初级视觉皮层V1(Primary visual cortex)中，包含了许多复杂细胞(Complex cells)，这些细胞对于图像中物体微小的变化具有不变性(invariance to small shifts and distortions). 这种不变性也是Pooling layer的核心，我们首先来看Pooling layer如何工作，然后具体分析这种不变性。

我们举例说明Pooling layer的工作过程，在下图中的Max pooling操作中，其filter大小是2x2，stride是2，padding是0

根据CNN(4)中的公式：

我们可以得出pooling后的feature map是2x2的。

在开头提到的不变性(invariance)，包含三个方面，即位移(translation),旋转(rotation)及缩放(scale)。首先来看位移：

再看旋转(rotation):

再来看缩放(Scale):

我们可以得出结论如下：

首先，pooling layer使得CNN拥有了一定的识别失真后的pattern的功能，增加了神经网络的generalization，降低了overfitting。

第二，很明显的，因为池化后的feature map变小，数据在保留主要特征的情况下，降维了。

附注：我从下面这篇知乎文章获得的启发很大，表示感谢。

https://www.zhihu.com/question/36686900

Convolutional Neural Networks(5):Pooling Layer

标签：spl   过程   scale   工作   question   wan   over   分享图片   inf   

原文地址：https://www.cnblogs.com/rhyswang/p/9038425.html