论文笔记《Feedforward semantic segmentation with zoom-out features》

标签：

《Feedforward semantic segmentation with zoom-out features》，CVPR 2015

这篇文章的方法是superpixel-level的，主要是基于CNN实现，是fully supervised。

首先对输入图像以superpixel为单位提取CNN特征(使用VGG16)，然后把这些特征作为CNN classifier(使用imageNet)的输入，imageNet输出是每个superpixel的class。

这篇文章的亮点应该是：1，它把CNN每一层的特征都拿出来使用，兼顾了local信息和global信息，论文大篇幅地描述了这样做的好处，从原理，实例，和实验这些方面。2，直接使用image classification的现有成果，不用自己训练网络，方便高效，易于推广。3，实验结果好，比FCN的方法结果还好。

实验结果：

关于CNN特征提取的一些细节：

特征提取过程是，对每个卷积层的输出，用双线性插值的方法做upsampling使之与原图尺寸一致，然后对superpixel s的区域做pooling，这样就得到一个特征向量，这个向量的维度就是当前卷积层的卷积核个数。如下图：

是对每个superpixel下表中是VGG每一层提取特征的情况：

把每一层的输出向量连接起来，就得到最终的CNN特征，是12416维的。

作者通过实验证明，把每个卷积层的输出都连接起来形成的特征是最优的：

原因在于，CNN的每个卷积层，设卷积核大小不变，因为有下采样，图像在逐步变小，所以实际上卷积核所能感知的范围是逐步增大的，也就是文中所说的zoom out

在superpixel level，红色框区域和蓝色框区域，也就是CNN的浅层，输出的特征是local feature，主要包含这个小区域的颜色信息和密度信息，它和相邻的superpixel的特征会有较大差异。

把superpixel向外zoom out，在proximal level，可以得到橄榄色的区域，在这个level提取的特征主要捕捉superpixel周围其他superpixel的信息，已经不是local的信息了，应该是neiboring的信息。对于离得近的superpixel（如A和B的橄榄绿框），它们在这个level的receptive fileds会有较多的overlap，它们之间存在smoothness，在这一层面的特征表示会有些相似，而如果离得远（A和C），overlap小，那么它们的特征表示会有较大差异。

继续向外zoom out，在distant level，紫色的蓝色的区域，常常带来较大的overlap，可以在superpixel之间建立联系，并且，此时的感知区域已经能够包含一些object，所以这个level提取的特征会包含object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息，这样做常常带来复杂的难以求解的模型。

再zoom out，在scene level，就是对整幅图片感知，得到的是global的信息。这level的特征主要包含的信息是”what kind of an image we are looking at“，可以基本限定class的范围。

从作者贴出的example来看，分割的边缘还是有些粗糙，原因是：本文方法是直接基于superpixel做特征提取和分类的，提取的superpixel是不够准确的，一个superpixel中可能包含了多个class。要优化这个边缘，应该还是要挖掘出pixel level的细节信息。

论文笔记《Feedforward semantic segmentation with zoom-out features》

标签：

原文地址：http://blog.csdn.net/happyer88/article/details/47192723