标签:
《Feedforward semantic segmentation with zoom-out features》,CVPR 2015
这篇文章的方法是superpixel-level的,主要是基于CNN实现,是fully supervised。
首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每个superpixel的class。
这篇文章的亮点应该是:1,它把CNN每一层的特征都拿出来使用,兼顾了local信息和global信息,论文大篇幅地描述了这样做的好处,从原理,实例,和实验这些方面。2,直接使用image classification的现有成果,不用自己训练网络,方便高效,易于推广。3,实验结果好,比FCN的方法结果还好。
实验结果:
关于CNN特征提取的一些细节:
特征提取过程是,对每个卷积层的输出,用双线性插值的方法做upsampling使之与原图尺寸一致,然后对superpixel s的区域做pooling,这样就得到一个特征向量,这个向量的维度就是当前卷积层的卷积核个数。如下图:
是对每个superpixel下表中是VGG每一层提取特征的情况:
把每一层的输出向量连接起来,就得到最终的CNN特征,是12416维的。
作者通过实验证明,把每个卷积层的输出都连接起来形成的特征是最优的:
原因在于,CNN的每个卷积层,设卷积核大小不变,因为有下采样,图像在逐步变小,所以实际上卷积核所能感知的范围是逐步增大的,也就是文中所说的zoom out
在superpixel level,红色框区域和蓝色框区域,也就是CNN的浅层,输出的特征是local feature,主要包含这个小区域的颜色信息和密度信息,它和相邻的superpixel的特征会有较大差异。
把superpixel向外zoom out,在proximal level,可以得到橄榄色的区域,在这个level提取的特征主要捕捉superpixel周围其他superpixel的信息,已经不是local的信息了,应该是neiboring的信息。对于离得近的superpixel(如A和B的橄榄绿框),它们在这个level的receptive fileds会有较多的overlap,它们之间存在smoothness,在这一层面的特征表示会有些相似,而如果离得远(A和C),overlap小,那么它们的特征表示会有较大差异。
继续向外zoom out,在distant level,紫色的蓝色的区域,常常带来较大的overlap,可以在superpixel之间建立联系,并且,此时的感知区域已经能够包含一些object,所以这个level提取的特征会包含object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息,这样做常常带来复杂的难以求解的模型。
再zoom out,在scene level,就是对整幅图片感知,得到的是global的信息。这level的特征主要包含的信息是”what kind of an image we are looking at“,可以基本限定class的范围。
从作者贴出的example来看,分割的边缘还是有些粗糙,原因是:本文方法是直接基于superpixel做特征提取和分类的,提取的superpixel是不够准确的,一个superpixel中可能包含了多个class。要优化这个边缘,应该还是要挖掘出pixel level的细节信息。
版权声明:本文为博主原创文章,未经博主允许不得转载。
论文笔记《Feedforward semantic segmentation with zoom-out features》
标签:
原文地址:http://blog.csdn.net/happyer88/article/details/47192723