码迷,mamicode.com
首页 > 其他好文 > 详细

论文笔记《Feedforward semantic segmentation with zoom-out features》

时间:2015-08-01 23:32:35      阅读:304      评论:0      收藏:0      [点我收藏+]

标签:

《Feedforward semantic segmentation with zoom-out features》,CVPR 2015

这篇文章的方法是superpixel-level的,主要是基于CNN实现,是fully supervised。

首先对输入图像以superpixel为单位提取CNN特征(使用VGG16),然后把这些特征作为CNN classifier(使用imageNet)的输入,imageNet输出是每个superpixel的class。

这篇文章的亮点应该是:1,它把CNN每一层的特征都拿出来使用,兼顾了local信息和global信息,论文大篇幅地描述了这样做的好处,从原理,实例,和实验这些方面。2,直接使用image classification的现有成果,不用自己训练网络,方便高效,易于推广。3,实验结果好,比FCN的方法结果还好。

实验结果:

技术分享

关于CNN特征提取的一些细节:

特征提取过程是,对每个卷积层的输出,用双线性插值的方法做upsampling使之与原图尺寸一致,然后对superpixel s的区域做pooling,这样就得到一个特征向量,这个向量的维度就是当前卷积层的卷积核个数。如下图:

技术分享

是对每个superpixel下表中是VGG每一层提取特征的情况:

技术分享

把每一层的输出向量连接起来,就得到最终的CNN特征,是12416维的。

作者通过实验证明,把每个卷积层的输出都连接起来形成的特征是最优的:

技术分享

原因在于,CNN的每个卷积层,设卷积核大小不变,因为有下采样,图像在逐步变小,所以实际上卷积核所能感知的范围是逐步增大的,也就是文中所说的zoom out

技术分享

在superpixel level,红色框区域和蓝色框区域,也就是CNN的浅层,输出的特征是local feature,主要包含这个小区域的颜色信息和密度信息,它和相邻的superpixel的特征会有较大差异。

把superpixel向外zoom out,在proximal level,可以得到橄榄色的区域,在这个level提取的特征主要捕捉superpixel周围其他superpixel的信息,已经不是local的信息了,应该是neiboring的信息。对于离得近的superpixel(如A和B的橄榄绿框),它们在这个level的receptive fileds会有较多的overlap,它们之间存在smoothness,在这一层面的特征表示会有些相似,而如果离得远(A和C),overlap小,那么它们的特征表示会有较大差异。

技术分享

继续向外zoom out,在distant level,紫色的蓝色的区域,常常带来较大的overlap,可以在superpixel之间建立联系,并且,此时的感知区域已经能够包含一些object,所以这个level提取的特征会包含object的一些形状信息、空间位置信息、复杂的颜色和梯度信息。一些方法用CRF来挖掘这类信息,这样做常常带来复杂的难以求解的模型。

再zoom out,在scene level,就是对整幅图片感知,得到的是global的信息。这level的特征主要包含的信息是”what kind of an image we are looking at“,可以基本限定class的范围。


从作者贴出的example来看,分割的边缘还是有些粗糙,原因是:本文方法是直接基于superpixel做特征提取和分类的,提取的superpixel是不够准确的,一个superpixel中可能包含了多个class。要优化这个边缘,应该还是要挖掘出pixel level的细节信息。

技术分享


版权声明:本文为博主原创文章,未经博主允许不得转载。

论文笔记《Feedforward semantic segmentation with zoom-out features》

标签:

原文地址:http://blog.csdn.net/happyer88/article/details/47192723

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!