【Semantic Segmentation】 Instance-sensitive Fully Convolutional Networks论文解析

Instance-sensitive Fully Convolutional Networks - eccv 2016

=====

论文地址：http://arxiv.org/abs/1603.08678

=====

一句话概括：

  根据local coherence的特性，以sliding window的方式，利用FCN产生positive-sensitive的instance-level的segment proposal。

=====

framework

从上图可以看出，该network是一个full convolutional network（based on VGG16），除了feature extractor（VGG16的前13个conv layers）外，还有两个branches：

    1 segment branch

该branch由1*1 conv，3*3 conv和一个assembling layer构成，后接segment的loss layer（采用logistic regression layer）

    2 scoring branch

该branch由3*3 conv，1*1 conv构成，后接一个scoring的loss layer（采用logistic regression layer）

显然segment branch产生instance-level的segmentation mask，scoring branch对segment branch产生的instance mask进行打分。

（这里为objectness score，有点不明白为什么不是class-specific的）。

剩下的network architecture（VGG16-base）见下图：

论文采用了hole algorithm来获取dense的feature map同时保持和原来VGG16的感受野大小。

=====

key module - assembling module

论文中的network（如上所述）是比较容易理解的，除了segment branch的assembling module。

先上图来个感性认识

从上述三张图可以看出assembling module是如何工作的了，具体来说： 

1 理解k^2 feature maps

由segment branch产生k^2个feature maps（或者理解为predicted masks），

这k^2 feature map编码了不同的位置信息，如top-left，top-center，……，bottom-right。

也就是每个feature map对应一个位置。

2 assembling -> producing instance-level mask

假如给定一个bounding box M（m*m大小），那么就可以将bounding box投影到k^2个feature map。

（类似RoIPooling）

将bounding box划分为k*k个bin，每个bin的大小为（m/k，m/k），

同理，bounding box投影到的feature map上的投影bounding boxes的

每个bounding box N_i （i=1,2, ...., k^2）也划分为k*k个bins。

这样M的每个bin K对应到第K个feature map上的N_k的bin K（刚好都是k^2)

那么对应的instance-level mask的输出为：同样为m*m大小，同样划分为k*k个bins

将第K个feature map上的N_k的bin K的feature values，拷贝到输出对应的bin K上。

（反向传播时，就是将对应的diff反过来拷贝过来就好）

说的有点绕口，但是它就是这么简单。

这里的输入bounding box并不是由proposal method产生的，而是论文作者以sliding window的方式

和指定bounding box的大小来产生的：

1 假设k^2的feature maps的大小为h和w，（同样对应的scoring branch的score map的大小也是h和w）

2 feature map上的每个pixel都产生一个bounding box，其大小为m*m，（论文里m=21）

3 每个pixel根据该bounding box

（已经是投影再feature map上的bounding box了，这个需要注意，而不是再从原图投影到feature map上），

输入其的instance-level的mask

4 这里的每个instance-level mask（一共w*h个）都由一个对应的objectness score，由scoring branch的score map给出

需要注意的是这里的w和h由个隐性的约束条件：h>=m, w>=m

=====

training & testing

那么论文是怎么training和testing的？还是直接看图（笔者直接截出来的）

=====

local coherence

嗯，直接看图，不说话

=====

与deepmask的对比

这个嘛，上面的local coherence已经说的很明白了，具体的请各位客官各自看论文和deepmask的论文

=====

实验效果

嗯，直接看图，不说话

=====

总的来说，

整篇论文的思路很简单，但是效果就是好，复现也容易（但是，笔者还是坐等论文作者开源）

但是笔者有几处不是很明了，不知道哪位客官可以解答下：

1 branches的conv layer设计，为什么segment branch的为1*1，3*3，而scoring branch为3*3，1*1，为什么这样设计？

2 scoring branch的score为什么不是class-specific的而是objectness？

3 为什么不用proposal method的方式来产生bounding boxes？

4 训练segment branch时，是如何为每个predicted instance-level的mask分配对应的ground-truth？

5 为什么不用在论文作者的另外一篇论文上：Instance-aware Semantic Segmentation via Multi-task Network Cascades

笔者在此多谢喇！

欢迎前来探讨！

=====

如果这篇博文对你有帮助，可否赏笔者喝杯奶茶？