标签：轻量级 block auto idt offset eth sse cto 结构
作者：Tom Hardy
Date：2020-04-04
原文链接：https://arxiv.org/abs/2003.13328v1
代码链接：https://github.com/Andrew-Qibin/SPNet
主要思想和Contributions
Spatial pooling在捕获像素级预测任务（如场景解析）的long-range contextual信息方面已被证明是非常有效的。本文在传统的N×N型Spatial pooling的基础上，提出了一种考虑狭长核（1×N或N×1）的strip pooling策略，对Spatial pooling的形成进行了重新思考。基于strip pooling，进一步研究了Spatial pooling体系结构设计，本文的主要贡献：
1）引入了一个新的strip pooling模块，使backbone网络能够有效地模拟long-range依赖关系；
2）提出了一种以多种Spatial pooling为核心的新型模块MPM，并构建了SPNet；
3）系统地比较了所提出的strip pooling和传统Spatial pooling技术的性能；
这两种新的基于pooling的模块都是轻量级的，可以作为现有场景解析网络中的一个有效的即插即用模块。在ADE20K和CityScapes上进行的大量实验表明，本文的方法达到了SOTA。
网络结构
1、Strip pooling（SPM）
1. 如下图所示，使用Hx1和1xW尺寸的条状池化核进行操作，对池化核内的元素值求平均，并以该值作为池化输出值。
2. Hx1和1xW池化核处理后，使用1D Conv对两个输出feature map分别沿着左右和上下进行扩容，如下图所示，扩容后两个feature map尺寸相同，进行fusion（element-wise上的add）。
3. 采用element-wise multiplication的方式对原始数据和sigmoid处理后的结果进行处理，至此，strip pooling完成，输出结果。
2、MPM（Mixed Pooling Module）
这是本文独立于SPM之外的另外一个模块，具体来说，在每个子模块之前，首先是1×1卷积层用于channel缩减，如下图所示，两个子模块的输出串联在一起，然后送入另一个1×1卷积层进行channel扩展。
3、SPNet
论文基于SPM和MPM模块搭建了一个网络：SPNet，以残差网络作为backbone，详细结构请参考原文。
实验结果
论文在ADE20K、Cityscapes和Pascal Context数据集上进行了实验。
Rethinking场景分析中的空间池化 | Strip Pooling（CVPR2020，何恺明）
标签：轻量级 block auto idt offset eth sse cto 结构
原文地址：https://www.cnblogs.com/YongQiVisionIMAX/p/12630769.html
