Wang, Min, Baoyuan Liu, and Hassan Foroosh. “Factorized Convolutional Neural Networks.” arXiv preprint arXiv:1608.04337 (2016).

本文着重对深度网络中的卷积层进行优化，独特之处有三：
- 可以直接训练。不需要先训练原始模型，再使用稀疏化、压缩比特数等方式进行压缩。
- 保持了卷积层原有输入输出，很容易替换已经设计好的网络。
- 实现简单，可以由经典卷积层组合得到。

使用该方法设计的分类网络，精度与GoogLeNet1, ResNet-182, VGG-163相当，模型大小仅2.8M。乘法次数$470\times 10^9$，只有AlexNet4的65%。

标准卷积层

先来复习一下卷积的运算过程。标准卷积将3D卷积核（橙色）放置在输入数据$I$（左侧）上，对位相乘得到输出$O$（右侧）的一个像素（蓝色）。

卷积核在一个通道上的尺寸为$k^2$，输入、输出通道数分别为$m,n$。

当下流行的网络中，卷积层的主要作用是提取特征，往往会保持图像尺寸不变。缩小图像的步骤一般由pooling层实现。为书写简洁，这里认为输入输出的尺寸相同，都是$h\times w$。

计算一个输出像素所需乘法次数为：

$$k^2\times m$$

总体乘法次数为：

$$k^2\times m \times n \times h\times w$$

$m,n$体现了对于特征的挖掘，取值较大，常为几百；相反，$k$一般在1~5左右，很少超过7，高层次特征通过多个小尺寸卷积层实现。

优化的卷积层

本文介绍了三种卷积层的优化变种。

使用基层(bases)

设定核尺寸$k^2$，输入/输出通道数$m,n$，这个方法把卷积分成两个步骤。

在第一个步骤中，输入的每一通道单独运算。在同样尺寸卷积核的作用下，每一通道计算得到$b$层结果。$m$通道数据变为$m\times b$通道。中间结果的每一通道称为一个基层basis。
在第二个步骤中，各个通道进行合并，但使用的卷积核尺寸为1。

乘法数量为

$$k^2\times b \times m \times h \times w + b \times m \times n \times h \times w = (k^2 + n) \times b \times m \times h\times w$$

与传统卷积所需的乘法次数比例为：

$$\frac{k^2b+nb}{k^2n}$$
注意这里的大头是$n$，只要$b<k^2$，即可用较少的计算两实现较大核的卷积层。

提速示例

n	k	b	rate
128	3	1	11.9%
128	3	5	59.5%
128	3	8	95.1%
128	5	8	38.3%

如果原有卷积核$k=1$，这种方法无法提速。

重叠(stacked)的基层

对于输入输出通道数相同的情况($m=n$)，可以进一步构造如下网络。

使用$b=1$的带基层的卷积层（圆角矩形），利用上述Residual方式，将运算重复$b$次。

对于相同的$b,n$取值，此网络乘法数量和前一个变种相同。但由于原来的并行计算改为串行（相当于增加深度），同时引入余量结构，此种网络的性能更佳。

拓扑连接

依然是$m=n$的情况，另一种优化思路是：减少输出通道和输入通道的连接数量。即，输出通道不再和所有输入通道有关，只和相邻的输入通道有关。

关于“相邻”，最直观的想法是，定义一个邻域大小$c$，每一个输出通道只和相邻的$c$个输入通道有关。

更巧妙的方法是，对输入通道数进行因式分解：$m=\prod\limits_{i=1}^n d_i$

把原来的2+1维输入数据看做2+n维，在每一维定义一个邻域大小$c_i$。对于输出的一个通道，只和其在n维空间中相邻的输入通道有关。

例子：30维分解为$d_1=5,d_2=6$，第13个输出通道，在2维空间中坐标为$[3,3]$。邻域大小$c_3=1,c_2=1$。和该通道有关的范围为$[2,3,4; 3]$，对应的输入通道为$[8,13,18]$。

这个变种同样适用于$k=1$的核。

实验

标准网络

选择ImageNet分类问题为实验对象。首先使用标准卷积层设计三个标准网络A,B,A’作为参照。基本结构如下：

白色为卷积，绿色为pooling。第一阶段是一个核较大的卷积，最后一阶段是average pooling，直接生成1000类分类结果。
中间四大阶段由max pooling和三个卷积层构成，其中后两个卷积层（粗线）输入/输出通道数相同，适于本文所述方法优化。

A网络的卷积核尺寸（问号处）为2，每两个卷积层添加一个Residual结构；B网络卷积核尺寸为3，每个卷积层添加一个Residual结构。

对于不太深的网络，Residual结构对精度提升不大，主要作用是加速训练过程。

A’网络和A相同，只是输入为164×164。

优化网络：基层

网络C,E由A演变而来，网络D,F由B演变来，其top-1精度以及计算复杂度如下：

网络	优化	k	b	精度	复杂度
A	无	2	-	59%	1
B	无	3	-	62.1%	2.25
C	基层	3	4	61.9%	~1
D	基层	3	2	60.3%	~0.5
E	重叠基层	3	2	63.1%	~0.5
F	重叠基层	5	2	63.15%	~0.5

使用重叠基层的卷积网络F，能够达到甚至超过原有网络B，计算复杂度不到原来25%。

优化网络：拓扑链接

网络G,H由A’演变而来。首先把A’网络的卷积层数量加倍：

将粗线所示卷积层的输入/输出通道进行分解，各层的因数$d_i$，邻域大小$c_i$，top-1精度以及计算复杂度如下：

网络	stage 1	stage 2	stage 3	精度	复杂度
A’	-	-	-	54.2%	1
G	8*16 - 4*8	16*16 - 8*8	16*32 - 8*16	53.6%	0.5
H	4*8*4 - 2*5*3	8*8*4 - 4*5*3	8*8*8 - 4*5*6	52.9%	0.47

达到相同性能，拓扑连接计算复杂度约为50%。

优化网络：复合

以A网络为基础，把两种优化方法组合，得到网络J,K:

网络	优化	精度	复杂度
A	-	59%	1
J	卷积层加倍, 2D拓扑	58.9%	0.5
K	卷积层加倍, 2D拓扑,层叠基准	60.1%	0.25

只有25%计算复杂度，即超过原先网络。

优化网络：最终结果

综合前述实验结果，以网络E为基础，给出了ImageNet上分类问题的最佳网络L：

采用重叠的基层思想。每一个粗线白色模块的$b=1$，两个不同输出通道数的模块为一组，重复6次。和A,E一样，每两个卷积层添加一个Residual结构。

与其他经典模型的比较结果如下：