标签:网络架构 brk 运算 search 不同的 net src 设计 exp
论文地址轻量级神经网络架构综述
QQ邮箱
伴随着移动互联网的发展,越来越多的移动式应用层出不穷,为了在便携式设备上使用神经网络,需要减小模型的计算量和参数量,轻量型网络应运而生。
目前轻量级神经网络有三个方向:
对于5x5大小的感受野,可以通过两个3x3大小的卷积实现,3x3卷积可以通过1x3和3x1卷积实现
Fire module in Squeeze Net: 首先通过1x1卷积压缩通道数,然后通过1x1和3x3扩张通道数,先squeeze再expand
标准卷积操作是将一个卷积核用在输入特征的所有通道上,一方面参数量大,另一方面卷积运算存在很大冗余。深度可分离卷积则是对每个输入通道采用不同的卷积核,成为逐深度卷积,然后通过1x1的逐点卷积扩张通道数。
深度可分离卷积的计算量为标准卷积的1/9,用在了MobileNet系列上
深度可分离卷积的计算量主要集中在1x1的逐点卷积上,ShuffleNet提出了分组卷积,首先将输入通道数分组,在每个组内进行单独的卷积运算。为了增加组之间的信息流动,增加了混洗操作,使得新的分组包含之前各个组的特征。
标签:网络架构 brk 运算 search 不同的 net src 设计 exp
原文地址:https://www.cnblogs.com/huanxifan/p/12688740.html