码迷,mamicode.com
首页 > 其他好文 > 详细

轻量级神经网络架构

时间:2020-04-13 01:07:31      阅读:109      评论:0      收藏:0      [点我收藏+]

标签:网络架构   brk   运算   search   不同的   net   src   设计   exp   

轻量级神经网络架构综述

论文地址轻量级神经网络架构综述
QQ邮箱

伴随着移动互联网的发展,越来越多的移动式应用层出不穷,为了在便携式设备上使用神经网络,需要减小模型的计算量和参数量,轻量型网络应运而生。

目前轻量级神经网络有三个方向:

  • 人工设计轻量化神经网络模型
  • 基于神经网络结构搜索 (Neural Network Search, NAS)
  • 神经网络模型的压缩

1 人工设计轻量化神经网络模型

1.1 使用小卷积核代替大卷积核

对于5x5大小的感受野,可以通过两个3x3大小的卷积实现,3x3卷积可以通过1x3和3x1卷积实现
技术图片

1.2 限制中间特征的通道数

Fire module in Squeeze Net: 首先通过1x1卷积压缩通道数,然后通过1x1和3x3扩张通道数,先squeeze再expand
技术图片

1.3 分解卷积运算

标准卷积操作是将一个卷积核用在输入特征的所有通道上,一方面参数量大,另一方面卷积运算存在很大冗余。深度可分离卷积则是对每个输入通道采用不同的卷积核,成为逐深度卷积,然后通过1x1的逐点卷积扩张通道数。
深度可分离卷积的计算量为标准卷积的1/9,用在了MobileNet系列上
技术图片
深度可分离卷积的计算量主要集中在1x1的逐点卷积上,ShuffleNet提出了分组卷积,首先将输入通道数分组,在每个组内进行单独的卷积运算。为了增加组之间的信息流动,增加了混洗操作,使得新的分组包含之前各个组的特征。
技术图片

轻量级神经网络架构

标签:网络架构   brk   运算   search   不同的   net   src   设计   exp   

原文地址:https://www.cnblogs.com/huanxifan/p/12688740.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!