CNN之MixNet

标签：测试   分割   尺寸   强制   池化   效果   class   信息   控制   

关于MixNet:
1.NAS:神经架构搜索，从定义一组神经网络可能会用到的“建筑模块”开始，NAS算法用一个RNN做控制器，从这些模块中挑选，然后将它们放在一起，创造某种端到端的架构（好坏取决于选择的模块和它们之间构建的连接）；接着训练这个网络，让其收敛，得到验证集上的准确率，通过策略梯度更新控制器，让控制器生成架构的水平越来越高（NAS算法主要给这些模块换个连接方式）；
PNAS：（SMBO策略）按复杂度递增的顺序来测试它们并搜素结构；
ENAS：强制将所有模型的权重共享，而非以0开始训练模型到收敛，每次训练模型都进行迁移学习，这种方式收敛会更快；
AutoML:只用提供数据，NAS算法就会为此找到一个架构（还可以进行参数调整）；

2.MDConv混合深度分离卷积：
把输入通道的channel大小为M，分为C组，对每组用不同的kernel size进行卷积；
不同的kernel size提取的特征不一样，相当于做了一个数据特征融合；
通道分组方法一般有等分和指数分割（第i组有2^-i个flters)两种方法；
大尺寸的核捕获高分辨率模式，小尺寸核捕获低分辨率模式（使用不同的卷积核应用与不同的通道可以轻易捕获不同分辨率的特征模式，获取更丰富的数据细节特征）；
集成MDConv模块到AutoML框架中，研发出一种新的模型：MixNets；按照FLOPS划分，共涉及MixNets-S，MixNets-M和MixNets-L；

3.空洞卷积：
即扩张卷积，引入扩张率，卷积核处理数据时各值的间距；
它的作用是扩大感受野，捕获多尺度上下文信息（保留内部的数据结构）；
目前存在不足在于感受野是跳跃的，运用时依赖网络设计，它在小物体检测上效果不太理想；

4.谷歌用深度可分离卷积代替传统卷积代替传统卷积（减少了参数数量和操作，可能会造成特征丢失，导致精度下降），提出了mobilenet v1，这是为移动端和嵌入式深度学习应用设计的轻量化网络，放弃了池化操作；
在此基础上引入残差网络和线性瓶颈技术（升维->卷积->降维），提出mobilenet v2；
进而使用互补搜索技术组合（NAS执行模块搜索，NetAdapt执行局部搜索）和网络结构改进（最后的平均池化层前移并移除最后一个卷积层，引入h-swish函数），诞生了mobilenet v3；
mobilenet v3在物体分类，目标检测，语义分割性能上和mnasnet网络对比都取得更高的精度；

5.最新研发的MixNets-S和MisNets-M与同样是轻量级网络的mobilenet,NASNet,FBNet在物体分类上进行对比在都取得了完胜，取得了78.9%的top-1分类精度，同时FLOPS小于600M;

参考：https://mp.weixin.qq.com/s/U3hP5wJloqE_bJyT__bqvw

CNN之MixNet

标签：测试   分割   尺寸   强制   池化   效果   class   信息   控制   

原文地址：https://www.cnblogs.com/xiaowa/p/13301259.html