标签：1.2 raft 加速计 tac top 误差 尺度 资源 解决
接下来几天，将把自己最近读的关于图片分类的经典网络模型论文整理一遍。大概做个摘要。这些论文都是在imagenet上1.2 million数据训练出来的。
由于从这些预训练的网络训练的deep feature有良好的泛化能力，可以应用到其他不同的CV问题，而且比传统的hand-craft feature要好，所以得到广泛应用。
从AlexNet论文说起，ImageNet Classification with Deep Convolutional Neural Networks。
在ImageNet LSVRC-2010 2012表现突出
top-1误差率37.5%，以及top-5误差率17.0%
网络有6000万个参数和650,000个神经元
网络结构五个卷积层，以及某些卷积层后的池化层，以及最后的三个全连接层
引入正则化方法dropout
ReLU修正线性单元的引入，比tanh等要快的多
论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
接下来的NIN论文，Network In Network
NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小
利用网络中的网络思想
论文地址：https://arxiv.org/pdf/1312.4400v3.pdf
VGG模型论文，VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
可以看成是加深版本的AlexNet. 都是conv layer + FC layer
论文地址：https://arxiv.org/pdf/1409.1556.pdf
GoogLeNet模型，也称inceptionV1 Going Deeper with Convolutions
受NIN启发，各种sub-network和inception结构的设计，通过精心设计的设计实现的，允许增加网络的深度和宽度，提高了网络内部计算资源的利用率。
将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性。
论文地址：http://arxiv.org/abs/1409.4842
InceptionV2论文 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
改进V1，加入了BN层，减少了内部neuron的数据分布发生变化也就是文中说的Internal Covariate Shift，每一层的输入都服从N(0, 1)的高斯分布。
同是受到VGG启发用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，提高训练速度。
论文地址： http://arxiv.org/abs/1502.03167
inceptionV3论文 Rethinking the Inception Architecture for Computer Vision
在v2的基础上改进是使用了分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），将3x3分解成两个一维的卷积（1x3,3x1），加速计算的同时使得网络深度增加和网络的非线性更强。
网络输入从224x224变为了299x299，还设计了35x35/17x17/8x8等模块。
论文地址：http://arxiv.org/abs/1512.00567
inceptionV4论文 Inception-ResNet and the Impact of Residual Connections on Learning
Inception模块结合Residual Connection可以极大地加速训练，同时性能也有提升。
开源了Inception-ResNet v2网络模型后，经过优化精简Inception v4模型，相比Inception-ResNet v2网络模型性能差不多，但是网络复杂程度降低。
论文地址：http://arxiv.org/abs/1602.07261
Resnet模型论文，Deep Residual Learning for Image Recognition
引入残差，解决深层次的网络带来acc下降问题
论文地址：https://arxiv.org/pdf/1512.03385v1.pdf
标签：1.2 raft 加速计 tac top 误差 尺度 资源 解决
原文地址：http://www.cnblogs.com/vincentqliu/p/7465150.html
