一说起“深度学习”，自然就联想到它非常显著的特点“深、深、深”（重要的事说三遍），通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此，我们自然很容易就想到：深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来 ...
分类：
Web程序 时间：
2019-03-25 20:35:26
阅读次数：
366
resnet 又叫深度残差网络 据说是目前世界上图像识别准确率最高的，主要作者是国人哦 深度网络的退化问题 深度网络难以训练，梯度消失，梯度爆炸，老生常谈，不多说 resnet 解决了这个问题，并且将网络深度扩展到了最多152层。怎么解决的呢？ 残差学习 结构如图 在普通的卷积过程中加入了一个x的恒 ...
分类：
Web程序 时间：
2019-03-22 14:10:54
阅读次数：
2012
Xception网络是由inception结构加上depthwise separable convlution，再加上残差网络结构改进而来/ 常规卷积是直接通过一个卷积核把空间信息和通道信息直接提取出来，结合了spatial dimensions和channels dimensions；xcepti ...
分类：
其他好文 时间：
2019-03-10 21:07:44
阅读次数：
707
一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得到更 ...
分类：
Web程序 时间：
2018-12-16 20:00:35
阅读次数：
740
一、经典网络 二、残差网络：ResNets 采用了 跳远连接。即a【l+2】= g（Z【l+2】 + a【l】)，a【l】作为a【l+2】的残差，g为激活函数。 起作用的原因是：假如Z【l+2】=0，则a【l+2】=a【l】。有时候神经网络深度过大，则 ...
分类：
其他好文 时间：
2018-11-25 16:12:22
阅读次数：
127
百万级字符：中文自然文本数据集CTW资源链接：https://ctwdataset.github.io/ 腾讯AILab最大规模多标签图像数据集 Tencent ML-Images 由深度学习中精度最高的深度残差网络RESNET-101构成。https://github.com/Tencent/te ...
分类：
其他好文 时间：
2018-11-10 12:48:52
阅读次数：
209
题外话： From 《白话深度学习与TensorFlow》 深度残差网络： 深度残差网络的设计就是为了克服这种由于网络深度加深而产生的学习效率变低，准确率无法有效提升的问题（也称为网络退化）。 甚至在一些场景下，网络层数的增加反而会降低正确率。这种本质问题是由于出现了信息丢失而产生的过拟合问题（ov ...
分类：
Web程序 时间：
2018-10-21 17:51:52
阅读次数：
606
1.GoogleNet 网络： Inception V1 - Inception V2 - Inception V3 - Inception V4 1. Inception v1 split - merge - 1*1卷积，3*3卷积， 5*5卷积， 3*3池化 输入层：inception 1*1 ...
分类：
编程语言 时间：
2018-10-15 23:22:51
阅读次数：
435
在训练集上，神经网络越深，效果会越好吗？理论上是的，但传统神经网络做不到这一点。在神经网络的深度达到一定时，在训练集上，越深的网络效果可能越差，这就是退化问题。而ResNet可以处理这个问题。 ...
分类：
Web程序 时间：
2018-09-15 01:18:30
阅读次数：
458
Resnet网络：两种不同设计结构的误差对比 疑问：残差网络用于解决深度网络的退化问题，那么对于浅层网络也有效果吗？ ...
分类：
其他好文 时间：
2018-08-06 19:26:59
阅读次数：
142
