(本文是根据 "neuralnetworksanddeeplearning" 这本书的第五章 "Why are deep neural networks hard to train?" 整理而成的读书笔记，根据个人口味做了删减) 在之前的笔记中，我们已经学习了神经网络最核心的 BP 算法，以及一些改 ...
分类：
Web程序 时间：
2018-01-07 16:01:45
阅读次数：
431
之前提到，深度神经网络在训练中容易遇到梯度 消失/爆炸 的问题，这个问题产生的根源详见之前的 "读书笔记" )。在 Batch Normalization 中，我们将输入数据由激活函数的收敛区调整到梯度较大的区域，在一定程度上缓解了这种问题。不过，当网络的层数急剧增加时，BP 算法中导数的累乘效应还 ...
分类：
其他好文 时间：
2018-01-07 15:54:22
阅读次数：
193
BP算法从原理到实践 反向传播算法Backpropagation的python实现 觉得有用的话,欢迎一起讨论相互学习~ "Follow Me" 博主接触深度学习已经一段时间,近期在与别人进行讨论时,发现自己对于反向传播算法理解的并不是十分的透彻,现在想通过这篇博文缕清一下思路.自身才疏学浅欢迎各位 ...
分类：
编程语言 时间：
2017-12-12 21:38:54
阅读次数：
322
误差逆传播算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多使用BP算法进行训练。 给定训练集$D={(x_1,y_1),(x_2,y_2),......(x_m,y_m)},x_i \in R^d,y_i \in R^l$,即输入示例 ...
分类：
编程语言 时间：
2017-11-29 22:42:15
阅读次数：
155
一、监督学习 supervised learning 已有训练样本和分类器，通过训练样本来得到分类器的最佳模型，再利用这个模型来处理新样本。 （1）分类 （2）回归 （3）结构学习 structured learning （4）深度学习 常见算法： 反向传播算法 BP算法 二、半监督学习 semi- ...
分类：
其他好文 时间：
2017-11-29 21:58:14
阅读次数：
178
what?： 极限学习机（extreme learning machine）ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。2004年由南洋理工大学黄广斌副教授提出。传统的神经网络学习算法（如BP算法）需要人为设置大量的网络训练参数，并且很容易产生局部最优解。极限学习机只需要设置网 ...
分类：
其他好文 时间：
2017-11-16 11:38:03
阅读次数：
134
一、autograd自动微分 autograd是专门为了BP算法设计的，所以这autograd只对输出值为标量的有用，因为损失函数的输出是一个标量。如果y是一个向量，那么backward()函数就会失效。不知道BP算法是什么的同学，估计也不知道什么是深度学习，建议先看Zen君提供的教材。 二、aut ...
分类：
其他好文 时间：
2017-10-30 16:58:57
阅读次数：
193
一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设AN ...
分类：
编程语言 时间：
2017-10-29 21:55:06
阅读次数：
750
BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以 ...
分类：
编程语言 时间：
2017-10-19 16:32:34
阅读次数：
681
最上面的图形显示的是神经网络的结构图，可知有2个隐层 第二部分显示的是训练算法，这里为学习率自适应的梯度下降BP算法；误差指标为MSE 第三部分显示训练进度： Epoch：训练次数；在其右边显示的是最大的训练次数，可以设定，上面例子中设为300；而进度条中显示的是实际训练的次数，上面例子中实际训练次 ...
分类：
其他好文 时间：
2017-10-08 12:18:04
阅读次数：
253
