原创文章
转载请注册来源http://blog.csdn.net/tostq
上一节我们介绍了卷积神经网络的前向传播过程，这一节我们重点介绍反向传播过程，反向传播过程反映神经网络的学习训练过程。
误差反向传播方法是神经网络学习的基础，网络上已经有许多相关的内容了，不过关于卷积网络的误差反向传递的公式推导却比较少，而且也不是很清晰，本文将会详细推导这个过程，虽...
分类：
编程语言 时间：
2016-06-30 12:55:02
阅读次数：
487
这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门。...
分类：
编程语言 时间：
2016-06-19 14:21:42
阅读次数：
336
这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门，比如，神经元（非线性激励），梯度检验，参数的Xavier初始化方法，学习速率，ADAGRAD...
分类：
编程语言 时间：
2016-06-19 11:41:38
阅读次数：
614
《神经网络与机器学习》第4章前半段笔记以及其他地方看到的东西的混杂…第2、3章的内容比较古老预算先跳过。
不得不说幸亏反向传播的部分是《神机》里边人话比较多的部分，看的时候没有消化不良。多层感知机书里前三章的模型的局限都很明显，对于非线性可分问题苦手，甚至简单的异或都弄不了。于是多层感知机（也就是传说中的神经网络）就被发明了出来对付这个问题。多层感知机就是由一系列的感知机，或者说神经元组成，每个神...
分类：
编程语言 时间：
2016-06-12 02:54:37
阅读次数：
339
看了andrew ng 老师的机器学习教程，在关于反向传播算法进行讲解时，微分过程被省略掉了，只是说这个过程非常复杂。网上找了一些资料，有一篇比较详细的讲解，在http://axon.cs.byu.edu/resources/backprop_derived.pdf可以下载。这里也贴出来。微分过程中 ...
分类：
编程语言 时间：
2016-06-02 20:01:13
阅读次数：
177
原文地址：http://cs231n.github.io/optimization-2/
################################################################
内容列表：
１．介绍
２．简单表达式，解释梯度
３．复合表达式，链式法则，反向传播
４．反向传播的直观理解
５．模块化：Sigmoid案例
６．实际...
分类：
其他好文 时间：
2016-05-07 09:08:58
阅读次数：
126
"BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。"...
分类：
其他好文 时间：
2016-04-29 16:55:09
阅读次数：
209
最近由于在准备论文的相关事宜，导致博客的更新速度有点缓慢，望大家见谅。不过该更新还是要更新的，所以今天我就挤出一点时间来更新一篇。由于之前的博文已经将tiny_cnn中相关的网络层结构介绍的差不多，接下来的博文中着重介绍卷积神经网络的训练流程和测试流程，重点就是前向传播算法和反向传播算法。不过我在研究CNN前向传播算法的流程时，发现作者在前向传播算法的调用过程中，很好的体现了C++的多态性特点，考...
分类：
编程语言 时间：
2016-04-02 10:50:30
阅读次数：
258
《全连接的BP神经网络》
本文主要描述全连接的BP神经网络的前向传播和误差反向传播，所有的符号都用Ng的Machine learning的习惯。下图给出了某个全连接的神经网络图。
1前向传播
1.1前向传播
分别计算第l层神经元的输入和输出；
1.1.1偏执项为1时
向量整体形式：
分量形式：
1.1.2偏执项为b时
向量整体形式：
分量形式：
...
分类：
其他好文 时间：
2016-04-01 18:22:57
阅读次数：
217
In the last chapter we saw how neural networks can learn their weights and biases using the gradient descent algorithm. There was, however, a gap in o
分类：
编程语言 时间：
2016-03-20 14:21:05
阅读次数：
367
