摘要 本节将对反向传播进行直观的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常关键。反向求导的核心问题是：给定函数 $f(x)$ ，其中 $x$ 是输入数据的向量，需要计算函数 $f$ 关于 $x$ 的梯度，也就是 $\n... ...
分类：
其他好文 时间：
2016-09-15 15:07:52
阅读次数：
228
作者：杜客链接：https://zhuanlan.zhihu.com/p/21407711来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译 ...
分类：
编程语言 时间：
2016-09-12 09:51:25
阅读次数：
1081
深度学习 严恩·乐库 约书亚?本吉奥 杰弗里·希尔顿 摘要深度学习是计算模型，是由多个处理层学习多层次抽象表示的数据。这些方法极大地提高了语音识别、视觉识别、物体识别、目标检测和许多其他领域如药物发现和基因组学的最高水平。深学习发现复杂的结构，在大数据集，通过使用反向传播算法来说明如何一台机器应改变 ...
分类：
其他好文 时间：
2016-09-01 18:16:26
阅读次数：
1527
在本文中，我们对感知器模型的算法进行了推导，为我们对多层前馈网络（BP）的误差反向传播算法打下基础。
分类：
编程语言 时间：
2016-08-25 21:38:52
阅读次数：
206
BP算法是关于误差的反向传播算法，就是从输出层开始，将结果与预期结果相比较，求出误差，然后按照梯度最大下降方向，调整神经元的联接权值，然后依次逐层调整各层之间的连接权值，对于批量学习方式而言，不断重复...
分类：
编程语言 时间：
2016-08-25 21:23:18
阅读次数：
303
与非门的图片如下 示意图 详细解释： 1 定义变量的代码，包括了输入、权值、输出等。其中激活函数采用的是sigmod函数 2 定义目标输出和损失函数计算方式，我们采用的平方损失 另外也可以采用交叉熵损失函数 3 误差反向传播求导，直接调用theano函数求解，方便快捷 4 权值更新 5 开始训练 6 ...
分类：
其他好文 时间：
2016-08-14 17:27:32
阅读次数：
409
终于来到了最终的大BOSS，卷积神经网络~ 这里我想还是主要关注代码的实现，具体的CNN的知识点想以后在好好写一写，CNN的代码关键就是要加上卷积层和池话层. 一、卷积层 卷积层的前向传播还是比较容易的，我们主要关注的是反向传播，看下图就知道了： 和http://www.cnblogs.com/to ...
分类：
其他好文 时间：
2016-08-14 14:31:13
阅读次数：
237
一、自动编码器
目前为止,我们介绍了神经网络在有标签的训练样本的有监督学习中的应用.现在假设我们只有一个未标记的训练集{x(1),x(2),x(3),…},其中x是n维的.自动编码器神经网络是一种采用反向传播的无监督学习算法,让目标值和输入相等,即让y(i)=x(i).
这是一个自动编码器:
自动编码器试图学习函数hW,b(x)≈x.换句话说,它试图学习恒等函数的逼...
分类：
其他好文 时间：
2016-08-10 22:52:41
阅读次数：
336
写在前面：本来这篇应该是上周四更新，但是上周四写了一篇深度学习的反向传播法的过程，就推迟更新了。本来想参考PRML来写，但是发现里面涉及到比较多的数学知识，写出来可能不好理解，我决定还是用最通俗的方法解释PCA，并举一个实例一步步计算，然后再进行数学推导，最后再介绍一些变种以及相应的程序。（数学推导 ...
分类：
其他好文 时间：
2016-07-06 11:44:34
阅读次数：
254
最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总 ...
分类：
其他好文 时间：
2016-06-30 17:52:03
阅读次数：
514
