这一篇是整个第五章的精华了，会重点介绍一下Neural Networks的训练方法——反向传播算法（backpropagation，BP），这个算法提出到现在近30年时间都没什么变化，可谓极其经典。也是deep learning的基石之一。还是老样子，下文基本是阅读笔记（句子翻译+自己理解），把书里...
分类：
编程语言 时间：
2015-02-01 14:41:45
阅读次数：
348
可参考http://blog.csdn.net/zouxy09/article/details/9993371这篇文章主要介绍CNN卷积神经网络的数学推导，DeepLearningToolbox里面的CNN算法主要是基于这篇文章。里面主要有BP的前向传播和反向传播的详细推导，可供参考。来自为知笔记(...
分类：
Web程序 时间：
2015-01-27 10:50:23
阅读次数：
436
卷积神经网络(Convolutional Neural Networks, CNN)
?卷积神经网络是前馈神经网络(BP)的扩展
?1962年Hubel提出的感受野(Receptive Field)概念;
?1980年日本学者Fukushima提出神经认知机(Neocognition)，是卷积神经网络的第一个实现网络，并将其应用于手写体字符识别;
?1988年YannLeCun等提出反向传播算法，极大地推动了卷积神经网络的发展。
?1998年YannLeCun等提出LeNet-5网络结构，并应用于文档识别，...
分类：
其他好文 时间：
2015-01-20 13:44:12
阅读次数：
325
在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。通过训练，我们使输出 接近于输入 。当我们为自编码神经网络加入某些限制，比如限定...
分类：
编程语言 时间：
2015-01-07 23:22:05
阅读次数：
1196
神经网络最基本的知识可以参考神经网络基本知识，基本的东西说的很好了，然后这里讲一下神经网络中的参数的求解方法。 一些变量解释： 标上“”的圆圈被称为偏置节点，也就是截距项. 本例神经网络有参数 ，其中 （下面的式子中用到）是第 层第 单元与第 层第 单元之间的联接参数（其实就是连接线上的权重，注意标...
分类：
编程语言 时间：
2014-12-30 15:04:30
阅读次数：
270
1986年Rumelhart和McCelland在《并行分布式处理》中提出了BP算法，即非线性连续变换函数的多层感知器网络误差反向传播算法。该算法的思想是：学习过程分为信号的正向传播与误差的反向传播两个过程。 正向传播时，输入样本从输入层传入，经各隐含层逐层处理后传向输出层，若输出层的实际输出与期....
分类：
编程语言 时间：
2014-12-17 22:24:57
阅读次数：
255
本文大量参照 David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams,Learning representation by back-propagating errors, Nature, 323(9): p533-536, 198...
分类：
其他好文 时间：
2014-12-15 11:57:25
阅读次数：
185
今天主要学习了神经网络中一个重要的算法--BP（back propagation）它是一个前馈网络，就是神经元的输出是向前传播的；其名字的意思是指最后输出的误差经由神经网络后向传播，影响每一级的权值简单的说其思想就是：信号的正向传播 ----> 误差的反向传播；将输出误差以某种形式通过隐层向输入层逐...
分类：
其他好文 时间：
2014-12-14 18:35:09
阅读次数：
146
0 网络计算结果 B(m)=f( ∑n( W(n,m)*X(n) ) - Θ(m) ) %中间层的输出 Y(k)=f( ∑m( V(m,k)*B(m) ) - ф(k) ) %输出层的输出1 计算误差值 E(k)=Y'(k)-Y(K) %Y'表示样本真实的输出值2 计算校正误差 d...
分类：
其他好文 时间：
2014-11-01 17:43:34
阅读次数：
323
Sparse Autoencoder稀疏自编码器实验报告1.Sparse Autoencoder稀疏自编码器实验描述 自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。自编码神经网络尝试学习一个 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 接近于.....
分类：
Web程序 时间：
2014-10-17 00:19:13
阅读次数：
583
