1986年Rumelhart和McCelland在《并行分布式处理》中提出了BP算法，即非线性连续变换函数的多层感知器网络误差反向传播算法。该算法的思想是：学习过程分为信号的正向传播与误差的反向传播两个过程。 正向传播时，输入样本从输入层传入，经各隐含层逐层处理后传向输出层，若输出层的实际输出与期....
分类：
编程语言 时间：
2014-12-17 22:24:57
阅读次数：
255
本文大量参照 David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams,Learning representation by back-propagating errors, Nature, 323(9): p533-536, 198...
分类：
其他好文 时间：
2014-12-15 11:57:25
阅读次数：
185
今天主要学习了神经网络中一个重要的算法--BP（back propagation）它是一个前馈网络，就是神经元的输出是向前传播的；其名字的意思是指最后输出的误差经由神经网络后向传播，影响每一级的权值简单的说其思想就是：信号的正向传播 ----> 误差的反向传播；将输出误差以某种形式通过隐层向输入层逐...
分类：
其他好文 时间：
2014-12-14 18:35:09
阅读次数：
146
题目大意：有一种打字机上有28个字母，分别是26个小写字母和BP，其中B代表退格，P代表换行，每一行就是一个字符串。现在给这些字符串标号，并询问x串在y串中出现过几次。
思路：这算是NOI史上最难的字符串的题了吧（动物园）。
首先按照题意不难建一个AC自动机出来，按照正常的思路，对于每一个询问都需要在AC自动机上暴力的查找。但这样时间会十分好看。
于是我们想，fail指针构成的一定是...
分类：
其他好文 时间：
2014-12-10 16:24:22
阅读次数：
249
1.在8086CPU中，只有这4个寄存器（bx,bp,si,di）可以用在“[...]”中来进行内存单元的寻址。在“[...]”中，这4个寄存器（bx,bp,si,di）可以单个出现，或只能以四种组合出现：bx和si、bx和di、bp和si、bp和di2.div是除法指令（division），使用d...
分类：
其他好文 时间：
2014-12-04 19:56:10
阅读次数：
169
在面向对象程序设计中，非常常用的手法就是用基类的指针指向派生类，然后在执行期通过虚函数机制找到派生类中的函数，假设这样一种情况，全局函数有两个输入参数，分别是两个基类指针 A* ap 和 B* bp，那么如何既找到ap指向的准确对象，又找到bp指向的准确对象呢？答案就是多重派遣，既先找到ap（bp）指向的准确对象，再去寻找bp（ap）指向的准确对象...
分类：
其他好文 时间：
2014-12-04 13:58:13
阅读次数：
152
接上篇。在(一)和(二)中，程序的体系是Net,Propagation,Trainer,Learner,DataProvider。这篇重构这个体系。Net首先是Net，在上篇重新定义了激活函数和误差函数后，内容大致是这样的：List weights = new ArrayList(); List b...
分类：
编程语言 时间：
2014-12-04 09:57:28
阅读次数：
214
随着deep learning的火爆，神经网络(NN)被大家广泛研究使用。但是大部分RD对BP在NN中本质不甚清楚，对于为什这么使用以及国外大牛们是什么原因会想到用dropout/sigmoid/ReLU/change learnRate/momentum/ASGD/vanishment等问题等呢....
分类：
微信 时间：
2014-11-27 17:44:23
阅读次数：
2230
接上篇。Net和Propagation具备后，我们就可以训练了。训练师要做的事情就是，怎么把一大批样本分成小批训练，然后把小批的结果合并成完整的结果（批量/增量）；什么时候调用学习师根据训练的结果进行学习，然后改进网络的权重和状态；什么时候决定训练结束。那么这两位老师儿长的什么样子，又是怎么做到的呢...
分类：
编程语言 时间：
2014-11-27 16:03:45
阅读次数：
191
