反向传播算法（Back-Propagtion Algorithm）即BP学习属于监督式学习算法，是非常重要的一种人工神经网络学习方法，常被用来训练前馈型多层感知器神经网络。 一、BP学习原理 1、前馈型神经网络 是指网络在处理信息时，信息只能由输入层进入网络，随后逐层向前进行传递，一直到输出层，网络 ...
分类：
其他好文 时间：
2016-12-18 23:35:03
阅读次数：
306
1.卷积操作实质： 输入图像（input volume），在深度方向上由很多slice组成，对于其中一个slice，可以对应很多神经元，神经元的weight表现为卷积核的形式，即一个方形的滤波器（filter）（如3X3），这些神经元各自分别对应图像中的某一个局部区域（local region），用 ...
分类：
其他好文 时间：
2016-07-30 22:29:15
阅读次数：
215
原创文章
转载请注册来源http://blog.csdn.net/tostq
上一节我们介绍了卷积神经网络的前向传播过程，这一节我们重点介绍反向传播过程，反向传播过程反映神经网络的学习训练过程。
误差反向传播方法是神经网络学习的基础，网络上已经有许多相关的内容了，不过关于卷积网络的误差反向传递的公式推导却比较少，而且也不是很清晰，本文将会详细推导这个过程，虽...
分类：
编程语言 时间：
2016-06-30 12:55:02
阅读次数：
487
因为本人数学水平比较差劲，所以看东西要求通俗易懂，下面记录的资源都是自己觉得讲解的比较容易理解的，供大家参考，同时也为自己回头复习， 1、细说卷积神经网络 2、循环神经网络(RNN, Recurrent Neural Networks)介绍 ...
分类：
其他好文 时间：
2016-05-13 08:56:05
阅读次数：
170
神经网络sigmoid函数sigmoid函数是一种常见的挤压函数，其将较大范围的输入挤压到(0,1)(0,1)区间内，其函数的表达式与形状如下图所示：该函数常被用于分类模型，因为其具有很好的一个特性f′(x)=f(x)(1?f(x))f'(x) = f(x)(1-f(x))。这个函数也会被用于下面的神经网络模型中做激活函数。M-P神经元模型生物的神经网络系统中，最简单最基本的结构是神经元。每个神经元...
分类：
其他好文 时间：
2016-04-15 12:17:00
阅读次数：
279
如何实现逻辑非(negation)上次我们实现了逻辑与与逻辑或运算，现在来看看逻辑非运算的实现如左上图所示，我们只有一个x1输入，还有一个bias unit(+1),如果我们将weights设为10,-20的话，则我们的hΘ(x)=g(10-20x1)。计算右上角的表格可以得出函数的值与逻辑非函数的...
分类：
其他好文 时间：
2015-11-25 22:22:48
阅读次数：
265
这一系列的文章，了解各大唱片《神经网络设计》这本书的收益和总结。第一部分介绍了三网融合：感知HammingHopfield感知机採用对称硬极限传输函数hardlims的单层感知机两输入感知机,w11 = -1, w22 = 1例如以下a = hardlims(n) = hardlim...
分类：
其他好文 时间：
2015-10-10 16:59:16
阅读次数：
268
一提到人工神经网络应当想到三个基础的知识点：一是神经元模型；二是神经网络结构；三是学习算法。神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。今天就对这三个基础知识点进行总结，达到指导神经网络学习以及深化对神经网络的理解的目的。
一、神经元模型
人工神经网络是在现代神经生物学研究基础上提出的...
分类：
其他好文 时间：
2015-08-14 19:21:00
阅读次数：
255
对于RBF神经网络的原理已经在我的博文《机器学习之径向基神经网络（RBF NN）》中介绍过，这里不再重复。今天要介绍的是常用的RBF神经网络学习算法及RBF神经网络与多层感知器网络的对比。
一、RBF神经网络学习算法
广义的RBF神经网络结构如下图所示：
N-M-L结构对应着N维输入，M个数据中心点centers，L个输出。
RBF 网络常用学习算法
RBF 网络的设计包括结...
分类：
编程语言 时间：
2015-08-07 11:10:30
阅读次数：
370
本文基于台大机器学习技法系列课程进行的笔记总结。
主要内容如下图所示：
首先介绍一下径向基函数网络的Hypothesis和网络的结构，然后介绍径向基神经网络学习算法，以及利用K-means进行的学习，最后通过一个实例加深对RBF神经网络认识和理解。
RBF神经网络的Hypothesis和网络结构
我们从基于Gaussian kernel的support vector mac...
分类：
其他好文 时间：
2015-07-17 09:50:54
阅读次数：
249
