Chapter 1:Classification 用于各类分类操作，其中包括对高斯混合模型的操作、对分类器的相关操作、对感知器的相关操作以及对支持向量机的相关操作。Chapter 2 ：Control ，用于程序的执行控制。包括程序常用的跳转语句，比如continue、if/else、for等等。Chapter3 :Develop，主要用于窗口的操作，比如窗口的关闭、显示等。Chapter 4 :...
分类：
其他好文 时间：
2015-08-28 17:50:52
阅读次数：
367
隐藏单元：节点的输出在网络内部输出单元：节点的输出是整个网络的输出（PS：输出单元一般有多个，最终系统采取的决策是所有输出单元中最“合理”的）输入单元：节点的输入是整个网络的输入，节点的输出是隐藏单元的输入（带权重）感知器感知器的训练法则：感知器法则（线性可分）：wi=wi+?(t-o)xi；注意此...
分类：
其他好文 时间：
2015-08-17 00:41:02
阅读次数：
160
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，...
分类：
其他好文 时间：
2015-08-10 12:02:38
阅读次数：
261
首先从单层神经网络开始介绍最简单的单层神经网络可以看成是多个Perception的线性组合，这种简单的组合可以达到一些复杂的boundary。比如，最简单的逻辑运算AND OR NOT都可以由多个perception构成的单层神经网络模拟。但是，单层感知器神经网络能力再强也是有限的，有些逻辑也无法完...
分类：
Web程序 时间：
2015-08-08 11:55:07
阅读次数：
855
一、引言
在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷...
分类：
其他好文 时间：
2015-08-08 10:31:01
阅读次数：
270
感知器1.定义 感知器是一种最简单的前馈神经网络，多输入单输出，是一种二分类。
优点：学习算法简单，易于理解。
缺点：学习速率低，学习效果差。不便于初学者运用，参数选择很难。2.算法 采用的是一种简单的惩罚机制。条件：
样本特征值：x=[x1,x2........xn]x = [x_1, x_2 ........ x_n]， y∈y \in { -1, 1}， 初始值θ\th...
分类：
其他好文 时间：
2015-08-07 20:05:39
阅读次数：
203
对于RBF神经网络的原理已经在我的博文《机器学习之径向基神经网络（RBF NN）》中介绍过，这里不再重复。今天要介绍的是常用的RBF神经网络学习算法及RBF神经网络与多层感知器网络的对比。
一、RBF神经网络学习算法
广义的RBF神经网络结构如下图所示：
N-M-L结构对应着N维输入，M个数据中心点centers，L个输出。
RBF 网络常用学习算法
RBF 网络的设计包括结...
分类：
编程语言 时间：
2015-08-07 11:10:30
阅读次数：
370
一、前言
经过一段时间的积累，对于神经网络，已经基本掌握了感知器、BP算法及其改进、AdaLine等最为简单和基础的前馈型神经网络知识，下面开启的是基于反馈型的神经网络Hopfiled神经网络。前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。J.J. Hopfield教授在反馈神经网络中引...
分类：
其他好文 时间：
2015-08-07 00:23:54
阅读次数：
412
一、批量学习 在监督学习的批量方法中，多层感知器的突出权值的调整在训练样本集合的所有N个例子都出现后进行，这构成了训练的一个回合。换句话说，批量学习的代价函数是由平均误差能量定义的。多层感知器的突触权值的调整是以回合-回合为基础的。相应地，学习曲线的一种实现方式是通过描绘平均误差能量对回合数的图形....
分类：
其他好文 时间：
2015-08-03 18:52:59
阅读次数：
427
一、感知器算法和LMS算法 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。 感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。 而由美国斯坦福大学的Widrow和Hoff在研究自适...
分类：
编程语言 时间：
2015-08-03 18:41:35
阅读次数：
125
