感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
损失函数和风险函数 损失函数（loss function），代价函数（cost function） 用来度量预测错误的程度。常用的如下： 0-1损失函数（0-1 loss function） 平方损失函数（quadratic loss function） 绝对损失函数（absolute loss f...
分类：
其他好文 时间：
2015-06-10 00:52:21
阅读次数：
162
机器学习中梯度下降（Gradient Descent， GD）算法只需要计算损失函数的一阶导数，计算代价小，非常适合训练数据非常大的应用。梯度下降法的物理意义很好理解，就是沿着当前点的梯度方向进行线搜索，找到下一个迭代点。但是，为什么有会派生出 batch、mini-batch、online这些GD...
分类：
编程语言 时间：
2015-06-06 19:23:07
阅读次数：
237
在机器学习中，无论是分类还是回归，都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有
（1）减少特征，留取最重要的特征。
（2）惩罚不重要的特征的权重。
但是通常情况下，我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合，提高泛化能力。
先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说，在代价函数后面加上一个正则化项，得到...
分类：
其他好文 时间：
2015-05-30 13:35:15
阅读次数：
183
逻辑回归模型预估的是样本属于某个分类的概率，其损失函数(Cost Function)可以像线型回归那样，以均方差来表示；也可以用对数、概率等方法。损失函数本质上是衡量”模型预估值“到“实际值”的距离，选取好的“距离”单位，可以让模型更加准确。1. 均方差距离\[{J_{sqrt}}\left( w ...
分类：
其他好文 时间：
2015-05-18 16:20:33
阅读次数：
132
最小化误分类率 假设我们的目标是尽可能降低错误分类。那么我们就需要一个给每个x值分配可用类的规则。这样的规则输入空间划分成区域Rk，称为决策区域，Rk中的所有点都被分配到类Ck。决定区域之间称为决策边界或决策表面。注意，每个决策区域不必是连续的，但由一些互斥的地区组成。我们将在后面的章节中遇到决策边界和决策区域的实例。为了找到最佳的决策规则，首先考虑两个类的所有情况，如癌症问题。当属于C1类的输入...
分类：
其他好文 时间：
2015-05-13 22:05:04
阅读次数：
297
1.autoencoderautoencoder的目标是通过学习函数，获得其隐藏层作为学习到的新特征。从L1到L2的过程成为解构，从L2到L3的过程称为重构。每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化使用差的平方作为损失函数 2.sparse spare的...
分类：
Web程序 时间：
2015-05-09 16:12:57
阅读次数：
223
感知机：这是最简单的一个机器学习算法，不过有几点还是要注意一下。 首先是损失函数的选取，还有为了使损失函数最小，迭代过程采用的梯度下降法，最后得到最优的w,b 直观解释就是，调整w,b的值，使分离超平面向误分类点移动，以减小误分点与超平面的距离，直至超平面 ...
分类：
编程语言 时间：
2015-05-05 10:24:34
阅读次数：
135
1.感知机：二类分类的线性模型，输入为实例的特征向量，输出为某类别，取+1和-1.目的在求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.感知机模型： ，sign为符号函数，w为权值或权向量，b为偏置。 其几何解释：对应一个越.....
分类：
其他好文 时间：
2015-04-29 23:04:34
阅读次数：
186
