标签:
定义:假设输入空间,输出空间是y={+1,-1}。输入x∈X表示实例的特征向量,对于输入空间的点;输出y∈表示实例的类别。由输入空间到输出空间的如下函数
称为感知机。
感知机是一种线性分类器,属于判别器。
线性方程w●x+b=对应于特征空间中的一个超平面S,w是超平面的法向量,b是超平面的截距。位于两部分的点(特征向量)分为正负两类。S称为分离超平面(seperating hyperplane)。
2.2感知机学习策略
2.2.1数据集的线性可分性
给定一个数据集,如果存在某个数超平面
w●x+b=0
能把数据集的正负实例点完全正确的划分到超平面的两侧,即对所有yi=+1的实例i,w●xi+b>0;对所有yi=-1d的实例i,有w●xi+b<0,则称数据集为线性可分数据集。
2.2.1感知机学习策略
损失函数的选择:a.误分点的总数(不是参数w,b的可导函数)
b.误分点到超平面的距离(||W||是W的L2范数)
对于误分类数据来说
-yi(w●xi)>0
成立。因此误分类点到超平面S的距离是
所有误分点到S的距离
损失函数定义为
其中M为误分类点的集合,这个损失函数是感知机学习的经验风险函数。
2.2感知机学习算法
2.2.1感知机学习算法的原始形式
感知机学习算法是误分类驱动的,具体采用随机梯度下降法(stochastic gradient descent)
其中η是学习率。
算法2.1
输入:训练数据集T={(x1,y1),(x2,y2).......(xn,yn)}其中xi∈X=Rn,yi∈Y={-1,+1},i=1,2,....,N;学习率η(0<η<=1);
输出:w,b;感知机模型f(x)=sign(w●x+b).
(1)选取初值w0,b0,
(2)在训练集中选取数据(xi,yi)
(3)如果yi(w●xi+b)<=0
(4)转置(2),直至训练集中没有误分类点
2.2.1感知机学习算法的对偶形式
对偶形式的基本想法是,将w和b表示为实例xi和yi的线性组合的形式,通过求解系数求得w和b。
在算法2.1中可假设初始值w0,b0均为0,对误分类点通过
逐步修改w,b,设修改n次,则w,b关于(wi,yi)的增量分别是αiyixi和αiyi(这里αi=niη),这样最后学习到的w,b可以表示为
(αi>=0)
当η=1时,表示第i个实例点由于误分而进行更新的次数,实例点更新次数越多,意味着塔距离分离超平面越近,也就越难正确分类。
算法2.2
输入:训练数据集T={(x1,y1),(x2,y2).......(xn,yn)}其中xi∈Rn,yi∈Y={-1,+1},i=1,2,....,N;学习率η(0<η<=1);
(1)α<--0,b<--0
(2)在训练集中选取数据(xi,yi)
(3)如果
则
(4)转置(2),直至训练集中没有误分类点
对偶形式中训练实例仅以内积的形式出现,可预先将训练集中的实例间的内积计算出来并以矩阵的形式存储,
标签:
原文地址:http://blog.csdn.net/pmt123456/article/details/50996430