感知机模型

标签：

        定义：假设输入空间，输出空间是y={+1,-1}。输入x∈X表示实例的特征向量，对于输入空间的点；输出y∈表示实例的类别。由输入空间到输出空间的如下函数

称为感知机。

       感知机是一种线性分类器，属于判别器。

       线性方程w●x+b=对应于特征空间中的一个超平面S,w是超平面的法向量,b是超平面的截距。位于两部分的点（特征向量）分为正负两类。S称为分离超平面（seperating hyperplane）。

2.2感知机学习策略

     2.2.1数据集的线性可分性

     给定一个数据集，如果存在某个数超平面

w●x+b=0

能把数据集的正负实例点完全正确的划分到超平面的两侧，即对所有yi=+1的实例i，w●xi+b>0；对所有yi=-1d的实例i,有w●xi+b<0，则称数据集为线性可分数据集。

    2.2.1感知机学习策略

      损失函数的选择：a.误分点的总数（不是参数w,b的可导函数）

                                   b.误分点到超平面的距离（||W||是W的L2范数）

     对于误分类数据来说

-yi(w●xi)>0

     成立。因此误分类点到超平面S的距离是

     所有误分点到S的距离

            损失函数定义为

      其中M为误分类点的集合，这个损失函数是感知机学习的经验风险函数。

2.2感知机学习算法

2.2.1感知机学习算法的原始形式

感知机学习算法是误分类驱动的，具体采用随机梯度下降法(stochastic gradient descent)

其中η是学习率。

算法2.1

输入：训练数据集T={(x1,y1),(x2,y2).......(xn,yn)}其中xi∈X=Rn,yi∈Y={-1,+1},i=1,2,....,N；学习率η（0<η<=1）；

输出：w,b；感知机模型f(x)=sign(w●x+b).

（1）选取初值w0,b0，

（2）在训练集中选取数据（xi,yi）

（3）如果yi(w●xi+b)<=0

（4）转置（2），直至训练集中没有误分类点

2.2.1感知机学习算法的对偶形式

对偶形式的基本想法是，将w和b表示为实例xi和yi的线性组合的形式，通过求解系数求得w和b。

在算法2.1中可假设初始值w0,b0均为0，对误分类点通过

逐步修改w,b,设修改n次，则w,b关于（wi,yi）的增量分别是αiyixi和αiyi（这里αi=niη），这样最后学习到的w,b可以表示为

(αi>=0)

当η=1时，表示第i个实例点由于误分而进行更新的次数，实例点更新次数越多，意味着塔距离分离超平面越近，也就越难正确分类。

算法2.2

Gram矩阵

感知机模型

标签：

原文地址：http://blog.csdn.net/pmt123456/article/details/50996430