标签：
感知机(Perceptron)是二分类问题的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。
感知机于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机于1957年由Rosenblatt提出，是神经网络和支持向量机的基础。
在这里，不用《统计学习方法》书中的变量表示方式，我们用表示数据集，一共
个样本，
个维度，用
表示数据集中的第
个样本，用
表示标记（类别）向量，
代表第
个样本
的标记。
我们将要学习的目标函数是：
称为感知机。其中，和
为感知机模型参数，
为权值向量，
叫作偏置（bias），
表示
和
的内积。
是符号函数，即：
所以，在这里，根据上式可知
时为分类的边界（超平面）。
对于数据集，如果能够将数据集的正负样例完全正确地划分到超平面的两侧，即对于所有
的实例
有
，对于所有
的实例
有
，则称这个数据集为线性可分的数据集，否则数据集线性不可分。
假设数据集是线性可分的，感知机的学习目标是求得一个能够将训练集正负样例能够完全分开的超平面。找出这样的超平面，其实就是要确定感知机的模型参数和
。所以我们首先要定义损失函数，再将其最小化。
感知机的损失函数是针对误分类的点，最小化误分类的点到超平面的距离，不断进行调整。
对于输入空间的任一一个样例，所要计算的距离就是这个点到
的距离。
根据点到直线的距离公式：
代入其中，可以得到：
进一步，进行简化约等，可以得到如下式子：
其中，是
的
范数。
对于误分类的样例来说，
成立。所以误分类的点到超平面的距离为：
假如对于所有的误分类点集合为，那么所有的误分类点到超平面的总距离为：
不考虑，就得到了感知机的损失函数：
显然，损失函数是非负的，如果没有误分类的点，损失函数的值为0。并且，误分类点越少，误分类点离超平面越近，损失函数越小。所以对于完全线性可分的数据集，当损失函数
为0时，即达到了完全正确分类。
这个损失函数可以用梯度下降法来解，对于和
的梯度用偏导可以直接求出来，具体过程不再赘述。
参考资料：
李航 《统计学习方法》
标签：
原文地址：http://www.cnblogs.com/Rambler1995/p/5470871.html
