机器学习算法一：感知器学习

问题描述：

　　给定线性可分数据集：T={(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}，存在超平面S：$w\cdot x+b=0$

$ \left\{\begin{matrix} w\cdot x+b>0,y=+1\\  w\cdot x+b<0,y=-1 \end{matrix}\right. $

学习策略：

　　定义点x₀到超平面S的距离为：

　　$\frac{1}{\left \| w \right \|}\left | w \cdot x +b \right |$

　　对于误分类的数据$(x_{i},y_{i})$来说，$-y_{i}(w \cdot x_{i}+b)>0$

　　因此误分类点x_{i}到超平面S的距离时：$-\frac{1}{\left \| w \right \|} y_{i}(w \cdot x_{i}+b)$

　　假设超平面S的误分类点集合为M,那么所有误分类点到超平面S的总距离为：

$- \frac{1}{\left \| w \right \|}\sum_{x_{i}\in M}y_{i}(w \cdot x_{i}+b)$

　　不考虑$\frac{1}{\left \| w \right \|}$ ，就得到感知机学习的损失函数。

　　定义损失函数为： $L(w,b)=-\sum_{x_{i} \in M}y_{i}(w \cdot x_{i}+b)$,其中M为误分类点的集合。

　　最小化损失函数：$\min_{w,b}L(w,b\displaystyle )=L(w,b)=-\sum_{x_{i} \in M}y_{i}(w \cdot x_{i}+b)$

　　使用梯度下降法求解：梯度分别为

　　$\bigtriangledown _wL(w,b)=-\sum_{x{i} \in M}y_{i}x_{i}$

　　$\bigtriangledown _bL(w,b)=-\sum_{x_{i} \in M}y_{i}$

　　随机选取一个误分类点$(x_{i},y_{i})$，对w，b进行更新：

　　$w\leftarrow w+\eta y_{i}x_{i}$
　　$b \leftarrow b+ \eta y_{i}$

　　其中$\eta$成为步长，即学习率（learning rate）