杂谈SVM

1. SVM的优势

（1）可以解决小样本情况下的机器学习问题

（2）可以提高泛化性能

（3）可以解决高维问题
（4）可以解决非线性问题

（5）可以避免神经网络结构选择和局部极小点问题

2. SVM的研究热点

（1）模式识别

（2）回归估计

（3）概率密度估计

3. SVM的主要核函数

（1）多项式核函数

（2）径向基核函数

（3）Sigmoid核函数

4. SVM的应用

（1）文本分类

（2）人脸识别

（3）三维物体识别

（4）遥感图像分析

（5）函数逼近

（6）时间序列预测

（7）数据压缩

（8）优化SVM算法

（9）SVM改进方法

（10）SVM硬件实现

5. SVM的难点

（1）如何在非监督模式识别问题中应用统计学习理论（SLT）

（2）如何用理论或实验的方法计算VC维

（3）经验风险和实际风险之间的关系称之为推广性的界，但是当(h/n)>0.37时（h—VC维，n—样本数），推广性的界是松弛的，如何寻找一个更好地反映学习机器能力的参数和得到更紧的界

（4）实现结构风险最小化（SRM）时，如何选择函数子集结构

转自：http://blog.ewyu.com/dinga/article.asp?id=31

SVM(support vector machine 支持向量机)

　　支持向量机SVM(Support Vector Machine)作为一种可训练的机器学习方法,依靠小样本学习后的模型参数进行导航星提取,可以得到分布均匀且恒星数量大为减少的导航星表

　　基本情况　Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线

性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine,简称SVM)。支持向量机的提出有很深的理论背景。支持向量机方法是在近年来提出的一种新方法。

　　SVM的主要思想可以概括为两点： (1) 它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；(2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全

局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。

　　在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。

　　（1）SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。

　　（2）SVM通过最大化决策边界的边缘来控制模型的能力。尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。

　　（3）通过对数据中每个分类属性引入一个哑变量，SVM可以应用与分类数据。

　　(4)SVM不仅可以用在二类问题，还可以很好的处理多类问题。

两个不足：
(1) SVM算法对大规模训练样本难以实施
由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法
(2) 用SVM解决多分类问题存在困难
经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器。