支持向量机(SVM) 支持向量机(SVM)问题的提出：最优分离平面（决策边界） 优化目标决策边界边缘距离最远 数学模型问题转化为凸优化拉格朗日乘子法——未知数太多KKT变换和对偶公式问题的解决和神经网络化对偶公式是...
分类：
其他好文 时间：
2015-10-15 23:46:23
阅读次数：
494
写在之前 支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。
本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这...
分类：
其他好文 时间：
2015-08-17 19:33:39
阅读次数：
1322
上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图：
我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0W^TX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每...
分类：
其他好文 时间：
2015-08-17 19:32:59
阅读次数：
315
关于拉格朗日乘子法与KKT条件关于拉格朗日乘子法与KKT条件目录拉格朗日乘子法的数学基础共轭函数拉格朗日函数拉格朗日对偶函数目标函数最优值的下界拉格朗日对偶函数与共轭函数的联系拉格朗日对偶问题如何显式的表述拉格朗日对偶问题由定义消去下确界隐式求解约束共轭函数法弱对偶强对偶原始问题与对偶问题的关系最优...
分类：
其他好文 时间：
2015-08-11 21:07:21
阅读次数：
878
拉格朗日乘子法：对于等式约束的优化问题，求取最优值。KKT条件：对于含有不等式约束的优化问题，求取最优值。最优化问题分类：（1）无约束优化问题： 常常使用Fermat定理，即求取的导数，然后令其为零，可求得候选最优值。（2）有等式约束的优化问题：， 使用拉格朗日乘子法，把等式约束用一个系数与写为.....
分类：
其他好文 时间：
2015-07-22 10:34:14
阅读次数：
107
这节课讲的是SVM的对偶问题，比较精彩的部分：为何要使用拉格朗日乘子以及如何进行对偶变换。 参考：http://www.cnblogs.com/bourneli/p/4199990.html http://www.cnblogs.com/xbf9xbf/p/4619866.html
分类：
系统相关 时间：
2015-07-18 12:14:26
阅读次数：
170
算法原理：算法通过最小化约束条件4ac-b^2 = 1，最小化距离误差。利用最小二乘法进行求解，首先引入拉格朗日乘子算法获得等式组，然后求解等式组得到最优的拟合椭圆。参考文献：Andrew W. Fitzgibbon, Maurizio Pilu and Robert B. Fisher. Dire...
分类：
其他好文 时间：
2015-07-06 19:49:27
阅读次数：
365
对SVM的个人理解之前以为SVM很强大很神秘，自己了解了之后发现原理并不难，不过，“大师的功力在于将idea使用数学定义它，使用物理描述它”，这一点在看SVM的数学部分的时候已经深刻的体会到了，最小二乘法、梯度下降法、拉格朗日乘子、对偶问题等等被搞的焦头烂额。在培乐园听了讲课之后才算比较清晰的了解了...
分类：
其他好文 时间：
2015-06-19 21:32:03
阅读次数：
278
在数学最优化问题中,拉格朗日乘数（以约瑟夫·路易斯·拉格朗日命名） 是一种寻找变量受一个或多个限制的多元方程的极值的方法。这种方法将一个有n变量与k约束的问题转换为一个更易解的n+k个变量的方程组，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的斜率（gradient...
分类：
其他好文 时间：
2015-04-16 19:32:25
阅读次数：
236
http://blog.csdn.net/xianlingmao/article/details/7919597
在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；...
分类：
其他好文 时间：
2014-11-19 10:31:14
阅读次数：
1092
