拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多...
分类：
其他好文 时间：
2015-11-27 06:43:22
阅读次数：
243
2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等...
分类：
其他好文 时间：
2015-11-26 12:50:25
阅读次数：
235
无论是研究图像处理还是做机器学习，我们不免发现最优化理论在其中的重要应用。因为很多时候我们都要在一个可能的范围内求极值。求极值的方法很多，但工程应用中最常被用到的都是以“欧拉-拉格朗日方程”为基础的方法，又称为变分法。理解泛函这个概念对于变分法非常重要。很多人认为，泛函分析是一门非常难非常难的数学。好在，我们并不用掌握它的全部内容，本文所谈到内容将为你打开“变分法”世界的大门！...
分类：
其他好文 时间：
2015-11-12 13:46:36
阅读次数：
353
拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理工学院的在线数学课程。新学到的知识一定要立刻记录下来，希望对各位博友有些许帮助。1. 拉格朗日乘数法的基本思想 作为一种...
分类：
其他好文 时间：
2015-11-08 14:15:41
阅读次数：
357
拉格朗日乘子（Lagrange Multipliers）又称为待定乘数法（Undetermined Multipliers），通常用来寻找某一函数在一个或多个约束条件下的最值点。其主要思想是引入一个新的变量λ（即拉格朗日乘子），把约束条件和原函数结合到一起，形成新的函数，这个新的函数的最值点与原函数...
分类：
其他好文 时间：
2015-10-26 07:04:30
阅读次数：
330
支持向量机(SVM) 支持向量机(SVM)问题的提出：最优分离平面（决策边界） 优化目标决策边界边缘距离最远 数学模型问题转化为凸优化拉格朗日乘子法——未知数太多KKT变换和对偶公式问题的解决和神经网络化对偶公式是...
分类：
其他好文 时间：
2015-10-15 23:46:23
阅读次数：
494
这题问的问题 据我的理解应该是 找到使这个式子最大化的c， 用Xi表示出来， 解法我认为应该用拉格朗日乘数法。 令 $L(c,\lambda)=c^T\Sigma c - \lambda (c^Tc-1)$，然后对$L$求c的偏导数并设为0：$$\nabla(L)_c=2\Sigma c - 2\l...
分类：
其他好文 时间：
2015-09-20 19:13:06
阅读次数：
194
BZOJ 3684 大朋友与多叉树 多项式求幂/求exp+拉格朗日反演...
分类：
其他好文 时间：
2015-09-14 12:16:08
阅读次数：
289
写在之前 支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。
本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这...
分类：
其他好文 时间：
2015-08-17 19:33:39
阅读次数：
1322
上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图：
我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0W^TX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每...
分类：
其他好文 时间：
2015-08-17 19:32:59
阅读次数：
315
