在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却...
分类：
其他好文 时间：
2016-05-13 01:33:03
阅读次数：
149
优化
一般优化问题的基本形式
凸优化的基本形式
共轭函数
共轭函数是凸函数
对偶问题
拉格朗日函数
拉格朗日对偶函数
KKT条件
小结
优化一般优化问题的基本形式minimizef0(x),x∈Rnminimize \, f_0(x),x \in R^ns.t.fi(x)≤0,i=1?ms.t. \, f_i(x)\leq 0,i=1 \cdots ms.t.hj(x)=0,j=1?ns.t. \,...
分类：
编程语言 时间：
2016-05-07 01:09:08
阅读次数：
823
在解决优化问题时，经常会用到拉格朗日乘数法， 举一个简单的例子，f(x)=x2+y2,约束条件为h(x,y)=x+y-1=0,这个例子非常简单，简单到不需要使用拉格朗日乘数法来解决。 图只是示意一下，请忽略比例不对的地方，红色和绿色的线是目标函数的等高线，蓝色线是约束条件，其他带箭头的线表示法线。 ... ...
分类：
其他好文 时间：
2016-04-16 12:17:17
阅读次数：
205
四平方和定理，又称为拉格朗日定理：每个正整数都可以表示为至多4个正整数的平方和。如果把0包括进去，就正好可以表示为4个数的平方和。比如：5 = 0^2 + 0^2 + 1^2 + 2^27 = 1^2 + 1^2 + 1^2 + 2^2（^符号表示乘方的意思）对于一个给定的正整数，可能存在多种平方和 ...
分类：
其他好文 时间：
2016-04-09 00:18:35
阅读次数：
148
1.原始问题
假设f(x),ci(x),hj(x)是定义在上的连续可微函数，考虑约束最优化问题
称此越是最优化问题为原始最优化问题或原始问题。
首先，引入广义拉格朗日函数（generalized Lagrange function）
这里，是拉格朗日乘子，αi>=0，考虑x的函数：
这里，P表示是原始问题。
假设给定某...
分类：
其他好文 时间：
2016-03-30 13:12:08
阅读次数：
286
The Sum of the k-th Powers There are well-known formulas: , , . Also mathematicians found similar formulas for higher degrees. Find the value of the s
分类：
其他好文 时间：
2016-03-06 12:57:11
阅读次数：
213
1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是： 因为假设其连续可微，利用高中的知识，对求导数，然后令导数为0，就可解出最优解，很easy. 那么，问题来了（呵呵。
分类：
其他好文 时间：
2016-02-26 14:00:47
阅读次数：
146
题目链接 求sigma(i : 1 to n)i^k。 为了做这个题这两天真是补了不少数论， 之前连乘法逆元都不知道... 关于拉格朗日插值法， 我是看的这里http://www.guokr.com/post/456777/， 还挺有趣... 根据题目给出的例子我们可以发现， k次方的通项公式的最高
分类：
其他好文 时间：
2016-02-25 21:10:24
阅读次数：
271
最大方差法 PCA降维（欢迎讨论） 在上一篇的基础上继续讨论： 首先，得出原空间的中心点： 假设u1为投影向量，投影之后的方差为： 令方差最大（即：投影之后的点比较分散，没有相关性。以达到一个很好的降维效果），采用拉格朗日乘数法，U1T U1=1为约束条件。 则关于UT的方差表达式可以写成：...
分类：
其他好文 时间：
2015-12-27 14:41:28
阅读次数：
182
作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。 如何将一个含有n个变量和k个约束条件的约束优....
分类：
其他好文 时间：
2015-12-14 16:16:17
阅读次数：
174
