这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
为函数间隔的定义
考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：
几何间隔：
= r hat / || w ||
最优间隔分类器的定义：
拉格朗日对偶性：略。
若要dual*=primary*=L(w*,...
分类：
其他好文 时间：
2016-05-13 02:42:59
阅读次数：
169
优化
一般优化问题的基本形式
凸优化的基本形式
共轭函数
共轭函数是凸函数
对偶问题
拉格朗日函数
拉格朗日对偶函数
KKT条件
小结
优化一般优化问题的基本形式minimizef0(x),x∈Rnminimize \, f_0(x),x \in R^ns.t.fi(x)≤0,i=1?ms.t. \, f_i(x)\leq 0,i=1 \cdots ms.t.hj(x)=0,j=1?ns.t. \,...
分类：
编程语言 时间：
2016-05-07 01:09:08
阅读次数：
823
1.原始问题
假设f(x),ci(x),hj(x)是定义在上的连续可微函数，考虑约束最优化问题
称此越是最优化问题为原始最优化问题或原始问题。
首先，引入广义拉格朗日函数（generalized Lagrange function）
这里，是拉格朗日乘子，αi>=0，考虑x的函数：
这里，P表示是原始问题。
假设给定某...
分类：
其他好文 时间：
2016-03-30 13:12:08
阅读次数：
286
1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是： 因为假设其连续可微，利用高中的知识，对求导数，然后令导数为0，就可解出最优解，很easy. 那么，问题来了（呵呵。
分类：
其他好文 时间：
2016-02-26 14:00:47
阅读次数：
146
2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等...
分类：
其他好文 时间：
2015-11-26 12:50:25
阅读次数：
235
拉格朗日乘子（Lagrange Multipliers）又称为待定乘数法（Undetermined Multipliers），通常用来寻找某一函数在一个或多个约束条件下的最值点。其主要思想是引入一个新的变量λ（即拉格朗日乘子），把约束条件和原函数结合到一起，形成新的函数，这个新的函数的最值点与原函数...
分类：
其他好文 时间：
2015-10-26 07:04:30
阅读次数：
330
关于拉格朗日乘子法与KKT条件关于拉格朗日乘子法与KKT条件目录拉格朗日乘子法的数学基础共轭函数拉格朗日函数拉格朗日对偶函数目标函数最优值的下界拉格朗日对偶函数与共轭函数的联系拉格朗日对偶问题如何显式的表述拉格朗日对偶问题由定义消去下确界隐式求解约束共轭函数法弱对偶强对偶原始问题与对偶问题的关系最优...
分类：
其他好文 时间：
2015-08-11 21:07:21
阅读次数：
878
转自：七月算法社区http://ask.julyedu.com/question/276咨询：带约束优化问题 拉格朗日 对偶问题 KKT条件关注|22...咨询下各位，在机器学习相关内容中，每次看到带约束优化问题，总是看到先用拉格朗日函数变成无约束问题，然后转成求拉格朗日对偶问题，然后有凸函数假设，...
分类：
其他好文 时间：
2015-07-08 00:18:51
阅读次数：
388
主要解决带约束的最优化问题，把原始问题转换为对偶问题，在支持向量机中有使用 f(x),ci(x),hj(x)是Rn(n维实数集)上的连续可微函数 1.原始问题： 目标函数：min f(x) (x∈Rn) 约束条件：ci(x)≤0 (i=1,2...k) ...
分类：
其他好文 时间：
2015-06-23 06:14:08
阅读次数：
345
