拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理工学院的在线数学课程。新学到的知识一定要立刻记录下来，希望对各位博友有些许帮助。 拉格朗日乘数法（Lagrange Multi ...
分类：
其他好文 时间：
2017-09-16 21:56:19
阅读次数：
204
在学习支持向量机（SVM）的过程中遇到了拉格朗日对偶问题与 KKT 条件，这里简单介绍一下拉格朗日对偶问题的推导。 ...
分类：
其他好文 时间：
2017-09-09 21:38:33
阅读次数：
168
常用的插值：拉格朗日多项式插值、牛顿插值、分段线性插值、Hermite 插值和三次样条插值。 1.拉格朗日插值法 测试： >> x0=1:5; >> y0=x0.^2; >> x=2.5; >> y=lagrange(x0,y0,x) y = 6.2500 >> plot(x0,y0) >> hol ...
分类：
其他好文 时间：
2017-09-09 18:04:55
阅读次数：
289
一.svm概述 svm是一种二分类模型，学习策略是通过间隔最大化来实现分类的目的，最终转化为了凸二次规划求解，即： 的确我们可以单纯的通过求解凸二次规划问题来获得答案，但是当训练样本量很大时，这些算法就会变的低效，从上面的公式就可以直观看出，有多少样例就有多少乘子，如何高效求解拉格朗日乘子成为了关键 ...
分类：
编程语言 时间：
2017-09-03 01:15:11
阅读次数：
315
上节我们探讨了关于拉格朗日乘子和KKT条件。这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。 一个简单的二分类问题例如以下图： 我们希望找到一个决策面使得两类分开。这个决策面一般表示就是WTX+b=0W^TX+b=0,如今的问题是找到相应的W和b使得切割最好。知道logistic分类 机 ...
分类：
其他好文 时间：
2017-08-19 14:11:23
阅读次数：
321
拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法，通过引入拉格朗日乘子，可将有m个变量和n个约束条件的最优化问题转化为具有m+n个变量的无约束优化问题。在介绍拉格朗日乘子法之前，先简要的介绍一些前置知识,然后就拉格朗日乘子法谈一下自己的理解。 一 前置知识 1.梯度 梯度是一个与方向导数有关的 ...
分类：
其他好文 时间：
2017-08-18 21:31:12
阅读次数：
298
1. SVM 支持向量机学习的目标是找到一个分离超平面，能将实例分到不同的类。间隔最大化保证了了超平面的唯一性，即不仅将正负实例点分开，对离超平面最近的点，也有足够大的确信度将它们分开。 2. 什么是函数间隔和几何间隔？ 函数间隔y(wx+b)：|wx+b|表示点x距离超平面的远近，wx+b的符号与 ...
分类：
其他好文 时间：
2017-08-16 17:01:17
阅读次数：
131
首先，考虑标准形式的凸最优化问题： 则其拉格朗日函数为： 其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。 拉格朗日对偶函数： 下面介绍拉格朗日对偶函数的一个重要性质： 拉格朗日对偶函数构成了原凸最优化问题 ...
分类：
其他好文 时间：
2017-08-14 19:58:34
阅读次数：
144
拉格朗日乘数法是用来求条件极值的，极值问题有两类，其一，求函数在给定区间上的极值，对自变量没有其它要求，这种极值称为无条件极值。 其二，对自变量有一些附加的约束条件限制下的极值，称为条件极值。例如给定椭球： 求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件： 下，求的最大值 ...
分类：
其他好文 时间：
2017-08-10 13:39:49
阅读次数：
124
正式学习之前，所需要的预备知识（主要是数学）应该包括：微积分（偏导数、梯度等等）、概率论与数理统计（例如极大似然估计、中央极限定理、大数法则等等）、最优化方法（比如梯度下降、牛顿-拉普什方法、变分法（欧拉-拉格朗日方程）、凸优化等等）——如果你对其中的某些名词感到陌生，那么就说明你尚不具备深入开展数 ...
分类：
其他好文 时间：
2017-08-07 19:29:03
阅读次数：
169
