第二部分：转化为对偶问题进一步简化 这一部分涉及的数学原理特别多。如果有逻辑错误希望可以指出来。 上一部分得到了最大间隔分类器的基本形式： 其中i=1,2,3...m 直接求的话一看就很复杂，我们还需要进一步简化。 这里就需要介绍拉格朗日乘子法。介绍它还是从最最简单的形式说起： 一.关于优化问题的最 ...
分类：
其他好文 时间：
2017-09-17 17:33:30
阅读次数：
227
一.svm概述 svm是一种二分类模型，学习策略是通过间隔最大化来实现分类的目的，最终转化为了凸二次规划求解，即： 的确我们可以单纯的通过求解凸二次规划问题来获得答案，但是当训练样本量很大时，这些算法就会变的低效，从上面的公式就可以直观看出，有多少样例就有多少乘子，如何高效求解拉格朗日乘子成为了关键 ...
分类：
编程语言 时间：
2017-09-03 01:15:11
阅读次数：
315
上节我们探讨了关于拉格朗日乘子和KKT条件。这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。 一个简单的二分类问题例如以下图： 我们希望找到一个决策面使得两类分开。这个决策面一般表示就是WTX+b=0W^TX+b=0,如今的问题是找到相应的W和b使得切割最好。知道logistic分类 机 ...
分类：
其他好文 时间：
2017-08-19 14:11:23
阅读次数：
321
拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法，通过引入拉格朗日乘子，可将有m个变量和n个约束条件的最优化问题转化为具有m+n个变量的无约束优化问题。在介绍拉格朗日乘子法之前，先简要的介绍一些前置知识,然后就拉格朗日乘子法谈一下自己的理解。 一 前置知识 1.梯度 梯度是一个与方向导数有关的 ...
分类：
其他好文 时间：
2017-08-18 21:31:12
阅读次数：
298
首先，考虑标准形式的凸最优化问题： 则其拉格朗日函数为： 其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。 拉格朗日对偶函数： 下面介绍拉格朗日对偶函数的一个重要性质： 拉格朗日对偶函数构成了原凸最优化问题 ...
分类：
其他好文 时间：
2017-08-14 19:58:34
阅读次数：
144
拉格朗日乘子法 那些年学过的高数 关键词：高数课本 拉格朗日乘子法如何理解？ 关键词：解释形象 关于凸优化的一些简单概念 关键词： 为什么凸优化这么重要 关键词：显示不是凸函数，我们这能假设是凸函数，这样我们求得的局部最优才是全局最优 支持向量机 系列教程 关键词： 拉格朗日乘子法如何理解？ 关键词 ...
分类：
其他好文 时间：
2017-08-04 20:37:57
阅读次数：
132
目标函数：最小化$f(x,y,z)=x^2+y^2+z^2$ 约束： $g_1(x,y,z)=x+y-2=0$ $g_2(x,y,z)=x+z-2=0$ 目标函数f在三维空间中的等值线是一个个球面。 约束$g_1,g_2$在三维空间中分别是一个平面 仅考虑一个约束：考虑$g_1$上任意一条轨迹线t， ...
分类：
其他好文 时间：
2017-07-10 10:38:30
阅读次数：
160
问题：函数f(x,y,z)在 g(x,y,z)=0 的约束下取极值（最大或最小) f(x,y,z)=c c取定义域中的任意值时形成空间中一系列曲面 S_f，这些曲面互相平行（不允许相交--等位面|线的定义）， g(x,y,z)=0是空间中的曲面S_g，因为x,y,z要取S_g上的点，所以只有那些 交 ...
分类：
其他好文 时间：
2017-07-08 10:12:32
阅读次数：
122
果然还是太弱了啊。连着被ljj虐两天，暴力都一脸mengbi. 表示是时候好好整理一下数论了。 NOIP难度： 数论 1.gcd、lcm 2.埃氏筛法 3.exgcd，求解同余方程、逆元 4.快速幂 5.*组合数学 6.矩阵 7.欧拉函数 8.容斥原理 9.期望 省选难度： 1.7 数学相关 1. ...
分类：
其他好文 时间：
2017-06-29 22:08:50
阅读次数：
128
极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ ...
分类：
其他好文 时间：
2017-06-14 16:08:00
阅读次数：
180
