最近在学习 SVM 的过程中，遇到关于优化理论中拉格朗日乘子法的知识，本文是根据几篇文章总结得来的笔记。由于是刚刚接触，难免存在错误，还望指出?? 另外，本文不会聊到深层次的数学推导，仅仅是介绍拉格朗日乘子法的内容，应用，以及个人对它的感性理解。 什么是拉格朗日乘子法 按照维基百科的定义，拉格朗日乘 ...
分类：
其他好文 时间：
2018-01-07 16:06:04
阅读次数：
222
$$ min \quad f = 2x_1^2+3x_2^2+7x_3^2 \\s.t. \quad 2x_1+x_2 = 1 \\ \quad \quad \quad 2x_2+3x_3 = 2 $$ $$ min \quad f = 2x_1^2+3x_2^2+7x_3^2 +\alpha _1 ...
分类：
其他好文 时间：
2017-12-11 22:08:21
阅读次数：
131
1. 拉格朗日乘子(Lagrange Multiplier)法 假设函数z=f(x,y)，求该函数的最小值，如果没有约束条件，则可以表示为minf(x,y)，要求出minf(x,y)很简单，根据Fermat定理，分别对x和y求导数并让其等于0，如果是凸函数，则求出来的点就是函数取得最小值的点，该点的 ...
分类：
其他好文 时间：
2017-11-16 22:06:50
阅读次数：
258
0 前言 上”最优化“课，老师讲到了无约束优化的拉格朗日乘子法和KKT条件。 这个在SVM的推导中有用到，所以查资料加深一下理解。 1 无约束优化 对于无约束优化问题中，如果一个函数f是凸函数，那么可以直接通过f(x)的梯度等于0来求得全局极小值点。 为了避免陷入局部最优，人们尽可能使用凸函数作为优 ...
分类：
其他好文 时间：
2017-11-10 00:29:15
阅读次数：
136
主问题 (primal problem)具有 \(m\) 个等式约束和 \(n\) 个不等式约束，且可行域 \(\mathbb{D} \subset \mathbb{R}^d\)的非空优化问题 \[\begin{align}\min_x \ f(\boldsymbol{x}) \notag\\ s.... ...
分类：
其他好文 时间：
2017-10-22 22:02:11
阅读次数：
361
参考资料： 对偶函数-http://blog.pluskid.org/?p=702 KTT和拉格朗日乘子-http://www.cnblogs.com/zhangchaoyang/articles/2726873.html SVM推倒：http://blog.sina.com.cn/s/blog_4 ...
分类：
其他好文 时间：
2017-10-20 20:20:20
阅读次数：
259
一、正则化的假设集合 通过从高次多项式的H退回到低次多项式的H来降低模型复杂度, 以降低过拟合的可能性, 如何退回? 通过加约束条件： 如果加了严格的约束条件, 没有必要从H10退回到H2, 直接使用H2就可以了。 加上松弛点的约束条件, 使得模型比H2复杂, 但到不了H10那么复杂。 二、权重衰减 ...
分类：
其他好文 时间：
2017-10-18 23:12:22
阅读次数：
305
在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能 ...
分类：
其他好文 时间：
2017-10-13 20:18:58
阅读次数：
124
这篇将拉格朗日函数比较全面，其中明确给出了拉格朗日函数，拉格朗日乘子的定义 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件 ...
分类：
其他好文 时间：
2017-10-11 11:00:21
阅读次数：
107
支持向量机 支持向量机（support vector machines，SVMs）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规 ...
分类：
系统相关 时间：
2017-09-17 20:58:45
阅读次数：
318
