问题： 压缩感知问题求稀疏解时，一般采用0范数或者1范数来建立数学模型。那么为什么0范数或1范数可以得到稀疏解呢？ 解释与分析： 1、范数 常见的有L0范数、L1范数、L2范数，经常要将L0范数等价为L1范数去求解，因为L1范数求解是一个凸优化问题，而L0范数求解是一个NP难问题。 L0范数指的是x...
分类：
其他好文 时间：
2015-12-15 10:23:07
阅读次数：
365
作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。 如何将一个含有n个变量和k个约束条件的约束优....
分类：
其他好文 时间：
2015-12-14 16:16:17
阅读次数：
174
转自：http://blog.pluskid.org/?p=702在之前关于 support vector 的推导中，我们提到了 dual ，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带...
分类：
其他好文 时间：
2015-12-06 00:02:08
阅读次数：
229
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多...
分类：
其他好文 时间：
2015-11-27 06:43:22
阅读次数：
243
2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等...
分类：
其他好文 时间：
2015-11-26 12:50:25
阅读次数：
235
主要内容：1、L1 minimization2、Matching Pursuit3、Iterative thresholding4、Total-variation minimization1、L1 minimization这是一个凸优化问题，类似于统计学中的LASSO。优化算法有：特点：L1最小化的...
分类：
编程语言 时间：
2015-11-24 12:28:45
阅读次数：
131
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 13:35:30
阅读次数：
309
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 12:01:08
阅读次数：
232
（一）线性可分我们忽略建立目标函数的过程，直接写出目标函数。原问题：首先，我们得到了目标函数：这是一个凸优化问题，直接可以用KKT条件可证。对偶问题：原问题根据一系列的变换，可写成：满足某些条件，写成对偶目标函数，可以写成：先优化w，b，再优化α，问题变得简单一些了。将上述条件代入对偶目标函数，变成...
分类：
其他好文 时间：
2015-10-19 22:18:14
阅读次数：
286
