凸优化作者：樱花猪 摘要: 本文为七月算法（julyedu.com）12月机器学习第四次课在线笔记。“凸优化”指的是一种比较特殊的优化，通过“凸优化”我们能够把目标函数转化成一个“凸函数”然后利用凸函数的性质求极值来求解问题。“凸优化”不仅仅在机器学习中有所应用，几乎在任何用到有关于目标函数求值的问... ...
分类：
其他好文 时间：
2016-04-08 00:36:39
阅读次数：
352
[Uva Error Curves]一些二次函数取max的交集还是一个下凸函数。三分即可 [Zoj Light Bulb]列出数学式子，是一个对勾函数(可以直接解)，或者三分，注意影子到地上的判断，不过D-x≤H？？ [HDU Line belt]三分套三分 ...
分类：
其他好文 时间：
2016-03-31 21:49:42
阅读次数：
247
1.数学基础 导数（derivative） 导数四则运算法则 复合函数运算法则 凸函数定义 前提0≤α≤1 偏导数 二阶偏导数矩阵也就所谓的赫氏矩阵(Hessian matrix).一元函数就是二阶导，多元函数就是二阶偏导组成的矩阵.求向量函数最小值时用的，矩阵正定是最小值存在的充分条件。 示例 参... ...
分类：
其他好文 时间：
2016-03-28 21:31:16
阅读次数：
270
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多...
分类：
其他好文 时间：
2015-11-27 06:43:22
阅读次数：
243
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 13:35:30
阅读次数：
309
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 12:01:08
阅读次数：
232
最常用的：梯度下降法(gradient descent)或最速下降法(steepest descent)。有实现简单的优点。梯度下降是迭代算法，每一步需要求解目标函数的梯度。当目标函数是凸函数时，梯度下降算法是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必最快。还有，牛顿...
分类：
其他好文 时间：
2015-09-11 14:02:54
阅读次数：
207
2015-09-09 今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。 线性函数需要严格满足等式，而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题，可以将凸优化看成是线性规划的扩展。 1.放射集 定义：过集合C内任意两...
分类：
其他好文 时间：
2015-09-09 20:57:46
阅读次数：
695
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。梯度下降法梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为：可以看出，梯度下降法更新参数...
分类：
其他好文 时间：
2015-08-10 20:04:38
阅读次数：
238
二分法逼近求值大家应该明白，但是它只能解决单调函数问题；如果是凹函数或者凸函数怎么办呢？别急，还有三分法！凸（凹）函数在高数中的定义是：若函数的二阶导数在区间上恒大于0，则该函数在区间为凸函数；反之，小于0为凹函数。有点不好记，我自己是这样记得：凹函数谁大不用谁，凸函数说小不用谁！仅供参考，自己体会...
分类：
其他好文 时间：
2015-07-26 11:03:07
阅读次数：
138
