在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标 ...
分类：
其他好文 时间：
2017-04-01 00:44:54
阅读次数：
177
1、主要内容 2、梯度下降 （1）、批量梯度下降 2、随机梯度下降 区别：就是更新变量时使用全部的数据还是一个样本进行更新 当都是凸函数的两者鲜果相同，当使用神经网络时使用SGD可以跳出局部最优解，批量梯度下降则不行； 3、mini-batch 梯度下降 噪声随着样本数量的增加而减少； 3、正则 b ...
分类：
其他好文 时间：
2017-02-19 12:18:19
阅读次数：
273
拉格朗日乘子法最小值转化为对偶函数最大值问题在SVM部分有很重要的作用，今天详细听了邹博老师凸优化课程关于这部分的讲解，做一个小小的总结。 一、知识铺垫 1. 保凸算子 凸函数的非负加权和 ： 凸函数与仿射函数的复合： 凸函数的逐点最大值、逐点上确界： 第一个和第二个直接使用定义还是挺简单的，因为后 ...
分类：
其他好文 时间：
2016-11-19 03:29:37
阅读次数：
238
梯度下降法(最速下降法): 求解无约束最优化问题的一种最常用的方法，当目标函数是凸函数时，梯度下降法的解是全局最优解.一般情况下，其解不保证是全局最优解.梯度下降法的收敛速度也未必是很快的. ###############################Matlab################# ...
分类：
其他好文 时间：
2016-10-23 02:06:34
阅读次数：
346
没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性 ...
分类：
其他好文 时间：
2016-08-11 06:09:52
阅读次数：
115
1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该 ...
分类：
编程语言 时间：
2016-08-03 20:03:46
阅读次数：
184
最近的看的一些内容好多涉及到凸优化，没时间系统看了，简单的了解一下，凸优化的两个基本元素分别是凸函数与凸包 凸集 凸集定义如下： 也就是说在凸集内任取两点，其连线上的所有点仍在凸集之内。 凸函数 凸函数的定义如下： $\thetax+(1-\theta)y$的意思就是说在区间 $(x,y)$ 之间任... ...
分类：
其他好文 时间：
2016-08-01 17:35:30
阅读次数：
817
机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。梯度下降的目的是直接求解目标函数极小值，而牛顿法则变相地通过求解目标函数一阶导为零的参数值，进而求得目标函数最小值。在逻辑回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。...
分类：
其他好文 时间：
2016-07-16 07:02:38
阅读次数：
216
在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却...
分类：
其他好文 时间：
2016-05-13 01:33:03
阅读次数：
149
优化
一般优化问题的基本形式
凸优化的基本形式
共轭函数
共轭函数是凸函数
对偶问题
拉格朗日函数
拉格朗日对偶函数
KKT条件
小结
优化一般优化问题的基本形式minimizef0(x),x∈Rnminimize \, f_0(x),x \in R^ns.t.fi(x)≤0,i=1?ms.t. \, f_i(x)\leq 0,i=1 \cdots ms.t.hj(x)=0,j=1?ns.t. \,...
分类：
编程语言 时间：
2016-05-07 01:09:08
阅读次数：
823
