没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，.....
分类：
其他好文 时间：
2015-05-06 12:56:19
阅读次数：
736
作者：jostree转载请注明出处http://www.cnblogs.com/jostree/p/4397990.html在机器学习中，求凸函数的极值是一个常见的问题，常见的方法如梯度下降法，牛顿法等，今天我们介绍一种三分法来求一个凸函数的极值问题。对于如下图的一个凸函数$f(x),x\in [l...
分类：
其他好文 时间：
2015-04-07 13:32:44
阅读次数：
168
这道题是一道3分搜索的题。其实这种题很多时候都出现在高中的解析几何上，思路很简单，从图中可以看到，肯定在AB线段和CD线段上各存在一点x和y使得所花时间最少因为AB和CD上的时间与x和y点的坐标都存在一个凸函数的关系，所以可以想到利用3分搜索的方式进行求解。当然这里要用到两个三分搜索的嵌套，锁定x后...
分类：
其他好文 时间：
2015-03-10 21:09:48
阅读次数：
129
凸优化就是函数是凸函数，定义域也是凸集，不会有局部极小值问题；非凸优化就是在寻找最小值（或最大值）时会陷入局部极小值，这就是机器学习里某些算法经常遇到的问题。记录今天学习到的matlab函数：1. numel（A），求A的元素个数，即number of elements；2. rem（A，a），求余...
分类：
其他好文 时间：
2015-03-05 23:38:41
阅读次数：
325
题目大意：给你一个拐角，两边的路的宽度分别为x，y。汽车的长和宽分别为h，w。问你这个汽车否转弯成功。
解题思路：如图，枚举角度。
这是一个凸函数所以三分枚举角度。
Turn the corner
Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)
Tota...
分类：
其他好文 时间：
2015-02-02 18:15:05
阅读次数：
127
利用图分割算法对图片进行分割是目前比较流行的算法之一。利用这种方法对图片进行分割时需要对相应的能量函数进行最小值搜索，当能量函数在定义域中属于凸函数时利用梯度下降法、EM等经典算法可以得到唯一的极值解，该解便是全局最小解。但是对于能量函数在定义域中不是凸函数，利用上面的经典算法很容易陷入局部极小值问题，从而很难得到理想效果。虽然采用模拟退火方法可以减轻陷入局部极小值可能性，但是这并不是最优的解法。...
分类：
编程语言 时间：
2015-01-19 19:14:47
阅读次数：
817
1. Jensen不等式
回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。
Jensen不等式表述如下：
如果f是凸函数，X是随机变量，那么
特别地，如果f是严格凸函数，那...
分类：
编程语言 时间：
2015-01-09 10:51:16
阅读次数：
340
中国大陆数学界某些机构关于函数凹凸性定义和另一些机构不同。那么我们来讲凸函数（convex function）为什么叫做是凸（convex）的：这是因为凸函数与凸集（convex set）有联系，而凸集的定义没有争议。1. 凸函数与凸集通过 sublevel sets 这个概念联系起来。首先来看一个...
分类：
其他好文 时间：
2015-01-08 21:26:26
阅读次数：
5341
一般的线性回归使用的cost function为:但由于logistic function：本身非凸函数（convex function）， 如果直接使用线性回归的cost function的话，很难到达全局最优解。相反，很容易陷入局部最优解然后就认为到达收敛条件了。因此，logistic regr...
分类：
其他好文 时间：
2014-11-13 08:16:45
阅读次数：
221
题目：ZOJ Problem Set - 3203 Light Bulb
题意：
如图，有个人在地上走，然后他的影子可以投影到墙上或者地上，问影子最长是多少？
分析：
我们知道，三分法是解决一个凹或凸函数的极大极小值，发现这个影子从刚好投影到右下角开始便是一个凸函数，他的影子长度是先递增后递减的，所以可以用三分法。
三分法的原理：
AC代码：
#in...
分类：
其他好文 时间：
2014-10-27 10:59:13
阅读次数：
205
