没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性 ...
分类：
其他好文 时间：
2017-11-06 20:14:49
阅读次数：
151
在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能 ...
分类：
其他好文 时间：
2017-10-13 20:18:58
阅读次数：
124
评:对于(3)几何上来看要满足性质$P$图像来看必须下凸。这样区间中点$x=2$处不可能为最大.(4)的形式让我想起在证明算术几何平均不等式时历史上著名的柯西反向归纳证明： ...
分类：
其他好文 时间：
2017-10-06 11:34:42
阅读次数：
145
在求解机器学习算法的优化问题时，梯度下降是经常采用的方法之一。 梯度下降不一定能够找到全局最优解，有可能是一个局部最优解。但如果损失函数是凸函数，梯度下降法得到的一定是全局最优解。 梯度下降的相关概念： 1、步长或学习率（learning rate）：步长和学习率是一个东西，只是在不同的地方叫法不一 ...
分类：
其他好文 时间：
2017-09-17 21:04:27
阅读次数：
275
The Moving Points Time Limit: 6000/3000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 2122 Accepted Submission(s): 88 ...
分类：
其他好文 时间：
2017-08-25 15:59:13
阅读次数：
127
Error Curves Time Limit: 4000/2000 MS (Java/Others) Memory Limit: 65536/65536 K (Java/Others)Total Submission(s): 6241 Accepted Submission(s): 2341 Pr ...
分类：
其他好文 时间：
2017-08-25 15:51:23
阅读次数：
238
已知n条二次曲线si(x) = ai*x^2 + bi*x + ci(ai ≥ 0),定义F(x) = max{si(x)},求出F(x)在[0,1000]上的最小值. 链接：传送门 分析：最大值最小，我们可以利用二分来解，但是有一个更牛的方法叫：“三分法”，这个方法的应用范围是凸函数，可以看一个图 ...
分类：
其他好文 时间：
2017-08-22 19:43:26
阅读次数：
139
凸集的定义为： 其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示： 常见的凸集有： n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。 凸函数的定义为： 其几何意义表示为函数任意两点连线上的值 ...
分类：
其他好文 时间：
2017-08-13 12:33:10
阅读次数：
238
区别于二分法 ， 二分法只适用于单调函数 （在一个单调的序列中对某一个元素进行查找） 三分法 突破了这种限制 ， 可以用于凸函数或凹函数 ， 这是因为凸函数或凹函数必存在一个最值 三分 顾名思义 要将一个线段分成 3 份 ， 可以以线段 1/3 与 2/3 的位置 作为 3 分的 基准 ，将此函数分 ...
分类：
其他好文 时间：
2017-08-06 21:58:39
阅读次数：
205
拉格朗日乘子法 那些年学过的高数 关键词：高数课本 拉格朗日乘子法如何理解？ 关键词：解释形象 关于凸优化的一些简单概念 关键词： 为什么凸优化这么重要 关键词：显示不是凸函数，我们这能假设是凸函数，这样我们求得的局部最优才是全局最优 支持向量机 系列教程 关键词： 拉格朗日乘子法如何理解？ 关键词 ...
分类：
其他好文 时间：
2017-08-04 20:37:57
阅读次数：
132
