我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法...
分类：
编程语言 时间：
2016-06-12 03:11:51
阅读次数：
283
这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
这一周的内容是近似算法(Approximation Algorithm)。
对于许多的问题的算法，我们通常目标在于设计一个可以在多项式时间内运行的算法。然而，上一节的NP问题告诉我们这样的算法不一定存在。近似算法其实是针对NP难问题的一种退让，对于许多P不等于NP的最优化问题，无法在多项式时间内找到最优解。因此，如果可以只求一个我们可以接受的解，而不是非要最优解，那么可能存在一个多项式时间的算法...
分类：
编程语言 时间：
2016-06-02 14:07:49
阅读次数：
349
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。
梯度下降法特点：越接近目标值，步长越小，下降速度越慢。
直观上来看如下图所示：
这里每一个圈...
分类：
编程语言 时间：
2016-06-02 13:46:56
阅读次数：
197
最优化问题，尽量都分成3，不足部分就分成2。 对于 n < 4，可以验证其分解成几个正整数的和的乘积是小于 n 的。对于 n >= 4, 能证明其能分解成几个数的和使得乘积不小于 n。如果分解成 1 和 n - 1，那么对乘积是没有帮助的，因此，假设 n分解成 a 和 n - a，2 <= a <= ...
分类：
其他好文 时间：
2016-05-31 22:06:56
阅读次数：
256
在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日 ...
分类：
其他好文 时间：
2016-05-21 14:20:53
阅读次数：
179
先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出 ...
分类：
其他好文 时间：
2016-05-20 11:13:46
阅读次数：
175
本章内容 □sigmod函数和logistic回归分类器 □最优化理论初步□梯度下降最优化算法□数据中的缺失项处理 这会是激动人心的一章，因为我们将首次接触到最优化算法。仔细想想就会发现，其实我们日常生活中遇到过很多最优化问题，比如如何在最短时间内从入点到达氏点？如何投人最少工作量却获得最大的效益？ ...
分类：
其他好文 时间：
2016-05-01 17:46:11
阅读次数：
288
动态规划通常应用于最优化问题，即要做出一组选择以达到一个最优解。在做选择的同时，经常出现同样形式的子问题。当某一特定的子问题可能出自于多于一种选择的集合时，动态规划是很有效的。关键技术是存储这些子问题每一个的解，以备它重复出现。 和分治法一样，动态规划是通过组合子问题的解而解决整个问题的。动态规划适 ...
分类：
其他好文 时间：
2016-04-30 23:46:28
阅读次数：
148
本文力求简化SMO的算法思想，毕竟自己理解有限，无奈还是要拿一堆公式推来推去，但是静下心看完本篇并随手推导，你会迎刃而解的。推荐参看SMO原文中的伪代码。
**1.SMO概念**
===========
上一篇博客已经详细介绍了[SVM原理](http://blog.csdn.net/luoshixian099/article/details/51073885)，为了方便求解，把原始最优化问题转化成了其对偶问题，因...
分类：
编程语言 时间：
2016-04-29 16:06:47
阅读次数：
328
