在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。梯度下降法梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为：可以看出，梯度下降法更新参数...
分类：
其他好文 时间：
2015-08-10 20:04:38
阅读次数：
238
一、概述 在1947年，Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速。 最优化问题的一般形式为： X属于Rn为约束集或可行域，f(...
分类：
其他好文 时间：
2015-08-05 14:47:18
阅读次数：
461
模拟退火算法源于模拟退火的原理。〇、模拟退火的历史 1953年，Metropolis提出重要性采样法，即以概率接受新状态，称Metropolis准则，计算量相对Monte Carlo方法显著减少。 1983年，Kirkpatrick等提出模拟退火算法，并将其应用于组合优化问题的求解。一...
分类：
编程语言 时间：
2015-08-02 18:08:33
阅读次数：
150
转自：http://www.cnblogs.com/WizardWu/archive/2008/10/27/1320055.html有些程序员在撰写数据库应用程序时，常专注于 OOP 及各种 framework 的使用，却忽略了基本的 SQL 语句及其「性能 (performance)优化」问题。版...
分类：
数据库 时间：
2015-07-29 12:00:53
阅读次数：
143
从上一课可知，对于给定的线性可分的数据集，离分隔超平面最近的点是支持向量。而支持向量与分隔超平面间的距离越远，则说明最后算法的预测结果越可信。这课的核心就在于如何确定最佳的分隔超平面，即最优间隔分类器。
首先我们要介绍其中的数学推理，然后介绍最优间隔分类器。
1、凸优化问题
选取一个函数里的两个点，连接两个点成一条直线，两点间的函数点都在这条直线下即为凸函数，凸函数的例子有指数函数。...
分类：
其他好文 时间：
2015-07-24 20:58:31
阅读次数：
165
很久没写ios代码。最近和朋友聊天时候有强迫症，想强烈把代码给优化。 问题是这样的：现在数据是日期数组，想过滤掉重复的日期，怎么解决。 原始代码 这里想到更简洁点。用NSSet来搞定。 [objc]?view plaincopy ...
分类：
移动开发 时间：
2015-07-22 19:08:17
阅读次数：
206
1. 记得大学的时候搭建一个网站，数据库，开发环境，web服务一股脑全部在一台机器上，用几个数M的大图片做webpage的背景，觉得很cool。没有访问就没有数据库优化问题。2. 以MySQL为例，当一个table中有数百万条记录的时候，查询自然就会越来越慢。这时通常做的就是分库分表。分库：垂直拆分...
分类：
数据库 时间：
2015-07-22 17:59:41
阅读次数：
158
拉格朗日乘子法：对于等式约束的优化问题，求取最优值。KKT条件：对于含有不等式约束的优化问题，求取最优值。最优化问题分类：（1）无约束优化问题： 常常使用Fermat定理，即求取的导数，然后令其为零，可求得候选最优值。（2）有等式约束的优化问题：， 使用拉格朗日乘子法，把等式约束用一个系数与写为.....
分类：
其他好文 时间：
2015-07-22 10:34:14
阅读次数：
107
启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被.....
分类：
编程语言 时间：
2015-07-22 09:20:36
阅读次数：
187
贪心算法的原理与设计 贪心算法的设计步骤 1、将最优化问题转化为这样的形式：对其做出一次选择后，只剩下一个子问题要求解。 这个问题可以引用前面得到的活动选择问题进行说明 ，如在活动选择问题中，设Aij 代表的是活动ai? 结束后开始，且在aj结束之前进的一个子问题，于是 ...
分类：
编程语言 时间：
2015-07-17 20:58:17
阅读次数：
135
