这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
以下摘取YaHoo 14条性能优化原则： Web应用性能优化黄金法则：先优化前端程序(front-end)的性能，因为这是80%或以上的最终用户响应时间的花费所在。 法则1. 减少HTTP请求次数 80%的最终用户响应时间花在前端程序上，而其大部分时间则花在各种页面元素，如图像、样式表、脚本和Fla ...
分类：
其他好文 时间：
2016-06-03 17:15:48
阅读次数：
729
这一周的内容是近似算法(Approximation Algorithm)。
对于许多的问题的算法，我们通常目标在于设计一个可以在多项式时间内运行的算法。然而，上一节的NP问题告诉我们这样的算法不一定存在。近似算法其实是针对NP难问题的一种退让，对于许多P不等于NP的最优化问题，无法在多项式时间内找到最优解。因此，如果可以只求一个我们可以接受的解，而不是非要最优解，那么可能存在一个多项式时间的算法...
分类：
编程语言 时间：
2016-06-02 14:07:49
阅读次数：
349
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。
梯度下降法特点：越接近目标值，步长越小，下降速度越慢。
直观上来看如下图所示：
这里每一个圈...
分类：
编程语言 时间：
2016-06-02 13:46:56
阅读次数：
197
最优化问题，尽量都分成3，不足部分就分成2。 对于 n < 4，可以验证其分解成几个正整数的和的乘积是小于 n 的。对于 n >= 4, 能证明其能分解成几个数的和使得乘积不小于 n。如果分解成 1 和 n - 1，那么对乘积是没有帮助的，因此，假设 n分解成 a 和 n - a，2 <= a <= ...
分类：
其他好文 时间：
2016-05-31 22:06:56
阅读次数：
256
之前在做电商网站的时候，曾经因为网站图片太多，加载过慢而不得不提高服务器性能，但阿里云服务器提升性能较贵，便去找了找关于网站性能优化的知识，没想到的确省了一些钱，性能有所好转。最近公司的项目又再次涉及到性能优化问题，总结了下之前经历的项目经验，得出以下几点优化思路： 1.从请求入手，找到最慢的一个 ...
分类：
Web程序 时间：
2016-05-30 21:45:26
阅读次数：
187
前言：
FISTA（A fast iterative shrinkage-thresholding algorithm）是一种快速的迭代阈值收缩算法（ISTA）。FISTA和ISTA都是基于梯度下降的思想，在迭代过程中进行了更为聪明（smarter）的选择，从而达到更快的迭代速度。理论证明：FISTA和ISTA的迭代收敛速度分别为O(1/k2)和O(1/k)。
本篇博文先从解决优化问题的传...
分类：
其他好文 时间：
2016-05-30 15:08:18
阅读次数：
810
最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
那什么是最小二乘法呢？别着急，我们先从...
分类：
编程语言 时间：
2016-05-27 12:19:23
阅读次数：
398
支持向量机(Support Vector Machine) SVM之SMO算法(转) 此文转自两篇博文 有修改 序列最小优化算法（英语：Sequential minimal optimization, SMO）是一种用于解决支持向量机训练过程中所产生优化问题的算法。SMO由微软研究院的约翰·普莱特（ ...
分类：
编程语言 时间：
2016-05-22 00:34:06
阅读次数：
297
在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日 ...
分类：
其他好文 时间：
2016-05-21 14:20:53
阅读次数：
179
