EM算法是一种非常经典的alternative optimizing算法。alternative optimizing的思想就是对于一个最优化问题，可以计算分为两步或者参数分为两个，就可以随机任意的选择一个起始值或位置，固定一个参数A，以另一个参数B进行优化，然后固定参数B，以参数A进行优化，直到收敛未知。前面博文中所讲述的K-means也就这样的一个过程，或者meanshift均值漂移也是这样。...
分类：
编程语言 时间：
2015-08-29 00:55:09
阅读次数：
238
解决的问题最优化问题的一般形式
minf(paras)min \quad f(paras)s.t.paras∈[paras_lower,paras_upper]s.t. \quad paras\in[paras\_lower,paras\_upper]
这个是数学上的一般形式，当求函数的最大值时候只要加上一个负号就可以
在程序中我们面对的问题一般是离散的即...
分类：
编程语言 时间：
2015-08-27 07:12:49
阅读次数：
254
《设计和算法分析》课程，教学工作的厚礼，是《算法导论》（Sanjoy Dasgupta等待，清华大学出版社。2008年7第一个月1版本）。 文章7周，主要教材 文章6章 动态规划 讨论。Dynamic Programming（简称DP）。是一个通用的问题求解方法，主要用于运筹学方面的最优化问题...
分类：
其他好文 时间：
2015-08-20 09:02:09
阅读次数：
175
一、概述 在1947年，Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速。 最优化问题的一般形式为： X属于Rn为约束集或可行域，f(...
分类：
其他好文 时间：
2015-08-05 14:47:18
阅读次数：
461
拉格朗日乘子法：对于等式约束的优化问题，求取最优值。KKT条件：对于含有不等式约束的优化问题，求取最优值。最优化问题分类：（1）无约束优化问题： 常常使用Fermat定理，即求取的导数，然后令其为零，可求得候选最优值。（2）有等式约束的优化问题：， 使用拉格朗日乘子法，把等式约束用一个系数与写为.....
分类：
其他好文 时间：
2015-07-22 10:34:14
阅读次数：
107
贪心算法的原理与设计 贪心算法的设计步骤 1、将最优化问题转化为这样的形式：对其做出一次选择后，只剩下一个子问题要求解。 这个问题可以引用前面得到的活动选择问题进行说明 ，如在活动选择问题中，设Aij 代表的是活动ai? 结束后开始，且在aj结束之前进的一个子问题，于是 ...
分类：
编程语言 时间：
2015-07-17 20:58:17
阅读次数：
135
一般我们的最大流算法解决的是最优化问题。即通过某种构图方法，使得最大流的流量即为我们所要求的的最大值。但是，一类判定性问题也需要通过网络流模型来解决。经典的问题有：混合图的欧拉回路，等等。这类问题往往通过构建一个网络图，计算出其最大流，然后根据判断最大流是否满足某种条件来判断。当然，二分答案的时候也...
分类：
其他好文 时间：
2015-07-06 12:01:09
阅读次数：
120
主要解决带约束的最优化问题，把原始问题转换为对偶问题，在支持向量机中有使用 f(x),ci(x),hj(x)是Rn(n维实数集)上的连续可微函数 1.原始问题： 目标函数：min f(x) (x∈Rn) 约束条件：ci(x)≤0 (i=1,2...k) ...
分类：
其他好文 时间：
2015-06-23 06:14:08
阅读次数：
345
贪心算法和动态规划一样，都适用于求解最优化问题。贪心算法不是对所有问题都能得到整体最优解，可用贪心算法求解的问题需要具有贪心选择性质和最优子结构性质。 一. 基本思想 贪心算法总是作出在当前看来是最好的选择（即贪心选择）。也就是说贪心算法并不从整体最优上加以考虑，它所作出的选择只是在某种意义上的局部...
分类：
编程语言 时间：
2015-06-06 13:25:53
阅读次数：
160
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2015-06-06 06:48:06
阅读次数：
124
