曾经学习machine learning,在regression这一节,对求解最优化问题的梯度下降方法，理解总是处于字面意义上的生吞活剥。对梯度的概念感觉费解?到底是标量还是矢量?为什么沿着负梯度方向函数下降最快?想清楚的回答这些问题。还真须要点探究精神。我查阅了一些经典的资料(包含wiki百科),...
分类：
系统相关 时间：
2016-01-05 18:53:44
阅读次数：
226
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。前提是：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。对于无约束最优化问题，有很多...
分类：
其他好文 时间：
2015-11-27 06:43:22
阅读次数：
243
2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等...
分类：
其他好文 时间：
2015-11-26 12:50:25
阅读次数：
235
题目大意N个节点构成一棵树，每个节点上有一个权重val[i], 从根节点root出发在树上行走，行走的时候只能沿着树枝行进。最多在树上走k步，每第一次到达某个节点j，可以获得val[j]的收益，求从root出发，最多走k步，可以得到的最大收益。题目分析树形结构+ 最优化问题，考虑使用动态规划来解决，...
分类：
其他好文 时间：
2015-10-06 16:51:34
阅读次数：
270
题目大意N个节点构成一棵树形结构，在其中若干个节点上放置士兵，与被放置士兵的节点相连的边会被士兵看守。问需要至少在多少个节点上放置士兵，才能使得N-1条边都被看守。题目分析题目描述的结构为树形，且最优化问题，可以考虑使用树形动态规划来解决。将结构按照树根在上，树叶在下的结构进行排列，为了保证无后效性...
分类：
其他好文 时间：
2015-10-06 12:49:49
阅读次数：
297
NP难问题求解综述摘要：定义NP问题及P类问题，并介绍一些常见的NP问题，以及NP问题的一些求解方法，最后最NP问题求解的发展方向做一些展望。关键词：NP难问题 P类问题 算法 最优化问题正文：一.NP难问题及P类问题为了解释NP难问题及P类问题，先介绍确定性算法和非确定性算法这两个概念，设A是求解...
分类：
其他好文 时间：
2015-10-03 20:40:01
阅读次数：
490
1、使用机器学习来解决问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 2、通过最小化误差、最大似然、最大后验概率等等建立模型的代价函数，转化为最优化问题。找到最优化问题的解，也就是能拟合我们的数据的最好的模型参数； 3、求解这个代价函数，找到最优解。 求最...
分类：
编程语言 时间：
2015-10-01 22:58:30
阅读次数：
497
生活中，人们经常会遇到各种最优化问题，比如如何在最短时间从一个地点到另外一个地点？如何在投入最少的资金而却能得到最高的受益？如何设计一款芯片使其功耗最低而性能最好？这一节就要学习一种最优化算法——Logistic回归......
分类：
其他好文 时间：
2015-09-20 20:50:00
阅读次数：
790
最常用的：梯度下降法(gradient descent)或最速下降法(steepest descent)。有实现简单的优点。梯度下降是迭代算法，每一步需要求解目标函数的梯度。当目标函数是凸函数时，梯度下降算法是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必最快。还有，牛顿...
分类：
其他好文 时间：
2015-09-11 14:02:54
阅读次数：
207
题目大意将一些连续的序列根据颜色分为N段，每段有颜色 为 Ci, 长度为 Li。每次点击其中的一段 i ，则可以将该段i消除，该段相邻的两段自动连接到一起，如果连接到一起的两段之前的颜色相同，则更新该段的长度。消除过程可以得到得分 Li*Li。求当所有的段都消除完毕时的最多得分。分析求最优化问题，典...
分类：
其他好文 时间：
2015-09-04 17:03:54
阅读次数：
193
