这篇博文主要讲解下梯度与方向导数的关系、等值线图中梯度的表示，以及梯度的应用。因涉及太多高数的知识点，在此就不一一详述了，只是简单梳理下知识点，有所纰漏还望纠正指出，文末附有参考文献，借图。 一、方向导数与梯度 1、方向导数 导数引言 我们知道在二维平面上，F(x,y)=0 有斜率的概念，从名字上看 ...
分类：
编程语言 时间：
2017-09-02 20:47:52
阅读次数：
294
通常用于最优化问题，我们做出一组选择来达到最优解。每步都追求局部最优。对很多问题都能求得最优解，而且速度比动态规划方法快得多。 16.1 活动选择问题 按结束时间排序，然后选择兼容活动。 定理16.1 考虑任意非空子问题Sk，令am是Sk中结束时间最早的活动，则am在Sk的某个最大兼容活动子集中。 ...
分类：
编程语言 时间：
2017-08-21 17:03:01
阅读次数：
351
拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法，通过引入拉格朗日乘子，可将有m个变量和n个约束条件的最优化问题转化为具有m+n个变量的无约束优化问题。在介绍拉格朗日乘子法之前，先简要的介绍一些前置知识,然后就拉格朗日乘子法谈一下自己的理解。 一 前置知识 1.梯度 梯度是一个与方向导数有关的 ...
分类：
其他好文 时间：
2017-08-18 21:31:12
阅读次数：
298
概述 数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程能够參考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》 ...
分类：
其他好文 时间：
2017-08-18 20:11:40
阅读次数：
133
通常用来解决最优化问题。在做出每个选择的同时，通常会生成与原问题形式相同的子问题。当多于一个选择子集都生成相同的子问题时，动态规划技术通常就会非常有效。其关键技术就是对每个这样的子问题都保存其解，当其重复出现时即可避免重复求解。 分治：划分为互不相交的子问题，递归求解子问题，再将他们的解组合起来。 ...
分类：
编程语言 时间：
2017-08-17 20:19:34
阅读次数：
199
首先，考虑标准形式的凸最优化问题： 则其拉格朗日函数为： 其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。 拉格朗日对偶函数： 下面介绍拉格朗日对偶函数的一个重要性质： 拉格朗日对偶函数构成了原凸最优化问题 ...
分类：
其他好文 时间：
2017-08-14 19:58:34
阅读次数：
144
最大流问题： 管道网络中每条边的最大通过能力（容量）是有限的，实际流量不超过容量。 最大流问题(maximum flow problem)，一种组合最优化问题，就是要讨论如何充分利用装置的能力，使得运输的流量最大，以取得最好的效果。 最大流问题： 管道网络中每条边的最大通过能力（容量）是有限的，实际 ...
分类：
编程语言 时间：
2017-07-31 18:52:03
阅读次数：
202
机器学习中的大多数问题可以归结为最优化问题。把一些典型的问题用最优化的方法建立数学模型，再最优化的方式求解。 我们再看看数据挖掘和机器学习中哪些是最优化问题，哪些不是。 ...
分类：
其他好文 时间：
2017-07-12 21:16:58
阅读次数：
159
引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是 ...
分类：
其他好文 时间：
2017-07-11 21:14:04
阅读次数：
121
最优化问题 一般优化问题描写叙述 随机动态规划的结构 离散时间系统 离散时间系统代价函数 反馈 第一个栗子随机动态优化问题 第二个栗子确定动态优化问题 第三个栗子来点复杂的无线网络问题 小结 最优化问题 动态规划(Dynamic programming)是用来优化一个随机问题的最优解。随机问题是仅仅 ...
分类：
其他好文 时间：
2017-07-07 21:37:13
阅读次数：
224
