1、无约束最优化问题 求解此问题的方法方法分为两大类：最优条件法和迭代法。 2、最优条件法 我们常常就是通过这个必要条件去求取可能的极小值点，再验证这些点是否真的是极小值点。当上式方程可以求解的时候，无约束最优化问题基本就解决了。实际中，这个方程往往难以求解。这就引出了第二大类方法：迭代法。 最优条 ...
分类：
编程语言 时间：
2018-12-12 23:41:34
阅读次数：
349
最大熵原理 承认已知事物（知识），对未知事物不做任何假设，没有任何偏见 最大熵存在且唯一（凸性） 概率平均分布等价于熵最大 最大熵模型的一般式 关于条件分布 P(Y|X)的熵为： 去掉负号，得到最大熵模型的等价式 MaxEnt 模型最后被形式化为带有约束条件的最优化问题，可以通过拉格朗日乘子法将其转 ...
分类：
其他好文 时间：
2018-12-10 11:27:31
阅读次数：
243
拉格朗日乘子法 (Lagrange multipliers)是→种寻找多元函数在一组约束下的极值的方法.通过引入拉格朗日乘子，可将有 d 个变量与 k 个约束条件的最优化问题转化为具有 d + k 个变量的无约束优化问题求解。我们先以包含一个变量的简单优化问题为例， 求在满足$x \le -1$ 或 ...
分类：
其他好文 时间：
2018-11-24 17:55:48
阅读次数：
193
1. 前言 在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转化为对偶问题，通过求解对偶问题获得原始问题的解。该方法应用在许多统计学方法中，如最大熵模型、支持向量机。 2. 原始问题 假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑如下最优化问题 $$ \mi ...
分类：
其他好文 时间：
2018-11-18 20:30:23
阅读次数：
210
[TOC] 线性代数 一、基本知识 1. 本文中所有的向量都是列向量的形式： $$\mathbf{\vec x}=(x_1,x_2,\cdots,x_n)^T=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}$$ 本书中所有的矩 $\mathbf ...
分类：
其他好文 时间：
2018-11-04 23:03:04
阅读次数：
298
WQS二分，一种优化一类特殊DP的方法。 很多最优化问题都是形如“一堆物品，取与不取之间有限制。现在规定只取k个，最大／小化总收益”。 这类问题最自然的想法是：设f[i][j]表示前i个取j个的最大收益，转移即可。复杂度O(n^2)。 那么，如果在某些情况下，可以通过将问题稍作转化，变成一个不强制选 ...
分类：
其他好文 时间：
2018-10-23 01:11:39
阅读次数：
179
线性规划 ( Linear Programming ) : 目标函数和约束条件均为线性的最优化问题。 描述线性规划问题的常用和最直观形式是标准型。标准型包括以下三个部分： 1. 需要极大化的线性函数，如 2. 问题约束，例如： 3. 非负变量，例如： ...
分类：
其他好文 时间：
2018-10-11 01:43:50
阅读次数：
152
转自：http://www.cnblogs.com/maybe2030/ 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些 ...
分类：
编程语言 时间：
2018-10-05 18:42:03
阅读次数：
194
转自：http://www.cnblogs.com/chinazhangjie/archive/2010/12/06/1898070.html 一、图灵机 根据有限状态控制器的当前状态及每个读写头读到的带符号，图灵机的一个计算步可实现下面3个操作之一或全部。 （1）改变有限状态控制器中的状态。 （2 ...
分类：
编程语言 时间：
2018-10-02 17:39:15
阅读次数：
141
机器学习定义： 三要素： 模型：输入空间到输出空间的映射关系。学习的过程即为从假设空间中搜索适合当前数据的假设。 策略：从假设空间的众多假设中选择到最优的模型的学习标准或规则。 算法：学习模型的具体的计算方法，通常是求解最优化问题。 模型->确定学习范围 策略->确定学习规则 算法->按规则在范围内 ...
分类：
其他好文 时间：
2018-09-26 14:53:56
阅读次数：
119
