题目传送门 1 /* 2 三分：凹(凸)函数求极值 3 */ 4 #include 5 #include 6 #include 7 #include 8 using namespace std; 9 10 const int MAXN = 1e4 + 10;11 const int ...
分类：
其他好文 时间：
2015-07-25 19:51:41
阅读次数：
164
从上一课可知，对于给定的线性可分的数据集，离分隔超平面最近的点是支持向量。而支持向量与分隔超平面间的距离越远，则说明最后算法的预测结果越可信。这课的核心就在于如何确定最佳的分隔超平面，即最优间隔分类器。
首先我们要介绍其中的数学推理，然后介绍最优间隔分类器。
1、凸优化问题
选取一个函数里的两个点，连接两个点成一条直线，两点间的函数点都在这条直线下即为凸函数，凸函数的例子有指数函数。...
分类：
其他好文 时间：
2015-07-24 20:58:31
阅读次数：
165
线性规划式约束的条件下，使一个线性函数达到极值。即。目标函数与约束均为线性的规划称为线性规划。常见形式线性规划是凸优化凸优化：在凸集上的凸函数规划，称为凸规划。可证明，线性集合是凸集，其满足线性函数是凸函数, 即但非严格凸。统一形式为了方便统一求解，得出线性规划的统一形式：当中。通过引入松弛变量。把...
分类：
其他好文 时间：
2015-07-14 20:18:16
阅读次数：
159
转自：七月算法社区http://ask.julyedu.com/question/276咨询：带约束优化问题 拉格朗日 对偶问题 KKT条件关注|22...咨询下各位，在机器学习相关内容中，每次看到带约束优化问题，总是看到先用拉格朗日函数变成无约束问题，然后转成求拉格朗日对偶问题，然后有凸函数假设，...
分类：
其他好文 时间：
2015-07-08 00:18:51
阅读次数：
388
L1、L2范式及稀疏性约束假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分...
分类：
其他好文 时间：
2015-07-05 16:23:12
阅读次数：
106
哎，刚刚submit上paper比较心虚啊，无心学习，还是好好码码文字吧。
subgradient中文名叫次梯度，和梯度一样，完全可以多放梯度使用，至于为什么叫子梯度，是因为有一些凸函数是不可导的，没法用梯度，所以subgradient就在这里使用了。注意到，子梯度也是求解凸函数的，只是凸函数不是处处可导。f:X→Rf: \mathcal{X}\rightarrow \mathbb{R}是一个凸函...
分类：
其他好文 时间：
2015-06-06 12:06:38
阅读次数：
218
（EM算法）The EM Algorithm下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 ...
分类：
编程语言 时间：
2015-05-26 12:09:45
阅读次数：
241
相关熵和交互信息 到目前为止，我们已经介绍了一些信息论的概念，包括熵的关键概念。我们现在开始这些想法到模式识别。考虑未知分布p（x），假设我们用近似分布q（x）为期建模。为了发送x的值到接收器，如果我们用q（x）来构造编码方案，那么指定x值所需的平均信息附加量（假设我们选择了一个高效的编码方案）由下式给出
这被称为分布p（x）和q（x）之间的相对熵或Kullback-Leibler散度或KL...
分类：
其他好文 时间：
2015-05-16 14:52:50
阅读次数：
243
借助于文章【1】中的内容把EM算法的过程顺一遍，加深一下印象。
关于EM公式的推导，一般会有两个证明，一个是利用Jesen不等式，另一个是将其分解成KL距离和L函数，本质是类似的。下面介绍Jensen EM的整个推导过程。
Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，f′′(x)≥0f^{''}(x)\ge 0，那么f是凸函数。当x是向量时，如果其h...
分类：
编程语言 时间：
2015-05-11 20:10:24
阅读次数：
158
本文主要包含如下3部分内容：$\lambda$-强凸函数的定义和性质。$\mu$-平滑函数的定义和性质。通过共轭次梯度定理建立起上面两个概念之间的一个联系。 定义1[强凸函数]：若函数$f(\cdot)$是集合$C$上的$\lambda$-强凸函数，那么$f(\cdot) - \frac{\lam....
分类：
其他好文 时间：
2015-05-06 17:26:11
阅读次数：
135
