http://www.lydsy.com/JudgeOnline/problem.php?id=2876 拉格朗日乘数法:f'+入g'=0，f为函数的导数，g为限制条件的导数。 思路:E=Σki*si*(vi-vi')^2，贪心可知，当E=Eu时，才能得到最优解。 我们假设函数f=Σsi/vi,限制 ...
分类：
其他好文 时间：
2016-06-17 11:09:16
阅读次数：
250
在前一篇文章中，我们给出了感知器和逻辑回归的求解，还将SVM算法的求解推导到了最后一步，在这篇文章里面，我们将给出最后一步的求解。也就是我们接下来要介绍的序列最小最优化算法。 序列最小最优化算法（SMO）： 首先回顾一下。我们使用广义拉格朗日函数，将目标函数和限制条件写到一起，然后证明了原始问题能够 ...
分类：
编程语言 时间：
2016-06-13 17:12:10
阅读次数：
1361
这篇文章将介绍感知器、逻辑回归的求解和SVM的部分求解，包含部分的证明。本文章涉及的一些基础知识，已经在《梯度下降、牛顿法和拉格朗日对偶性》中指出，而这里要解决的问题，来自《从感知器到SVM》 、《从线性回归到逻辑回归》两篇文章。 感知器： 前面的文章已经讲到，感知器的目标函数如下： $min \ ...
分类：
其他好文 时间：
2016-06-10 11:04:59
阅读次数：
456
[NOI2012] 骑行川藏 输入文件：bicycling.in 输出文件：bicycling.out 评测插件 时间限制：1 s 内存限制：128 MB NOI2012 Day1 Description 蛋蛋非常热衷于挑战自我，今年暑假他准备沿川藏线骑着自行车从成都前往拉萨。川藏线的沿途有着非常美 ...
分类：
其他好文 时间：
2016-06-04 22:17:25
阅读次数：
236
这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日 ...
分类：
其他好文 时间：
2016-05-21 14:20:53
阅读次数：
179
先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出 ...
分类：
其他好文 时间：
2016-05-20 11:13:46
阅读次数：
175
为函数间隔的定义
考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：
几何间隔：
= r hat / || w ||
最优间隔分类器的定义：
拉格朗日对偶性：略。
若要dual*=primary*=L(w*,...
分类：
其他好文 时间：
2016-05-13 02:42:59
阅读次数：
169
[ 题外话 ： = =看了一眼题目就知道是求最值
然后就不会做了╮(╯▽╰)╭
所以，数学渣就去学了一发拉格朗日乘数法 - -]
那么上正文TAT 由于公式太多，我就直接截图哈qwq
附代码：
#include "stdio.h"
#include "iostream"
#define rep(f,a,b) for(f=a...
分类：
其他好文 时间：
2016-05-13 02:02:05
阅读次数：
189
