标签：最大值 com src 最小值 全局 images 课程 局部最优 移动
拉格朗日乘子法最小值转化为对偶函数最大值问题在SVM部分有很重要的作用，今天详细听了邹博老师凸优化课程关于这部分的讲解，做一个小小的总结。
凸函数的非负加权和 ： 
凸函数与仿射函数的复合： 
凸函数的逐点最大值、逐点上确界：
第一个和第二个直接使用定义还是挺简单的，因为后边也要用到，这里给出第三个的证明：
第二个不等式直观上来看：
得到一个后边需要用的结论：几个凸函数逐个取大得到的函数任然是凸函数，几个凸函数逐个取小得到的函数是凹函数。取几个凸函数为直线，得到下边这样的一个示意图。
若fi(x)为凸函数，hj(x)为仿射函数，则为一个凸优化问题。
凸优化问题的可行域为凸集，凸优化问题的局部最优解即为全局最优解。
我们可以知道，对偶函数为一个凹函数，一定存在最大值。（之前证明过，几个凸函数的min为凹函数）
对偶函数的最大值一定小于等于原函数的最小值，那么求原函数的最小值是否就可以转化为对偶函数的最大值呢？我们使用这样一个图来分析：
如图，下边的虚线部分表示了一个凸函数f1(x)，假设lambda1 = 0，那么没有影响，原函数最小值大概为1.35，但是随着lambda1的初步增大，最小值点会往上移动，对应于我们的原函数上面的虚线。但是lambda1继续增大的时候，最小值点变了，所以最小值点又开始下降了。最终得到如右边所示的一个最小值关于lambda1的变化趋势图。
标签：最大值 com src 最小值 全局 images 课程 局部最优 移动
原文地址：http://www.cnblogs.com/futurehau/p/6079647.html
