凸优化和机器学习

时间：2014-08-16 21:03:31 阅读：192 评论：0 收藏：0 [点我收藏+]

CSDN的博主poson在他的博文《机器学习的最优化问题》中指出“机器学习中的大多数问题可以归结为最优化问题”。我对机器学习的各种方法了解得不够全面，本文试图从凸优化的角度说起，简单介绍其基本理论和在机器学习算法中的应用。

1.动机和目的

人在面临选择的时候重视希望自己能够做出“最好”的选择，如果把它抽象成一个数学问题，那么“最好的选择”就是这个问题的最优解。优化问题，就是把你考虑的各个因素表示成为一组函数（代价函数），解决这个问题就是在一集备选解中选择最好的解。

那么，为什么我们要讨论凸优化而不是一般的优化问题呢？那时因为凸优化问题具有很好的兴致——局部最优就是全局最优，这一特性让我们能够迅速有效的求解问题。（实际上就是太一般的优化问题讨论不来）

首先明确两个定义:

(1) 如果 $C$ 中任意两点之间的线段任在 $C$ 中，那么集合 $C$ 被称为凸集。即对任意 ${x_1},{x_2} \in C$ 和满足 $0 \le \theta \le 1$ 的 $\theta$ 都有

$\theta x_1+(1-\theta) x_2 \in C$

(2) 函数 $f\;:\; R^n \to R$ 是凸函数，则 $\rm{dom}\; f$ 是凸集，且对于任意 $x\;,\;y \in \rm{dom} f$ 在任 $0 \le \theta \le 1$ 下有

$f(\theta x + (1 - \theta )y)\le \theta f(x)+(1-\theta)f(y)$

Stephen Boyd在他的《convex optimization》中定义凸优化问题是形如

$\rm {minimize } {f_0} (x) \\ \rm {subject to } f_i(x) \le 0 ; \;\;i=1,\cdots ,m \\ \rm{ } a_i^T x=b_i ;\;\;i=1,\cdots ,p$

的问题，其中（待续）

原文地址：http://www.cnblogs.com/sea-wind/p/3916860.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行