first order method in optimization

标签：com   latex   desc   优化   min   die   alt   back   cga   

这篇文章想阐述一阶优化算法，尽可能的做到全面。

• 考虑无约束优化问题

Gradient Descent Method 有如下迭代形式：

这里的  为步长，不同的步长构造策略生成了不同的梯度算法，例如，

则为最速下降法，如果

这里的 , 这时候为BB算法。

• 还是考虑无约束凸优化问题

Proximal Point Algorithm 有如下形式：

• 考虑可分离凸问题：

这里假设, 在第k步迭代，Proximal Gradient Algorithm 将  作二次展开

有如下形式：

PGA等价于Forward Backward Operator。

4.考虑线性约束凸问题：

first order method in optimization

标签：com   latex   desc   优化   min   die   alt   back   cga   

原文地址：https://www.cnblogs.com/optimization-dkk/p/8994717.html