0从梯度下降到Fista

标签：

　　Fista是什么？A fast ISTA（Iterative shrinkage-thresholding algorithm）。即一种快速的迭代阈值收缩算法。

　　考虑以下线性转换问题：b = Ax + w　　（1）

　　例如在图像模糊问题中，A为模糊模板（由未模糊图像通过转换而来），b为模糊图像，w为噪声。并且，A和b已知，x为待求的系数。

　　求解该问题的的传统方法为最小二乘法，思想很简单粗暴：使得重构误差||Ax-b||²最小。即：

　　对f(x) = ||Ax-b||²求导，可得其导数为：f‘(x) = 2A^T(Ax-b)。对于该问题，令导数为零即可以取得最小值（函数f(x)为凸函数，其极小值即为最小值）。

　　1）如果A为非奇异矩阵，即A可逆的话，那么可得该问题的精确解为x=A^-1b。

　　2）如果A为奇异矩阵，即A不可逆，则该问题没有精确解。退而求其次，我们求一个近似解就好，||Ax-b||²<=?。

　　其中，||x||¹为惩罚项，用以规范化参数x。该例子使用L1范数作为惩罚项，是希望x尽量稀疏（非零元素个数尽可能少），即b是A的一个稀疏表示。||Ax-b||²<=?则为约束条件，即重构误差最小。问题(3)也可以描述为：

0从梯度下降到Fista

标签：

原文地址：http://www.cnblogs.com/JunhaoWu/p/5514386.html