在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
1.在高纬度大数量的数据情况下，用线性+松弛因子做SVM效果是很不错的2.在高纬度大数量的情况下，一般用批量梯度下降做计算效果会很好3.在低纬度大数量的情况下，可以用牛顿法来求解，一般迭代两三次就好了4.有个叫Le
BOTTON 的人，对常用目标函数的SGD公式做了很好的推导5.有一个响亮求导的书叫...
分类：
其他好文 时间：
2014-06-02 08:07:18
阅读次数：
250
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录...
分类：
其他好文 时间：
2014-06-02 07:31:21
阅读次数：
227
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接....
分类：
其他好文 时间：
2014-06-02 07:30:03
阅读次数：
249
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接....
分类：
其他好文 时间：
2014-06-02 07:28:41
阅读次数：
197
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链.....
分类：
其他好文 时间：
2014-06-02 07:28:03
阅读次数：
210
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(...
分类：
其他好文 时间：
2014-06-02 07:27:27
阅读次数：
274
