Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
K-均值聚类算法的MapReduce实现理解...
分类：
其他好文 时间：
2014-06-16 22:04:50
阅读次数：
207
本文主要介绍了聚类算法中K-均值聚类，并给出了一个机器学习示例软件。...
分类：
其他好文 时间：
2014-06-16 20:34:33
阅读次数：
248
推荐系统，主要采用对历史数据的分析计算，得到某种模型，对未来的数据进行预测。说到底，还是分类问题。
Mahout,是一个可扩展的机器学习库，可用于单机，也可用于Hadoop。
Mahout的API非常简单，实现一个推荐功能只需要如下的几行代码：
DataModel model = new FileDataModel(new File(file));//建立数据模型
UserSimil...
分类：
其他好文 时间：
2014-06-15 12:35:30
阅读次数：
193
GraphLab是一个面向大规模机器学习/图计算的分布式内存计算框架，由CMU在2009年开始做，这里的内容是基于论文Low, Yucheng, et al. "Distributed GraphLab: A Framework for Machine Learning in the Cloud" ...
分类：
其他好文 时间：
2014-06-15 00:09:58
阅读次数：
326
Author: JW. ZHOU2014/6/13Paper毕竟是死的，写Paper的人才是活的，那么现在就研究一下CV圈的格局，按师承关系，总结成一个树形结构[参考1]。David Marr----->Shimon Ullman (Weizmann)----->Eric Grimson (MIT)...
分类：
其他好文 时间：
2014-06-15 00:04:48
阅读次数：
453
Petuum是一个分布式机器学习专用计算框架，本文介绍其架构，并基于文章 More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server，NIPS 2013 重点探讨其核心内容SSP协议。主要思想Para...
分类：
其他好文 时间：
2014-06-14 20:39:34
阅读次数：
261
简介
很多人都玩过一个游戏，通过限定次数的提问猜出对方在纸上写出的一个词，当然对方必须对我们的每一个猜测做出回应，通过一连串正确或者错误的判断，如果最终我们猜出了对方的那个词，那么我们就取得了胜利，决策树的工作原理就和这个游戏类似，看下面一个例子：
上面这张图就是一个典型的决策树，我们每天出门前要想一下今天是开车还是走路呢？首先看看窗外，下雨了吗？如果有再看看到底是雪还是雨？哇靠！是雪...
分类：
其他好文 时间：
2014-06-14 14:45:27
阅读次数：
833
Author: JW. ZHOU2014.6.141、Graphical Models2、Pattern Classification3、Pattern Recognition And Machine Learning4、The Elements of Statistical Learning5、T...
分类：
其他好文 时间：
2014-06-14 08:40:09
阅读次数：
207
回顾一些参数估计的方法，包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数，使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重，表示样本的以维特征描述，为样本。1,
批梯度下降算法(batch gradient decent, B...
分类：
其他好文 时间：
2014-06-12 15:20:17
阅读次数：
526
