在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
网易公开课，第9课
notes，http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是，如何去评价和选择学习算法
Bias/variance tradeoff 还是用这组图，学习算法追求的是generalization error（对未知...
分类：
其他好文 时间：
2014-06-11 12:21:15
阅读次数：
445
摘要：近日，Robert
Seaton整理了100多个最有趣的数据集，其中包括Jeopardy真题，死囚的最后一句话，20万个Eclipse
Bug，足球比赛相关，柏拉图式的爱情，太阳系以外的行星，11.3万个恐怖事件等。【编者按】在数据爆发式增长的逼迫下，当下数据分析能力已得到长足的发展，机器学习...
分类：
系统相关 时间：
2014-06-11 09:25:52
阅读次数：
717
算法复杂度用来表示在解决某个问题时，算法的性能表现。
复杂度上限，就是某个具体的已经实现的算法能够保证在一定时间内解决问题
复杂度下限，就是通过数学方法证明，所有的算法都必须花费一定的时间才能解决问题
最优化算法，就是可能达到的最小复杂度的算法，通常介于复杂度上限和下限之间
比如排序问题中：
计算模型为决策树
使用比较次数作为开销...
分类：
其他好文 时间：
2014-06-08 18:20:02
阅读次数：
190
最近的一些有趣链接的分享，包括科学，设计，机器学习等多个方面的。
例如：
1.在另一个星球上打印人类
2.偷听到外星人的星际通信
3.Yann LeCun在reddit上的问答
4.卖萌的水果
......
分类：
其他好文 时间：
2014-06-08 15:12:54
阅读次数：
262
决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。
决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表一个问题或决策，通常对应于待分类对象的属性。每一个叶子结点代表一种可能的分类结果。沿决策树从上到下遍历的过程中，在每个结点都会遇到一个测试，对每个结点上问题的不同的...
分类：
其他好文 时间：
2014-06-08 14:55:35
阅读次数：
254
在理解了我们须要解决的机器学习问题之后，我们能够思考一下我们须要收集什么数据以及我们能够用什么算法。本文我们会过一遍最流行的机器学习算法，大致了解哪些方法可用，非常有帮助。机器学习领域有非常多算法，然后每种算法又有非常多延伸，所以对于一个特定问题，怎样确定一个正确的算法是非常困难的。本文中我想给你们...
分类：
其他好文 时间：
2014-06-07 21:27:22
阅读次数：
260
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
最近一段时间做了不少文本挖掘的项目和研究，正好总结一下文本挖掘预处理的流程，希望是干货。...
分类：
其他好文 时间：
2014-06-07 12:11:52
阅读次数：
238
