Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然...
分类：
其他好文 时间：
2015-08-17 11:54:05
阅读次数：
195
简单来说，随机森林就是Bagging+决策树的组合（此处一般使用CART树）。即由很多独立的决策树组成的一个森林，因为每棵树之间相互独立，故而在最终模型组合时，每棵树的权重相等，即通过投票的方式决定最终的分类结果。随机森林算法主要过程：1、样本集的选择。 假设原始样本集总共有N个样例，则每轮从原始....
分类：
编程语言 时间：
2015-07-30 22:46:38
阅读次数：
225
组合模型组合模型一般要比单个算法要好，下面简单的介绍下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient boosting这些组合型算法.1.BootstrapingBootstraping: 名字来自成语“pull up by your own bootstraps”，意思就是依靠你自己的资源，称为自助法，它是一种有放...
分类：
编程语言 时间：
2015-07-24 22:39:31
阅读次数：
497
机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wh...
分类：
其他好文 时间：
2015-07-21 22:07:21
阅读次数：
152
矩阵分解技术和模型组合方法可能是与Netflix Prize有关最多被讨论的算法。似乎基于矩阵分解的模型是最精确，并想将这些矩阵分解模型加上被时间效应和二元观点所需要提供的重要灵活性。虽然如此，已经在大多数文献中占很主导的邻居模型仍然会继续流行，这根据他的实际特点——无需训练就能够处理新的用户评分并提供推荐的直接解释。关于Machine Learning&Pattern Recognition更多讨论与交流，敬请关注本博客和新浪微博songzi_tea....
分类：
Web程序 时间：
2014-12-19 14:27:52
阅读次数：
301
转载自http://leftnoteasy.cnblogs.com机器学习中的数学系列：1)回归(regression)、梯度下降(gradient descent)2)线性回归，偏差、方差权衡3)模型组合(Model Combining)之Boosting与Gradient Boosting4)线...
分类：
其他好文 时间：
2014-11-28 18:13:25
阅读次数：
181
