基于scikit-learn包实现机器学习之KNN(K近邻) scikit-learn（简称sklearn）是目前最受欢迎，也是功能最强大的一个用于机器学习的Python库件。它广泛地支持各种分 类、聚类以及回归分析方法比如支持向量机、随机森林、DBSCAN等等，由于其强大的功能、优异的拓展性以及易 ...
分类：
其他好文 时间：
2017-04-09 11:45:15
阅读次数：
1360
常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进行分类。 优点： 1.简单好用，容 ...
分类：
其他好文 时间：
2017-04-07 15:52:23
阅读次数：
356
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-04-05 21:56:31
阅读次数：
321
随机森林有什么优点，如： a. 对于很多数据集表现良好，精确度比较高； b. 不容易过拟合； c. 可以得到变量的重要性排序； d. 既能处理离散型数据，也能处理连续型数据，且不需要进行归一化处理； （美团被深入问到） e. 能够很好的处理缺失数据； f. 容易并行化 关于材料再说句题外话，我之前是 ...
分类：
其他好文 时间：
2017-04-01 01:34:06
阅读次数：
377
决策树 决策树模型是一种树形结构，基于特征对实例进行分类或回归的过程。即根据某个特征把数据分划分到若干个子区域(子树)，再对子区域递归划分，直到满足某个条件则停止划分并作为叶子节点，不满足条件则继续递归划分。 一个简单的决策树分类模型：红色框出的是特征。 决策树模型学习过程通常包3个步骤：特征选择、 ...
分类：
编程语言 时间：
2017-04-01 01:10:42
阅读次数：
256
? 熵、互信息? 决策树学习算法 ? 信息增益 ? ID3、C4.5、CART? Bagging与随机森林? 提升 ? Adaboost/GDBT ? 熵、互信息 熵是对平均不确定性的度量。 平均互信息：得知特征Y的信息而使得对标签X的信息的不确定性减少的程度。描述随机变量之间的相似程度。（条件熵、 ...
分类：
其他好文 时间：
2017-03-25 23:55:25
阅读次数：
452
1、主要内容 介绍集成学习，然后讲述boosting和bagging的区别与联系，同时对adaBoost进行推导然后进行gbdt的推导，最后比较随机森林和gdbt的区别和联系。 2、集成学习 集成学习（ensamble learning）通过构建多个学习器来完成任务。集成学习的一般结构：先产生一组“ ...
分类：
编程语言 时间：
2017-03-15 16:45:34
阅读次数：
308
简介： scikit-learn是一个基于NumPy、SciPy、Matplotlib的开源机器学习工具包。採用Python语言编写。主要涵盖分类、 回归和聚类等算法，比如knn、SVM、逻辑回归、朴素贝叶斯、随机森林、k-means等等诸多算法，官网上代码和文档 都非常不错，对于机器学习开发人员来 ...
分类：
其他好文 时间：
2017-03-08 22:33:30
阅读次数：
576
在集成学习原理小结中，我们讲到了集成学习有两个流派，一个是boosting派系，它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派，它的特点是各个弱学习器之间没有依赖关系，可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。 随机森林是集成学习中可以和梯度提升树GB ...
分类：
编程语言 时间：
2017-03-08 17:57:46
阅读次数：
290
