集成学习方式总共有3种：bagging-(RF)、boosting-(GBDT/Adaboost/XGBOOST)、stacking 下面将对Bagging 进行介绍：（如下图所示） 用Bagging的方法抽取训练集时，大约有1/3 的数据没有被抽到。 从训练集进行一系列的子抽样，得到子训练集，训练 ...
分类：
其他好文 时间：
2019-05-22 11:06:06
阅读次数：
118
第二十八节集成学习之随机森林概念介绍(1) 从本系列开始，我们讲解一个新的算法系列集成学习。集成学习其实是怎么样去应用决策树解决一些问题。 在机器学习领域集成学习是一种非常简单直接的提升分类器回归器预测效果的一种思路。决策树有一个困境，当层数太深的时候会有过拟合问题，当我不想过拟合，就通过预剪枝给它 ...
分类：
其他好文 时间：
2019-05-20 10:27:15
阅读次数：
121
上一篇博客用词袋模型，包括词频矩阵、Tf-Idf矩阵、LSA和n-gram构造文本特征，做了Kaggle上的电影评论情感分类题。 这篇博客还是关于文本特征工程的，用词嵌入的方法来构造文本特征，也就是用word2vec词向量和glove词向量进行文本表示，训练随机森林分类器。 一、训练word2vec ...
分类：
其他好文 时间：
2019-05-19 18:10:28
阅读次数：
149
现在自然语言处理用深度学习做的比较多，我还没试过用传统的监督学习方法做分类器，比如SVM、Xgboost、随机森林，来训练模型。因此，用Kaggle上经典的电影评论情感分析题，来学习如何用传统机器学习方法解决分类问题。 通过这个情感分析的题目，我会整理做特征工程、参数调优和模型融合的方法，这一系列会 ...
分类：
其他好文 时间：
2019-05-19 11:49:23
阅读次数：
224
import numpy as np import matplotlib.pyplot as plt from sklearn import datasets,ensemble from sklearn.model_selection import train_test_split def load... ...
分类：
编程语言 时间：
2019-05-02 09:46:56
阅读次数：
181
import numpy as np import matplotlib.pyplot as plt from sklearn import datasets,ensemble from sklearn.model_selection import train_test_split def load... ...
分类：
编程语言 时间：
2019-05-02 09:24:42
阅读次数：
139
目录 简介 决策树简单用法 决策树算法检测P0P3爆破 决策树算法检测FTP爆破 简介 决策树和随机森林算法是最常见的分类算法； 决策树，判断的逻辑很多时候和人的思维非常接近。 随机森林算法，利用多棵决策树对样本进行训练并预测的一种分类器，并且其输出的类别是由个别决策树输出的类别的众数决定。 决策树 ...
分类：
编程语言 时间：
2019-04-15 19:53:29
阅读次数：
226
一句话介绍 随机森林是一种集成算法（Ensemble Learning），它属于Bagging类型，通过组合多个弱分类器，最终结果通过投票或取均值，使得整体模型的结果具有较高的精确度和泛化性能。其可以取得不错成绩，主要归功于“随机”和“森林”，一个使它具有抗过拟合能力，一个使它更加精准。 Baggi ...
分类：
其他好文 时间：
2019-03-20 20:40:56
阅读次数：
423
集成模型 集成分类模型是综合考量多个分类器的预测结果，从而做出决策。 综合考量的方式大体分为两种： 1.利用相同的训练数据同时搭建多个独立的分类模型，然后通过投票的方式，以少数服从多数的原则作出最终的分类决策。（随机森林分类器） 2.按照一定次序搭建多个分类模型。这些模型之间彼此存在依赖关系。一般而 ...
分类：
编程语言 时间：
2019-03-17 00:54:09
阅读次数：
250
这篇文章中，使用基于方差和偏差的调参方法，在乳腺癌数据上进行一次随机森林的调参。乳腺癌数据是sklearn自带的分类数据之一。 ...
分类：
其他好文 时间：
2019-03-12 13:50:22
阅读次数：
173
