决策树在长成的过程中极易容易出现过拟合的情况，导致泛化能力低。主要有两种手段可以用于防止过拟合。## 提前停止Early Stopping，在完全长成以前停止，以防止过拟合。主要有以下3种方式：1. 限制树的高度，可以利用交叉验证选择2. 利用分类指标，如果下一次切分没有降低误差，则停止切分3. 限... ...
分类：
其他好文 时间：
2019-08-06 14:12:33
阅读次数：
802
机器学习”小憩“——总结应用场景 常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进 ...
分类：
编程语言 时间：
2019-07-20 13:00:47
阅读次数：
162
随机森林有一个重要的优点就是，没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。 随机森铃在生成每颗决策树时，会随机且有放回的抽取样本，每棵决策树会有大概1/3的样本未抽取到，这些样本就是每棵树的oob样 ...
分类：
其他好文 时间：
2019-07-08 13:36:02
阅读次数：
398
一、描述性统计分析 二、数据预处理 三、特征工程 四、建模 （1）测试集与预测集划分（8/2分） 测试集交叉验证选择模型 五、评估模型 ...
分类：
其他好文 时间：
2019-07-03 22:50:39
阅读次数：
117
xgboost参数 选择较高的学习速率(learning rate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返 ...
分类：
其他好文 时间：
2019-06-02 16:30:18
阅读次数：
294
交叉验证的思想 交叉验证主要用于防止模型过于复杂而引起的过拟合，是一种评价训练数据的数据集泛化能力的统计方法。其基本思想是将原始数据进行划分，分成训练集和测试集，训练集用来对模型进行训练，测试集用来测试训练得到的模型，以此来作为模型的评价指标。 简单的交叉验证 将原始数据D按比例划分，比如7：3，从 ...
分类：
其他好文 时间：
2019-06-01 21:07:15
阅读次数：
199
因为sklearn cross_val_score 交叉验证，这个函数没有洗牌功能，添加K 折交叉验证，可以用来选择模型，也可以用来选择特征 sklearn.model_selection.cross_val_score(estimator, X, y=None, groups=None, scor ...
分类：
其他好文 时间：
2019-05-24 23:58:55
阅读次数：
836
使用网格搜索法对5个模型进行调优（调参时采用五折交叉验证的方式），并进行模型评估，记得展示代码的运行结果。 时间：2天 1.利用GGridSearchCV调参 1.1参数选择 首先选择5个模型要调的参数，这里是根据以前在知乎看的一张图片（感谢大佬！） 1.2划分验证集 本来想用sklearn的模块划 ...
分类：
其他好文 时间：
2019-05-19 23:15:31
阅读次数：
147
一、前言 训练集、验证集和测试集这三个名词在机器学习领域极其常见，但很多人并不是特别清楚，尤其是后两个经常被人混用。 在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set)，验证集(validation set)，测试集(test set)。 二、训练集 ...
分类：
其他好文 时间：
2019-03-17 12:14:46
阅读次数：
312
· 交叉检验 核心思想是通过保留一部份训练集数据作为检验集来估计真实检验集的错误率与模型拟合效果。常用的有留一法、K折交叉验证 偏差方差权衡：使用的训练集数据越多，估计偏差越小，方差越大（相关性越高的方差越大） · 统计量：样本X1,…,Xn的函数g(X1,…,Xn)是一个统计量。所有对总体的估计都 ...
分类：
其他好文 时间：
2019-03-05 17:00:21
阅读次数：
448
